Fix importing of novaclient exceptions

Broken by 3c702e38e9a51a15a8d1626b60f610c75cb1f8b7

Also, use novaclient's own mechanism for selecting the correct API version;
don't go fishing in the internals.

Change-Id: I296312f185735026587ba9849343aa79177856a3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

tools/openstack_ubuntu fix nova-manage network create command

Command for creating nova network is wrong, as tested on 12.04

ref bug 1083507
Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I41ae9370c42a0e9b7df4d1810e0f90f32bd87bba

Handle empty UserData for instance

UserData is not required, so handle the case where it is not supplied (i.e.
is None).

bug 1090544

Change-Id: If8bfe9ba2aafe3bb2e9de14b01c57d1ddcf9b21d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make resource registration conditional

If client libraries are not present for Swift or Quantum, don't register
the corresponding resource types.

Change-Id: I95a42973775b7f4c1d82caa47dc0660dfe54bb21
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a resource type list to the ReST API

Change-Id: I09f5e9fc97ef095c7ab8def8adf4dcc79c6fcd48
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add an RPC API to list resource types

Change-Id: I0218dcebf9213887e9b7883e6bba9b6b54a6e6ad
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Standardise client imports

Do all client imports once, in the clients module, using the normal
OpenStack idiom for optional imports where appropriate.

Change-Id: I1186eba21159fe20e80c1947779fd164dada5880
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix ReST API documentation for template validation

The user parameters are not used in template validation.

Change-Id: Iba438b2977f8029c0f0f7e6e65e853d23e4d2b0d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Add ubuntu version of tools/openstack"

install.sh non-root error should go to stderr

The non-root error should go to stderr like the other echo output

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I1d9c51c43f9a2db0b50c4c95fc0a0e4505078c51

install.sh add logic detecting rabbitmq

Detect rabbitmq (On Ubuntu and Fedora), and sed the config files
with appropriate values if it looks like we're installing on a
system with rabbitmq and not the default qpidd

fixes bug 1090420

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I04a40aab00e7e13d245900aeb384d769d57c4012

Merge "tools/openstack fixup header formatting"

tools/openstack fixup header formatting

Current header is abbreviated, so paste in the full boilerplate
text like in other files

Change-Id: I8675f80f37ab6ea2ba2323f3f87985224883466a
Signed-off-by: Steven Hardy <shardy@redhat.com>

Add ubuntu version of tools/openstack

Initial version of the tools/openstack install script to simplify install/
testing on Ubuntu - tested on 12.04LTS (with the included Essex packages)
12.10 testing TODO

ref bug 1083507

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I450b20e18dfa3099cfd17152b5ec61cc34122665

install.sh simplify heat-engine.conf conditional

Minor tweak to the conditional detecting heat-engine.conf to sed in the
encryption key - this will allow rabbitmq detection to only be done in
one place

ref bug 1090420

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I9031218796a52efd350c39167ecb112048dad218

Remove heat-metadata man page

The binary no longer exists.

Change-Id: Ib914f94d091b1388d254c53dc3a7821750266b18
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "heat_keystoneclient ec2 user fix"

Get rid of naked "except:" clauses in tests

Change-Id: Idec15ef86ff0f9cb57b4a8c522e4f5ed63bad010
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Don't skip watchrule test on exception

There are no circumstances in which failing to import the
heat.engine.watchrule module would not be an issue.

Change-Id: I6d03ed8f761a24aa69409010390289e387523813
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of unused imports

This cruft just tends to build up over time...

Change-Id: I61fd067b431aaa57164c7ff781c9cc8bab04bd4b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of nose.main() in unit test files

This doesn't actually work and is not universally present, so get rid of
it. Tests are run through "nosetests", which does actually work.

Change-Id: Ib2d1e857e0aef4eab5fd75ffb1a498d8e9186c01
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat_keystoneclient ec2 user fix

Fix bug where we incorrectly use the request context user_id,
instead of the user_id associated with the resource calling
get_ec2_keypair()

fixes bug 1089035

Change-Id: Ibb5e6d11461fb3ff1dd743066a9f7de3ee65b445
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "heat cfn api, format waitcondition error responses correctly"

Move the cfn client code to a subpackage

This will make packaging easier.

Change-Id: I8e0f0a3d85bdf073a3b3272f920ad60f27e929e3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat cfn api, format waitcondition error responses correctly

Return errors from the waitcondition part of the CFN API in a similar
format to other CFN API responses, by catching engine errors and mapping
the error to an appropriate HeatAPIException.

fixes bug 1089032

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I40486ed53fd4968519f623a3ea5a96f6c3374ea5

Override events for AutoScalingGroup instances

Override state-transition events by subclassing the Instance
resource to AutoScalingGroupInstance, this avoids problems where
events can't lookup the resource via parser.Stack (since these
resources aren't "real" resources defined in the template)

fixes bug 1089338

Change-Id: Ia064cd067eefdaa5ca81b0cb822ce2fa443bac85
Signed-off-by: Steven Hardy <shardy@redhat.com>

resource state_set, abstract update/store logic

Abstract the DB update/store logic so the state_set function
can be more cleanly overridden for AutoScalingGroupInstance

ref bug 1089338

Change-Id: I02dc52068feaeed8ec8210269d9abb7b124f0a19
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't allow identifiers with slashes

Ensure that creating an Identifier with a slash in either the stack name or
the resource name results in an immediate exception.

Change-Id: I79121a26009b5b7b3eee994f98ba802b239f5f12
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Don't allow slashes in Stack or Resource names

There is no way for the ReST API to handle Stack or Resource names that
contain slashes since WSGI decodes the path before passing it to the
application, such that even correctly url-encoded slashes are
indistinguishable from path separators. Therefore, prohibit slashes in
Stack and Resource names.

bug 1088928

Change-Id: Ie6fa5a1bc7b5ae7054300419644008c5cc42187e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Fix race condition in list_stacks"

Move resolved template comparison to stack update

This partially reverts the following commit
https://review.openstack.org/#/c/17563/3

Resource comparison is now done as per Zane's last comment in that review.

Change-Id: I1663d262b79603ab86bc5bdb4f2ee75e87c0075e

Fix race condition in list_stacks

A stack may be deleted between querying the stacks to list and formatting
each stack.

This issue was found by concurrently creating and deleting 100 stacks
while running heat list.

Change-Id: I4a47bbdbde111454672c2579caf28b4675c3cf10

Get rid of glanceclient dependency

We're not actually using it anywhere, and its keystoneclient version
requirements are causing us not to be able to install. Move it instead to
the test-requires, since the functional tests are still actually using it.

Change-Id: I74e68ddb4b65235b6c192c619e9e8e85e30beab9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat engine : convert WaitConditionHandle URL to ARN format

Convert the WaitConditionHandle URL format to use the ARN format,
the resulting URL will be similar to the AWS format

fixes bug 1087799

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I04b1f6cd913c54c9f4fa82cc1e76be22a19fe2ea

Merge "heat : Add HeatIdentifier from_url function"

heat : Add HeatIdentifier from_url function

Add method to create a HeatIdentifier from a URL containing an ARN

ref bug 1087799

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie325de9105e85dbf9fd12be5e7b8c3d055e77795

Merge "Eventlet monkey-patch heat-api-cloudwatch."

Merge "Eventlet monkey-patch heat-api-cfn"

Merge "Eventlet monkey-patch heat-api"

Merge "Add test to simply run a few binaries"

Eventlet monkey-patch heat-api-cloudwatch.

Tested by getting responses from cloudwatch, but not with a full
end-to-end cloudwatch validation
Change-Id: I2d81adc8e63b9be7dec02083509ab706ae0c5a7f

Eventlet monkey-patch heat-api-cfn

Tested by running bin/heat-cfn commands
Change-Id: I158a0d8d9b545191001ecdabfa9f331cf937bf4e

Eventlet monkey-patch heat-api

I have a stress test which uses python-heatclient to create
an empty template, list the stacks, and delete the created stack.

Running 100 of these jobs concurrently takes 64 seconds without this patch,
and 17 seconds with it.

Change-Id: I8963da477aa8fcec724e2e5afcd5ec92ff5b07d1

Merge "Don't pass -1 as a stack_id in unit tests"

Merge "Make Volume tests independent"

Merge "Clean up the volume test"

Merge "Fix Instance unit tests"

Merge "Switch over missed file in version switch"

Add test to simply run a few binaries

This is not really a unit test, but it's so fast that I think it could
be considered as such. And it would be nice to gate on such blatant
breakage.

Change-Id: I8ff4ca27a912c30bd962168418ac44217ea9e54d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Switch over missed file in version switch

Bug 1078480

Change-Id: Ic196086467c68bfe718ba6845711da172b237688
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Don't pass -1 as a stack_id in unit tests

We now use UUIDs as stack IDs, but in most cases even that is not
necessary.

Change-Id: I0ef4efb5c3289c6c3d0fd3d0232118c0e906f8b5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make Volume tests independent

Previously, the VolumeAttachment tests relied on stuff left in the database
by the Volume tests.

Change-Id: I8ff63cb6dac0968e63a83fb5c2f78e2a9024dd7c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Clean up the volume test

Various renaming/reformatting done while debugging an issue of the tests
not being independent.

Change-Id: I65f2f6ba2f5af2f5a233ea15faa62a7e087e2bd1
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix Instance unit tests

These were all kinds of broken.

Change-Id: Ib219886f5d8e0fea3ee9c71a78b6c7603d1adc98
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add back catch_error which is used for CLI errors

Change-Id: Ib8b975d22950d5ba6aa9d5f150403a64356a8aa3
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Switch to openstack style versioning"

Merge "heat-db-setup read engine config file for DB connection details"

Switch to openstack style versioning

Bug 1078480

Change-Id: I32471acc16e7ca6f60672474c9bf70537ba76fd2
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Update openstack-common to get newly fixed version.py"

Update openstack-common to get newly fixed version.py

Now at oslo-incubator version ea7ced276d2f080718cd89f3a77378cdf24fabf5

Bug 1078480

Change-Id: I0569a1c0b8af42ceb768095d4b852b557b238e61
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat-db-setup read engine config file for DB connection details

Currently heat-db-setup, or rather the underlying python -m heat.db.sqlalchemy.manage
has a hard-coded database connection URL, so DB setup will fail if a non-default
configuration exists in /etc/heat/heat-engine.conf.

This attempts to read the sql_connection from the DEFAULT section of heat-engine.conf
falling back to the old default string on failure.

bug/1087741

Change-Id: Ieb41503a58ee0804d79a32a8286268803c9f456c
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't get nested stacks by name

Don't return nested stacks from stack_get_by_name(). This prevented the
user creating a stack with the same name as a nested stack, and was a
temporary workaround for the metadata server (see
be3c066ab87cc6e1a2ca8c097eeccd9217d7329a)

bug 1072954

Change-Id: I1e3d0289476377f5b4169835119052f4fa573f86
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix exception handling in AccessKey fetching

bug 1087527

Change-Id: I3de5b27e927ac18aa91f124cd5ef0333c1a83fe2
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move utils.py to a more appropriate location

It's only used by the database code.

Change-Id: Icd81fdb950b84bcbd365dd80f701a4992f695ea7
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of leftover heat-jeos code in utils

This code, including the Glance client dependency, was left over from when
what is now heat-jeos was part of the heat codebase.

Change-Id: I35081fb7911ad1ea3284cbb6e3f83dd8c6a1807f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of pointless cloudformation.py file

Change-Id: Ib75cf51903029f7ba38a48acb62eb35d3ccbb763
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of the cfn_helper tests

The code this was testing doesn't even exist any more, so we will always be
skipping it.

Change-Id: Iac8352094e82ce168e621dc8b9a5833247aa5275
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Enable VPC unit tests

We don't need quantumclient because the tests use a fake client anyway, so
don't skip the test if it is not installed.

Change-Id: I7cd2447b5a68072d2b43228ab85c53d0124496e5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Enable Quantum unit tests

We don't need quantumclient because the tests use a fake client anyway, so
don't skip the test if it is not installed.

Change-Id: Ib350dca6eb8ea27c8b1980eba15b3c9c48738d87
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of naked except: clauses

The only time it is legitimate to catch all exceptions is when the
exception is rethrown.

Change-Id: If72243d7a2c73b42de01d2a59514ead76c20d034
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Update getting started wiki links

Getting started wiki links need to point to the new wiki
location on wiki.openstack.org

Change-Id: I2a0e711fc59dcee303b787662dd9ddef0bf344b7
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : Clarify openstack versions for Fedora releases

Update getting started to clarify which versions of openstack are
expected to work with each Fedora version - I tested F18 alpha and
things worked OK, so now F18 is beta things should work on F18, and
I've been running F17+folsom preview for quite a while with no problem

Change-Id: I0610e69ec22ca399cec21bc67f72dc10cb6c4597
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : Update repositiory in getting started guide

Getting started still points to the old github location

Change-Id: I6437285b0a095e4e0ef25ca065c396a5517192b6
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add version.py from openstack-common"

Add version.py from openstack-common

Bug 1078480

Change-Id: Ia5d4ff63db2907271b8f0ec7fec76ca4cad257d2
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Update openstack-common"

Merge "Do not wrap exceptions during quantum resource delete"

Do not wrap exceptions during quantum resource delete

The stack should go into the DELETE_FAILED state, and a delete
is attempted on all resources regardless of failures.

Change-Id: Ib707c8112d9053a8627c733f4323f514d30628e9

Update openstack-common

Now at oslo-incubator version e2fdbd38da576edfd40aeac3956eb48ae1d0e08a

Change-Id: Ie0360fc666718c809cddeb9904af35c929dededd
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Use common implementation for fetching templates

bug 1072908

Change-Id: Idad06e8c28cbaed121604bb0de5f79edfacb1efb
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a common implementation for fetching a URL

There are multiple implementations of fetching a template from a URL, so
add a common one where changes can be shared.

Change-Id: I9c834efa71f97360dafb741e26713e3f3c124b6f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Pass string to template_format.parse()

Since template_format.parse() attempts to guess the type of the input
instead of using yaml.parse for everything, the input must be a string and
not a stream, even though yaml.parse() can handle either.

Change-Id: I07dc13a54492f3f6db17bfca3cc9e129c765eed5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Resource.__eq__ allow resources in different stacks

Doing a stack update was incorrectly replacing identical resources
because Refs in the new resource were evaluating to None in the new stack.

This change allows an alternative template to be passed to parsed_template
and modifies __eq__ to compare the two templates in the same stack.

__eq__ now also checks that the name of both resources matches, since a stack
could have multiple identical resources with different names.

Change-Id: I7e09ee1238dd01490cdfe186c51b7fada9546a63

Fix importing of quantum resources subpackage

Apparently pkgutil.walk_packages(path) will return packages outside the
given path if they have the same names as the ones inside - so having a
quantum subpackage results in importing the global quantum package from
Quantum itself instead. Fix this by passing a package prefix to give a
fully qualified name.

Also make sure that submodules are added as an attribute to their immediate
parent package, not to some grandparent package with '.'s in the attribute
name.

bug 1085725

Change-Id: Ie571100898a33ed4fe15d1878c7b16db4caf4fa5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Do the same install_requires as other projects

This will pull in tools/pip-requires on devstack start

Change-Id: If93319c82a5e3499391e8624582929d4f1adc9ec

Install extras during pip install; fixes devstack

Change-Id: Ia1252d95fa7023d440b293245fe15d2c4ebfc047

Merge "heat getting started, add pip install extras"

Merge "heat remove unused config options"

heat remove unused config options

Remove metadata* config options - these were actually never used by
the metadata service, and look to be cut/paste artefacts from the
nova codebase.

Change-Id: I50b7d48bfaf82d4b1af7ad269ef329ec455c0f04
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat getting started, add pip install extras

Add install of extras via pip, as we now depend on it via oslo
and it's not yet packaged for Fedora

ref bug 1085970

Change-Id: I08f2962e091e0bdb0c9bdc6d25f319e042f858f5
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : remove KeystoneClient get_user_by_name

Remove get_user_by_name as it's no longer used, and we want to
avoid this style of name->id lookup because it requires keystone
admin role.

Change-Id: I234a235864ac7537df09cae2f07d99ed9d53acd2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Rework AccessKey to avoid keystone user lookup

Rework the mapping if AccessKey UserName property to keystone
user_id - the recent refactor reintroduces a keystone.user.list
call, which requires admin role, which we want to avoid or the
in-instance user can't request their own secret key via cfn-hup

ref bug 1085049

Change-Id: I456dff67f56336a9052180dc3c59cea8b7a173bd
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Make sure heat uses its own control_exchange"

Make sure heat uses its own control_exchange

Due to this recent discussion
http://lists.openstack.org/pipermail/openstack-dev/2012-November/003578.html

And the commit message in this change
https://review.openstack.org/#/c/12518/

Change-Id: Icf7ee0475045a3d0a19b8d176162bd7286a39ddc

Make default encryption key long enough for unit tests

Change-Id: Ibef2eabfa50b56c12975222d6073a243bcb0dfef

Merge "Update the README with more current links"

Update the README with more current links

Change-Id: I14cb327b75053f478b1a0bf1d463488601420390

Add VPC resource implementation

This implements the AWS::EC2::VPC resource.

Change-Id: Ib50897d692292c42b21cffb7d8f6758f2d1a5f1f

Update .gitreview for org move.

* .gitreview: The heat project moved from the heat-api org to
openstack, so this updates the gerrit remote URL accordingly.

Change-Id: I17051b17e2f319ebd3df5e415a9a9742d5b6704e

Use pkgutil to load cloudinit data

Unlike reading from the filesystem, this will allow the data to be read
even if the package is installed as a gzipped tarball.

Change-Id: I1972f2b6a1b6cee12521480ed774468bb3444780
Signed-off-by: Zane Bitter <zbitter@redhat.com>