Merge "heat : Add HeatIdentifier from_url function"

heat : Add HeatIdentifier from_url function

Add method to create a HeatIdentifier from a URL containing an ARN

ref bug 1087799

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie325de9105e85dbf9fd12be5e7b8c3d055e77795

Merge "Eventlet monkey-patch heat-api-cloudwatch."

Merge "Eventlet monkey-patch heat-api-cfn"

Merge "Eventlet monkey-patch heat-api"

Merge "Add test to simply run a few binaries"

Eventlet monkey-patch heat-api-cloudwatch.

Tested by getting responses from cloudwatch, but not with a full
end-to-end cloudwatch validation
Change-Id: I2d81adc8e63b9be7dec02083509ab706ae0c5a7f

Eventlet monkey-patch heat-api-cfn

Tested by running bin/heat-cfn commands
Change-Id: I158a0d8d9b545191001ecdabfa9f331cf937bf4e

Eventlet monkey-patch heat-api

I have a stress test which uses python-heatclient to create
an empty template, list the stacks, and delete the created stack.

Running 100 of these jobs concurrently takes 64 seconds without this patch,
and 17 seconds with it.

Change-Id: I8963da477aa8fcec724e2e5afcd5ec92ff5b07d1

Merge "Don't pass -1 as a stack_id in unit tests"

Merge "Make Volume tests independent"

Merge "Clean up the volume test"

Merge "Fix Instance unit tests"

Merge "Switch over missed file in version switch"

Add test to simply run a few binaries

This is not really a unit test, but it's so fast that I think it could
be considered as such. And it would be nice to gate on such blatant
breakage.

Change-Id: I8ff4ca27a912c30bd962168418ac44217ea9e54d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Switch over missed file in version switch

Bug 1078480

Change-Id: Ic196086467c68bfe718ba6845711da172b237688
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Don't pass -1 as a stack_id in unit tests

We now use UUIDs as stack IDs, but in most cases even that is not
necessary.

Change-Id: I0ef4efb5c3289c6c3d0fd3d0232118c0e906f8b5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make Volume tests independent

Previously, the VolumeAttachment tests relied on stuff left in the database
by the Volume tests.

Change-Id: I8ff63cb6dac0968e63a83fb5c2f78e2a9024dd7c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Clean up the volume test

Various renaming/reformatting done while debugging an issue of the tests
not being independent.

Change-Id: I65f2f6ba2f5af2f5a233ea15faa62a7e087e2bd1
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix Instance unit tests

These were all kinds of broken.

Change-Id: Ib219886f5d8e0fea3ee9c71a78b6c7603d1adc98
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add back catch_error which is used for CLI errors

Change-Id: Ib8b975d22950d5ba6aa9d5f150403a64356a8aa3
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Switch to openstack style versioning"

Merge "heat-db-setup read engine config file for DB connection details"

Switch to openstack style versioning

Bug 1078480

Change-Id: I32471acc16e7ca6f60672474c9bf70537ba76fd2
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Update openstack-common to get newly fixed version.py"

Update openstack-common to get newly fixed version.py

Now at oslo-incubator version ea7ced276d2f080718cd89f3a77378cdf24fabf5

Bug 1078480

Change-Id: I0569a1c0b8af42ceb768095d4b852b557b238e61
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat-db-setup read engine config file for DB connection details

Currently heat-db-setup, or rather the underlying python -m heat.db.sqlalchemy.manage
has a hard-coded database connection URL, so DB setup will fail if a non-default
configuration exists in /etc/heat/heat-engine.conf.

This attempts to read the sql_connection from the DEFAULT section of heat-engine.conf
falling back to the old default string on failure.

bug/1087741

Change-Id: Ieb41503a58ee0804d79a32a8286268803c9f456c
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't get nested stacks by name

Don't return nested stacks from stack_get_by_name(). This prevented the
user creating a stack with the same name as a nested stack, and was a
temporary workaround for the metadata server (see
be3c066ab87cc6e1a2ca8c097eeccd9217d7329a)

bug 1072954

Change-Id: I1e3d0289476377f5b4169835119052f4fa573f86
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix exception handling in AccessKey fetching

bug 1087527

Change-Id: I3de5b27e927ac18aa91f124cd5ef0333c1a83fe2
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move utils.py to a more appropriate location

It's only used by the database code.

Change-Id: Icd81fdb950b84bcbd365dd80f701a4992f695ea7
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of leftover heat-jeos code in utils

This code, including the Glance client dependency, was left over from when
what is now heat-jeos was part of the heat codebase.

Change-Id: I35081fb7911ad1ea3284cbb6e3f83dd8c6a1807f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of pointless cloudformation.py file

Change-Id: Ib75cf51903029f7ba38a48acb62eb35d3ccbb763
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of the cfn_helper tests

The code this was testing doesn't even exist any more, so we will always be
skipping it.

Change-Id: Iac8352094e82ce168e621dc8b9a5833247aa5275
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Enable VPC unit tests

We don't need quantumclient because the tests use a fake client anyway, so
don't skip the test if it is not installed.

Change-Id: I7cd2447b5a68072d2b43228ab85c53d0124496e5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Enable Quantum unit tests

We don't need quantumclient because the tests use a fake client anyway, so
don't skip the test if it is not installed.

Change-Id: Ib350dca6eb8ea27c8b1980eba15b3c9c48738d87
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of naked except: clauses

The only time it is legitimate to catch all exceptions is when the
exception is rethrown.

Change-Id: If72243d7a2c73b42de01d2a59514ead76c20d034
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Update getting started wiki links

Getting started wiki links need to point to the new wiki
location on wiki.openstack.org

Change-Id: I2a0e711fc59dcee303b787662dd9ddef0bf344b7
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : Clarify openstack versions for Fedora releases

Update getting started to clarify which versions of openstack are
expected to work with each Fedora version - I tested F18 alpha and
things worked OK, so now F18 is beta things should work on F18, and
I've been running F17+folsom preview for quite a while with no problem

Change-Id: I0610e69ec22ca399cec21bc67f72dc10cb6c4597
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : Update repositiory in getting started guide

Getting started still points to the old github location

Change-Id: I6437285b0a095e4e0ef25ca065c396a5517192b6
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add version.py from openstack-common"

Add version.py from openstack-common

Bug 1078480

Change-Id: Ia5d4ff63db2907271b8f0ec7fec76ca4cad257d2
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Update openstack-common"

Merge "Do not wrap exceptions during quantum resource delete"

Do not wrap exceptions during quantum resource delete

The stack should go into the DELETE_FAILED state, and a delete
is attempted on all resources regardless of failures.

Change-Id: Ib707c8112d9053a8627c733f4323f514d30628e9

Update openstack-common

Now at oslo-incubator version e2fdbd38da576edfd40aeac3956eb48ae1d0e08a

Change-Id: Ie0360fc666718c809cddeb9904af35c929dededd
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Use common implementation for fetching templates

bug 1072908

Change-Id: Idad06e8c28cbaed121604bb0de5f79edfacb1efb
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a common implementation for fetching a URL

There are multiple implementations of fetching a template from a URL, so
add a common one where changes can be shared.

Change-Id: I9c834efa71f97360dafb741e26713e3f3c124b6f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Pass string to template_format.parse()

Since template_format.parse() attempts to guess the type of the input
instead of using yaml.parse for everything, the input must be a string and
not a stream, even though yaml.parse() can handle either.

Change-Id: I07dc13a54492f3f6db17bfca3cc9e129c765eed5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Resource.__eq__ allow resources in different stacks

Doing a stack update was incorrectly replacing identical resources
because Refs in the new resource were evaluating to None in the new stack.

This change allows an alternative template to be passed to parsed_template
and modifies __eq__ to compare the two templates in the same stack.

__eq__ now also checks that the name of both resources matches, since a stack
could have multiple identical resources with different names.

Change-Id: I7e09ee1238dd01490cdfe186c51b7fada9546a63

Fix importing of quantum resources subpackage

Apparently pkgutil.walk_packages(path) will return packages outside the
given path if they have the same names as the ones inside - so having a
quantum subpackage results in importing the global quantum package from
Quantum itself instead. Fix this by passing a package prefix to give a
fully qualified name.

Also make sure that submodules are added as an attribute to their immediate
parent package, not to some grandparent package with '.'s in the attribute
name.

bug 1085725

Change-Id: Ie571100898a33ed4fe15d1878c7b16db4caf4fa5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Do the same install_requires as other projects

This will pull in tools/pip-requires on devstack start

Change-Id: If93319c82a5e3499391e8624582929d4f1adc9ec

Install extras during pip install; fixes devstack

Change-Id: Ia1252d95fa7023d440b293245fe15d2c4ebfc047

Merge "heat getting started, add pip install extras"

Merge "heat remove unused config options"

heat remove unused config options

Remove metadata* config options - these were actually never used by
the metadata service, and look to be cut/paste artefacts from the
nova codebase.

Change-Id: I50b7d48bfaf82d4b1af7ad269ef329ec455c0f04
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat getting started, add pip install extras

Add install of extras via pip, as we now depend on it via oslo
and it's not yet packaged for Fedora

ref bug 1085970

Change-Id: I08f2962e091e0bdb0c9bdc6d25f319e042f858f5
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : remove KeystoneClient get_user_by_name

Remove get_user_by_name as it's no longer used, and we want to
avoid this style of name->id lookup because it requires keystone
admin role.

Change-Id: I234a235864ac7537df09cae2f07d99ed9d53acd2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Rework AccessKey to avoid keystone user lookup

Rework the mapping if AccessKey UserName property to keystone
user_id - the recent refactor reintroduces a keystone.user.list
call, which requires admin role, which we want to avoid or the
in-instance user can't request their own secret key via cfn-hup

ref bug 1085049

Change-Id: I456dff67f56336a9052180dc3c59cea8b7a173bd
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Make sure heat uses its own control_exchange"

Make sure heat uses its own control_exchange

Due to this recent discussion
http://lists.openstack.org/pipermail/openstack-dev/2012-November/003578.html

And the commit message in this change
https://review.openstack.org/#/c/12518/

Change-Id: Icf7ee0475045a3d0a19b8d176162bd7286a39ddc

Make default encryption key long enough for unit tests

Change-Id: Ibef2eabfa50b56c12975222d6073a243bcb0dfef

Merge "Update the README with more current links"

Update the README with more current links

Change-Id: I14cb327b75053f478b1a0bf1d463488601420390

Add VPC resource implementation

This implements the AWS::EC2::VPC resource.

Change-Id: Ib50897d692292c42b21cffb7d8f6758f2d1a5f1f

Update .gitreview for org move.

* .gitreview: The heat project moved from the heat-api org to
openstack, so this updates the gerrit remote URL accordingly.

Change-Id: I17051b17e2f319ebd3df5e415a9a9742d5b6704e

Use pkgutil to load cloudinit data

Unlike reading from the filesystem, this will allow the data to be read
even if the package is installed as a gzipped tarball.

Change-Id: I1972f2b6a1b6cee12521480ed774468bb3444780
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Use module names as logger names

Automatically use the current module's __name__ attribute as the name for
its logger, instead of hardcoding it or (worse) using __path__.

Change-Id: Ic089e0829e5fb93c3debd21e7715ee4c95f84d4c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a plugin directory for Resources

bug 1072903

Change-Id: I0f218c47620d50dc52bd931ee266f4dc19d701ed
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Automatically register engine options

Register the engine options as soon as we import something from the engine
package. This means we do not need to explicitly do it in all of the unit
tests.

Change-Id: I8fb0c8665d0e0255521e21a6aac223ad1e3b1b25
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move db crypto code out of the engine

Move it to heat.common instead, and change the module name to better
reflect what it does.

Change-Id: I14a8cdcea8e16607f10464e07fcab3da4f01fe10
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Create a new heat.rpc package

The definition of the RPC API is common between the engine (server) and the
clients, so move the client and common definitions out of the heat.engine
package.

Change-Id: I5fd2ba26f09c86ba1adecab4f9e06e69a694fe90
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move template-format parsing code into common

This is used mostly by the API (but also the engine for composed
templates), so it doesn't belong in the engine package.

Change-Id: I79cf8cc619a6988013a58eb4d46c014c3dcac4a3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move the identifier module into heat.common

It is used by both the engine and the client APIs, so it doesn't belong in
the engine.

Change-Id: I45306fd8293d1d859fde5fda9cdcf5fb0588aa2d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Remove gen(erate)_uuid from heat.common.utils

We now use the version from openstack-common.

Change-Id: I0ff86c73f2de1fa6e2455e2c59d1e5859634d1e9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Remove is_uuid() from HeatIdentifier class

We now use the equivalent functionality from openstack-common.

Change-Id: I915cdb92b89d3548fa03e1820d8b90b2aac4e44b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Use uuidutils from openstack-common

Change-Id: I6fdd1bf59562a3dbef96da8d30c2733a801acd58
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add uuidutils from openstack-common

Change-Id: Ia4a8e18f9a2383c09bdd9d59af3df8c057c8d35e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Update openstack-common

Now at oslo-incubator version 1fd7694e96da4c7e461d3c966fab1e81ee57c315

Change-Id: If6ca594185cdaf6f2b279185cb4a4f62391aa828
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Remove heat-metadata service

Remove heat-metadata service, since the last remaining function
(waitcondition handle notification) is now handled via the CFN
API

blueprint metsrv-remove
Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie36c86ce86f6c47e8d9f8accf8ec17084fb8cffd

Merge "heat engine : Convert WaitConditionHandle to pre-signed URLs"

Merge "heat engine : subclass keystone client to encapsulate common code"

heat engine : Convert WaitConditionHandle to pre-signed URLs

Change WaitConditionHandle so it provides a pre-signed URL which
allows authenticated wait condition notification via the CFN API

blueprint metsrv-remove
Change-Id: I5c1c3a17ade35c810e49b1f27d80bcfea9e89485
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : subclass keystone client to encapsulate common code

Encapsulate the keystone client in a heat-specific wrapper subclass
so we can put heat-specific implementation related to keystone in
one place.  This will allow easier reuse of common code between
resources which need to manipulate stack users and ec2 keys

blueprint metsrv-remove
Change-Id: I3d9751023c52cb75ab5e1f62415b1db4e4361dec
Signed-off-by: Steven Hardy <shardy@redhat.com>

Process engine config before initialisation

Don't import the heat-engine service module until the configuration options
have been initialised. This will allow us to read the configuration during
initialisation of the engine.

Change-Id: I2bc70d903434eac1fa248640018f038c5ef2bead
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat api : add waitcondition to cfn api

Add a new path to the CFN api, which implements CFN style waitcondition
notification - this means we can move away from the separate heat-metadata
service for this purpose, instead using the authenticated CFN API

blueprint metsrv-remove
Change-Id: I62cff7cb4c7a009fea2c8f62ea446d8d758f5429
Signed-off-by: Steven Hardy <shardy@redhat.com>

Add documentation on plugin_loader module

Change-Id: I55a6c90c8bacee8a3bfed297b150cf5554cfabba
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Lookup the class for an Instance in Autoscaling

Instead of hardcoding the class for handling instances in autoscaling,
look up the class for the AWS::EC2::Instance resource type using the same
mechanism used for creating resources normally.

Change-Id: I37b9aff9a83b89cdc782467720970a04549d7b1e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Refactor autoscaling Instance creation

Change-Id: I5d545500f1bc71222ce2c599f57d2d373990da73
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Load resources dynamically

Automatically load all resources as "plugins" when importing the package
heat.engine.resources, instead of having to list them explicitly.

Change-Id: I9d11ab9a5b1dd21bc5f9c2f0aad95c035a9c9aa0
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a module for dynamically loading plugins

Change-Id: I662b5989941b467c78a392098db0cd19ff86201c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Distribute resource mapping to individual modules

Define the mapping from resource names to classes locally in each module
and then aggregate them. This moves the mappings near the definitions, and
provides the format for an eventual plug-in resource architecture.

Change-Id: I3e70d495c5a490ae20d38bf1aec7e28080a55520
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move the resource module out of the resources package

Leave only the actual resource implementations in the heat.engine.resources
package. This is the first step to implementing a plugin-style architecture
for resources.

Change-Id: I8a63da4f54b087ee792969678f92da8e31787a3e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Remove YAML template trailing spaces

Change-Id: I36ae27a44bd9863df63bdff144f1773c774661b4

Convert some existing templates to YAML format.

This is the result of running:
python tools/cfn-json2yaml templates/
and then cleaning up by hand to be more consistant, readable and
maintainable.

The following templates are enforced to parse to identical stacks
in the unit tests so any fundamental change to one must be made
to the other.

Quantum.template
Quantum.yaml

WordPress_Single_Instance.template
WordPress_Single_Instance.yaml

Change-Id: Ibe05a5c5a7a5bb1861c5f84a3dc41e2d632852fd

For Fn::Join join strings in resolve_static_data

Fn::Join now has some preprocessing in resolve_static_data
where contiguous strings are joined into a single string.

This will allow equivalence tests to pass when comparing
JSON templates to hand-tidied YAML

Change-Id: I49fb2456388b3fd554ccec00920d7e84f6998183

Set default empty dicts for missing sections

So that the YAML format can be more terse, make empty version and
sections imply the lastest version and an empty dict for the
section content.

Change-Id: Ic8b86065534930852fff1488849dbbbbb6b85243

Don't assume parsed JSON in REST API.

This checks to see if the 'template' attribute is a dict.

If not it uses format.parse_to_template to parse it.
Change-Id: Ic9b9ef3e88a33a93d5896277cc3d4da4fd55fc25

Merge "pip-requires fix boto version"

cfn-json2yaml file-mode bugfix

file-mode wasn't working, also add missing header

Change-Id: I75d15fd73de4ab3ce679ae3a274ec1c402802267
Signed-off-by: Steven Hardy <shardy@redhat.com>

pip-requires fix boto version

Boto version added to pip-requires is wrong - we need a version containing
the commit discussed under https://github.com/boto/boto/pull/742, which is
only included in boto>=2.4.0

Change-Id: Iaaa61f306d4035e63ca3f7a0eafe2d5715585f16
Signed-off-by: Steven Hardy <shardy@redhat.com>