Include new doc directory

Change-Id: If5041669717aaa9287bff315b9b6e4f9db7b374f
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

run_tests.sh fixup venv/novenv logic

The section which prompts y/n for creating a new venv can never be
reached with any combination of CLI options (since always_venv=0 and
never_venv=0 can never happen simultaneously)

This actually makes the --no-virtual-env option pointless, so we may
as well remove it and explicitly set it as the default (it was anyway
previously but by virtue of the never_venv option being undefined)

Change-Id: I3c803533fda55a6814b7536b5c1328312acd3d57
Signed-off-by: Steven Hardy <shardy@redhat.com>

run_tests.sh cosmetic, make if/then style consistent

I introduced an inconsistent style with the pep8 check patch, so fixing this up here

Change-Id: I9a1a612172e493e0d2476c7f6613bbb9b9de2878
Signed-off-by: Steven Hardy <shardy@redhat.com>

run_tests.sh cosmetic cleanup indents

fix indents so it's consistent ts=4

Change-Id: I6fb2e7b3670bba00ad45d76d2dbb6b56c25281ff
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Avoid logging.getChild for python2.6 compatibility"

update tox.ini to pep8 latest (1.3.4)

Most of the core projects are currently 1.3.3, but since 1.3.4 is
the current latest it seemed best to align with the latest.A
Also add a check to run_tests.sh to ensure peoples local tests align
with the new gate version

fixes bug 1092057

Change-Id: I16dc7e51536781f7a14b7954c24b1aa078b37fa8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat cleanups to align unit tests with pep8 1.3.4

Lots of (mostly whitespace) cleanups to align all the unit test code
with pep8 v1.3.4

ref bug 1092057

Change-Id: I5c847f20b3516af3dd3d7211b0fc697c59bf914c
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat cleanups to align functional tests with pep8 1.3.4

Lots of (mostly whitespace) cleanups to align all the functional test code
with pep8 v1.3.4

ref bug 1092057

Change-Id: Ifd6ef02bf3abd0b2f351f63423ab8aa7ff0cbd7c
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat cleanups to align with pep8 1.3.4

Lots of (mostly whitespace) cleanups to align all the non-test code with
pep8 v1.3.4

ref bug 1092057

Change-Id: I444b288444dba4ec1da5854bd276d091c06d8489
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix DescribeStacks command for all stacks

Fixes: bug 1092196
Change-Id: I05065c08b4072a9c179ebfb36fb15f062de3f06e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Improve format of resource_types response

Wrap the list in a JSON object for consistency with other APIs, both in
Heat and the rest of OpenStack.

Change-Id: I626f1c2446416c8e869fdc7d4f3772ec6c6d191c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Return an ARN as the Ref for nested stacks

Change-Id: I32b6b952dcd29ba895fc7b22dd362352068c85bf
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Split nested stack implementation into abstract and concrete

Split the Stack resource class into an abstract part from which other
resource types inherit and a concrete implementation of the
AWS::CloudFormation::Stack resource type.

Change-Id: Ie7600b94e17ec31b55bae5c4d9501d3f0cbca97c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Avoid logging.getChild for python2.6 compatibility

Tweaking common.config setup_logging to avoid using the getChild()
convenience function means we can run on python 2.6, as getChild was
new in python 2.7

Change-Id: I03698ad09eb16d4f1004512d27b049f22b41c22c
Signed-off-by: Steven Hardy <shardy@redhat.com>

RPC API: Pass a stack identifier to metadata_update

This brings it into line with all of the other RPC functions.

bug 1088937

Change-Id: Ia45a12d652e96fb6bb03ce90d0b5a5e2ddeeb510
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Pass correct types in RPC Client unit tests

Pass an actual identity structure for the identity.

Change-Id: I0930520c8329100ba27aa6db0d977dfcd8a097c1
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Update links in composed templates

These have changed due to the move of the project repository from the
heat-api to openstack organisations on GitHub.

Change-Id: Ib11116d7ca48e108e06d1dea9d9decd17bbf25cd
Signed-off-by: Zane Bitter <zbitter@redhat.com>

A new documention structure, ready for contributions

Here are some skeletons for the documentation which will need to be written.

doc/source
A Sphinx based document which will be aimed at heat developers.
     This also contains .rst files which generate the man files
doc/docbkx/api-ref
Docbook and WADL for the REST API, with the intent of moving this
to api-site to publish to api.openstack.org
doc/docbkx/heat-admin
Docbook manual targeted at Heat admins, with the intent of moving this
        to openstack-manuals to publish to docs.openstack.org
doc/docbkx/heat-cli
Docbook manual targeted at users of the Heat CLI, with the intent of
moving this to openstack-manuals to publish to docs.openstack.org

Dude, wheres my man pages?
docs/man
is deleted, now generated into doc/build/man

Packaging will need to be updated to generate the man pages

Change-Id: Idf2f37086b6f97df18ed57172de2f9e3d4c7706a

pip-requires PyCrypto should be >= 2.1.0

We need PyCrypto>=2.1.0 for Random which is used in
heat.common.crypt

Change-Id: Ib951deaca17f972aa70a2a65f6e3ade5fb509981
Signed-off-by: Steven Hardy <shardy@redhat.com>

Add support for missing Instance attributes PrivateIp and PublicDnsName.

Change-Id: I9d85f00a8ca687ad791be4a9fa6708df3ad67a55
Fixes: bug #1091497

GettingStarted: Install python-pip package

pip-python is not installed by default, so we need to install it in order
to be able to use it. (An alternative would be to use easy_install, which
is packaged as part of setuputils and therefore already present, but it
lacks any of pip-python's package management capabilities.)

Change-Id: I6a620d0864b6671348bbcf962c3c2cde06f9ed83
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix issues with deleting a WaitCondition

Previously we were ignoring the reference to the WaitConditionHandle stored
in the database by always setting it to None on load. This meant that we
had to try to recreate it on delete, which would fail if e.g. the
WaitConditionHandle had already been deleted.

bug 1089354

Change-Id: Ibc4145348a91b455e97ba27748ff72451b0c7bce
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix importing of novaclient exceptions

Broken by 3c702e38e9a51a15a8d1626b60f610c75cb1f8b7

Also, use novaclient's own mechanism for selecting the correct API version;
don't go fishing in the internals.

Change-Id: I296312f185735026587ba9849343aa79177856a3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

tools/openstack_ubuntu fix nova-manage network create command

Command for creating nova network is wrong, as tested on 12.04

ref bug 1083507
Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I41ae9370c42a0e9b7df4d1810e0f90f32bd87bba

Handle empty UserData for instance

UserData is not required, so handle the case where it is not supplied (i.e.
is None).

bug 1090544

Change-Id: If8bfe9ba2aafe3bb2e9de14b01c57d1ddcf9b21d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make resource registration conditional

If client libraries are not present for Swift or Quantum, don't register
the corresponding resource types.

Change-Id: I95a42973775b7f4c1d82caa47dc0660dfe54bb21
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a resource type list to the ReST API

Change-Id: I09f5e9fc97ef095c7ab8def8adf4dcc79c6fcd48
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add an RPC API to list resource types

Change-Id: I0218dcebf9213887e9b7883e6bba9b6b54a6e6ad
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Standardise client imports

Do all client imports once, in the clients module, using the normal
OpenStack idiom for optional imports where appropriate.

Change-Id: I1186eba21159fe20e80c1947779fd164dada5880
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix ReST API documentation for template validation

The user parameters are not used in template validation.

Change-Id: Iba438b2977f8029c0f0f7e6e65e853d23e4d2b0d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Add ubuntu version of tools/openstack"

install.sh non-root error should go to stderr

The non-root error should go to stderr like the other echo output

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I1d9c51c43f9a2db0b50c4c95fc0a0e4505078c51

install.sh add logic detecting rabbitmq

Detect rabbitmq (On Ubuntu and Fedora), and sed the config files
with appropriate values if it looks like we're installing on a
system with rabbitmq and not the default qpidd

fixes bug 1090420

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I04a40aab00e7e13d245900aeb384d769d57c4012

Merge "tools/openstack fixup header formatting"

tools/openstack fixup header formatting

Current header is abbreviated, so paste in the full boilerplate
text like in other files

Change-Id: I8675f80f37ab6ea2ba2323f3f87985224883466a
Signed-off-by: Steven Hardy <shardy@redhat.com>

Add ubuntu version of tools/openstack

Initial version of the tools/openstack install script to simplify install/
testing on Ubuntu - tested on 12.04LTS (with the included Essex packages)
12.10 testing TODO

ref bug 1083507

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I450b20e18dfa3099cfd17152b5ec61cc34122665

install.sh simplify heat-engine.conf conditional

Minor tweak to the conditional detecting heat-engine.conf to sed in the
encryption key - this will allow rabbitmq detection to only be done in
one place

ref bug 1090420

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I9031218796a52efd350c39167ecb112048dad218

Remove heat-metadata man page

The binary no longer exists.

Change-Id: Ib914f94d091b1388d254c53dc3a7821750266b18
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "heat_keystoneclient ec2 user fix"

Get rid of naked "except:" clauses in tests

Change-Id: Idec15ef86ff0f9cb57b4a8c522e4f5ed63bad010
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Don't skip watchrule test on exception

There are no circumstances in which failing to import the
heat.engine.watchrule module would not be an issue.

Change-Id: I6d03ed8f761a24aa69409010390289e387523813
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of unused imports

This cruft just tends to build up over time...

Change-Id: I61fd067b431aaa57164c7ff781c9cc8bab04bd4b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of nose.main() in unit test files

This doesn't actually work and is not universally present, so get rid of
it. Tests are run through "nosetests", which does actually work.

Change-Id: Ib2d1e857e0aef4eab5fd75ffb1a498d8e9186c01
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat_keystoneclient ec2 user fix

Fix bug where we incorrectly use the request context user_id,
instead of the user_id associated with the resource calling
get_ec2_keypair()

fixes bug 1089035

Change-Id: Ibb5e6d11461fb3ff1dd743066a9f7de3ee65b445
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "heat cfn api, format waitcondition error responses correctly"

Move the cfn client code to a subpackage

This will make packaging easier.

Change-Id: I8e0f0a3d85bdf073a3b3272f920ad60f27e929e3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat cfn api, format waitcondition error responses correctly

Return errors from the waitcondition part of the CFN API in a similar
format to other CFN API responses, by catching engine errors and mapping
the error to an appropriate HeatAPIException.

fixes bug 1089032

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I40486ed53fd4968519f623a3ea5a96f6c3374ea5

Override events for AutoScalingGroup instances

Override state-transition events by subclassing the Instance
resource to AutoScalingGroupInstance, this avoids problems where
events can't lookup the resource via parser.Stack (since these
resources aren't "real" resources defined in the template)

fixes bug 1089338

Change-Id: Ia064cd067eefdaa5ca81b0cb822ce2fa443bac85
Signed-off-by: Steven Hardy <shardy@redhat.com>

resource state_set, abstract update/store logic

Abstract the DB update/store logic so the state_set function
can be more cleanly overridden for AutoScalingGroupInstance

ref bug 1089338

Change-Id: I02dc52068feaeed8ec8210269d9abb7b124f0a19
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't allow identifiers with slashes

Ensure that creating an Identifier with a slash in either the stack name or
the resource name results in an immediate exception.

Change-Id: I79121a26009b5b7b3eee994f98ba802b239f5f12
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Don't allow slashes in Stack or Resource names

There is no way for the ReST API to handle Stack or Resource names that
contain slashes since WSGI decodes the path before passing it to the
application, such that even correctly url-encoded slashes are
indistinguishable from path separators. Therefore, prohibit slashes in
Stack and Resource names.

bug 1088928

Change-Id: Ie6fa5a1bc7b5ae7054300419644008c5cc42187e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Fix race condition in list_stacks"

Move resolved template comparison to stack update

This partially reverts the following commit
https://review.openstack.org/#/c/17563/3

Resource comparison is now done as per Zane's last comment in that review.

Change-Id: I1663d262b79603ab86bc5bdb4f2ee75e87c0075e

Fix race condition in list_stacks

A stack may be deleted between querying the stacks to list and formatting
each stack.

This issue was found by concurrently creating and deleting 100 stacks
while running heat list.

Change-Id: I4a47bbdbde111454672c2579caf28b4675c3cf10

Get rid of glanceclient dependency

We're not actually using it anywhere, and its keystoneclient version
requirements are causing us not to be able to install. Move it instead to
the test-requires, since the functional tests are still actually using it.

Change-Id: I74e68ddb4b65235b6c192c619e9e8e85e30beab9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat engine : convert WaitConditionHandle URL to ARN format

Convert the WaitConditionHandle URL format to use the ARN format,
the resulting URL will be similar to the AWS format

fixes bug 1087799

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I04b1f6cd913c54c9f4fa82cc1e76be22a19fe2ea

Merge "heat : Add HeatIdentifier from_url function"

heat : Add HeatIdentifier from_url function

Add method to create a HeatIdentifier from a URL containing an ARN

ref bug 1087799

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie325de9105e85dbf9fd12be5e7b8c3d055e77795

Merge "Eventlet monkey-patch heat-api-cloudwatch."

Merge "Eventlet monkey-patch heat-api-cfn"

Merge "Eventlet monkey-patch heat-api"

Merge "Add test to simply run a few binaries"

Eventlet monkey-patch heat-api-cloudwatch.

Tested by getting responses from cloudwatch, but not with a full
end-to-end cloudwatch validation
Change-Id: I2d81adc8e63b9be7dec02083509ab706ae0c5a7f

Eventlet monkey-patch heat-api-cfn

Tested by running bin/heat-cfn commands
Change-Id: I158a0d8d9b545191001ecdabfa9f331cf937bf4e

Eventlet monkey-patch heat-api

I have a stress test which uses python-heatclient to create
an empty template, list the stacks, and delete the created stack.

Running 100 of these jobs concurrently takes 64 seconds without this patch,
and 17 seconds with it.

Change-Id: I8963da477aa8fcec724e2e5afcd5ec92ff5b07d1

Merge "Don't pass -1 as a stack_id in unit tests"

Merge "Make Volume tests independent"

Merge "Clean up the volume test"

Merge "Fix Instance unit tests"

Merge "Switch over missed file in version switch"

Add test to simply run a few binaries

This is not really a unit test, but it's so fast that I think it could
be considered as such. And it would be nice to gate on such blatant
breakage.

Change-Id: I8ff4ca27a912c30bd962168418ac44217ea9e54d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Switch over missed file in version switch

Bug 1078480

Change-Id: Ic196086467c68bfe718ba6845711da172b237688
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Don't pass -1 as a stack_id in unit tests

We now use UUIDs as stack IDs, but in most cases even that is not
necessary.

Change-Id: I0ef4efb5c3289c6c3d0fd3d0232118c0e906f8b5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make Volume tests independent

Previously, the VolumeAttachment tests relied on stuff left in the database
by the Volume tests.

Change-Id: I8ff63cb6dac0968e63a83fb5c2f78e2a9024dd7c
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Clean up the volume test

Various renaming/reformatting done while debugging an issue of the tests
not being independent.

Change-Id: I65f2f6ba2f5af2f5a233ea15faa62a7e087e2bd1
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix Instance unit tests

These were all kinds of broken.

Change-Id: Ib219886f5d8e0fea3ee9c71a78b6c7603d1adc98
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add back catch_error which is used for CLI errors

Change-Id: Ib8b975d22950d5ba6aa9d5f150403a64356a8aa3
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Switch to openstack style versioning"

Merge "heat-db-setup read engine config file for DB connection details"

Switch to openstack style versioning

Bug 1078480

Change-Id: I32471acc16e7ca6f60672474c9bf70537ba76fd2
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Update openstack-common to get newly fixed version.py"

Update openstack-common to get newly fixed version.py

Now at oslo-incubator version ea7ced276d2f080718cd89f3a77378cdf24fabf5

Bug 1078480

Change-Id: I0569a1c0b8af42ceb768095d4b852b557b238e61
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat-db-setup read engine config file for DB connection details

Currently heat-db-setup, or rather the underlying python -m heat.db.sqlalchemy.manage
has a hard-coded database connection URL, so DB setup will fail if a non-default
configuration exists in /etc/heat/heat-engine.conf.

This attempts to read the sql_connection from the DEFAULT section of heat-engine.conf
falling back to the old default string on failure.

bug/1087741

Change-Id: Ieb41503a58ee0804d79a32a8286268803c9f456c
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't get nested stacks by name

Don't return nested stacks from stack_get_by_name(). This prevented the
user creating a stack with the same name as a nested stack, and was a
temporary workaround for the metadata server (see
be3c066ab87cc6e1a2ca8c097eeccd9217d7329a)

bug 1072954

Change-Id: I1e3d0289476377f5b4169835119052f4fa573f86
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix exception handling in AccessKey fetching

bug 1087527

Change-Id: I3de5b27e927ac18aa91f124cd5ef0333c1a83fe2
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Move utils.py to a more appropriate location

It's only used by the database code.

Change-Id: Icd81fdb950b84bcbd365dd80f701a4992f695ea7
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of leftover heat-jeos code in utils

This code, including the Glance client dependency, was left over from when
what is now heat-jeos was part of the heat codebase.

Change-Id: I35081fb7911ad1ea3284cbb6e3f83dd8c6a1807f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of pointless cloudformation.py file

Change-Id: Ib75cf51903029f7ba38a48acb62eb35d3ccbb763
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of the cfn_helper tests

The code this was testing doesn't even exist any more, so we will always be
skipping it.

Change-Id: Iac8352094e82ce168e621dc8b9a5833247aa5275
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Enable VPC unit tests

We don't need quantumclient because the tests use a fake client anyway, so
don't skip the test if it is not installed.

Change-Id: I7cd2447b5a68072d2b43228ab85c53d0124496e5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Enable Quantum unit tests

We don't need quantumclient because the tests use a fake client anyway, so
don't skip the test if it is not installed.

Change-Id: Ib350dca6eb8ea27c8b1980eba15b3c9c48738d87
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get rid of naked except: clauses

The only time it is legitimate to catch all exceptions is when the
exception is rethrown.

Change-Id: If72243d7a2c73b42de01d2a59514ead76c20d034
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Update getting started wiki links

Getting started wiki links need to point to the new wiki
location on wiki.openstack.org

Change-Id: I2a0e711fc59dcee303b787662dd9ddef0bf344b7
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : Clarify openstack versions for Fedora releases

Update getting started to clarify which versions of openstack are
expected to work with each Fedora version - I tested F18 alpha and
things worked OK, so now F18 is beta things should work on F18, and
I've been running F17+folsom preview for quite a while with no problem

Change-Id: I0610e69ec22ca399cec21bc67f72dc10cb6c4597
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : Update repositiory in getting started guide

Getting started still points to the old github location

Change-Id: I6437285b0a095e4e0ef25ca065c396a5517192b6
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add version.py from openstack-common"

Add version.py from openstack-common

Bug 1078480

Change-Id: Ia5d4ff63db2907271b8f0ec7fec76ca4cad257d2
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Update openstack-common"

Merge "Do not wrap exceptions during quantum resource delete"

Do not wrap exceptions during quantum resource delete

The stack should go into the DELETE_FAILED state, and a delete
is attempted on all resources regardless of failures.

Change-Id: Ib707c8112d9053a8627c733f4323f514d30628e9