uses os.urandom instead of Crypto.Random for backward compatibility

Crypto.Random has been introduced by pycrypto 2.1 but in RHEL6 and
derivates you will only find pycrypto 2.0.1

Change-Id: Ib601981b0b8fcb5b3e8fc8761ee05adf7f6574fa

Merge "Update to the latest loopingcall from oslo."

heat templates : Update Wordpress config for F18 guests

F18 contains apache 2.4 which requires a different syntax to enable
non-local access to the wordpress install

fixes bug #1166897

Change-Id: Ia63cceeba35904f05a1b4cf76fc075d3cdc7cd86

heat : Getting started updates for grizzly

Update GettingStarted to drop references to F16/essex and add the
password sed which is required when running grizzly installed via
tools/openstack on Fedora

Change-Id: I08d265e2e2388b54a6aa9f47c4930c32f71f3e93

heat : cloudwatch paste.ini credentials incorrect

The cloudwatch paste config should specify service/heat
like the other API services, not admin/admin

Change-Id: I0590c88edd6b544aba467ab171dd7f610b50c380

heat tools : openstack script fixes for grizzly

Update tools/openstack so it works with the grizzly preview repo
(tested on F18 with both grizzly repo and folsom distro packages)

fixes bug #1164605

Change-Id: I347a53c9be677131dad37f9fbeb1ed5eb9cb810b

Merge "Remove paste config for non-existant cache filters"

Merge "Remove unused and deprecated auth-context filter"

Update to the latest loopingcall from oslo.

This needs threadgroup as well, as it uses loopingcall.

Change-Id: Idfa68519c9e263830c9e6a16c2e1bfbd8c89069d

Remove paste config for non-existant cache filters

This appears to be junk DNA from glance, which has filters
for caching image files.

Change-Id: Id7ae29028d351dd005a61a5727bc7d40ceb0a705

Remove unused and deprecated auth-context filter

keystone.middleware.auth_token is now just aliased to
keystoneclient.middleware.auth_token.

Also heat_auth_token doesn't seem to exist, so this has likely
always been broken

Change-Id: I5eadd9a02e41921b39fc8b6783c22010893bb5e9

Attempt to delete resources even if they failed

To do otherwise risks leaving resources silently running that exist but
have experienced some kind of error during creation.

Fixes bug 1165023

Change-Id: Ie60fb053b1a596d102ca1b6a8429dd50ed41ff92

Fix AccessKey deletion with bad credentials

If an AccessKey could not be created, it also could not be deleted. This
change allows deletion of the resource to proceed even if the user does not
exist.

Fixes bug 1155824

Also fixes a bug that the actual key would never be deleted, because the
resource_id is set to None beforehand.

Change-Id: I34886410e3e25ad62e4eba537063f922b011e25a

Merge "ReST API: Translate the documentation to WADL"

Merge "Delete unused ContextMiddleware"

Delete unused ContextMiddleware

heat.common.context.ContextMiddleware appears to be the only
one that matters

Change-Id: If4166fa75f7179251b132ac6082b7f29d94b6e97

Replace deprecated commands with current equivalents

Change-Id: I871d7f0e5cd0a22a284a6e6733607feafbbb52a2

Fix sphinx warnings

Change-Id: I0e2e837d7114bde22a5a4b2ffb65aa06416c0a97

ReST API: Translate the documentation to WADL

Change-Id: Ib1847ee2266d188f198fdf8fb7feb53770d9c1a5

Merge "Add Getting Started Guides the developer doc's"

Merge "No longer pass no_cache=True to novaclient create"

Merge "Pass in endpoint url for quantum auth_token auth"

Merge "Allow nova operations with only auth_token"

Merge "Pass in endpoint url for swift auth_token auth"

Merge "Allow cinder operations with only auth_token"

Merge "Log tracepath for stack validate exceptions."

Add Getting Started Guides the developer doc's

These have been copied from the wiki.

DocImpact
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
Change-Id: I4c93bc5a1811e674cef3c7868e7cf9a457c12dea

No longer pass no_cache=True to novaclient create

The default is now os_cache=False, so default behaviour will not
use a keyring that prompts for a password.

This was committed on 2012-12-12 and released in
python-novaclient 2.11.0 on 2013-02-11

Part of blueprint auth-token-only

Change-Id: Id2846b2e344f8e3321240795aebf9a59ddad711a

Log tracepath for stack validate exceptions.

Calling validate on each resource exercises a lot of code, and
will at times cause non-validation related exceptions.

This change just logs the tracepath for any exception that happens
during validate.

This may be a contender for backporting to milestone-proposed,
since diagnosing some problems on the grizzly branch will be
difficult without it

Change-Id: Ib010a8ec826552e2817da3a22c633dcac6c3ffc6
Fixes: bug #1163586

Pass in endpoint url for quantum auth_token auth

This aligns quantum auth_token only authentication with the
way Horizon does it.

Tested by launching a stack with and without the --token-only flag

Also tested using Horizon, which is auth_token only

Part of blueprint auth-token-only

Change-Id: Ic6d471de527951415ef4858cbbff27cf60561924

Allow nova operations with only auth_token

This uses the same technique as Horizon for auth_token operations.

Specifically, the nova endpoint is found directly from keystone
and the auth_token and management_url are set on novaclient
after it has been created.

Note that the explicit call to authenticate() is not required
and actually breaks the auth_token case.

Tested by launching a stack with and without the --token-only flag

Also tested using Horizon, which is auth_token only

Part of blueprint auth-token-only

Change-Id: Ic11a838b96a4b5130cb2ac9d685e8a97c9d0a0ad

Pass in endpoint url for swift auth_token auth

This aligns swift auth_token only authentication with the
way Horizon does it, and avoids python-swiftclient bug #1160172

Tested by launching a stack with and without the --token-only flag

Also tested using Horizon, which is auth_token only

Part of blueprint auth-token-only

Change-Id: I0622f76e93df4f7353fc0cc61dc962b6c8f0be11

Allow cinder operations with only auth_token

This uses the same technique as Horizon for auth_token operations.

Specifically, the cinder endpoint is found directly from keystone
and the auth_token and management_url are set on cinderclient
after it has been created.

Client libs are in theory capable of looking up their own endpoints
given an auth_token, but in practice this is the code-path least
travelled and there are many issues. I think it is best to do what
Horizon does, since all Horizon operations use only a token and always
provide the endpoint to the client lib.

Tested by launching a stack with and without the --token-only flag

Also tested using Horizon, which is auth_token only

Part of blueprint auth-token-only

Change-Id: Iea9159299ad3f354bcc768c9ac1172d6d9f814a8

Catch NotFound exceptions on Volume handle_delete

Currently stack delete fails if the underlying volume is
already deleted.
Fixes: bug #1163067
Change-Id: I9d7c009f70a0bb7274f3e19cbe10e9061c5e2d60

Merge "Fix swift client token authentication"

Merge "Make swift FnGetAtt fault tolerant and block less"

Merge "Don't assume a Parameter value is a str"

heat engine : Autoscaling reload Loadbalancer correctly

Since the change implemented as part of bug #1136148 we no longer
wait for nova to create the instance before reloading the loadbalancer
which means we race nova assigning an IP to the instance and typically
the loadbalancer config ends up with the 0.0.0.0 default value
which the loadbalancer implementation uses when nova returns no IP.

This patch moves the LB reload into a separate function, which is called
after instances are active on group creation or adjustment

Since our loadbalancer is broken without this fix, this is a candidate
for backporting to grizzly milestone-proposed.

fixes bug #1160407

Change-Id: I50423883dead9a615aa79b8765d5480a9345686d

Don't assume a Parameter value is a str

Currently show_stack and list_stacks will fail for templates
which have a Number in the Parameters.

This should be considered for backport to milestone_proposed.

Change-Id: I1b20babf0998f7714f8bc7bf144e03ff1d7c0c91
Fixes: bug #1160653

Make swift FnGetAtt fault tolerant and block less

head_container is now only called for required attributes
and will tolerate failure if there is an issue with the underlying
container.

This was preventing deleting of stacks with swift resources.

Possibly this is eligible for backporting to milestone-proposed.

Change-Id: I2f489126957f11924943955a7f63a2ebc45f1911
Fixes: bug #1160584

heat : remove fallback ec2signer implementation

Now keystoneclient 0.2.3 has been released, we can remove the
temporary internal ec2signer implementation

Change-Id: I9f050b8771400384615f1ae7f3da76da501e5197

Fix swift client token authentication

Triggered by launching a stack containing swift containers
through Horizon.

The swift client does its own endpoint lookup if we don't know
it, so we don't have to do it ourselves. Also, our endpoint lookup
was broken in the auth_token codepath.

Part of blueprint auth-token-only

Change-Id: I1876f233001a58cb17e7dd7d5cf8883e295a9b87

validate_template returns whole Parameters snippet

Currently the engine validate_template returns cfn formatted
Parameters from the template, which isn't actually very useful
to build a full UI from a validate call.

This change returns the original Parameters template snippet
and changes the cfn api to reformat to the CFN API legacy format.

The Parameters section of the RPC and the REST APIs now return
a dictionary containing the parameters as specified in the template.
Previously the Parameters section contained a list in the CFN API
format.

Pseudo parameters are filtered out of the validate results.

Change-Id: Iea53dc847ff13f5f479ec3a66bcf141c4ccaeb25
Fixes: bug #1157537

heat getting started : fix heat-jeos URL

heat-jeos URL is wrong since heat-api org got deleted

Change-Id: Ic1a89117e9928931fdc07f8fe2934a9d965e3c1e

Merge "Get rid of versioninfo cruft"

Merge "Tolerate missing keys in reformat_dict_keys"

Change executable file permission for rpmlint

(sync.py)

Change-Id: I335510e6ef2788389248de90c05191c84440ff78
Fixes: Bug #1158009
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Change executable file permissions for rpmlint

Fixes: Bug #1158009
Change-Id: I761debfb77be5cf5204af90a013d7f4f043fdb17
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Tolerate missing keys in reformat_dict_keys

For validate, some keys are optional but still need mapping
if they are there.

Helps bug #1157537

Change-Id: Ib29cd99979a84892a98117c607651ea4c352e3d1

Get rid of versioninfo cruft

The version information is no longer stored in a file.

Fixes: Bug #1157885
Change-Id: Ide0662ad3d7b2596743cd9427bc3b50e8357ffe1
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Bump Heat version to 2013.2

Heat PTL Signoff for 2013.1

Change-Id: Ic8d91e1629642bbb54f673c1e879898d66e010bc

Merge "Create a wsgi factory method for Debug filter."

Merge "If a stack create fails, ensure the stack is deleteable"

Merge "Add heat-keystone-setup man page"

Create a wsgi factory method for Debug filter.

This can be enabled by putting the following in the *-paste.ini
file:
[filter:debug]
paste.filter_factory = heat.common.wsgi:filter_factory
heat.filter_factory = heat.common.wsgi:debug_filter

and adding 'debug' to the pipeline.

This assisted with bug #1133792

Change-Id: I4c2d3194ac9673d095b4115d4b6f385fd2f4fa4e

If a stack create fails, ensure the stack is deleteable

The resource delete operation attempts to delete CREATE_FAILED
resources.  Further it attempts to delete resources that were
not created during a creation operation because further processing
of the template does not take place.

This patch special cases these two conditions in the delete operation.

Change-Id: I1c83ba68754f38a0f7e91e77fcf02177c457504e
Fixes: Bug #1155824

Merge "heat docs : Add 2013 to the copyright string"

Merge "Add a manual page for heat-db-setup"

Merge "Use built-in exception filtering for GreenletExit"

Add a manual page for heat-db-setup

Change-Id: I628d9e1295238b0bc405fc6ccb464889b85090e0
Fixes: Bug #1153691

Add heat-keystone-setup man page

Change-Id: I314ce01d35d65e3b50b72d2abaf51710b8461da7
Fixes: Bug #1153693

Merge "part-handler: add missing import"

Merge "loguserdata: handle exceptions from running the userdata"

Merge "Allow per-deployment configuration of user id"

Merge "Remove ssh from cloud-config-files"

Sort the manual page list in conf.py

Change-Id: I81c193c23a3b78cb98d54157a486bf15dc3ab979
Fixes: Bug #1153691

Allow per-deployment configuration of user id

Previously user ids of new instances were limited to ec2-user.
This patch adds a new configuration option to be placed in
/etc/heat/heat-engine.conf called "default_instance_user" which
allows the default of ec2-user to be overriden.

Note for reviewers that runcmd does not work properly.  It was
actually running after the loguserdata.py script finished execution.

Fixes: Bug #1101347
Change-Id: Ica2dbe63d9dcbce8bb8de298eba452c34ab173d9

Merge "loguserdata: prevent shadowing of arguments and globals"

Remove ssh from cloud-config-files

the cc_ssh script already executes in cloud config without being
explicitly called.  As it is now, it is executing twice.

Make it execute only once.

Change-Id: I2d53adbea0175f63db71be516639d40aa0f8a1de

Merge "Update dependency versions to match oslo-incubator"

Merge "heat engine : fix exception syntax issue"

loguserdata: handle exceptions from running the userdata

- log the exceptions so the user can diagnose issues.

bug 1154641
Change-Id: Ic085c9f062255a9fa44b3e31b464c9ebd19a947c
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

loguserdata: prevent shadowing of arguments and globals

cleaning this up for bug 1154641

Change-Id: I95271bdeba1bba29e78af79de4e2173d07750e4f
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

part-handler: add missing import

errno is used in the excption but not imported.

bug 1154887
Change-Id: I1c2961f08824d919ed2483a0a9cf54c50862f354

Merge "Remove Nova dependencies from hacking test"

Merge "heat docs : Add heat-watch manpage"

heat engine : fix exception syntax issue

Fix exception clause to use a tuple or the two types of
exception are not correctly caught.

fixes bug 1154708

Change-Id: Ia742c92dc189d03f8034ca864334526f1234dde3

heat docs : Add manpage for heat-boto

Fixes bug 1153688

Change-Id: Ie48c7158d253951e5885e8b701cd1c4c9a5fa37e

Remove Nova dependencies from hacking test

References to Nova in the docstrings(!) of the hacking.py tests caused the
run_pep8.sh script to fail if the Grizzly development version of Nova was
not installed. Update all the references to use Heat packages instead.

Change-Id: I2e84e9a231451705d61fa9acddc65ee95a98e294

heat docs : Add 2013 to the copyright string

Change-Id: I0c86ccfd7232396d1fc6883b37adc2d5b877d19c

heat docs : Add heat-watch manpage

fixes bug 1153689

Change-Id: I7a4566cb850cf94761c1948fa7ad976e7d4f5446

Update dependency versions to match oslo-incubator

Fixes bug 1097843

Change-Id: I3bd56261ed9e3640adb07965d4394d99db45e0b5

Fix security groups (need to be accessed as attributes)

bug 1134193
Thanks Lukas Barton for the patch in the bug.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
Change-Id: I448ba76fcf47d4e02775ff8eca38897eb399a3cc

Merge "Remove todolist from docs index"

Remove todolist from docs index

This does not seem to be supported, so removing.

bug 1153681
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
Change-Id: I830980997438562d1ec241c33fcd8e67c32b21d9

Only split roles if they are not None.

Change-Id: I2fbfbd6f6b1c898f7032744f9411821d5d97048c
Signed-off-by: Ian Main <imain@redhat.com>
Fixes: bug #1136891

Merge "Revert NestedStack FnGetRefId changes"

Merge "heat engine : Add validation of stack names"

Merge "heat templates : Update for F18"

Revert NestedStack FnGetRefId changes

This partially reverts commit e376c83cbd57c0720336848e4b82e3b7b804a347.

Allow StackResource to set the resource_id, since it will be the one
retrieving the stack using it.

Fixes bug #1154202

Change-Id: I2140afb4e9bf89b4eb73e45f4ef5974df98e87e1

Merge "Squash Grizzly database migrations"

Merge "Pin SQLAlchemy to 0.7.x"

Switch to final 1.1.0 oslo.config release

Fixes bug #1128256

oslo.config has now been released to PyPI in time for Grizzly RC1 so
we can switch to using it directly.

Change-Id: I655f831718ae5f4e25e941ee206fe195214a9a91

heat templates : Update for F18

Remove F16 as it's EOL, update with F18 as it's the current
version.  Leave the default as F17 for now in all except the
Openshift templates (because Openshift doesn't work on F17,
although these templates are currently broken anyway..)

fixes bug 1154121

Change-Id: Ia95e6bfb4a15e355dfb0051d57f5b70a408551c6

heat engine : Add validation of stack names

Add regex validation of stack names, aligns us with stack names
allowed by AWS, with the addition of "." and "_" characters

fixes bug 1103447

Change-Id: I8fab0d3ad03379dfc2a18dc016e66ca8fee6cc86

Pin SQLAlchemy to 0.7.x

0.7.10 has been released and is compatible with 0.7.x. Instead
of pinning to 0.7.9, simply pin to 0.7.x to avoid SQLAlchemy 0.8

Fixes: Bug #1153983
Change-Id: I1a2ea0c36161df15fd55e95a6679628d14858944

Squash Grizzly database migrations

Fixes bug #1072949

Change-Id: I07e4d1454141c9011aacdec3a4eb01a3ea1936c9

Use internal DB management

Use our own internal code for managing database migrations, rather than
calling sqlalchemy-migrate's command line directly. This allows us to
automatically specify the initial version of the database, which is
required in order to be able to squash migrations (bug 1072949).

Change-Id: I88206f8b55fe6fe4016cee8e5bf1d5eeb0ae30d2

Merge "Register DB options independently of engine"

Merge "Avoid manipulating DB directly in unit test"