Derive keystone_ec2_uri from auth_uri

ec2token auth_uri must be correctly configured for heat to work.
The /ec2tokens path is not an endpoint in its own right, it is
part of the keystone v2.0 API. The keystone_ec2_uri configuration
parameter was only used for ec2 style credentials validation in
the ec2token middleware.  It might have also propagated all the
way into the user_creds table to be stored for each stack were it
not for this chain of failures (removed in this commit):
- X-Auth-EC2_URL header is set in ec2token, but header X-Auth-EC2-Url
  is read by RequestContext
- RequestContext stores the ec2 uri in aws_auth_uri, but UserCreds
  expects aws_auth_url

Change-Id: I9908e17bed33fdc64d058a6d6db7b29f9c8d53d6

Merge "Use correct actions for StackResource"

Merge "Validate created/updated stacks in StackResource"

Merge "Tidy up a few places in test_engine_serivce.py"

Merge "Update Oslo to 96d1f887dda Part 1"

Fix syntax description of HOT get_attr function

Fix syntax description of get_attr function in HOT specification.
Colon instead of comma was used in array.

Contributes to blueprint hot-specification

Change-Id: I8007d476093ecd5be41020025b486147a5ac038b

Merge "Add debug option to run_tests.sh"

Merge "Move heat-cfn, heat-boto, heat-watch to new repo"

Merge "Fix intermittent failure in autoscaling tests"

Update Oslo to 96d1f887dda Part 1

Oslo version 96d1f887dda21b43ba4376187f31953dee6f5273

This commit just injects fresh portion of code from Oslo
into Heat and fixes all the issues with new code

Partially implements blueprint oslo-db-support

Change-Id: I7e98c12ddf6689efc6ea6a4deab0b1c840297730

Move property constraints validation to Schema

Change-Id: I6e296dfc2243da7cabd24d65799036fc245f0f7a

Remove unneccessary Property constraints from unit tests

It doesn't really make a lot of sense to have constraints on the number of
keys in a Map Property, or on the allowed values in a List Property. In
both cases, we can and should define the Schema for each item. Neither is
used anywhere in the code, since the new Schema/Constraints do not allow
it, and SchemaTest.test_all_resource_schemata() tests that all existing
schemata are valid.

Change-Id: I24e11ec59c75ef770bf040ee8151bbe061f4a864

Add constraint checking to Property schema

Change-Id: Ibec4068a0497ca6ac1dd25decd27fa87585b18a3

Tidy up a few places in test_engine_serivce.py

Change-Id: I3ce32f5057cd074f55466de3a78d8783ab161943

Merge "Introduce new resource_data_delete db api"

Move heat-cfn, heat-boto, heat-watch to new repo

The new home for these tools is
https://github.com/openstack-dev/heat-cfnclient

These tools are now aimed at heat developers only
and they will not be released or packaged.

Change-Id: I1ea62ef17e81ab53cacb5e4940f0c4e2516ed383

Merge "ReST API: Add an API for retrieving resource schemata"

Add debug option to run_tests.sh

Change-Id: Ie21cb8b7a370d5e62c7ac75d37affd62f761765a

Introduce new resource_data_delete db api

This allows removing data associated during to resources during its
lifecycle.

Change-Id: Id45e7cb9129a8187229c708e0d3f6cb2a591bb39

Merge "Fail fast if Resource action methods are missing"

Fix intermittent failure in autoscaling tests

Tests for autoscaling suspend and resume sometimes fail because of an
order issue. The branch changes the mock calls to not rely on order.

Change-Id: I74bcde5c6b486fecbb2c2ed0685ce18c786aa974

Use correct actions for StackResource

To perform actions on a stack, we should use the action constants defined
in the Stack, not in another object (and especially not in a Resource).

Change-Id: I3044f6286fc2690c121a3446f42a6896b3ed3271

Merge "Get rid of unused greenlet things in test_resource"

Merge "Resolve LaunchConfig references"

Merge "Initial input for HOT template guide and spec"

Merge "Don't raise ResourceFailure directly in Instance"

Merge "Enable multi-cloud standalone mode"

Resolve LaunchConfig references

Autoscaling was not working if there were references in the launchconfig.

bug 1211125
Change-Id: Ie3be79d579e87a8026690cbe40c9056591c00e31

Get rid of unused greenlet things in test_resource

Removing useless test cases containing greenlet.GreenletExit
for the sake of 56d5fb9f83b647d27a00d56cb4dad8aad9e1169f

Change-Id: I6a1463c8467ee1750a66b00758428bc74f9371eb

Fail fast if Resource action methods are missing

If a resource is not actually a Resource with create(), delete() &c.
methods then something has gone horribly, horribly wrong. This is not a
priority for handling gracefully at runtime.

Change-Id: Iafce8e4a222677fc590bb579654e195dc4252a9e

Don't raise ResourceFailure directly in Instance

It's meant to be a wrapper around other exceptions that's invoked by
top-level resource operations; don't use it as an all-purpose exception.

Change-Id: I295202bca603006a4d5f5d56110fc4298ddd9cec

ReST API: Add an API for retrieving resource schemata

blueprint resource-properties-schema

Change-Id: I07523a5996eea37a414310c21414be6454d08bfe

RPC: Add an RPC call to get a resource type schema

blueprint resource-properties-schema

Change-Id: Id316393d84b6f1112b80caf14ffb98c937597f40

RPC Client: Add missing unit tests

Change-Id: I6b54a6a2191d094f539045567260e84b962b961b

Merge "Port policy from oslo and refactor heat policy"

Port policy from oslo and refactor heat policy

This patch is to refactor Heat's usage to allow bringing the
policy code from oslo up to the current version to address
many fixed bugs which affect Heat.

    1. Refactor the heat wrapper policy.
    2. Add netaddr in requirement.txt.
    3. Add necessary unit test to cover the refactor part code.

Oslo commit: 3626b6db91ce1e897d1993fb4e13ac4237d04b7f
Fixes bug #1192551

Change-Id: Ia71d14b2cfde9110216ba38a515fee16d0f0c35e

Enable multi-cloud standalone mode

Adds a multi_cloud configuration parameter for auth_password that
tells a standalone Heat installation to look for its auth_url in
the request headers instead of the configuration file.  Also adds
an allowed_auth_uris configuration option to specify which
auth_urls are allowed as targets.

bp heat-multicloud

Change-Id: Ic0929586ac3b57c7f9f3335e0dbd5e14e6b56067

Merge "Fix problem creating ResourceFailure"

Merge "Tidy up RPC API definitions"

Merge "Define a Schema format for properties"

Fix problem creating ResourceFailure

The ResourceFailure exception is being instantiated improperly in
a couple of places.  This changes fixes the problem and adds tests
to cover the problem cases.

Change-Id: I2662a3abde1fd00d275e2190401c20166256cae0
Closes-Bug: 1210681

Validate created/updated stacks in StackResource

StackResource.create_with_template and update_with_template now validate
the resulting stacks.

Change-Id: I52a81edb2af6bee70146f6dbd2179900e580d69b

Merge "Tolerance for modified ceilometer alarm notification"

Tidy up RPC API definitions

Ensure that the layouts of names and values match.

Change-Id: I8cea3dc7ea1fd2a1b722ddd7058564d5195b738b

Define a Schema format for properties

Define a Schema class for properties and their constraints that is easily
serialisable to a JSON schema format that matches the proposed Parameter
input syntax for HOT. Since resource properties have not been exposed to
the user before, this format will make the most sense to a user in the long
term.

A future patch will switch the Property validation code over to using
Schema objects instead of the dictionary-based schemata currently in use.

blueprint resource-properties-schema

Change-Id: I79fa5927bdffeaf103a1c2ba58b709b4ba72b551

Remove meaningless property set in models.HeatBase

Seems this was originally ported from Glance.

Change-Id: I8124e9495a5c7585052e149481db44d1e180ac7d

Tolerance for modified ceilometer alarm notification

Changes to the ceilometer alarm notification payload are
proposed here:

  https://review.openstack.org/40955
  https://review.openstack.org/41056

i.e. field names in the JSON payload are changed with:

  s/state/current/
  s/alarm/alarm_id/

Tolerance is added to the autoscaling logic for the new
field names.

Change-Id: I19f36d9331b6f28a3195fb5012ea0b9ee274ade3

Merge "Use openstack rpc functions to generate _Remote exceptions"

Merge "HOT parameter validator part"

Initial input for HOT template guide and spec

This patch adds initial input for the HOT template guide and the HOT
specification.
Note that content so far is based on features implemented so far and
not forward-looking in any way. Whenever new features get implemented,
the guide and spec will be extended appropriately.

Contributes to blueprint hot-specification

Change-Id: I63d29ab0a1db6703b39f981161063d4fd9f97126

Merge "Implement neutron pool resource"

Merge "Implement neutron health monitor resource"

Merge "db: Remove deprecated assert_unicode attribute"

Merge "Add unittests for faultwrap middleware"

Merge "Remove unnecessary individual import tests.utils.X"

Remove unnecessary individual import tests.utils.X

Fixes bug #1210183

Change-Id: I530675329a17b10ef684ceec6c51b418726abdb2

Merge "Updated from global requirements"

Merge "Refactor compute resources to use nova_utils"

Merge "Remove raw_template_get_all from db api"

Merge "Provide a way to clean up soft deleted data"

Merge "Enable stack soft delete for event persistence"

Merge "Exclude heat-cfn, heat-watch from pep8"

Remove raw_template_get_all from db api

This is not used anywhere in the code base anymore, and does not
seem to be useful in the future.

Change-Id: I5964bc0d402abdb5dde889a4c605fe4d4b4b1376

Provide a way to clean up soft deleted data

Add a purge_deleted command to heat-manage. The command takes an
'age' argument, and removes all database records that have been soft
deleted for more than 'age' days. Default to 90.

blueprint event-persistence

Change-Id: I8a62108a907b4e709c91a93a1f7db6c702cec6b5

Enable stack soft delete for event persistence

Instead of removing database records when deleting data from stack,
table, mark them as deleted through the deleted_at field. And allow
access to soft deleted records by stack Id.

blueprint event-persistence

Change-Id: Iaddd9ba683deab65a9b2be3cc2e727c34e816dd4

Implement neutron pool resource

The branch adds a new resource creating pool instances in
Neutron LBAAS.

Change-Id: Ie55dd0cc5d2a67296ab175dc3bea11ffb63ba928
Implements: blueprint lbaas-resource

Implement neutron health monitor resource

The branch adds a new resource creating health-monitor instances in
Neutron LBAAS.

Implements: blueprint lbaas-resources
Change-Id: Ie133f9c55bf57166e1999bbc0f11fd9b9519c1c2

db: Remove deprecated assert_unicode attribute

Remove deprecated assert_unicode sqlalchemy attribute,
removed in sqlalchemy 0.8.0. The deprecation is described
at:

http://docs.sqlalchemy.org/en/latest/changelog/changelog_08.html#change-ad44af79c886d1bb283042deb64f9cbe

Change-Id: I874be66948fc296bc6afe7f731dc4731645f0fbe
Signed-off-by: Chuck Short <chuck.short@canonical.com>

Refactor some tests for stack soft-delete

A few tests need to be refactored so that they will not break after
applying soft-delete on stack table.

blueprint event-persistence

Change-Id: I62d958521ca41717455d5a26756966cab8bf2bb7

Add unittests for faultwrap middleware

Partially implements bp exception-formatting

Change-Id: Ib57ce625775e222e5b42b22c10687bce7b63d26d

Use openstack rpc functions to generate _Remote exceptions

use serialize_remote_exception and deserialize_remote_exception
to generate _Remote exceptions in api testing.

Change-Id: I30865306830678db493b83512bbcfac3b27ff13b

Merge "Provide a way to clean up testing database"

Merge "Refactor InstanceGroup to use a nested stack"

Merge "Add missing _ imports to allow doc generation"

Merge "Fix H231 Python 3.x incompatible 'except x,y:'"

Merge "Fix H501 Do not use locals() for string formatting"

Merge "Implement an "Action in progress" error."

Exclude heat-cfn, heat-watch from pep8

They are due for removal in https://review.openstack.org/#/c/38228/
and are causing many H233 errors when using the syncronised
requirements versions.

Change-Id: Ie632de44360519a0f705052ebaf4fe1304a0c290

Fix H231 Python 3.x incompatible 'except x,y:'

This is triggered in the pep8 check when using the syncronised
requirements versions.

Change-Id: Ie73c44b85025f79e7358303fab2697e076f7cabf

Fix H501 Do not use locals() for string formatting

This is triggered in the pep8 check when using the syncronised
requirements versions.

Change-Id: If0e38fecaf32d4ba6ec9755f2f11c675acf6d20b

Provide a way to clean up testing database

We will need to clean up stacks(hard delete) sometimes in the tests.
Resoure, ResourceData, and Event need to be cleaned up as well because
of the integrity constraints.

blueprint event-persistence

Change-Id: I355f7a9909eb3ad3febca62fdb57ecbaab73f2ce

Add missing _ imports to allow doc generation

Fixes bug: 1209413

Change-Id: I7d405ceb6a500cbb3d0eb19e85cb0540564e0643

Refactor compute resources to use nova_utils

Change-Id: I4a03a8062998c8f713ada47d0d86f2ace52cc253

Updated from global requirements

Change-Id: Ibf423f14a5c37aa298b2115bfd4936f660c6f530

Merge "Refactor useful nova functions for re-use."

Implement an "Action in progress" error.

Raises an "Action in progress" error if an action is in progress when
another action is issued.

Fixes bug #1207032

Change-Id: I2b6fd92cfa4b93ac2531dd3d76bf2dfc01e58c50

Don't cache data from the API that could change.

The Cloud Server resource caches Nova server objects, which could change
between Heat calls.  Heat should get new data from the Nova API on each
run.

Fixes bug #1208559

Change-Id: I7dd8a99745cf8a3aab974468acae8dc1f85369ee

Merge "Rename Quantum to Neutron"

Merge "Add help option to Config Settings"

Merge "Fix test cases pass dict schema directly as parameter schema object"

Merge "DB models and migration scripts for soft delete"

Stop copying UUIDStub, put it into tests.utils

Change-Id: Ice52f4294df5575579795eecfcbae9748f252e2e

HOT parameter validator part

Introduce new class ParamSchema to decouple parameter and its schema,
do validation in schema, for hot template, implement HotParamSchema as
it subclass.

Implements blueprint hot-parameters

Change-Id: I8720c62e41a1f182584c4518163d422784c23b37

Fix test cases pass dict schema directly as parameter schema object

Filter the parameter schema snippet through a Template object and out
the other side completely unchanged before passing it to Parameter.

Implements blueprint hot-parameters

Change-Id: I8c3dd99c1a2f460f50a92565d9098c70c9e77a8a

Rename Quantum to Neutron

quantumclient is gone upstream and has been replaced by neutronclient.

This patch retains the OS::Quantum::XX namespace

Fixes: bug #1197208
Change-Id: Id48f9598ea1884132d411ad533770ae49494102b

Merge "Don't assign "error" variable twice."

Merge "Add the enabled property to the ceilometer alarm."

Merge "Returns text error when instance validation fails"

Add the enabled property to the ceilometer alarm.

Change-Id: Ic0f96be74f36884868dad52b0bfe494406e031d9

Refactor useful nova functions for re-use.

Refactor handy nova functions out of Instance and into a helper
module. This allows alternate compute implementations to use
this functionality without having to subclass.

Change-Id: I529e2d1324981de7336264b5c697f1944668d013