Hot SoftwareConfig model part

Provide components model and related methods

Implements blueprint hot-software-config

Change-Id: I251d10f25943513ef346883263a4dd2e0f6fb7a6

Move property constraints validation to Schema

Change-Id: I6e296dfc2243da7cabd24d65799036fc245f0f7a

Remove unneccessary Property constraints from unit tests

It doesn't really make a lot of sense to have constraints on the number of
keys in a Map Property, or on the allowed values in a List Property. In
both cases, we can and should define the Schema for each item. Neither is
used anywhere in the code, since the new Schema/Constraints do not allow
it, and SchemaTest.test_all_resource_schemata() tests that all existing
schemata are valid.

Change-Id: I24e11ec59c75ef770bf040ee8151bbe061f4a864

Add constraint checking to Property schema

Change-Id: Ibec4068a0497ca6ac1dd25decd27fa87585b18a3

Merge "Introduce new resource_data_delete db api"

Merge "ReST API: Add an API for retrieving resource schemata"

Introduce new resource_data_delete db api

This allows removing data associated during to resources during its
lifecycle.

Change-Id: Id45e7cb9129a8187229c708e0d3f6cb2a591bb39

Merge "Fail fast if Resource action methods are missing"

Merge "Get rid of unused greenlet things in test_resource"

Merge "Resolve LaunchConfig references"

Merge "Initial input for HOT template guide and spec"

Merge "Don't raise ResourceFailure directly in Instance"

Merge "Enable multi-cloud standalone mode"

Resolve LaunchConfig references

Autoscaling was not working if there were references in the launchconfig.

bug 1211125
Change-Id: Ie3be79d579e87a8026690cbe40c9056591c00e31

Get rid of unused greenlet things in test_resource

Removing useless test cases containing greenlet.GreenletExit
for the sake of 56d5fb9f83b647d27a00d56cb4dad8aad9e1169f

Change-Id: I6a1463c8467ee1750a66b00758428bc74f9371eb

Fail fast if Resource action methods are missing

If a resource is not actually a Resource with create(), delete() &c.
methods then something has gone horribly, horribly wrong. This is not a
priority for handling gracefully at runtime.

Change-Id: Iafce8e4a222677fc590bb579654e195dc4252a9e

Don't raise ResourceFailure directly in Instance

It's meant to be a wrapper around other exceptions that's invoked by
top-level resource operations; don't use it as an all-purpose exception.

Change-Id: I295202bca603006a4d5f5d56110fc4298ddd9cec

ReST API: Add an API for retrieving resource schemata

blueprint resource-properties-schema

Change-Id: I07523a5996eea37a414310c21414be6454d08bfe

RPC: Add an RPC call to get a resource type schema

blueprint resource-properties-schema

Change-Id: Id316393d84b6f1112b80caf14ffb98c937597f40

RPC Client: Add missing unit tests

Change-Id: I6b54a6a2191d094f539045567260e84b962b961b

Merge "Port policy from oslo and refactor heat policy"

Port policy from oslo and refactor heat policy

This patch is to refactor Heat's usage to allow bringing the
policy code from oslo up to the current version to address
many fixed bugs which affect Heat.

    1. Refactor the heat wrapper policy.
    2. Add netaddr in requirement.txt.
    3. Add necessary unit test to cover the refactor part code.

Oslo commit: 3626b6db91ce1e897d1993fb4e13ac4237d04b7f
Fixes bug #1192551

Change-Id: Ia71d14b2cfde9110216ba38a515fee16d0f0c35e

Enable multi-cloud standalone mode

Adds a multi_cloud configuration parameter for auth_password that
tells a standalone Heat installation to look for its auth_url in
the request headers instead of the configuration file.  Also adds
an allowed_auth_uris configuration option to specify which
auth_urls are allowed as targets.

bp heat-multicloud

Change-Id: Ic0929586ac3b57c7f9f3335e0dbd5e14e6b56067

Merge "Fix problem creating ResourceFailure"

Merge "Tidy up RPC API definitions"

Merge "Define a Schema format for properties"

Fix problem creating ResourceFailure

The ResourceFailure exception is being instantiated improperly in
a couple of places.  This changes fixes the problem and adds tests
to cover the problem cases.

Change-Id: I2662a3abde1fd00d275e2190401c20166256cae0
Closes-Bug: 1210681

Merge "Tolerance for modified ceilometer alarm notification"

Tidy up RPC API definitions

Ensure that the layouts of names and values match.

Change-Id: I8cea3dc7ea1fd2a1b722ddd7058564d5195b738b

Define a Schema format for properties

Define a Schema class for properties and their constraints that is easily
serialisable to a JSON schema format that matches the proposed Parameter
input syntax for HOT. Since resource properties have not been exposed to
the user before, this format will make the most sense to a user in the long
term.

A future patch will switch the Property validation code over to using
Schema objects instead of the dictionary-based schemata currently in use.

blueprint resource-properties-schema

Change-Id: I79fa5927bdffeaf103a1c2ba58b709b4ba72b551

Remove meaningless property set in models.HeatBase

Seems this was originally ported from Glance.

Change-Id: I8124e9495a5c7585052e149481db44d1e180ac7d

Tolerance for modified ceilometer alarm notification

Changes to the ceilometer alarm notification payload are
proposed here:

  https://review.openstack.org/40955
  https://review.openstack.org/41056

i.e. field names in the JSON payload are changed with:

  s/state/current/
  s/alarm/alarm_id/

Tolerance is added to the autoscaling logic for the new
field names.

Change-Id: I19f36d9331b6f28a3195fb5012ea0b9ee274ade3

Merge "Use openstack rpc functions to generate _Remote exceptions"

Merge "HOT parameter validator part"

Initial input for HOT template guide and spec

This patch adds initial input for the HOT template guide and the HOT
specification.
Note that content so far is based on features implemented so far and
not forward-looking in any way. Whenever new features get implemented,
the guide and spec will be extended appropriately.

Contributes to blueprint hot-specification

Change-Id: I63d29ab0a1db6703b39f981161063d4fd9f97126

Merge "Implement neutron pool resource"

Merge "Implement neutron health monitor resource"

Merge "db: Remove deprecated assert_unicode attribute"

Merge "Add unittests for faultwrap middleware"

Merge "Remove unnecessary individual import tests.utils.X"

Remove unnecessary individual import tests.utils.X

Fixes bug #1210183

Change-Id: I530675329a17b10ef684ceec6c51b418726abdb2

Merge "Updated from global requirements"

Merge "Refactor compute resources to use nova_utils"

Merge "Remove raw_template_get_all from db api"

Merge "Provide a way to clean up soft deleted data"

Merge "Enable stack soft delete for event persistence"

Merge "Exclude heat-cfn, heat-watch from pep8"

Remove raw_template_get_all from db api

This is not used anywhere in the code base anymore, and does not
seem to be useful in the future.

Change-Id: I5964bc0d402abdb5dde889a4c605fe4d4b4b1376

Provide a way to clean up soft deleted data

Add a purge_deleted command to heat-manage. The command takes an
'age' argument, and removes all database records that have been soft
deleted for more than 'age' days. Default to 90.

blueprint event-persistence

Change-Id: I8a62108a907b4e709c91a93a1f7db6c702cec6b5

Enable stack soft delete for event persistence

Instead of removing database records when deleting data from stack,
table, mark them as deleted through the deleted_at field. And allow
access to soft deleted records by stack Id.

blueprint event-persistence

Change-Id: Iaddd9ba683deab65a9b2be3cc2e727c34e816dd4

Implement neutron pool resource

The branch adds a new resource creating pool instances in
Neutron LBAAS.

Change-Id: Ie55dd0cc5d2a67296ab175dc3bea11ffb63ba928
Implements: blueprint lbaas-resource

Implement neutron health monitor resource

The branch adds a new resource creating health-monitor instances in
Neutron LBAAS.

Implements: blueprint lbaas-resources
Change-Id: Ie133f9c55bf57166e1999bbc0f11fd9b9519c1c2

db: Remove deprecated assert_unicode attribute

Remove deprecated assert_unicode sqlalchemy attribute,
removed in sqlalchemy 0.8.0. The deprecation is described
at:

http://docs.sqlalchemy.org/en/latest/changelog/changelog_08.html#change-ad44af79c886d1bb283042deb64f9cbe

Change-Id: I874be66948fc296bc6afe7f731dc4731645f0fbe
Signed-off-by: Chuck Short <chuck.short@canonical.com>

Refactor some tests for stack soft-delete

A few tests need to be refactored so that they will not break after
applying soft-delete on stack table.

blueprint event-persistence

Change-Id: I62d958521ca41717455d5a26756966cab8bf2bb7

Add unittests for faultwrap middleware

Partially implements bp exception-formatting

Change-Id: Ib57ce625775e222e5b42b22c10687bce7b63d26d

Use openstack rpc functions to generate _Remote exceptions

use serialize_remote_exception and deserialize_remote_exception
to generate _Remote exceptions in api testing.

Change-Id: I30865306830678db493b83512bbcfac3b27ff13b

Merge "Provide a way to clean up testing database"

Merge "Refactor InstanceGroup to use a nested stack"

Merge "Add missing _ imports to allow doc generation"

Merge "Fix H231 Python 3.x incompatible 'except x,y:'"

Merge "Fix H501 Do not use locals() for string formatting"

Merge "Implement an "Action in progress" error."

Exclude heat-cfn, heat-watch from pep8

They are due for removal in https://review.openstack.org/#/c/38228/
and are causing many H233 errors when using the syncronised
requirements versions.

Change-Id: Ie632de44360519a0f705052ebaf4fe1304a0c290

Fix H231 Python 3.x incompatible 'except x,y:'

This is triggered in the pep8 check when using the syncronised
requirements versions.

Change-Id: Ie73c44b85025f79e7358303fab2697e076f7cabf

Fix H501 Do not use locals() for string formatting

This is triggered in the pep8 check when using the syncronised
requirements versions.

Change-Id: If0e38fecaf32d4ba6ec9755f2f11c675acf6d20b

Provide a way to clean up testing database

We will need to clean up stacks(hard delete) sometimes in the tests.
Resoure, ResourceData, and Event need to be cleaned up as well because
of the integrity constraints.

blueprint event-persistence

Change-Id: I355f7a9909eb3ad3febca62fdb57ecbaab73f2ce

Add missing _ imports to allow doc generation

Fixes bug: 1209413

Change-Id: I7d405ceb6a500cbb3d0eb19e85cb0540564e0643

Refactor compute resources to use nova_utils

Change-Id: I4a03a8062998c8f713ada47d0d86f2ace52cc253

Updated from global requirements

Change-Id: Ibf423f14a5c37aa298b2115bfd4936f660c6f530

Merge "Refactor useful nova functions for re-use."

Implement an "Action in progress" error.

Raises an "Action in progress" error if an action is in progress when
another action is issued.

Fixes bug #1207032

Change-Id: I2b6fd92cfa4b93ac2531dd3d76bf2dfc01e58c50

Don't cache data from the API that could change.

The Cloud Server resource caches Nova server objects, which could change
between Heat calls.  Heat should get new data from the Nova API on each
run.

Fixes bug #1208559

Change-Id: I7dd8a99745cf8a3aab974468acae8dc1f85369ee

Merge "Rename Quantum to Neutron"

Merge "Add help option to Config Settings"

Merge "Fix test cases pass dict schema directly as parameter schema object"

Merge "DB models and migration scripts for soft delete"

Stop copying UUIDStub, put it into tests.utils

Change-Id: Ice52f4294df5575579795eecfcbae9748f252e2e

HOT parameter validator part

Introduce new class ParamSchema to decouple parameter and its schema,
do validation in schema, for hot template, implement HotParamSchema as
it subclass.

Implements blueprint hot-parameters

Change-Id: I8720c62e41a1f182584c4518163d422784c23b37

Fix test cases pass dict schema directly as parameter schema object

Filter the parameter schema snippet through a Template object and out
the other side completely unchanged before passing it to Parameter.

Implements blueprint hot-parameters

Change-Id: I8c3dd99c1a2f460f50a92565d9098c70c9e77a8a

Rename Quantum to Neutron

quantumclient is gone upstream and has been replaced by neutronclient.

This patch retains the OS::Quantum::XX namespace

Fixes: bug #1197208
Change-Id: Id48f9598ea1884132d411ad533770ae49494102b

Merge "Don't assign "error" variable twice."

Merge "Add the enabled property to the ceilometer alarm."

Merge "Returns text error when instance validation fails"

Add the enabled property to the ceilometer alarm.

Change-Id: Ic0f96be74f36884868dad52b0bfe494406e031d9

Refactor useful nova functions for re-use.

Refactor handy nova functions out of Instance and into a helper
module. This allows alternate compute implementations to use
this functionality without having to subclass.

Change-Id: I529e2d1324981de7336264b5c697f1944668d013

Refactor InstanceGroup to use a nested stack

Much of the code of InstanceGroup was able to be deleted in
preference for using the native functionality of StackResource.
InstanceGroup now generates a template and updates the nested
stack when it needs to be created or resized.

blueprint instance-group-nested-stack

Fixes bug 1189278

Change-Id: Ic08a55cad1ac34d69080c0ef2dae4877f1fefd29

DB models and migration scripts for soft delete

Only apply soft-delete on stack table for now. event, user_creds
and raw_template records will remain unchanged after stack
deletion, and those 'deleted' data can be cleaned up by the
purge_delete command provided in follow patch.

blueprint event-persistence

Change-Id: I173cc6037615ff252968297981c36e51cb9d3fd3

Returns text error when instance validation fails

Since heat now is able to return parsable errors by middleware, we
don't need to return jsonfied error strings here.

Fixes Bug 1204582

Change-Id: Id3d68b9996ad67df0e25c6db5754f73bfa1e8830

Merge "Fix test cases pass dict as template object directly."

Add Babel missing requirement

Babel is required by heat.openstack.common.gettextutils but was only in
test-requirements.txt.

Fixes bug #1208673

Change-Id: Iaffcbc861e64caa37d64335f0fb6e568672ffc52

Fix test cases pass dict as template object directly.

Pass an actual Template object instead of a dictionary to Parameters

Implements blueprint hot-parameters

Change-Id: I2c101ca3eaeb918b093b49069842c0d5c349ffc8

Merge "Rename: VALUES to ALLOWED_VALUES, PATTERN to ALLOWED_PATTERN"

Merge "Change token name from context."

Merge "Small tweaks to recreation of remote errors"

Merge "Revert "Replace part_handler.py with write-files cloudinit mechanism""

Don't assign "error" variable twice.

Fixes bug #1208567

Change-Id: Iaf22f68935d833d749615f998f402fe997e8e029

Merge "Include the resource and action in ResourceFailure exceptions"

Merge "Unit tests: Don't raise ResourceFailure directly"

Merge "unit tests: Add a handle_delete method to GenericResource"

Change token name from context.

Remove password auth from pyrax to conform with
the changes going through the engine regarding
not using a password. Previous commit was an
incorrect branch with a bug.

blueprint pyrax-token-auth

Change-Id: I47cd00199133b88a2343b12c847635c726452629