Merge "remove unused config options"

Merge "Process request exceptions while fetching template"

Merge "Use system locale when Accept-Language header is not provided"

Merge "Fix incorrect use of ServerError"

Merge "Fix install.sh calling setup.py"

Merge "Store the backup stack during updates"

Merge "Pass owner_id to stack_get_by_name()"

Merge "Add a method of creating a backup stack in the DB"

Merge "Allow a Provider with a known facade its own schema"

Merge "Evaluate lazy translation in exception __str__"

Merge "Handling re-delete in rackspace db resource"

Merge "Replace httplib with requests for ec2tokens auth"

Merge "Use the global environment to map Quantum to Neutron"

Merge "Add a has_interface() method to the resource class"

Store the backup stack during updates

Change-Id: I64e19b0117c98eced4308727594b77e938d7ee4c

Pass owner_id to stack_get_by_name()

The heat.db.sqlalchemy.api supports this parameters, but heat.db.api did
not.

Change-Id: Ic805dcf6c8afdbe9e667c55d9c3b6864a76ce19a

Add a method of creating a backup stack in the DB

This is a temporary storage place for resources that are going to be
deleted once their replacements are created. They must be moved out of
the stack in order to avoid conflicting with the replacement resource.

Change-Id: I081498f4c8732f893dc0d0677cf2b3f40f56d808

Merge "Always validate auth_uri with allowed_auth_uris"

Merge "Rename event logical_resource_id to resource_name"

Evaluate lazy translation in exception __str__

The OpenStackException.__str__ method returns
self._error_string which is actually a gettextutil.Message
object not a str.

str(o) will check the return type of o.__str__() and raise
TypeError if __str__ returns non-string object.

The fix will not go into oslo as OpenStackException is
about to be deprecated. And this patch is also the first
step to remove all the references to oslo exception.py.

Fixes bug #1208454

Change-Id: Ib6abe3517bcb1b34fc6a71e5c46ee3774e067f9a

Allow a Provider with a known facade its own schema

Allow a TemplateResource behind the facade of a known plugin to supply a
different schema to the facade resource. However, check during validation
that the two are basically compatible. The provider template must:

- Define parameters for all *required* properties of the facade.
- Define parameters that map to the same types as the facade properties.
- Not have *required* parameters that do not exist in the facade.
- Define outputs for all attributes of the facade.

Change-Id: Ie40ecbb43d3d6749266f2cb6d723c8537fcc23dd

Use the global environment to map Quantum to Neutron

Change-Id: Id3ccc0538d79955d0112daf37bcd80dce78a0373

Add a has_interface() method to the resource class

This is to better indentify resource types, given that they
can be mapped in the environment.

Change-Id: I6dd552c87b80eb34baec306acd663657ee929b30

Merge "Pass token as a callable to Ceilometer client"

Merge "Remove the Property.schema_from_param() method"

Merge "Generate property Schema objects directly from parameters"

Merge "Use Template to instantiate TemplateResource"

Merge "Use string constants to prevent typo errors"

Merge "Add a CloudWatch::Alarm implementation based on Ceilometer"

Merge "To support both CW and CM, return alarmurl from policy ref"

remove unused config options

There are several historical cut/paste unused options, which have
also now found there way into heat.conf.sample, which will confuse
users, so best to remove them.

Fixes bug #1215834

Change-Id: I0fe4717327fc67fe109bef4ba1758d2f18e84520

Merge "Do not delete nova server on create fail"

Pass token as a callable to Ceilometer client

fixes bug #1209240

Change-Id: I5e3e3bb15135273c887f9518f148f17e8953fc96

Merge "Do not assume nova provides a fault on ERROR"

Merge "Add a script show all possible state transitions"

Merge "Convert heat.common.template_format to use C yaml"

Merge "Fix the main docs index page"

Merge "Remove the usecases from environment.py as they are in the docs"

Merge "Add some basic evironment docs"

Merge "Store the generated signed urls in resource_data"

Merge "Remove "lazy=joined" from the resource_data backref"

Merge "Try to reduce the number of tests with the same stack_id"

Merge "Implement Fn::MemberListToMap"

Merge "Limit maximum size of all templates"

Merge "Make the API for getting dependency graph edges public"

Rename event logical_resource_id to resource_name

This is to address an unimplemented comment at
https://review.openstack.org/#/c/41290/2/heat/engine/event.py
Bascically, there is a logical_resource_id/resource_name mismatch to
address, and this patch is trying to resolve that.

Change-Id: Idac696259af30f8db7816499474057c354d73800

Merge "Pass the previous stack to StackUpdate"

Use string constants to prevent typo errors

Change-Id: If8fccaa3f5d77698a50f803c2b97b85c5a7613ea

Add a CloudWatch::Alarm implementation based on Ceilometer

It's off by default for the moment so the current cloudwatch tests can run.

Change-Id: Ibdce9c9223969bdcb8f2368e98dc6ab1241b84df

To support both CW and CM, return alarmurl from policy ref

This is so we can still have the following:
  AlarmActions:
  - {Ref: ServerScaleUpPolicy}

and use Ceilometer underneath.

The watchrule now tries to look up the resource by
both name and resource_by_refid.

Change-Id: I4759806919ab4f3ccef66698235b23f7f310cb03

Store the generated signed urls in resource_data

This is so it does get regenerated everytime GetRefId() is called.

fixes bug 1206505
Change-Id: Ia69d6d65247555918850ecaadfd1c5d1bc837af8

Remove "lazy=joined" from the resource_data backref

This is having some weird interaction with the rsrc_metadata column.
In a later patch I add a call to resource_data_set() in signal_responder
and the metadata tests start failing.

Change-Id: Ib59972fe69570f4ae36e672987419f4841a2de40

Try to reduce the number of tests with the same stack_id

Change-Id: I38a689ed65998adc9a3e6542d11d15283ae61044

Implement Fn::MemberListToMap

This is to allow the CloudWatch::Alarm to be implemented as
a resource template. The Dimensions need to be converted
from [{Name: bla, Value: foo}] into a normal dict.

So we define the Dimensions as a CommaDelimitedList in the template,
then in TemplateResource we see that the property is a list of dicts
and convert it into the aws style memberlist
 '.member.0.Name=bla,.member.0.Value=green'
then in the CW template we can do the following:

matching_metadata:
  "Fn::MemberListToMap": [Name, Value, {"Fn::   Split": [",",
{Ref: Dimensions}]}]

Note: this in not a single case usage as we can use this for the Tags
property that is in a lot of other resources.

Change-Id: I68910c51eaeb0857531028e87b89b9192db4c8ba

Fix the main docs index page

This magic new line makes the main index look a lot better.
It wasn't showing the "HOT templates" level.

Change-Id: I3f7fb65911a4b0f3ad57ddf22c00ec8236261c7e

Remove the usecases from environment.py as they are in the docs

Change-Id: Ibe0b55663a62b4a68f1478d254f1333a56514c38

Add some basic evironment docs

Change-Id: I6edbb7da0d333bd86eabba73631d5df3d4dc8328

Do not delete nova server on create fail

To keep in line with the behaviour of other resources,
a nova server should only be deleted on resource delete.

Fixes bug: #1215132

Change-Id: Ic478754b7b96001fa0d4110a66d008609de7b482

Do not assume nova provides a fault on ERROR

A nova server object in an ERROR state does not
always provide a fault attribute to get the error
reason from.

Fixes bug: #1213285

Change-Id: I861951207cf8fd526a65f768154c76afd0be9081

Merge "Improve update debugging messages"

Add a script show all possible state transitions

The output of this script will be useful in documenting all possible
state transitions.

Change-Id: I24e442ce20fe7730c915a77b85014f44075e03fd

Limit maximum size of all templates

Templates of an extremely large size can eat up tons of CPU time,
memory and storage. By refusing to parse any template over a certain
size, we can prevent users from abusing the service.

Fixes bug #1214234

Change-Id: I2f731c8e2fc9e1f497199e310de81fa48c9582af

Merge "Add UpdatePolicy attribute to Instance/AutoScalingGroup"

Make the API for getting dependency graph edges public

This will allow us to build new dependency graphs from combinations of
existing graphs.

Change-Id: I6da62607fa1e361d4d2e1581fd286c62f0d9470a

Pass the previous stack to StackUpdate

This starts out like the existing stack, but is not stored in the database
or updated as the stack update proceeds. This allows the StackUpdate object
to store any information that might be relevant to a future rollback.

Change-Id: I94f0dd69b5e7818f811c8c0d50566a79b81acba7

Improve update debugging messages

Change-Id: I231275c1ce7dcba441a57d2ac29d2ad59e993e98

Merge "Use the global environment to define AWS::CloudWatch::Alarm"

Merge "Load deployer/global environment files at startup"

Merge "Add an environment_format.py like the template one"

Merge "Fix all the sphinx-build warnings"

Merge "Fix some flake8 warnings in doc/resources.py"

Merge "Fix crash in "make html" introduced by the global env"

Merge "Add new attributes to EIPAssociation resource"

Merge "Introduce nova_utils.server_to_ipaddress"

Fix all the sphinx-build warnings

except this one:
 WARNING: toctree contains reference to nonexisting document u'api/autoindex'

Change-Id: I176a75c1c3fc9603304f11f867df54d7a7b3610a

Fix some flake8 warnings in doc/resources.py

remove doc from the ignore and just fix the issues in conf.py

Change-Id: I30833dd24409087c3482d2034a797fea3f90aa85

Fix crash in "make html" introduced by the global env

Change-Id: Iece0e122841829d3561b71575065ffa7b656b504

Replace httplib with requests for ec2tokens auth

This vastly simplifies the implementation and test mocking.

ec2token middleware is the last piece of code in the heat
repository to be making direct httplib calls.

Change-Id: I3807b27a7699ff19eb46e2721aaa5afd9d6c8ff9

Always validate auth_uri with allowed_auth_uris

The original intention was to allow heat to orchestrate
on any requested cloud when allowed_auth_uris is configured
with an empty list.

This change makes all requests be validated against
allowed_auth_uris for the following reasons:
- there is a potential security issue with requests
  being authorised by a fake keystone, allowing an exploit in
  heat to be executed without any valid authentication factors
  first being presented.
- ec2token middleware will also need to be made multi-cloud aware
  however as a compatible API it is not possible to specify the desired
  auth_uri with each request. Instead ec2token will need a list of
  configured endpoints so that it can try each one until a request
  is authenticated.

Change-Id: I3d6b7edf381a66b87b6e1fae07bc5dbe9db024bc

Add UpdatePolicy attribute to Instance/AutoScalingGroup

This is the second part of a series to implement support
for AutoScaling UpdatePolicy.

Defined new update_policy attribute for InstanceGroup
and AutoScalingGroup, and modified init of InstanceGroup and
AutoScalingGroup to parse UpdatePolicy from the template.
Currently, only InstanceGroup and AutoScalingGroup manages
update using UpdatePolicy and so this is not implemented in the
Resource class. This can be revisited when UpdatePolicy is
applicable to other resource types. The resource validation
method is also overridden here to validate the UpdatePolicy.
Included tests to validate various uses cases of templates
with, with bad, without, and removal of UpdatePolicy. This
patch does not address handling of instances update with
UpdatePolicy yet. The next patch will address that.

Change-Id: I1faf1a8a3ba1faf063b6687b34b57b2a96c6bfa8
blueprint: as-update-policy

Use the global environment to define AWS::CloudWatch::Alarm

This will make it easier for the deployer to define the default
implementation.

Change-Id: If1a8dceb4ad2cade90a56f16dd450e571425c4a6

Load deployer/global environment files at startup

This allows for a global environment that the deployer can use to set
their own defaults.
An example /etc/heat/environment.d/x.yaml

resource_registry:
  "OS::Quantum*": "OS::Neutron*"
  "AWS::RDS::DBInstance": "file:///etc/heat/templates/AWS_RDS_DBInstance.template"

Change-Id: Iee647a109e5a41d41cd4a79909c6edaca0d17b87

Add an environment_format.py like the template one

This to make the section checking mechanism less spread out
and more consistent. This can also be used by the global
environment loader.

Change-Id: I7ca7ad754fb702877dedc416a30f573d239933ad

Process request exceptions while fetching template

requests raises subclass of requests.exception.RequestException, not
IOError. And the code explicitly calls raise_for_status to avoid HTTP
errors being silently ignored.

Fixes bug #1214429

Change-Id: Ib3ea7e4fea459a231f0bb7f113e3d66983b006c2

Add new attributes to EIPAssociation resource

AllocationId
NetworkInterfaceId

The EIP resource also now supports the Domain property, which when set
creates the resource using neutron networking. (Neutron networking is
required for all VPC operations.)

The EIP test covers the new functionality as well as some of the old
using both nova and neutron.

Fixes bug #1164865
Fixes bug #1164866

Change-Id: I7ad7fba8ed6f8a584fc2ca00aaf80144c5274134

Remove the Property.schema_from_param() method

This is now unused.

Change-Id: I5da20effe72a791d6dd8e9cc99ec9e43dea2da07

Generate property Schema objects directly from parameters

Use Schema.from_parameter() instead of Property.schema_from_param() to
generate a property schema from a parameter schema.

Change-Id: I1049822057d954ddbb47027aad136f7b45541943

Use Template to instantiate TemplateResource

Use the Template class, rather than the raw template data, to obtain the
information required to create the schema of a TemplateResource facade.
This will allow this feature to work with multiple template formats (e.g.
HOT vs. CloudFormation).

Change-Id: Ifde739b081e95ed9f14567f35a0a1680c5e9b631

Handling re-delete in rackspace db resource

Current implementation of db resource throws exception if the
resource was already deleted(All the other resources are not
throwing). This fix is to make db resource behavior similar to
other resources.

Fixes Bug #1197077

Change-Id: I4537180115400e6f6183e72a74bdd3ada220a3fa

Fix incorrect use of ServerError

ServerError is being incorrectly used to report an internal error
leading to an error formatting the response, as there's no body
specified to the format string.  Use exception.Error instead and
adjust the message to make the user-visible response clearer.

Fixes bug #1214457

Change-Id: I83435686170c4f40658968a35f1faa303f50f4a4

Merge "Create a Schema from a parameter"

Merge "Wrap the resource registration in a global environment"

Introduce nova_utils.server_to_ipaddress

Create a utility function used for now by the instance and load balancer
resources to retrieve one IP of a nova server.

Change-Id: I87ace4c61b03a66f3b0c30f3bacd2fce79332ed0

Convert heat.common.template_format to use C yaml

Will fall back to pyyaml if CSafeLoader/CSafeDumper are not available.
This should increase template parsing performance by a factor of 9 and
reduce memory usage by an order of magnitude.

We also convert the one test that was directly calling yaml to use the
template_format.parse function, so that the same parsing is used
everywhere.

Change-Id: I0d14be2ef7fb2dccac43fc41b1d2d9e4395c6f77
Fixes bug #1214580

Use system locale when Accept-Language header is not provided

Remove en_US as the default language when no header is provided, and use
None instead. Upon translation None will be defaulted to system as it
was before the translation changes.

Fixes bug: #1214476

Change-Id: I0fe22c526710e69ae0731e7d0b42170e6f3a8523

Merge "Allow Description in properties schema"

Merge "Allow Parameters to set defaults for TemplateResource"

Use LONGTEXT for templates in MySQL

TEXT in PostgreSQL is an unlimited column size. However, in MySQL, it is
limited to 2^16 bytes. LONGTEXT allows 2^32 bytes, which is overkill,
but will prevent MySQL from silently truncating this column and thus
rendering the entire tenant's API access moot.

Fixes bug #1210799

Change-Id: Ib2b379db32a8296cf8c5a2434e7615afc59288e3

Wrap the resource registration in a global environment

Change-Id: I065dadc9fae19ab21d6d4aeae08334f20da161bb

Create a Schema from a parameter

Add a classmethod to create a property Schema object directly from a
parameter schema.

Change-Id: I335ec48086ea5aeb1fb2afd9af8e93529d9b6051