Merge "Replace httplib with requests for ec2tokens auth"

Merge "Use the global environment to map Quantum to Neutron"

Merge "Add a has_interface() method to the resource class"

Merge "Always validate auth_uri with allowed_auth_uris"

Merge "Rename event logical_resource_id to resource_name"

Use the global environment to map Quantum to Neutron

Change-Id: Id3ccc0538d79955d0112daf37bcd80dce78a0373

Add a has_interface() method to the resource class

This is to better indentify resource types, given that they
can be mapped in the environment.

Change-Id: I6dd552c87b80eb34baec306acd663657ee929b30

Merge "Pass token as a callable to Ceilometer client"

Merge "Remove the Property.schema_from_param() method"

Merge "Generate property Schema objects directly from parameters"

Merge "Use Template to instantiate TemplateResource"

Merge "Use string constants to prevent typo errors"

Merge "Add a CloudWatch::Alarm implementation based on Ceilometer"

Merge "To support both CW and CM, return alarmurl from policy ref"

Merge "Do not delete nova server on create fail"

Pass token as a callable to Ceilometer client

fixes bug #1209240

Change-Id: I5e3e3bb15135273c887f9518f148f17e8953fc96

Merge "Do not assume nova provides a fault on ERROR"

Merge "Add a script show all possible state transitions"

Merge "Convert heat.common.template_format to use C yaml"

Merge "Fix the main docs index page"

Merge "Remove the usecases from environment.py as they are in the docs"

Merge "Add some basic evironment docs"

Merge "Store the generated signed urls in resource_data"

Merge "Remove "lazy=joined" from the resource_data backref"

Merge "Try to reduce the number of tests with the same stack_id"

Merge "Implement Fn::MemberListToMap"

Merge "Limit maximum size of all templates"

Merge "Make the API for getting dependency graph edges public"

Rename event logical_resource_id to resource_name

This is to address an unimplemented comment at
https://review.openstack.org/#/c/41290/2/heat/engine/event.py
Bascically, there is a logical_resource_id/resource_name mismatch to
address, and this patch is trying to resolve that.

Change-Id: Idac696259af30f8db7816499474057c354d73800

Merge "Pass the previous stack to StackUpdate"

Use string constants to prevent typo errors

Change-Id: If8fccaa3f5d77698a50f803c2b97b85c5a7613ea

Add a CloudWatch::Alarm implementation based on Ceilometer

It's off by default for the moment so the current cloudwatch tests can run.

Change-Id: Ibdce9c9223969bdcb8f2368e98dc6ab1241b84df

To support both CW and CM, return alarmurl from policy ref

This is so we can still have the following:
  AlarmActions:
  - {Ref: ServerScaleUpPolicy}

and use Ceilometer underneath.

The watchrule now tries to look up the resource by
both name and resource_by_refid.

Change-Id: I4759806919ab4f3ccef66698235b23f7f310cb03

Store the generated signed urls in resource_data

This is so it does get regenerated everytime GetRefId() is called.

fixes bug 1206505
Change-Id: Ia69d6d65247555918850ecaadfd1c5d1bc837af8

Remove "lazy=joined" from the resource_data backref

This is having some weird interaction with the rsrc_metadata column.
In a later patch I add a call to resource_data_set() in signal_responder
and the metadata tests start failing.

Change-Id: Ib59972fe69570f4ae36e672987419f4841a2de40

Try to reduce the number of tests with the same stack_id

Change-Id: I38a689ed65998adc9a3e6542d11d15283ae61044

Implement Fn::MemberListToMap

This is to allow the CloudWatch::Alarm to be implemented as
a resource template. The Dimensions need to be converted
from [{Name: bla, Value: foo}] into a normal dict.

So we define the Dimensions as a CommaDelimitedList in the template,
then in TemplateResource we see that the property is a list of dicts
and convert it into the aws style memberlist
 '.member.0.Name=bla,.member.0.Value=green'
then in the CW template we can do the following:

matching_metadata:
  "Fn::MemberListToMap": [Name, Value, {"Fn::   Split": [",",
{Ref: Dimensions}]}]

Note: this in not a single case usage as we can use this for the Tags
property that is in a lot of other resources.

Change-Id: I68910c51eaeb0857531028e87b89b9192db4c8ba

Fix the main docs index page

This magic new line makes the main index look a lot better.
It wasn't showing the "HOT templates" level.

Change-Id: I3f7fb65911a4b0f3ad57ddf22c00ec8236261c7e

Remove the usecases from environment.py as they are in the docs

Change-Id: Ibe0b55663a62b4a68f1478d254f1333a56514c38

Add some basic evironment docs

Change-Id: I6edbb7da0d333bd86eabba73631d5df3d4dc8328

Do not delete nova server on create fail

To keep in line with the behaviour of other resources,
a nova server should only be deleted on resource delete.

Fixes bug: #1215132

Change-Id: Ic478754b7b96001fa0d4110a66d008609de7b482

Do not assume nova provides a fault on ERROR

A nova server object in an ERROR state does not
always provide a fault attribute to get the error
reason from.

Fixes bug: #1213285

Change-Id: I861951207cf8fd526a65f768154c76afd0be9081

Merge "Improve update debugging messages"

Add a script show all possible state transitions

The output of this script will be useful in documenting all possible
state transitions.

Change-Id: I24e442ce20fe7730c915a77b85014f44075e03fd

Limit maximum size of all templates

Templates of an extremely large size can eat up tons of CPU time,
memory and storage. By refusing to parse any template over a certain
size, we can prevent users from abusing the service.

Fixes bug #1214234

Change-Id: I2f731c8e2fc9e1f497199e310de81fa48c9582af

Merge "Add UpdatePolicy attribute to Instance/AutoScalingGroup"

Make the API for getting dependency graph edges public

This will allow us to build new dependency graphs from combinations of
existing graphs.

Change-Id: I6da62607fa1e361d4d2e1581fd286c62f0d9470a

Pass the previous stack to StackUpdate

This starts out like the existing stack, but is not stored in the database
or updated as the stack update proceeds. This allows the StackUpdate object
to store any information that might be relevant to a future rollback.

Change-Id: I94f0dd69b5e7818f811c8c0d50566a79b81acba7

Improve update debugging messages

Change-Id: I231275c1ce7dcba441a57d2ac29d2ad59e993e98

Merge "Use the global environment to define AWS::CloudWatch::Alarm"

Merge "Load deployer/global environment files at startup"

Merge "Add an environment_format.py like the template one"

Merge "Fix all the sphinx-build warnings"

Merge "Fix some flake8 warnings in doc/resources.py"

Merge "Fix crash in "make html" introduced by the global env"

Merge "Add new attributes to EIPAssociation resource"

Merge "Introduce nova_utils.server_to_ipaddress"

Fix all the sphinx-build warnings

except this one:
 WARNING: toctree contains reference to nonexisting document u'api/autoindex'

Change-Id: I176a75c1c3fc9603304f11f867df54d7a7b3610a

Fix some flake8 warnings in doc/resources.py

remove doc from the ignore and just fix the issues in conf.py

Change-Id: I30833dd24409087c3482d2034a797fea3f90aa85

Fix crash in "make html" introduced by the global env

Change-Id: Iece0e122841829d3561b71575065ffa7b656b504

Replace httplib with requests for ec2tokens auth

This vastly simplifies the implementation and test mocking.

ec2token middleware is the last piece of code in the heat
repository to be making direct httplib calls.

Change-Id: I3807b27a7699ff19eb46e2721aaa5afd9d6c8ff9

Always validate auth_uri with allowed_auth_uris

The original intention was to allow heat to orchestrate
on any requested cloud when allowed_auth_uris is configured
with an empty list.

This change makes all requests be validated against
allowed_auth_uris for the following reasons:
- there is a potential security issue with requests
  being authorised by a fake keystone, allowing an exploit in
  heat to be executed without any valid authentication factors
  first being presented.
- ec2token middleware will also need to be made multi-cloud aware
  however as a compatible API it is not possible to specify the desired
  auth_uri with each request. Instead ec2token will need a list of
  configured endpoints so that it can try each one until a request
  is authenticated.

Change-Id: I3d6b7edf381a66b87b6e1fae07bc5dbe9db024bc

Add UpdatePolicy attribute to Instance/AutoScalingGroup

This is the second part of a series to implement support
for AutoScaling UpdatePolicy.

Defined new update_policy attribute for InstanceGroup
and AutoScalingGroup, and modified init of InstanceGroup and
AutoScalingGroup to parse UpdatePolicy from the template.
Currently, only InstanceGroup and AutoScalingGroup manages
update using UpdatePolicy and so this is not implemented in the
Resource class. This can be revisited when UpdatePolicy is
applicable to other resource types. The resource validation
method is also overridden here to validate the UpdatePolicy.
Included tests to validate various uses cases of templates
with, with bad, without, and removal of UpdatePolicy. This
patch does not address handling of instances update with
UpdatePolicy yet. The next patch will address that.

Change-Id: I1faf1a8a3ba1faf063b6687b34b57b2a96c6bfa8
blueprint: as-update-policy

Use the global environment to define AWS::CloudWatch::Alarm

This will make it easier for the deployer to define the default
implementation.

Change-Id: If1a8dceb4ad2cade90a56f16dd450e571425c4a6

Load deployer/global environment files at startup

This allows for a global environment that the deployer can use to set
their own defaults.
An example /etc/heat/environment.d/x.yaml

resource_registry:
  "OS::Quantum*": "OS::Neutron*"
  "AWS::RDS::DBInstance": "file:///etc/heat/templates/AWS_RDS_DBInstance.template"

Change-Id: Iee647a109e5a41d41cd4a79909c6edaca0d17b87

Add an environment_format.py like the template one

This to make the section checking mechanism less spread out
and more consistent. This can also be used by the global
environment loader.

Change-Id: I7ca7ad754fb702877dedc416a30f573d239933ad

Add new attributes to EIPAssociation resource

AllocationId
NetworkInterfaceId

The EIP resource also now supports the Domain property, which when set
creates the resource using neutron networking. (Neutron networking is
required for all VPC operations.)

The EIP test covers the new functionality as well as some of the old
using both nova and neutron.

Fixes bug #1164865
Fixes bug #1164866

Change-Id: I7ad7fba8ed6f8a584fc2ca00aaf80144c5274134

Remove the Property.schema_from_param() method

This is now unused.

Change-Id: I5da20effe72a791d6dd8e9cc99ec9e43dea2da07

Generate property Schema objects directly from parameters

Use Schema.from_parameter() instead of Property.schema_from_param() to
generate a property schema from a parameter schema.

Change-Id: I1049822057d954ddbb47027aad136f7b45541943

Use Template to instantiate TemplateResource

Use the Template class, rather than the raw template data, to obtain the
information required to create the schema of a TemplateResource facade.
This will allow this feature to work with multiple template formats (e.g.
HOT vs. CloudFormation).

Change-Id: Ifde739b081e95ed9f14567f35a0a1680c5e9b631

Merge "Create a Schema from a parameter"

Merge "Wrap the resource registration in a global environment"

Introduce nova_utils.server_to_ipaddress

Create a utility function used for now by the instance and load balancer
resources to retrieve one IP of a nova server.

Change-Id: I87ace4c61b03a66f3b0c30f3bacd2fce79332ed0

Convert heat.common.template_format to use C yaml

Will fall back to pyyaml if CSafeLoader/CSafeDumper are not available.
This should increase template parsing performance by a factor of 9 and
reduce memory usage by an order of magnitude.

We also convert the one test that was directly calling yaml to use the
template_format.parse function, so that the same parsing is used
everywhere.

Change-Id: I0d14be2ef7fb2dccac43fc41b1d2d9e4395c6f77
Fixes bug #1214580

Merge "Allow Description in properties schema"

Merge "Allow Parameters to set defaults for TemplateResource"

Use LONGTEXT for templates in MySQL

TEXT in PostgreSQL is an unlimited column size. However, in MySQL, it is
limited to 2^16 bytes. LONGTEXT allows 2^32 bytes, which is overkill,
but will prevent MySQL from silently truncating this column and thus
rendering the entire tenant's API access moot.

Fixes bug #1210799

Change-Id: Ib2b379db32a8296cf8c5a2434e7615afc59288e3

Wrap the resource registration in a global environment

Change-Id: I065dadc9fae19ab21d6d4aeae08334f20da161bb

Create a Schema from a parameter

Add a classmethod to create a property Schema object directly from a
parameter schema.

Change-Id: I335ec48086ea5aeb1fb2afd9af8e93529d9b6051

Allow Parameters to set defaults for TemplateResource

Although it is theoretically possible to infer default values for the
Properties of a TemplateResource from the Parameters of the provider
template, this presents a number of conversion issues that are presently
unhandled.

Instead, pass parameter values only for properties that are supplied.  For
the others, allow the parameter defaults in the template to be used.

Change-Id: I2ba49ffeee06c3a272694c18b3875f843ade1e6c

Merge "Revert "Implement an "Action in progress" error.""

Merge "Add code from Oslo DB 96d1f887dda Part 2"

Allow Description in properties schema

The resource document generation already expects
and uses any supplied Description text.

Change-Id: Ife31cd99f6ff88345c3c06e3efeb4b3393e6351b

Use nova_utils for keypair validation

This removes unnecessary code.

Change-Id: Ide1d12a44213ffd8b7bd414eb00a4d12e3f6cc2a

Move _check_resize to nova_utils

Refactoring as part of blueprint native-nova-instance.

Change-Id: Ice9a4541316ad04ac04b24ac877e0fc3fbeae9c8

Move _deferred_server_statuses to nova_utils

Refactoring as part of blueprint native-nova-instance.

Change-Id: I91234905a2647ed03fd105b0fe5964ce2319248b

Move _delete_server to nova_utils

Refactoring as part of blueprint native-nova-instance.

Change-Id: Iaf3ab0333d891e6ac3bb07832a1acffd3e5ba43e

Merge "Translate user-facing exception messages"

Merge "Catch "FloatingIpPoolNotFound" in eip.py"

Merge "Adding HOT str_replace and get_resource functions"

Revert "Implement an "Action in progress" error."

This reverts commit faf984cbb5e62980e025191450a02d30aae8e02d.

Multi-engine support is being re-designed to account for the use-case in
bug #1211276.

Fixes bug #1211276

Change-Id: Ief89dd6a9c5014752db8065037dd1dd03efe789e

Merge "Make Event object independent of resource object"

Merge "Updated LaunchConfig for AutoScaling UpdatePolicy"

Merge "Tests for s3 and swift resources were extended"

Add code from Oslo DB 96d1f887dda Part 2

Oslo version 96d1f887dda21b43ba4376187f31953dee6f5273

This commit just adds new db related code from Oslo
into Heat without additional changes

Partially implements blueprint oslo-db-support

Change-Id: I97515beaf0713f409405bdc27590e216f6ed1937

Make Event object independent of resource object

The event table is pretty much self contained. So we actually don't
need to referece the corresponding resources to retrieve information.

Fixes bug #1204506

Change-Id: If0b88e0f9e243cf3cc6d747ffa04b9a429ea83a2

Merge "Store owner_id on Stack so updates maintain it"

Translate user-facing exception messages

Exception messages should be translated because they can be
visible to users.  Also convert these strings to use named
format parameters in case translation reorders them.

Change-Id: Ife6de17890ba153b8124e91edce6e6d540da3cac

Merge "Tolerate missing user on signal responder delete"

Updated LaunchConfig for AutoScaling UpdatePolicy

This is the first part of a series to implement support
for AutoScaling UpdatePolicy.

Updated LaunchConfiguration resource type to return
self.physical_resource_name() in FnGetRefId(). For both
InstanceGroup and AutoScalingGroup, the property
LaunchConfigurationName is added to the list of update allowed
properties. With this change, any property change to the
LaunchConfiguration resource will be result in a different
LaunchConfigurationName on reference resolution and thus will
trigger InstanceGroup and AutoScalingGroup to handle the update.

Change-Id: I94da8f7083b64873c511b953c6bc63dba2b51034
blueprint: as-update-policy