Merge "Always resolve properties against the current stack"

Merge "Adds support for Neutron Firewall"

Merge "Use oslo.sphinx for the doc templates"

Always resolve properties against the current stack

During an update, resources can get moved around between stacks. Ensure
that the properties are always resolved against whatever the current stack
is, without needing to replace self.properties.

Change-Id: I09f984cdf4478ca7dda2b0a0f1aa5a63dd2c19bc

Remove the rest references to exception.py

Remove the rest references to Oslo exception.py in Heat code base, so that Oslo
maintainer can go ahead and remove the openstack/common/exception.py file.

Change-Id: I19d325e2117f31a887c593e31b61e25729f7a053

Merge "Implement a load balancer resource using new neutron pool"

Merge "Allow in-place update of nested stack"

Merge "Enhance StackResource update for more use cases"

Add support for source security groups

This patch adds support for the SourceSecurityGroupName and
SourceSecurityGroupId properties. It covers Nova and Neutron.

Change-Id: Ic12512dfb4375ccccbe1282bb48b80cde16ceb9d
Fixes: bug #1193415

Adds support for Neutron Firewall

Introduces the following Neutron Firewall as a Service (FWaaS)
components to Heat resources:
* Firewall
* FirewallPolicy
* FirewallRule

Change-Id: I646a1402a336e7cc7c88d555cc836614bda9dca2
Implements: blueprint fwaas-heat

Merge "Only create user_creds row on initial stack store"

Merge "remove unused config options"

Merge "Process request exceptions while fetching template"

Merge "Use system locale when Accept-Language header is not provided"

Merge "Fix incorrect use of ServerError"

Merge "Fix install.sh calling setup.py"

Merge "Store the backup stack during updates"

Merge "Pass owner_id to stack_get_by_name()"

Merge "Add a method of creating a backup stack in the DB"

Merge "Allow a Provider with a known facade its own schema"

Merge "Evaluate lazy translation in exception __str__"

Merge "Handling re-delete in rackspace db resource"

Merge "Replace httplib with requests for ec2tokens auth"

Allow in-place update of nested stack

Not raising UpdateReplace exception anymore for nested stack update.
Instead, propagating the update request to the nested stack, so that
the nested stack itself will decide the best way to handle the update
request for every of its resources.

blueprint nested-stack-updates

Change-Id: Ibfe7bee71fe57a601b93fa05a4a0c1cda972290e

Enhance StackResource update for more use cases

Enhance StackResource.update_with_template to accommodate more
possible use cases. This will take care of the nested stack update
failure by raising an exception in such case, so the the concrete
nested stack resource implementations will have a chance to take
some actions upon nested stack update failure.

blueprint nested-stack-updates

Change-Id: Id31ef67e1d7c4928704c6e169bce13f0f7232932

Merge "Use the global environment to map Quantum to Neutron"

Merge "Add a has_interface() method to the resource class"

Store the backup stack during updates

Change-Id: I64e19b0117c98eced4308727594b77e938d7ee4c

Pass owner_id to stack_get_by_name()

The heat.db.sqlalchemy.api supports this parameters, but heat.db.api did
not.

Change-Id: Ic805dcf6c8afdbe9e667c55d9c3b6864a76ce19a

Add a method of creating a backup stack in the DB

This is a temporary storage place for resources that are going to be
deleted once their replacements are created. They must be moved out of
the stack in order to avoid conflicting with the replacement resource.

Change-Id: I081498f4c8732f893dc0d0677cf2b3f40f56d808

Merge "Always validate auth_uri with allowed_auth_uris"

Merge "Rename event logical_resource_id to resource_name"

Evaluate lazy translation in exception __str__

The OpenStackException.__str__ method returns
self._error_string which is actually a gettextutil.Message
object not a str.

str(o) will check the return type of o.__str__() and raise
TypeError if __str__ returns non-string object.

The fix will not go into oslo as OpenStackException is
about to be deprecated. And this patch is also the first
step to remove all the references to oslo exception.py.

Fixes bug #1208454

Change-Id: Ib6abe3517bcb1b34fc6a71e5c46ee3774e067f9a

Allow a Provider with a known facade its own schema

Allow a TemplateResource behind the facade of a known plugin to supply a
different schema to the facade resource. However, check during validation
that the two are basically compatible. The provider template must:

- Define parameters for all *required* properties of the facade.
- Define parameters that map to the same types as the facade properties.
- Not have *required* parameters that do not exist in the facade.
- Define outputs for all attributes of the facade.

Change-Id: Ie40ecbb43d3d6749266f2cb6d723c8537fcc23dd

Use the global environment to map Quantum to Neutron

Change-Id: Id3ccc0538d79955d0112daf37bcd80dce78a0373

Add a has_interface() method to the resource class

This is to better indentify resource types, given that they
can be mapped in the environment.

Change-Id: I6dd552c87b80eb34baec306acd663657ee929b30

Merge "Pass token as a callable to Ceilometer client"

Merge "Remove the Property.schema_from_param() method"

Merge "Generate property Schema objects directly from parameters"

Merge "Use Template to instantiate TemplateResource"

Only create user_creds row on initial stack store

We should only store the credentials on inital stack store,
otherwise we end up creating orphan user_creds rows every
time the stack status is updated.

Fixes bug #1197074

Change-Id: Ib8414dd774386578dbc4d654b1773727d2998f80

Merge "Use string constants to prevent typo errors"

Merge "Add a CloudWatch::Alarm implementation based on Ceilometer"

Merge "To support both CW and CM, return alarmurl from policy ref"

remove unused config options

There are several historical cut/paste unused options, which have
also now found there way into heat.conf.sample, which will confuse
users, so best to remove them.

Fixes bug #1215834

Change-Id: I0fe4717327fc67fe109bef4ba1758d2f18e84520

Merge "Do not delete nova server on create fail"

Pass token as a callable to Ceilometer client

fixes bug #1209240

Change-Id: I5e3e3bb15135273c887f9518f148f17e8953fc96

Implement a load balancer resource using new neutron pool

It creates a new resource linking to a neutron pool, and taking a list
of servers to be linked to it.

Implements: blueprint lbaas-resource
Change-Id: Ie1590e12449a8e086eee7e7960a45103cbf20860

Merge "Do not assume nova provides a fault on ERROR"

Merge "Add a script show all possible state transitions"

Merge "Convert heat.common.template_format to use C yaml"

Merge "Fix the main docs index page"

Merge "Remove the usecases from environment.py as they are in the docs"

Merge "Add some basic evironment docs"

Merge "Store the generated signed urls in resource_data"

Merge "Remove "lazy=joined" from the resource_data backref"

Merge "Try to reduce the number of tests with the same stack_id"

Merge "Implement Fn::MemberListToMap"

Merge "Limit maximum size of all templates"

Use oslo.sphinx for the doc templates

This is to make the look of the developer docs consistent
with the other projects.

Change-Id: If538b5fcc974606c1628ca4a510cd1f34cb631a2

Merge "Make the API for getting dependency graph edges public"

Rename event logical_resource_id to resource_name

This is to address an unimplemented comment at
https://review.openstack.org/#/c/41290/2/heat/engine/event.py
Bascically, there is a logical_resource_id/resource_name mismatch to
address, and this patch is trying to resolve that.

Change-Id: Idac696259af30f8db7816499474057c354d73800

Merge "Pass the previous stack to StackUpdate"

Use string constants to prevent typo errors

Change-Id: If8fccaa3f5d77698a50f803c2b97b85c5a7613ea

Add a CloudWatch::Alarm implementation based on Ceilometer

It's off by default for the moment so the current cloudwatch tests can run.

Change-Id: Ibdce9c9223969bdcb8f2368e98dc6ab1241b84df

To support both CW and CM, return alarmurl from policy ref

This is so we can still have the following:
  AlarmActions:
  - {Ref: ServerScaleUpPolicy}

and use Ceilometer underneath.

The watchrule now tries to look up the resource by
both name and resource_by_refid.

Change-Id: I4759806919ab4f3ccef66698235b23f7f310cb03

Store the generated signed urls in resource_data

This is so it does get regenerated everytime GetRefId() is called.

fixes bug 1206505
Change-Id: Ia69d6d65247555918850ecaadfd1c5d1bc837af8

Remove "lazy=joined" from the resource_data backref

This is having some weird interaction with the rsrc_metadata column.
In a later patch I add a call to resource_data_set() in signal_responder
and the metadata tests start failing.

Change-Id: Ib59972fe69570f4ae36e672987419f4841a2de40

Try to reduce the number of tests with the same stack_id

Change-Id: I38a689ed65998adc9a3e6542d11d15283ae61044

Implement Fn::MemberListToMap

This is to allow the CloudWatch::Alarm to be implemented as
a resource template. The Dimensions need to be converted
from [{Name: bla, Value: foo}] into a normal dict.

So we define the Dimensions as a CommaDelimitedList in the template,
then in TemplateResource we see that the property is a list of dicts
and convert it into the aws style memberlist
 '.member.0.Name=bla,.member.0.Value=green'
then in the CW template we can do the following:

matching_metadata:
  "Fn::MemberListToMap": [Name, Value, {"Fn::   Split": [",",
{Ref: Dimensions}]}]

Note: this in not a single case usage as we can use this for the Tags
property that is in a lot of other resources.

Change-Id: I68910c51eaeb0857531028e87b89b9192db4c8ba

Fix the main docs index page

This magic new line makes the main index look a lot better.
It wasn't showing the "HOT templates" level.

Change-Id: I3f7fb65911a4b0f3ad57ddf22c00ec8236261c7e

Remove the usecases from environment.py as they are in the docs

Change-Id: Ibe0b55663a62b4a68f1478d254f1333a56514c38

Add some basic evironment docs

Change-Id: I6edbb7da0d333bd86eabba73631d5df3d4dc8328

Do not delete nova server on create fail

To keep in line with the behaviour of other resources,
a nova server should only be deleted on resource delete.

Fixes bug: #1215132

Change-Id: Ic478754b7b96001fa0d4110a66d008609de7b482

Do not assume nova provides a fault on ERROR

A nova server object in an ERROR state does not
always provide a fault attribute to get the error
reason from.

Fixes bug: #1213285

Change-Id: I861951207cf8fd526a65f768154c76afd0be9081

Merge "Improve update debugging messages"

Add a script show all possible state transitions

The output of this script will be useful in documenting all possible
state transitions.

Change-Id: I24e442ce20fe7730c915a77b85014f44075e03fd

Limit maximum size of all templates

Templates of an extremely large size can eat up tons of CPU time,
memory and storage. By refusing to parse any template over a certain
size, we can prevent users from abusing the service.

Fixes bug #1214234

Change-Id: I2f731c8e2fc9e1f497199e310de81fa48c9582af

Merge "Add UpdatePolicy attribute to Instance/AutoScalingGroup"

Make the API for getting dependency graph edges public

This will allow us to build new dependency graphs from combinations of
existing graphs.

Change-Id: I6da62607fa1e361d4d2e1581fd286c62f0d9470a

Pass the previous stack to StackUpdate

This starts out like the existing stack, but is not stored in the database
or updated as the stack update proceeds. This allows the StackUpdate object
to store any information that might be relevant to a future rollback.

Change-Id: I94f0dd69b5e7818f811c8c0d50566a79b81acba7

Improve update debugging messages

Change-Id: I231275c1ce7dcba441a57d2ac29d2ad59e993e98

Merge "Use the global environment to define AWS::CloudWatch::Alarm"

Merge "Load deployer/global environment files at startup"

Merge "Add an environment_format.py like the template one"

Merge "Fix all the sphinx-build warnings"

Merge "Fix some flake8 warnings in doc/resources.py"

Merge "Fix crash in "make html" introduced by the global env"

Merge "Add new attributes to EIPAssociation resource"

Merge "Introduce nova_utils.server_to_ipaddress"

Fix all the sphinx-build warnings

except this one:
 WARNING: toctree contains reference to nonexisting document u'api/autoindex'

Change-Id: I176a75c1c3fc9603304f11f867df54d7a7b3610a

Fix some flake8 warnings in doc/resources.py

remove doc from the ignore and just fix the issues in conf.py

Change-Id: I30833dd24409087c3482d2034a797fea3f90aa85

Fix crash in "make html" introduced by the global env

Change-Id: Iece0e122841829d3561b71575065ffa7b656b504

Replace httplib with requests for ec2tokens auth

This vastly simplifies the implementation and test mocking.

ec2token middleware is the last piece of code in the heat
repository to be making direct httplib calls.

Change-Id: I3807b27a7699ff19eb46e2721aaa5afd9d6c8ff9

Always validate auth_uri with allowed_auth_uris

The original intention was to allow heat to orchestrate
on any requested cloud when allowed_auth_uris is configured
with an empty list.

This change makes all requests be validated against
allowed_auth_uris for the following reasons:
- there is a potential security issue with requests
  being authorised by a fake keystone, allowing an exploit in
  heat to be executed without any valid authentication factors
  first being presented.
- ec2token middleware will also need to be made multi-cloud aware
  however as a compatible API it is not possible to specify the desired
  auth_uri with each request. Instead ec2token will need a list of
  configured endpoints so that it can try each one until a request
  is authenticated.

Change-Id: I3d6b7edf381a66b87b6e1fae07bc5dbe9db024bc

Add UpdatePolicy attribute to Instance/AutoScalingGroup

This is the second part of a series to implement support
for AutoScaling UpdatePolicy.

Defined new update_policy attribute for InstanceGroup
and AutoScalingGroup, and modified init of InstanceGroup and
AutoScalingGroup to parse UpdatePolicy from the template.
Currently, only InstanceGroup and AutoScalingGroup manages
update using UpdatePolicy and so this is not implemented in the
Resource class. This can be revisited when UpdatePolicy is
applicable to other resource types. The resource validation
method is also overridden here to validate the UpdatePolicy.
Included tests to validate various uses cases of templates
with, with bad, without, and removal of UpdatePolicy. This
patch does not address handling of instances update with
UpdatePolicy yet. The next patch will address that.

Change-Id: I1faf1a8a3ba1faf063b6687b34b57b2a96c6bfa8
blueprint: as-update-policy

Use the global environment to define AWS::CloudWatch::Alarm

This will make it easier for the deployer to define the default
implementation.

Change-Id: If1a8dceb4ad2cade90a56f16dd450e571425c4a6

Load deployer/global environment files at startup

This allows for a global environment that the deployer can use to set
their own defaults.
An example /etc/heat/environment.d/x.yaml

resource_registry:
  "OS::Quantum*": "OS::Neutron*"
  "AWS::RDS::DBInstance": "file:///etc/heat/templates/AWS_RDS_DBInstance.template"

Change-Id: Iee647a109e5a41d41cd4a79909c6edaca0d17b87

Add an environment_format.py like the template one

This to make the section checking mechanism less spread out
and more consistent. This can also be used by the global
environment loader.

Change-Id: I7ca7ad754fb702877dedc416a30f573d239933ad

Process request exceptions while fetching template

requests raises subclass of requests.exception.RequestException, not
IOError. And the code explicitly calls raise_for_status to avoid HTTP
errors being silently ignored.

Fixes bug #1214429

Change-Id: Ib3ea7e4fea459a231f0bb7f113e3d66983b006c2