Use unicode() when serializing REST API errors

Fixes bug: #1226244

Change-Id: Iabbf286cd35522e30fbb03f56f5274d12288a695

Merge "Document instance resource properties"

Merge "make get_flavor_id to work if input is flavor id"

Merge "Use built-in print() instead of print statement"

make get_flavor_id to work if input is flavor id

Current implementation of get_flavor_id throws exception if input
value is a flavor id. This method is used in couple of resources
where input flavor could be flavor id. This change is to avoid
throwing exception if the input is flavor id.

Fixes bug #1227255

Change-Id: I11054d5f3a34a7e2afea140f8f37a21cb8eba419

Merge "Remove broken tripleo links from on_devstack doc"

Merge "Document neutron vpn service properties"

Merge "Docs for building heat-cfntools images with diskimage-builder"

Merge "Document autoscaling resource properties"

Merge "Add 'repeat_actions' property for OS::Ceilometer::Alarm"

Merge "Consistent logging in the API to better log exceptions"

Add 'repeat_actions' property for OS::Ceilometer::Alarm

The default value is maintained : repeat_actions=False
Require python-ceilometerclient>=1.0.3

Fixes bug #1223347

Change-Id: I010b6555311e9e34b095d9216cf1c5873e244cc4

Use built-in print() instead of print statement

In python 3 print statement is not supported, so we should use
only print() functions.

Fixes bug 1226943

Change-Id: If88d77982ddbd1eb47265f15a27b747cd8011e76

Document instance resource properties

Adds descriptions to the properties of:
* AWS::EC2::Instance
* OS::Heat::HARestarter
and wraps attribute descriptions with gettext _(

Change-Id: I772de4777ba21f2952a725da0c7fbd72f7d78820
Closes-bug: #1224139

Document autoscaling resource properties

Adds descriptions to the properties of:
* AWS::AutoScaling::LaunchConfiguration
* AWS::AutoScaling::AutoScalingGroup
* AWS::AutoScaling::ScalingPolicy
* OS::Heat::InstanceGroup
and wraps attribute descriptions with gettext _(

Change-Id: Ie825c2b122a6c2ce8ff83f9beb9f98487aaa8d54
Closes-Bug: #1224131

Merge "Validate OS::Nova::Server block_device_mapping property"

Merge "Use strings for block device mapping info"

Merge "Document ceilometer alarm properties"

Remove broken tripleo links from on_devstack doc

The links referenced in the doc no longer work

Change-Id: I0cd5f4580998457d00231a513e9328ca2e5b314c

Merge "assertEquals is deprecated, use assertEqual"

Merge "Fix misused assertTrue in unit tests"

Document neutron vpn service properties

This adds descriptions to the properties of:
* OS::Neutron::VPNService
* OS::Neutron::IPsecSiteConnection
* OS::Neutron::IKEPolicy
* OS::Neutron::IPsecPolicy
as well as gettext wrapping for the attributes description

Change-Id: I3312cfbeeccee925e6b06b7ac061be16997bdd34
Closes-Bug: #1224182

Fix misused assertTrue in unit tests

Refactored unit tests to use assertEqual instead of assertTrue
where needed.

Fixes bug #1226374

Change-Id: I6826fefbb7c6fed8b0e664da36b144e882fb6d0e

Document ceilometer alarm properties

This adds descriptions to the properties of OS::Ceilometer::Alarm.

Change-Id: I3851c8785c0bd94aae6412e75a02ee98ce13478b
Closes-Bug: #1224162

Merge "Pass debug mode to eventlet.wsgi.server"

assertEquals is deprecated, use assertEqual

Change-Id: If77b02e69d01e02db03ccb8613dcc327eb2844db

Merge "Only send traceback to users when in debug mode"

Merge "Add methods to help calculate a stack's resources"

Merge "Add DB API to get the count of stacks per tenant"

Docs for building heat-cfntools images with diskimage-builder

Change-Id: I5ec805f8800a48b798700532551f0414fc6f6be0

Merge "Add security_groups for create_port()"

Consistent logging in the API to better log exceptions

With this patch we log the actual message of an exception instead of its
str() representation. This allows for consistent error logging in the
API.

Fixes bug: #1224646

Change-Id: I3965bffb1c2c2eee0af440d1ecd30ccb3bb958d5

Merge "Use the generic RequestLimitExceeded exception when possible"

Merge "Document volume properties"

Merge "Add error handling to property value resolution"

Use the generic RequestLimitExceeded exception when possible

Rather than having lots of specific exceptions that all pertain to request
limitation, we can just use the RequestLimitExceeded exception when applicable,
which can also simplify the handling of exception mapping in fault.py.

Change-Id: I61b1e59912087fad286e74c22af15ffe6382bb65

Merge "Migrate remaining TEXT columns to LONGTEXT"

Validate OS::Nova::Server block_device_mapping property

Make sure either volume_id or snapshot_id exists but not both. Also this patch
ensures that a bootable volume is specified when image is not given.

Fixes bug #1215267

Change-Id: Ia51f6c7aec9c0b257318992ee58febc392ea3d84

Use strings for block device mapping info

Nova client receives colon separated strings for block device mapping info
instead of a list.

Fixes bug #1221693

Change-Id: I321001d406f620d5f8a21e0f28cf706579ad64ad

Add methods to help calculate a stack's resources

In order to limit a stack's size in future changes, we need to know
how many resources are already in the stack. We also need to be able
to find the root stack object of a nested stack.

Change-Id: Ib848bcd2e10d02dffc30dce45a2675a9f718fa7d
Related-Bug: #1215100

Add error handling to property value resolution

Fixes bug 1224746

Change-Id: I990de0159e0fb49e52afdaab546f8d74372422bf

Merge "Remove py33 from tox.ini until eventlet is ported"

Migrate remaining TEXT columns to LONGTEXT

To avoid cases where mysql silently truncates json data
when it is > 2^16 bytes, migrate all remaining TEXT columns
to LONGTEXT, in a similar way to the fix for bug #1210799

Combined with the fix for bug #1215501 which limits the request
body size, we should never truncate, even if mysql is configured
such that it can happen

Fixes bug #1223029

Change-Id: Ib536cfa8e2952a5e047cd8573288cdd9fee0622c

Document volume properties

This adds documentation to the volume and volument attachment
properties.

Closes-Bug: #1224158
Change-Id: I22b4c8cb301b5de63418fd029ddf7f31087dfb8b

Merge "Use physical_resource_name as Ref for Instance/AS Group"

Merge "Impose a size limit on JSON request body"

Merge "Enclose command args in with_venv.sh"

Add security_groups for create_port()

Currently if defined SecurityGroups and SubnetId properties for
instance in heat template, the SecurityGroups were not associated
to the port created within the previous SubnetId, in another word,
the instance are not allocated to the specified security groups
defined in heat template.

    * Modifies function _build_nics() in instance.py, adding an item
'security_groups' in the post body of create_port sending by neutronclient.
    * Adds a new function _get_security_groups_id() to map security_groups
names to ids.
    * Adds corresponding unit tests.

Fixes bug #1221564

Change-Id: Ica2df7c6f96bc982a5bd5ece3611949ae905e5c8

Impose a size limit on JSON request body

The size limit on JSON request body is to ensure the server not being
overwhelmed by extremly large JSON request body.

Fixes bug #1215501

Change-Id: Ia58f6690e994d34212953c44821f7a4cc4c435fe

Merge "Make some heat resolve functions workable in hot"

Add HOT functions to dependency checks

Fixes bug 1223035

Change-Id: I7859a59490151885d4efe9bd36c612474d45b5f5

Use physical_resource_name as Ref for Instance/AS Group

This allows to distinguish groups by stack when using resource
OS::Metering::Alarm with the rule:
matching_metadata: {
    'metadata.user_metadata.groupname': { 'Ref': 'WebServerASGroup'}}

And add test for AutoScalingGroup Tags

fixe bug #1215840

Change-Id: If3de5c4abddcfb49f711db223a0c1a8c70f3c15a

Make some heat resolve functions workable in hot

Make resolve functions Ref, Fn::GetAtt, Fn::Replace workable in hot.

Fixes bug #1221017

Change-Id: I9b7ca58720b3c7d157c79c3756510ebc62d81ee5

Enclose command args in with_venv.sh

It will support argument with blanks.

Change-Id: Ic3a00bdafc11459e9726eb99c7bc637d385e859a
Closes-Bug: #1220937

Merge "Set a small max_template_size for test_long_yaml"

Merge "Only validate credentials on create based on resources"

Pass debug mode to eventlet.wsgi.server

Previously if any exceptions accidentally made their way to
eventlet.wsgi.server's response handler it would print their traceback.
We only want to show users tracebacks in debug mode. In production we
want them suppressed.

Fixes bug #1222008
Change-Id: Ieb11f75ebffc67bd584432cfd8eeaac010fce7ca

Only send traceback to users when in debug mode

API services currently send the traceback to clients. While the client
hides it from user view, it is still present in the response, exposing
the service to details of the engine that administrators likely would
not like to have exposed.

Fixes bug #1210623

Change-Id: I554ba24b7ac9166e28a8a0a10f566ed9cfa03014

Change the dbinstance to F19

The current template is based on F17 which is eol.

Closes-Bug #1215797
Change-Id: I888fba67dc8412c8b57243d76b45494a6beb91c4

Move dbinstance into a TemplateResource

The old dbinstance will soon be overtaken by the trove resource.
- The only reason for keeping this around is for people that don't
  have trove installed and want to use the AWS resource.
- Seperating it out into a TemplateResource really makes it easier
  for deployers and users to customise it.
- The old dbinstance did nothing "special" in python, and was really
  one of the first "TemplateResources" as it attempted to convert properties
  into parameters. Since this in now done a lot better in the TemplateResource
  lets just make use of that.

This will make it easier to migrate to other distros and versions.

Partial-Bug: #1215797
Change-Id: If72e1f40f67dc831551e0db8df8caaa002aaaeda

Make global TemplateResources usable in the tests

At the moment we need the templates installed into /etc/heat/templates
and this is not very nice for the tests. So this patch
replaces "/etc/heat/templates" with the project's own template
path so we can at least test the api of the template resources.

Partial-Bug: #1215797
Change-Id: Ie4924b0358b97af8feaad93ed9187976b8932e3d

Make the new template validation usable from tests

This is so we can assert that new TemplateResources expose the
api that we are expecting.

Partial-Bug: #1215797
Change-Id: I6273f6e046bb7bd5e075e9190d8011af976573b8

Add DB API to get the count of stacks per tenant

This method will be used to limit the number of stacks any one tenant
can create.

Change-Id: Ic990bf84fc1aa5592504f7c423fbce953615a4a1

Merge "Run cfg.CONF.reset() on test cleanup"

Merge "Fix H233 in sphinx config"

Set a small max_template_size for test_long_yaml

Currently this test takes 22 seconds to run. As the intent
of the test seems to be to assert that limits are enforced,
this change reduces the default limit to speed test execution time.

Change-Id: Ie12c53b832c993711c2187004d015b65045da901
Fixes-Bug: #1221478

Only validate credentials on create based on resources

This change relaxes the validation which checked for credentials
on stack create and update.

As implemented, having any of the following resources
in the template will result in credentials being mandatory
on create and update:
* AWS::AutoScaling::ScalingPolicy
* OS::Heat::HARestarter
* AWS::CloudFormation::WaitConditionHandle

For all other templates, credentials are not needed.

When trusts are merged, this logic could also be used to decide
whether a trust token needs to be created at all.

Fixes bug: #1217617

Change-Id: I3e4b8698d3712053dc3c0851433ef0cbbadbdfed

Run cfg.CONF.reset() on test cleanup

This means clear_override and clear_default do not
need to be called explicitly for each set_override and set_default
call.

This also fixes any potential test execution order issues
where an option has been set without being cleared at all.

Change-Id: Ic40c3be10b32eb3011bc0733cee9c1faaf8f1240
Fixes-Bug: #1221476

Fix H233 in sphinx config

This is being flagged in local flake8 runs.

Change-Id: I99f05996711b3851811940ad5741e96d5ae61ed6

Fix TemplateResource list property conversion

In the convertion from "a,b,c" to ['a', 'b', 'c'] we are
not checking for the case of an empty list.

Change-Id: I834c4755abf33793a9484138f9dac97d7d8194da
Closes-bug: #1221009

Merge "parallelize StackResource delete"

Merge "Adding IPsec site connection to Heat resources"

Merge "Adding IPsec policy to Heat resources"

Merge "Adding IKE policy to Heat resources"

Merge "Adding VPN Service to Heat resources"

Merge "update neutronclient to 2.3.0 minimum version"

Merge "Remove some heat-cfnclients only exceptions"

parallelize StackResource delete

This is fourth and last  patch in the series to implement
parallel delete. In this patch, parallelizing StackResource
deletion.

Blueprint parallel-delete

Change-Id: I49fb4ad64dd4245b61fad28a401174b11f2b8272

Merge "parallelize instance delete"

Merge "parallelize volume deletion"

Merge "Implement parallel delete"

Adding IPsec site connection to Heat resources

Adds Neutron IPsec site connection component to resources
supported by Heat with unit tests.

Change-Id: Idf3c92b9a7ac513e7f7ab0d2501668405189ebc6
Implements: blueprint vpnaas-support

Adding IPsec policy to Heat resources

Adds Neutron IPsec policy component to resources
supported by Heat with unit tests.

Change-Id: I5014c50d51afe6a3a9b62cf3e88cbd6f7f60a62e
Implements: blueprint vpnaas-support

Adding IKE policy to Heat resources

Adds Neutron IKE policy component to resources
supported by Heat with unit tests.

Change-Id: I54a83aededc779ddcf44ce72b0a1bb2b69a26094
Implements: blueprint vpnaas-support

Adding VPN Service to Heat resources

Adds Neutron VPN service component to resources
supported by Heat with unit tests.

Change-Id: I3a626166253bcb33d8875cf406b293688f53ffa3
Implements: blueprint vpnaas-support

update neutronclient to 2.3.0 minimum version

Change-Id: I01a6899c43ae6ff63794267d2dd4ab32f06fa643

parallelize instance delete

This is third patch in the series to implement parallel delete.
In this patch, parallelizing instance deletion

Blueprint parallel-delete

Change-Id: I86d2e25901b330dcf4b0e512eec66fb71199727b

parallelize volume deletion

This is second patch in the series to implement parallel delete
In this patch, parallelizing volume deletion and updating relevant
tests

Blueprint parallel-delete

Change-Id: Iaded5951618c2ac52c26d6d6437f152c658ad9cf

Implement parallel delete

This is first patch in the series to implement parallel delete
and it includes following changes:

1. changing Stack.delete to use stack_task
2. In Resource.delete polling for check_delete_complete
3. Updating unit tests to use TaskRunner for resource.delete and
   resource.destroy

Blueprint parallel-delete

Change-Id: I8a96b1a956388372c29f9f45445f397467667110

Fix AttributeError exception in autoscaling

Use the nested() method instead of directly accessing the _nested
attribute which isn't always initialized.

Fixes bug #1220737
Change-Id: I9f36d98e91d5175b354e423d7159e690b1e5b696

Merge "Update nested stacks in parallel"

Merge "Fix problem with mocking tasks"

Merge "Create a Stack.update_task() method"

Merge "Change _testnoexisthost_ references in tests"

Merge "Migrate stored credentials to keystone trusts"

Update nested stacks in parallel

This parallelises updates for AWS::CloudFormation::Stack resources, but not
for autoscaling groups. Other types of nested stacks (the old LoadBalancer
and DBInstance resources, and provider templates) have not yet implemented
stack updates.

Change-Id: I86e1d5289487b34712c248bc5e68e62cc4651ec6

Fix problem with mocking tasks

It was previously impossible to stub out a task with mox, because when the
TaskRunner attempted to get the __name__ attribute it prompted an assertion
in the mock. Using hasattr() instead of getattr() eliminates this issue.

Change-Id: I3757a77daf59cbb3c0a8b60329d490a89e7ec1d3

Create a Stack.update_task() method

This will allow nested stack resources to run updates in parallel with
other resources.

Change-Id: I184666182f5b9648d2d297d4290eb8608a09c0f0

Merge "Make error message for InvalidTemplateReference sane"

Merge "Add unit tests for Resource dependency inference"