autoscaling fix LoadBalancer reload static resolve

Since https://review.openstack.org/#/c/31083/ we're using the
Resource.update() method to update the LoadBalancer, which requires
the resource snippet to be statically resolved (as is done in
parser.Stack for stack updates)

Fixes bug #1191705

Change-Id: Id2017a912472ddb48245682c5b6392cbcb9e4c60

Return None for physical resource name during validation

During template validation, the resources have not been stored in the
database. Therefore any resources that return self.physical_resource_name()
in either FnGetRef() or FnGetAtt() would cause assertions whenever either
of those functions were called during validation. Instead, return None from
physical_resource_name() in this phase, as we do for other data that is not
available yet during validation.

Fixes bug #1191931

Change-Id: I1a5b17557ae1ca2600fb930e74eb5248c82e0326

Standardise resource names in Invalid Attribute errors

These should always refer to the resource name in the template (i.e.
logical resource name), and never the physcial resource name (since these
errors necessarily occur during validation, before any physical resource is
created).

Change-Id: I6cf6625cf32a90acb27adc6348695c086dc5e119

Merge "Add InstanceId property to EIP resource"

Merge "engine : abstract state-transition logic"

Merge "Convert Resource to separate action/status"

Merge "Initial Environment class and test"

Add InstanceId property to EIP resource

This also changes the InstanceId property for an EIPAssociation
to not be required, which was necessary for testing and is inline
with AWS documentation.

Change-Id: I49dd506309fe6a38df6727bca7f6bbebd45fba3f
Fixes: bug #1164864

Use PhysName for testing Swift container names

Change-Id: Icc000a9235fcd9ee810581b932ded73319decfee

Fix bizarre Swift DeletionPolicy unit tests

If something shouldn't be called... don't tell the mocks to expect it to be
called. We will get UnexpectedMethodCallError if it is.

Change-Id: I61a7b77cb273b42177a37efa98fc62fd69770545

Use physical_resource_name() for Swift containers

This returns names which are of the same form, but which are based on the
resource id (and hence are stable).

Change-Id: Id091bdef74e07fc0df0e6e4914dae8af8b29384c

Use physical resource names with a short_id

The short_id is a random, but stable, 12-character alphanumeric ID.

This will allow two resources of the same name to exist concurrently. That
is necessary for resources to be replaced during an update without
interruption.

Change-Id: If32904a47c6f8fb651e317ce91f2a04f6eadcc0b

Initial Environment class and test

This implements the "resource-registry" and "parameters" section
I am holding off on the "properties" section until we really
know we need it.

blueprint environments
Change-Id: Ib6e9e5cd1c68c255dc048bdde21a6b3e1dc54243

Merge "Remove unused python-memcached from requirements."

engine : abstract state-transition logic

Refactor to abstract the handle_create/check_create_complete
logic, so it can be reused without lots of duplication for
other action transitions

Prompted by review comments from:
https://review.openstack.org/#/c/31982/2/heat/engine/resource.py
related to blueprint: stack-suspend-resume

Change-Id: Idb18913ef6ff700b63d5ec6d340d2353fc2294b7

Convert Resource to separate action/status

Next step in decoupling action/status

This adjusts the Resource DB columns, model and class to be consistent
with Event, and split action/status.  This also modifies the both APIs
to join the action/status to avoid changing the API (we can't change
the CFN one anyway and it's desirable to avoid breaking compatibility
with the ReST API, or needing a version bump for this simple change)

Change-Id: I02b56eb14045a058e67b9764d386530d555c339e

Store stacks in the database when running unit tests

If stacks are not stored in the database before they are create()'d,
anything that refers to a stack (e.g. Resources and Events) cannot be added
to the database either, and we get numerous errors in any output logs.

Change-Id: Icd1012455d413aad617486c138fd4507e391bc7b

Unit tests: Create User for testing AccessKey

An AccessKey resource is not independent of its associated User resource,
which must be present in the same stack. Consequently, we need to create a
real User resource that is a member of the same stack in order to test the
AccessKey in a realistic environment.

Change-Id: I4b732c93fe9823552baf65c3f9c87c8ebab061a4

Merge "Make resource ids UUIDs in the database"

Merge "Gate on H703"

Make resource ids UUIDs in the database

Change-Id: I3068e9e818f19994cc3aaecc34845d0d6aac0dfb

Unit tests: Don't use mox to stub uuid.uuid4()

The wait condition unit tests require a fixed stack ID, but we don't want
to permanently stub out uuid4, since there are other potential uses of
uuids. Instead, just do it for that one operation.

Change-Id: Ib8b7107a5750caf67aa8905377c2755bf405fa3f

Merge "allow using image uuid for instance resource"

Merge "fix an CFN API and AWS error mapping"

Convert Events to separate action/status

First step in decoupling action/status in Resource

This adjusts the Event DB columns, model and class to split
action/status, but in order to be backwards compatible we set the action
to None, which means we can do the right thing in the CFN API, and
resource_status still maps correctly to what is expected in
python-heatclient (which will need to change after the Resource
action/status split happens)

Change-Id: I261d47d2a3fdb3cdc2a8aaf6c159763f4636f633

Merge "Use Python 3.x compatible except construct"

allow using image uuid for instance resource

make the instance resource accept image uuid for its ImageId
properties in addition to unique image name.

Fixes bug #1186410

Change-Id: Iae7705e73fe223d80e85d261a04f88f8c5207487

fix an CFN API and AWS error mapping

StackExists should return AlreadyExists, not InvalidParameterValue

Fixes bug #1188473

Change-Id: Ia969cddc1b61caa13f4f70bcc29f3160595a779b

Remove unused python-memcached from requirements.

Change-Id: I6da8607203d15275a05faa7f7ccc570c31f86762

Use Python 3.x compatible except construct

Python 3.x deprecated excecpt x,y. Use except x as y,
which works with any Python version >= 2.6

Change-Id: I264049ee41e75bcedea86adf7c2011c343f47ddb

Add bin/heat-manage to flake8 checks

Change-Id: I917e5b0aa571f2fced7df6a4818f32ce4b5f1561

Gate on H703

Fix fallout by avoiding multiple positional arguments.

Change-Id: Ie25f7b9041fa5df85a244cb237124440bb7d8e32

Merge "scheduler: Fix an issue with wrappertasks and exceptions"

Merge "Fix various Sphinx errors/warnings"

scheduler: Fix an issue with wrappertasks and exceptions

Using a 'for' loop on a generator is incompatible with calling throw() on
it, because the latter causes the generator to advance to the next yield.
Consequently, ignoring an exception from a subtask in the parent task would
cause the next subtask to be skipped.

This issue does not affect any existing code to date.

The inner and outer loops should each be equivalent to the definition of
"yield from" (http://www.python.org/dev/peps/pep-0380/#formal-semantics) in
PEP 380, with the following simplifications:
 - Assume that the throw() and close() methods exist
 - Don't support send()
 - Don't support return values (these are Python 3-only feature)

Change-Id: Ie29e68d4505f667f408b67b365c37511f73372fe

Merge "Remove explicit distribute depend."

Merge "Fix H702 errors and enable them"

Merge "Key error when auth in standalone mode"

Fix H702 errors and enable them

 - Formatting operation should be outside of localization method call

Change-Id: Icedbb98e46a52b53db7143a4111da13466a26847

Merge "Add descriptions of the pep8 checks"

Remove explicit distribute depend.

Causes issues with the recent re-merge with setuptools. Advice from
upstream is to stop doing explicit depends.

Change-Id: If390cdf328b361d0f76315083f3e6da97bbe4b2f

Key error when auth in standalone mode

Fix a key error caused from the response of authing
in stand alone mode. The keystone docs indicate that
the schema for a response user name is ['user']['name']
rather than ['user']['username'].

Change-Id: I9ac94feeef8f9f2dedaa3842f64a3491e701e199

engine : remove GreenletExit workaround

Both heat and oslo now require the version of greenlet containing
the fix (greenlet>=0.3.2) so we no longer need this workaround

Change-Id: I42af8e020f08480dda08f4b4879c2840e741ea59

Merge "Adds possible topdir to python search path"

Add descriptions of the pep8 checks

Change-Id: Ida2be020b8ed7ea047e11c4b8fa2f5154a444977

Merge "Return empty string when Fn::Select target is None."

Merge "Add Fn::Replace template function."

Fix various Sphinx errors/warnings

Change-Id: If34202291b5605302baf47c210b07ffc4ffad094

Merge "Initial mariadb support"

Merge "Use Python 3.x compatible octal literals"

Merge "raise an UnknownUserParameter exception when receiving an unknown param"

Use Python 3.x compatible octal literals

Python 3.x deprecated the 0700 construct. 0o700
works with any version of Python (>= 2.6 tested)

Change-Id: I47fcb79804b75437e6cf4ce966fbfdc05fce26cd

Adds possible topdir to python search path

Change-Id: Ide47656071c6d17482b1e4ec0727ce316033e702
Fixes: bug #1189354

Return empty string when Fn::Select target is None.

This can happen when a resource is not in the required state
to resolve its FnGetAtt.

Change-Id: I4d104b3577fbd94b920ff172c00d60914d7acd45

Add Fn::Replace template function.

This is implemented with python str.replace

For yaml templates, this should be used as a better alternative to
Fn::Join: ['', [...]]

For json templates, the following common pattern:
"Fn::Join": ["", ["line 1\n", ... "line 2\n"]]
could now become more maintainable as:
"Fn::Replace": [{...}, "Fn::Join": ["\n", ["line 1", ... "line 2"]]]

Implements blueprint template-string-function
Implements blueprint bash-environment-function

Change-Id: Ie4817b1d98dd6d6390e086da9b582d33415a0d9f

Initial mariadb support

mariadb only differs in the package name from the mysql,
an already installed mariadb should not cause hangup in a
devstack installation.

Fixing Bug 1184722

Change-Id: I3b9d02b703e49044999ff1b9f1195ffcaf1d0cec

raise an UnknownUserParameter exception when receiving an unknown param

add some validation logic to Parameters, so that when an invalid param
is passed in an exception will be raised.

Fixes bug #1186790

Change-Id: I8aece556d8fc5cd5533f4baf041e345bdc5722ec

Enable H403

Fix the only two places where it triggered alongway.

Change-Id: Ib76e0e072c2d51a9c782f37d5f5df964f2db968f

get rid of no-op __init__ methods

There were a lot of __init__ methods that simply called their super()
with nothing else.

Change-Id: I6771912adf81f145d09f950c57d219bd77789822

Merge "Make autoscale not dependent on loadbalancer impl."

Merge "Rename functions which should not be run as tests."

Merge "Fix instance creation when a network with no subnet is used"

Merge "flake8 F812 list comprehension redefines fix."

Rename functions which should not be run as tests.

These function names confuse some test runners which results in them
incorrectly being run as tests.

Change-Id: I0780c7d6dcea5019771b42fa5ffb2ebe215c1e20

flake8 F812 list comprehension redefines fix.

This warning is given from the following version of flake8
2.0 (pep8: 1.4.5, mccabe: 0.2.1, pyflakes: 0.6.1)

Change-Id: Ic2ac3be2b76aa2d9e8d0f306d1579b195a998b68

Only call FnGetAtt if resource is in acceptable state.

This will give resource type authors some certainty on what error
checking their FnGetAtt methods will require.

Fixes bug: #1184794

Change-Id: Iec456075c14cd609cf9607f07bce23e4c6b33c0c

Make Fn::GetAtt add a dependency

This will ensure that resources which get attributes from other resources
are not created until the latter resources are available.

An audit of all the templates in the heat-templates repo revealed that in
only one case did this cause a circular reference, and it was the template
that appeared to be incorrect (it has since been fixed).

Change-Id: Ibd51acdda55c24f665c5ca887040f3564d952c0e

Use - instead of . for physical_resource_name delim.

Avoiding using . means that instance hostnames are unique within the stack
(and within the tenant).

This solves 2 real-world use cases:
- tripleo issue, as described in bug: #1184713
- OpenShift template resorts to setting the hostname to ec2_instance_id

This may have an impact on users who are scripting to assume . delimiting,
however this will only affect newly created stacks after this change is
deployed.

Fixes bug: #1184713

Change-Id: I5a8eb358ea9c52162eb9263b9f9e6dcf750d787b

Make autoscale not dependent on loadbalancer impl.

Autoscale was calling reload on a resource, which is not part of the
resource interface. Autoscale has been modified to use update.

Change-Id: Ifb17c9def7e560d96e26308db67b4ee3f93a2b9f

Use a physical name matching class in unit tests

This gives us the flexibility to change the format of the physical resource
name.

Change-Id: Ie36453345149291fe04d89b52d7966816e03cda6

Merge "Add Fn::Select template function"

Merge "For Fn::Join, replace None items with an empty string."

Add Fn::Select template function

It also knows how to lookup keys in dict's too.
The strings can be a serialized json blob too.

blueprint fn-select
blueprint fn-mapselect
Change-Id: Ie40afa47c1f0a699abb852bc22388f3f675172e6

Fix instance creation when a network with no subnet is used

It is possible with OpenStack Networking to create a network with no
subnet attached to it.
When creating an instance associated to such a network, the engine would
raise a 'list index out of range' exception because the instance has no
IP address on the network.
The issue would also happen with a loadbalancer referencing the same
type of instance.

Change-Id: I6122efb90877d8020added44aee8802eb8a80297
Fixes: bug #1187023

Merge "Relax lxml version requirements."

For Fn::Join, replace None items with an empty string.

Currently, attempts to join lists with None items results in an error.

This change is required for the next attempt to fix bug: #1184794

Change-Id: Ib599eeb21b7325ff797768100f1556a424a8bde9

Relax lxml version requirements.

This was preventing devstack from starting on Fedora 18 due to the
package python-lxml-3.2.1-1.fc18.x86_64 being too new.

This change is aligns the lxml rule with the requirements project.

Change-Id: Idd3697596dcefb830d60f8e44171b8c50e78178a

tests : fix cut/paste test name shadowing

Fix test class duplication

Change-Id: I4ff21b60ad6c70d8d4563db54c9afd83f59d6957

Merge "Handle metadata updates during stack creation"

Merge "Log at DEBUG level in unit tests"

Merge "Fix Hacking H304 Warnings"

Merge "a minor fix to volume.py"

a minor fix to volume.py

There seems a typo with the exception name and the comment.

Change-Id: I5c0abe48c81a69e4b879b080236899031bb40e97

Fix Hacking H304 Warnings

And also enable it permanently.

Change-Id: Iae319ecaee86049bc25330e25c4f672e3b158851

Fix an intermitting failure in test_metadata_refresh

Given that resource creation can happen in parallel, the call to
check_create_complete may not follow the call to handle_create, so mock
those without checking the order.

Change-Id: Icf40f7339dc4c6e885c4a42f3a2c3f546f14c08d

Log at DEBUG level in unit tests

By default, only INFO and higher severities were logged.

Change-Id: I5791cd163a54224b798bcc2987ac792b3b7b4030

scheduler: Fix inifinite loop for no-wait tasks

When a task run by a DependencyTaskGroup completed immediately (i.e. it
was marked as done right after calling start()), the corresponding entry in
the dependency graph was never removed. As a result the DependencyTaskGroup
would continue running forever (or until it timed out).

Fixes bug #1186389

Change-Id: I9715b54a61d1c3adc22403bc39f8673306bffead

Merge "add error flow tests for volume detach"

Merge "Clarify a comment which says we require KeyName - which is incorrect"

Handle metadata updates during stack creation

Don't try to recalculate the metadata on an instance that hasn't yet been
stored in the database.

Fixes bug #1185530

Change-Id: I39f2733e2ba4730ea05a4a50962cb30f044ef752

Create nested stacks in parallel

Use check_create_complete() to advance the nested stack creation, so that
it can occur in parallel with other resources in the parent stack.

Implements blueprint concurrent-resource-scheduling

Change-Id: I841b4c93b257409eecd0d2a43b35d9bee114ab87

Create stacks with a co-routine

This will allow nested stacks to be created in parallel with other stack
resources in the future.

Change-Id: If1817bddcea50fdd7b640dee5b5d12257aada651

Implement timeouts for nested stacks

This also means that if no default is specified, nested stacks will not
time out (previously they used the default timeout of 60 minutes). Of
course, like other resources, creation of the nested stack will stop if and
when the parent stack times out.

Change-Id: Ibd55c32d63e971f79319ed40321fa4be52b65419

Allow stacks to be created without a timeout

This should be the default for nested stacks, rather than the default
timeout of 60 minutes for stacks created through the API.

Change-Id: Iacee6eaf8f345e506b417e776f696db6b11bbf20

add error flow tests for volume detach

engine.resources.volume.VolumeAttachment lacks tests for some
exception flows

Fixes bug #1183239

Change-Id: I3d84fadb1ff60c622fbfbd634e003aaab382b405

Clarify a comment which says we require KeyName - which is incorrect

The Nova create API requires a name, image, and flavor.  The key_name
is not mandatory.  Possibly in AWS InstanceType (flavor) is not
mandatory but it is with Nova.

blueprint native-nova-instance

Change-Id: I6f5a77d7999ea4d8e91402ae215179b982a947f6

Merge "Add a separate Template class for the HOT format"

Merge "Clean up DB migrations when running unit tests"

Add CONTRIBUTING.rst file.

We don't use github pull requests, but we'd like to make that clear
to people if they show up at github and try to do one. github will
display the content of this file on the pull request submit form
if it's there.

Change-Id: I25e5b65b02244e100da4e5717ded09fcc0f33741

Clean up DB migrations when running unit tests

When doing development work, all kinds of issue can result when moving
between versions of the code that have added/removed DB migration scripts
if the compiled .pyc files are left behind. To save the need to do this
manually, remove all of the .pyc files when the unit tests are run.

Change-Id: Ia4bc889edeeed499e5fc2172d5f7c1b4e693a27b