Merge "Fix instance creation when a network with no subnet is used"

Merge "flake8 F812 list comprehension redefines fix."

flake8 F812 list comprehension redefines fix.

This warning is given from the following version of flake8
2.0 (pep8: 1.4.5, mccabe: 0.2.1, pyflakes: 0.6.1)

Change-Id: Ic2ac3be2b76aa2d9e8d0f306d1579b195a998b68

Only call FnGetAtt if resource is in acceptable state.

This will give resource type authors some certainty on what error
checking their FnGetAtt methods will require.

Fixes bug: #1184794

Change-Id: Iec456075c14cd609cf9607f07bce23e4c6b33c0c

Make Fn::GetAtt add a dependency

This will ensure that resources which get attributes from other resources
are not created until the latter resources are available.

An audit of all the templates in the heat-templates repo revealed that in
only one case did this cause a circular reference, and it was the template
that appeared to be incorrect (it has since been fixed).

Change-Id: Ibd51acdda55c24f665c5ca887040f3564d952c0e

Use - instead of . for physical_resource_name delim.

Avoiding using . means that instance hostnames are unique within the stack
(and within the tenant).

This solves 2 real-world use cases:
- tripleo issue, as described in bug: #1184713
- OpenShift template resorts to setting the hostname to ec2_instance_id

This may have an impact on users who are scripting to assume . delimiting,
however this will only affect newly created stacks after this change is
deployed.

Fixes bug: #1184713

Change-Id: I5a8eb358ea9c52162eb9263b9f9e6dcf750d787b

Use a physical name matching class in unit tests

This gives us the flexibility to change the format of the physical resource
name.

Change-Id: Ie36453345149291fe04d89b52d7966816e03cda6

Merge "Add Fn::Select template function"

Merge "For Fn::Join, replace None items with an empty string."

Add Fn::Select template function

It also knows how to lookup keys in dict's too.
The strings can be a serialized json blob too.

blueprint fn-select
blueprint fn-mapselect
Change-Id: Ie40afa47c1f0a699abb852bc22388f3f675172e6

Fix instance creation when a network with no subnet is used

It is possible with OpenStack Networking to create a network with no
subnet attached to it.
When creating an instance associated to such a network, the engine would
raise a 'list index out of range' exception because the instance has no
IP address on the network.
The issue would also happen with a loadbalancer referencing the same
type of instance.

Change-Id: I6122efb90877d8020added44aee8802eb8a80297
Fixes: bug #1187023

Merge "Relax lxml version requirements."

For Fn::Join, replace None items with an empty string.

Currently, attempts to join lists with None items results in an error.

This change is required for the next attempt to fix bug: #1184794

Change-Id: Ib599eeb21b7325ff797768100f1556a424a8bde9

Relax lxml version requirements.

This was preventing devstack from starting on Fedora 18 due to the
package python-lxml-3.2.1-1.fc18.x86_64 being too new.

This change is aligns the lxml rule with the requirements project.

Change-Id: Idd3697596dcefb830d60f8e44171b8c50e78178a

tests : fix cut/paste test name shadowing

Fix test class duplication

Change-Id: I4ff21b60ad6c70d8d4563db54c9afd83f59d6957

Merge "Handle metadata updates during stack creation"

Merge "Log at DEBUG level in unit tests"

Merge "Fix Hacking H304 Warnings"

Merge "a minor fix to volume.py"

a minor fix to volume.py

There seems a typo with the exception name and the comment.

Change-Id: I5c0abe48c81a69e4b879b080236899031bb40e97

Fix Hacking H304 Warnings

And also enable it permanently.

Change-Id: Iae319ecaee86049bc25330e25c4f672e3b158851

Fix an intermitting failure in test_metadata_refresh

Given that resource creation can happen in parallel, the call to
check_create_complete may not follow the call to handle_create, so mock
those without checking the order.

Change-Id: Icf40f7339dc4c6e885c4a42f3a2c3f546f14c08d

Log at DEBUG level in unit tests

By default, only INFO and higher severities were logged.

Change-Id: I5791cd163a54224b798bcc2987ac792b3b7b4030

scheduler: Fix inifinite loop for no-wait tasks

When a task run by a DependencyTaskGroup completed immediately (i.e. it
was marked as done right after calling start()), the corresponding entry in
the dependency graph was never removed. As a result the DependencyTaskGroup
would continue running forever (or until it timed out).

Fixes bug #1186389

Change-Id: I9715b54a61d1c3adc22403bc39f8673306bffead

Merge "add error flow tests for volume detach"

Merge "Clarify a comment which says we require KeyName - which is incorrect"

Handle metadata updates during stack creation

Don't try to recalculate the metadata on an instance that hasn't yet been
stored in the database.

Fixes bug #1185530

Change-Id: I39f2733e2ba4730ea05a4a50962cb30f044ef752

Create nested stacks in parallel

Use check_create_complete() to advance the nested stack creation, so that
it can occur in parallel with other resources in the parent stack.

Implements blueprint concurrent-resource-scheduling

Change-Id: I841b4c93b257409eecd0d2a43b35d9bee114ab87

Create stacks with a co-routine

This will allow nested stacks to be created in parallel with other stack
resources in the future.

Change-Id: If1817bddcea50fdd7b640dee5b5d12257aada651

Implement timeouts for nested stacks

This also means that if no default is specified, nested stacks will not
time out (previously they used the default timeout of 60 minutes). Of
course, like other resources, creation of the nested stack will stop if and
when the parent stack times out.

Change-Id: Ibd55c32d63e971f79319ed40321fa4be52b65419

Allow stacks to be created without a timeout

This should be the default for nested stacks, rather than the default
timeout of 60 minutes for stacks created through the API.

Change-Id: Iacee6eaf8f345e506b417e776f696db6b11bbf20

add error flow tests for volume detach

engine.resources.volume.VolumeAttachment lacks tests for some
exception flows

Fixes bug #1183239

Change-Id: I3d84fadb1ff60c622fbfbd634e003aaab382b405

Clarify a comment which says we require KeyName - which is incorrect

The Nova create API requires a name, image, and flavor.  The key_name
is not mandatory.  Possibly in AWS InstanceType (flavor) is not
mandatory but it is with Nova.

blueprint native-nova-instance

Change-Id: I6f5a77d7999ea4d8e91402ae215179b982a947f6

Merge "Add a separate Template class for the HOT format"

Merge "Clean up DB migrations when running unit tests"

Add CONTRIBUTING.rst file.

We don't use github pull requests, but we'd like to make that clear
to people if they show up at github and try to do one. github will
display the content of this file on the pull request submit form
if it's there.

Change-Id: I25e5b65b02244e100da4e5717ded09fcc0f33741

Clean up DB migrations when running unit tests

When doing development work, all kinds of issue can result when moving
between versions of the code that have added/removed DB migration scripts
if the compiled .pyc files are left behind. To save the need to do this
manually, remove all of the .pyc files when the unit tests are run.

Change-Id: Ia4bc889edeeed499e5fc2172d5f7c1b4e693a27b

Get rid of extra delays in unit tests

Some resource types will now have at least one sleep during their creation
where previously they did not, so unit tests need to stub out the sleep if
they were not already doing so.

Change-Id: I1ae919263c6f12d9219970f226019e53daff052b

Restore heat.db.sync and add Deprecated message.

This unpythonic deprecation method is used because this module was only
ever meant to be used from the CLI as 'python -m heat.db.sync'. The
module should be removable in Havana+1.

Fixes bug #1185220

Change-Id: I9943e5c35d9578f899fae1d11b818a2a5a9167c0

Merge "Create resources in parallel where possible"

Merge "Add a dependency-aware task group"

Merge "Move deletion from dependency graph to __delitem__"

Merge "Make the mutable dependency graph a separate class"

Merge "Make dependency graph node class public"

Use heat-engine.conf for heat-manage config

Fixes bug 1184923

because prog was missing the CONF object was looking for
the config file in /etc/heat/heat.conf  this should have
been /etc/heat/heat-engine.conf

Change-Id: Ie23b9998df368274d69180e0d619b042dd9dc053

Create resources in parallel where possible

Use the create co-routines with a DependencyTaskGroup to create resources
in parallel where possible, subject to their dependencies.

This implements blueprint concurrent-resource-scheduling with the exception
of nested stacks.

Change-Id: I4789ab11617b408622d8fc083e6b80a797d99e3a

Add a dependency-aware task group

Change-Id: I4524b4b220bdc02bdd7e3f9a5d84b1982cbee99f

Move deletion from dependency graph to __delitem__

Graph objects are mutable, and will in future be used for operations other
than a topological sort, so abstract out the code for deleting backlinks to
a node from the other nodes that have dependencies on it when it is
removed.

Change-Id: I86b81303ed2dffd969a2db10535761f108f4808a

Make the mutable dependency graph a separate class

Rather than copying dictionaries internally, provide a separate Graph class
that can be copied externally as well.

Change-Id: Id0bd55944369da59d7da1713369fce0d73ffe814

Make dependency graph node class public

We're going to start making more use of it, so there's no point hiding it
away inside the Dependencies class.

Change-Id: I10c4a05493697f8834623cd798ef35161a0c219b

Fix the handling of non-existing paste file

First only call find_file() by it's self so we can check for None
(abspath crashes if you pass it None)
We are already calling abspath at the return, so this
also prevents a double call to abspath.

If return None from _get_deployment_config_file() load_paste_app() will
print out a nice error message.

Change-Id: I451e090b7f08266ca824b5da228dafde55726d94

Merge "Add a basic heat-manage"

Merge "Fail validation when security groups and interfaces conflict"

refactor test_engine_service.py

refactor tests based on stackServiceTestBase to be more like
the other tests, ie clear mocking, validation, and just
inherit from HeatTestCase rather than inheriting lots of
stuff from a base class, which isn't needed for all the tests

Fixes bug #1180375

Change-Id: I78ade1c53113f8f72b4df8ff346c45ec93f19393

Fail validation when security groups and interfaces conflict

The 'SecurityGroups' property of the instance is not taken into account
by Nova when the 'NetworkInterfaces' property is also defined. Instead the
security groups should be applied to the network interface resource(s).

This issue has already raised a couple of invalid bugs on Launchpad.

Change-Id: I5ae2ba356518d391893c2a479c5952b13b6e8d55

Add a basic heat-manage

The heat/cmd/manage.py structure is copied from glance to give
us some consistency.

Removing unused cliutils ...

blueprint heat-manage
Change-Id: If3b69eb4c3672740515fd308ec868af1cd3c9396

Merge "Bring in oslo.cliutils for heat-manage"

Merge "Update the oslo code before importing a new module"

Merge "Migrate test base class to testtools."

Merge "Add CONTRIBUTING file."

Remove eventlet dependency from unit tests

Unit tests should not need to know about eventlet. Instead of stubbing
eventlet.sleep(), stub out the TaskRunner._sleep() method in the scheduler.

Change-Id: I438a5d6978ed228d62a0d28fef30115d205bd2c3

Use a task to delete Instances

Change-Id: Ic8c5552c52c0c00ef081a87525cd3b0bb011ce20

Bring in oslo.cliutils for heat-manage

part of blueprint heat-manage
Change-Id: I526de1aacbcf930f3187914403031a1e6f9ff4ae

Update the oslo code before importing a new module

Note:
- there are some new oslo dependencies pulled in.
- "six" has been added to the requirements.
- rpc messages now have a "namespace" that conflicted with
  the metric namespace.

part of blueprint heat-manage
Change-Id: I92c6b91a28ca0380d13f0a3ba1544b9d517d74a8

Merge "Detach Volumes from an Instance in parallel"

Merge "Handle instance volume attachments with co-routines"

Merge "Add a convenience method to get instance volumes"

Migrate test base class to testtools.

This is stricter, but also provides plumbing for more advanced things
like fixtures and testscenarios.

Change-Id: I607b50390708ca3caa9799ef0b27007df5045a6c

Add CONTRIBUTING file.

Change-Id: Idadfda08c42b40411bb38813bd5996515ea5b491

Migrate to pbr.

Fixes bug 1179007

Change-Id: I698d02a2171e43237094c0e5ccc4c2dd47ed722b

Implement SecurityGroupIds property for instances

Currently handling SecurityGroups and SecurityGroupIds the same exact
way, that is both are passed directly to nova. If one wishes to pass
a security group by parameter of a group to be created in the template,
it must be in the format of <stackname>.<security group name> since
there's no way to determine the ID beforehand.

Fixes bug #1163991

Change-Id: I26bb43ee89806cefc92ba2d0319340c4cd56ed06

Use UUIDs for Quantum security groups

Quantum security groups are referenced by ID and supports duplicate
names, so having the ID available helps to avoid searching for it
when needed.

Change-Id: Idff9245b9848083029dd47fb2253a64b0c5de523

Make IDs for resources unique to ensure tests pass

There were some duplicated IDs being used, specifically with
security groups.

Change-Id: Icf741e42d9dcca922f8944fad546d9db040612ba

Change SecurityGroups to be passed directly to nova

This changes SecurityGroups to return the complete name
of a resource (stack.name).

Change-Id: I945f1213b3ddcb5550e7b4ed3d982d4ee7c4e912

Add a separate Template class for the HOT format

An alternative to https://review.openstack.org/30405

Change-Id: Iea3422b1219a1ddf1b12ac2d156279165eb28c07

Merge "Rename requires files to standard names"

Detach Volumes from an Instance in parallel

Use a PollingTaskGroup to ensure that if there are multiple Volumes
attached to an Instance they are detached in parallel rather than serially.

Change-Id: Ice399ae495af75558f2f8b1b1dc330d0b556a269

Handle instance volume attachments with co-routines

Don't sit in a loop when attaching volumes to instances, use a task that
yields control and allows them to run in parallel - and, in future, in
parallel with other resources being created.

Change-Id: I4653baa87b09a9fb6c2c16b51218f4ea2f2ae6dd

Add a convenience method to get instance volumes

Change-Id: If22cd9245b043f35386ad3c24d46a41b0b8c2c86

engine : move update_template_diff functions into Resource

Move the update_template_diff and update_template_diff_properties
functions into resource.Resource - since they now raise
resource.UpdateReplace we can avoid ever calling handle_update if
the resource update will result in replacement

Note a further cleanup will probably be to combine the two diff
functions into one recursive diff, which will further simplify this

Change-Id: I839f0c4448a2d869f35e0a4f19d17f31c5c6f9af

Instance resource remove unreachable/redundant Metadata update check

update_template_diff already throws resource.UpdateReplace if the
json_snippet contains changes other than to Metadata, so the else
here is unreachable and redundant

Change-Id: I9f0ad88d0b6fa65cafd5b2843a38913fa843a3ac

heat tests : add coverage for instance UpdateReplace

Add some tests which test the UpdateReplace path for Instance

Change-Id: Ib9c35498c3ab2811fcd73aac8159315cb6251004

engine : replace UPDATE_REPLACE with ResourceReplace exception

Replace the handle_update returned value with a new ResourceReplace
exception, which allows the replacement logic in resource.py and
parser.py to be cleaner

Change-Id: If652d031e8baeb8f4c6015e5ed2d0e5bb25f0fc6

Move VolumeAttachment polling to check_create_complete()

Change-Id: I2e2fe3784b8cf79e3ccacd3451e06b75433fdd5b

Merge "Make volume detachment a co-routine"

Merge "engine : Fix ResourceFailure exception issues"

Merge "Make volume attachment a co-routine"

Merge "Verify function calls in cinder_fn_getatt unit test"

Merge "Stub out sleeps in quantum unit tests"

Make volume detachment a co-routine

Change-Id: I799f891010fb75c80afd30ded761aa2b3b632394

Make volume attachment a co-routine

Change-Id: Iad1ac0578470e4c2f997257560d62f8cb2d7ee35

Verify function calls in cinder_fn_getatt unit test

Change-Id: I6a7f03a7b91fb9604ea16e5a60bc12f84ebb9657

Stub out sleeps in quantum unit tests

The patch 5d86e2f2ece51a79102aee2af9a3f306c929aaea
added wait states into the unit tests for quantum networks, routers and
ports, but did not stub out the resulting sleep. This caused the tests to
run for over 1s, which indirectly allowed bug #1182285 to become visible.

Change-Id: Id26daa87e1618533ee92c33827a9d01800b03752

Remove unrelated tracebacks from test output

This mocks some calls the ThreadGroup when testing update and delete of
the stack, resulting in tracebacks when the threads randomly run later
on in the test suite.

Change-Id: Ia1a376933c2e25b6cf0fe6a26f47e381cbb1a55e
Fixes: bug #1182285

Rename requires files to standard names

From bug report:
Rename tools/pip-requires to requirements.txt and tools/test-requires
to test-requirements.txt. These are standard files and tools in the
general world are growing intelligence about them.

Change-Id: Ie0bdb4908f45e47db43e84cd0c5fdc5263c035f4
Fixes: Bug #1179008

Merge "update on_devstack doc"

engine : Fix ResourceFailure exception issues

Fix some issues spotted in https://review.openstack.org/#/c/29543
These errors were spotted after the patch was merged, the
ResourceFailure exception takes an Exception not string argument

Change-Id: I72045ecf147c66a0a1cf1ef5df7fb3be8100384d

Fix PEP H101 (Use TODO(NAME))

Change-Id: I77c9caa650462725b7c686fbafd9753d046b138d

Merge "Implement OS::Cinder::VolumeAttachment"

update on_devstack doc

udpate the prebuilt-jeos-image from F16 to F17

Change-Id: Iae1456e4811c029494a8c2878c9bf0c3221bc43a
Fixes: bug #1180416