Create stacks with a co-routine

This will allow nested stacks to be created in parallel with other stack
resources in the future.

Change-Id: If1817bddcea50fdd7b640dee5b5d12257aada651

Implement timeouts for nested stacks

This also means that if no default is specified, nested stacks will not
time out (previously they used the default timeout of 60 minutes). Of
course, like other resources, creation of the nested stack will stop if and
when the parent stack times out.

Change-Id: Ibd55c32d63e971f79319ed40321fa4be52b65419

Allow stacks to be created without a timeout

This should be the default for nested stacks, rather than the default
timeout of 60 minutes for stacks created through the API.

Change-Id: Iacee6eaf8f345e506b417e776f696db6b11bbf20

Merge "Add a separate Template class for the HOT format"

Merge "Clean up DB migrations when running unit tests"

Add CONTRIBUTING.rst file.

We don't use github pull requests, but we'd like to make that clear
to people if they show up at github and try to do one. github will
display the content of this file on the pull request submit form
if it's there.

Change-Id: I25e5b65b02244e100da4e5717ded09fcc0f33741

Clean up DB migrations when running unit tests

When doing development work, all kinds of issue can result when moving
between versions of the code that have added/removed DB migration scripts
if the compiled .pyc files are left behind. To save the need to do this
manually, remove all of the .pyc files when the unit tests are run.

Change-Id: Ia4bc889edeeed499e5fc2172d5f7c1b4e693a27b

Get rid of extra delays in unit tests

Some resource types will now have at least one sleep during their creation
where previously they did not, so unit tests need to stub out the sleep if
they were not already doing so.

Change-Id: I1ae919263c6f12d9219970f226019e53daff052b

Restore heat.db.sync and add Deprecated message.

This unpythonic deprecation method is used because this module was only
ever meant to be used from the CLI as 'python -m heat.db.sync'. The
module should be removable in Havana+1.

Fixes bug #1185220

Change-Id: I9943e5c35d9578f899fae1d11b818a2a5a9167c0

Merge "Create resources in parallel where possible"

Merge "Add a dependency-aware task group"

Merge "Move deletion from dependency graph to __delitem__"

Merge "Make the mutable dependency graph a separate class"

Merge "Make dependency graph node class public"

Use heat-engine.conf for heat-manage config

Fixes bug 1184923

because prog was missing the CONF object was looking for
the config file in /etc/heat/heat.conf  this should have
been /etc/heat/heat-engine.conf

Change-Id: Ie23b9998df368274d69180e0d619b042dd9dc053

Create resources in parallel where possible

Use the create co-routines with a DependencyTaskGroup to create resources
in parallel where possible, subject to their dependencies.

This implements blueprint concurrent-resource-scheduling with the exception
of nested stacks.

Change-Id: I4789ab11617b408622d8fc083e6b80a797d99e3a

Add a dependency-aware task group

Change-Id: I4524b4b220bdc02bdd7e3f9a5d84b1982cbee99f

Move deletion from dependency graph to __delitem__

Graph objects are mutable, and will in future be used for operations other
than a topological sort, so abstract out the code for deleting backlinks to
a node from the other nodes that have dependencies on it when it is
removed.

Change-Id: I86b81303ed2dffd969a2db10535761f108f4808a

Make the mutable dependency graph a separate class

Rather than copying dictionaries internally, provide a separate Graph class
that can be copied externally as well.

Change-Id: Id0bd55944369da59d7da1713369fce0d73ffe814

Make dependency graph node class public

We're going to start making more use of it, so there's no point hiding it
away inside the Dependencies class.

Change-Id: I10c4a05493697f8834623cd798ef35161a0c219b

Fix the handling of non-existing paste file

First only call find_file() by it's self so we can check for None
(abspath crashes if you pass it None)
We are already calling abspath at the return, so this
also prevents a double call to abspath.

If return None from _get_deployment_config_file() load_paste_app() will
print out a nice error message.

Change-Id: I451e090b7f08266ca824b5da228dafde55726d94

Merge "Add a basic heat-manage"

Merge "Fail validation when security groups and interfaces conflict"

refactor test_engine_service.py

refactor tests based on stackServiceTestBase to be more like
the other tests, ie clear mocking, validation, and just
inherit from HeatTestCase rather than inheriting lots of
stuff from a base class, which isn't needed for all the tests

Fixes bug #1180375

Change-Id: I78ade1c53113f8f72b4df8ff346c45ec93f19393

Fail validation when security groups and interfaces conflict

The 'SecurityGroups' property of the instance is not taken into account
by Nova when the 'NetworkInterfaces' property is also defined. Instead the
security groups should be applied to the network interface resource(s).

This issue has already raised a couple of invalid bugs on Launchpad.

Change-Id: I5ae2ba356518d391893c2a479c5952b13b6e8d55

Add a basic heat-manage

The heat/cmd/manage.py structure is copied from glance to give
us some consistency.

Removing unused cliutils ...

blueprint heat-manage
Change-Id: If3b69eb4c3672740515fd308ec868af1cd3c9396

Merge "Bring in oslo.cliutils for heat-manage"

Merge "Update the oslo code before importing a new module"

Merge "Migrate test base class to testtools."

Merge "Add CONTRIBUTING file."

Remove eventlet dependency from unit tests

Unit tests should not need to know about eventlet. Instead of stubbing
eventlet.sleep(), stub out the TaskRunner._sleep() method in the scheduler.

Change-Id: I438a5d6978ed228d62a0d28fef30115d205bd2c3

Use a task to delete Instances

Change-Id: Ic8c5552c52c0c00ef081a87525cd3b0bb011ce20

Bring in oslo.cliutils for heat-manage

part of blueprint heat-manage
Change-Id: I526de1aacbcf930f3187914403031a1e6f9ff4ae

Update the oslo code before importing a new module

Note:
- there are some new oslo dependencies pulled in.
- "six" has been added to the requirements.
- rpc messages now have a "namespace" that conflicted with
  the metric namespace.

part of blueprint heat-manage
Change-Id: I92c6b91a28ca0380d13f0a3ba1544b9d517d74a8

Merge "Detach Volumes from an Instance in parallel"

Merge "Handle instance volume attachments with co-routines"

Merge "Add a convenience method to get instance volumes"

Migrate test base class to testtools.

This is stricter, but also provides plumbing for more advanced things
like fixtures and testscenarios.

Change-Id: I607b50390708ca3caa9799ef0b27007df5045a6c

Add CONTRIBUTING file.

Change-Id: Idadfda08c42b40411bb38813bd5996515ea5b491

Migrate to pbr.

Fixes bug 1179007

Change-Id: I698d02a2171e43237094c0e5ccc4c2dd47ed722b

Implement SecurityGroupIds property for instances

Currently handling SecurityGroups and SecurityGroupIds the same exact
way, that is both are passed directly to nova. If one wishes to pass
a security group by parameter of a group to be created in the template,
it must be in the format of <stackname>.<security group name> since
there's no way to determine the ID beforehand.

Fixes bug #1163991

Change-Id: I26bb43ee89806cefc92ba2d0319340c4cd56ed06

Use UUIDs for Quantum security groups

Quantum security groups are referenced by ID and supports duplicate
names, so having the ID available helps to avoid searching for it
when needed.

Change-Id: Idff9245b9848083029dd47fb2253a64b0c5de523

Make IDs for resources unique to ensure tests pass

There were some duplicated IDs being used, specifically with
security groups.

Change-Id: Icf741e42d9dcca922f8944fad546d9db040612ba

Change SecurityGroups to be passed directly to nova

This changes SecurityGroups to return the complete name
of a resource (stack.name).

Change-Id: I945f1213b3ddcb5550e7b4ed3d982d4ee7c4e912

Add a separate Template class for the HOT format

An alternative to https://review.openstack.org/30405

Change-Id: Iea3422b1219a1ddf1b12ac2d156279165eb28c07

Merge "Rename requires files to standard names"

Detach Volumes from an Instance in parallel

Use a PollingTaskGroup to ensure that if there are multiple Volumes
attached to an Instance they are detached in parallel rather than serially.

Change-Id: Ice399ae495af75558f2f8b1b1dc330d0b556a269

Handle instance volume attachments with co-routines

Don't sit in a loop when attaching volumes to instances, use a task that
yields control and allows them to run in parallel - and, in future, in
parallel with other resources being created.

Change-Id: I4653baa87b09a9fb6c2c16b51218f4ea2f2ae6dd

Add a convenience method to get instance volumes

Change-Id: If22cd9245b043f35386ad3c24d46a41b0b8c2c86

engine : move update_template_diff functions into Resource

Move the update_template_diff and update_template_diff_properties
functions into resource.Resource - since they now raise
resource.UpdateReplace we can avoid ever calling handle_update if
the resource update will result in replacement

Note a further cleanup will probably be to combine the two diff
functions into one recursive diff, which will further simplify this

Change-Id: I839f0c4448a2d869f35e0a4f19d17f31c5c6f9af

Instance resource remove unreachable/redundant Metadata update check

update_template_diff already throws resource.UpdateReplace if the
json_snippet contains changes other than to Metadata, so the else
here is unreachable and redundant

Change-Id: I9f0ad88d0b6fa65cafd5b2843a38913fa843a3ac

heat tests : add coverage for instance UpdateReplace

Add some tests which test the UpdateReplace path for Instance

Change-Id: Ib9c35498c3ab2811fcd73aac8159315cb6251004

engine : replace UPDATE_REPLACE with ResourceReplace exception

Replace the handle_update returned value with a new ResourceReplace
exception, which allows the replacement logic in resource.py and
parser.py to be cleaner

Change-Id: If652d031e8baeb8f4c6015e5ed2d0e5bb25f0fc6

Move VolumeAttachment polling to check_create_complete()

Change-Id: I2e2fe3784b8cf79e3ccacd3451e06b75433fdd5b

Merge "Make volume detachment a co-routine"

Merge "engine : Fix ResourceFailure exception issues"

Merge "Make volume attachment a co-routine"

Merge "Verify function calls in cinder_fn_getatt unit test"

Merge "Stub out sleeps in quantum unit tests"

Make volume detachment a co-routine

Change-Id: I799f891010fb75c80afd30ded761aa2b3b632394

Make volume attachment a co-routine

Change-Id: Iad1ac0578470e4c2f997257560d62f8cb2d7ee35

Verify function calls in cinder_fn_getatt unit test

Change-Id: I6a7f03a7b91fb9604ea16e5a60bc12f84ebb9657

Stub out sleeps in quantum unit tests

The patch 5d86e2f2ece51a79102aee2af9a3f306c929aaea
added wait states into the unit tests for quantum networks, routers and
ports, but did not stub out the resulting sleep. This caused the tests to
run for over 1s, which indirectly allowed bug #1182285 to become visible.

Change-Id: Id26daa87e1618533ee92c33827a9d01800b03752

Remove unrelated tracebacks from test output

This mocks some calls the ThreadGroup when testing update and delete of
the stack, resulting in tracebacks when the threads randomly run later
on in the test suite.

Change-Id: Ia1a376933c2e25b6cf0fe6a26f47e381cbb1a55e
Fixes: bug #1182285

Rename requires files to standard names

From bug report:
Rename tools/pip-requires to requirements.txt and tools/test-requires
to test-requirements.txt. These are standard files and tools in the
general world are growing intelligence about them.

Change-Id: Ie0bdb4908f45e47db43e84cd0c5fdc5263c035f4
Fixes: Bug #1179008

Merge "update on_devstack doc"

engine : Fix ResourceFailure exception issues

Fix some issues spotted in https://review.openstack.org/#/c/29543
These errors were spotted after the patch was merged, the
ResourceFailure exception takes an Exception not string argument

Change-Id: I72045ecf147c66a0a1cf1ef5df7fb3be8100384d

Fix PEP H101 (Use TODO(NAME))

Change-Id: I77c9caa650462725b7c686fbafd9753d046b138d

Merge "Implement OS::Cinder::VolumeAttachment"

update on_devstack doc

udpate the prebuilt-jeos-image from F16 to F17

Change-Id: Iae1456e4811c029494a8c2878c9bf0c3221bc43a
Fixes: bug #1180416

Merge "Fix PEP H902 (Use the 'not in' operator)"

Implement OS::Cinder::VolumeAttachment

This creates a new volume attachment resource with Cinder specific
naming.

Change-Id: Ie73b929925c58e47f3509d57dd385cbd4ea5a4c1

Merge "UpdateStack for AWS::AutoScaling::ScalingPolicy"

Merge "Adds sudo check for privileged operations."

Merge "engine : remove unused update states/status"

Merge "engine : cleanup Resource.update error paths"

Fix PEP H902 (Use the 'not in' operator)

Change-Id: Ic3dec990d2fe43dd8841aadb7b87e8f26c2d0338

UpdateStack for AWS::AutoScaling::ScalingPolicy

Implemented update support of the ScalingPolicy resource
in an existing stack. ScalingAdjustment, AdjustmentType,
and Cooldown properties are allowed properties for update.
A handle_update method is added to update differences in
the template.

Change-Id: Ieeae93560a315a8a35c6fb2d8f1d78a89123bec3
blueprint: scalingpolicy-update-stack

Fix PEP H301 (one import per line)

Change-Id: I7b0c991c869c903e60123ad5bdf876b06d83e3e9

Fix PEP H402 "one line docstring needs punctuation."

Change-Id: Id0aa43187f6d5e62308f4b329bc9458a512d808d

PEP: be explicit about what errors are ignored.

Change-Id: I362ba16c8a7b645c9befa7fcd4b0942773b0dbce

engine : remove unused update states/status

We have some aws-isms in the update code related to different
update states, which is not actually used anywhere, so may as
well remove it - it's probably easier at least for now to focus
on the three update states of COMPLETE/FAILED/REPLACEMENT

Change-Id: Ieeaf92ab0fec6bbfab3dddf2d8fecb0b38c1b2fc

engine : cleanup Resource.update error paths

The current update code uses a nasty pattern where returning an
arbitrary string from Resource.update is interpreted in parser.Stack
as an error.  Instead use exceptions which is much nicer :)

Change-Id: I2ddebfd6bbec3dc229012406da72dd928fcc4595

Adds sudo check for privileged operations.

Adds root user check to determine whether or not sudo is required
for MySQL status and installation.  We now run sudo -l to verify
that the user is in the sudoers file, the credentials are then
cached for the rest of the operations.

bug 1181701

Change-Id: I294b269046ee2049b0fdee3c871096387cefbf24

The oslo module called utils is no more.

This had been cleaned up in openstack/common, but left in the config
file. Clean that up too.

Change-Id: I15b96c53aff3281a44250e9beb4ec56fb80bf9b6

Merge "Exclude build/ from flake8 checks"

Exclude build/ from flake8 checks

Change-Id: Ie7b19f8488230e8538720b96c73b49453c6a3efe

Tests for Router, RouterInterface, RouterGateway.

quantum package now has over 94% test coverage.

Change-Id: I82b4635e4554e5b94eaac70bd1cc4b9249863dc9

Tolerate resource lookup errors for quantum FnGetAtt.

Fixes bug #1180293

Change-Id: I5384456bbbf53558036573c983be0b65e8883612

Implement check_active for quantum net, port, router

These quantum resources go through a BUILD status before becoming
ACTIVE (or DOWN).

This could explain the issues seen in
Bug: #1176661

Change-Id: I659774cd402b71be102376b31e2d78bf225d37a6

The utils module in oslo is no more.

The utils module in oslo has been removed (with most of its
functionality moving across to strutils). Luckily it was imported
in heat but never actually used, so removing it is relatively easy.

Change-Id: I3df27a553ebe7de188893038f9285d4b9a789d19

Migrate to flake8

Fixes bug 117244

Change-Id: Ide81366eb2240377160775830e2307aef6064f9e

Merge "Clean up a pyflakes error in a comment."

Merge "Align usage of test skipping."

Merge "Use mox for mocking quantum client test calls"

Merge "Fix error in Dependencies representation"

Merge "Initialise resources when service is created."

Clean up a pyflakes error in a comment.

This is a little-bit silly, but it's the last thing. pyflakes parses
python lines that are in docstring comments that are prefaced by >>>.
So, without the import, pyflakes complains about undefined import.

Change-Id: Ibac77367efb07b65b992694b2de19473ec9ef473

Align usage of test skipping.

There were three different mechanisms for skipping tests in the suite.
For the most part, skipIf was used, so sync to that. Additionally, it
was being used as a decorater in most places, but as a call in a few,
so make it a decorator everywhere. Finally, if it's on the setUp method,
it's not necessary for it to be on any of the individual tests in the class.

Change-Id: I7fbd09a6bc015e698a190b989d0f8641c4adb63e

Fix error in Dependencies representation

This mostly only exists for debugging, but it's helpful if it can actually
run.

Change-Id: Ie29da5e7e58aed54aaaffa4df479fa0d96ce78fe