heat engine : remove unused EC2 style auth from engine

We handle EC2 style auth at the heat-api-cfn level, so EC2
style authenticated requests simply pass us an auth_token in
the context, so remove this duplicate/dead code.

Ref #268

Change-Id: I17708cb6ef4b0eb4989d47c116b6211f0d419dcb
Signed-off-by: Steven Hardy <shardy@redhat.com>

Do not assume host has selinux utils installed

related to #265

Change-Id: I4a6cff1f05b6f4f88d672cc0d4ce5e8f62a58e47
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Identify stacks using tenant UUIDs

Tenant names may come and go, but UUIDs are universally unique. Therefore,
ownership of the stack should be keyed on the tenant_id, not the tenant
name.

Change-Id: I7ec410aeaeceb6319299935b5f34d7c4e9c63d67
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make default distribution U10 for deb template

Change-Id: Ifcfc7d1fbb6fac2a785a0dc5a4e6ba09cf898ed4
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat engine : Make wait-condition poll interval better

Remove rising-rate sleep-time logic and replace with a bounded
poll interval derived from the timeout - this should avoid ramping
up to a really long interval and delaying stack complete status

Fixes #264

Change-Id: Id53b87a988299708c29fc853f2801f527fd825dd
Signed-off-by: Steven Hardy <shardy@redhat.com>

Handle upgrades in heat-keystone-setup

Handle upgrades of Heat by removing any outdated endpoints that exist in
keystone and adding any existing "heat" service user to an admin role in
the service tenant.

Change-Id: If6393417b5404a56b4723f42fb1a1b394d01cc6a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Rename CloudFormation service to heat-cfn

This is consistent with what is implemented in devstack.

Change-Id: If47c28ddbef1d6c61e2d741f359d850e4ecffaa9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat tests : Remove utils.Stack getter methods"

heat tests : Remove utils.Stack getter methods

Remove the get_*_client getter methods, as they aren't
actually doing anything, so just access the attributes

Change-Id: Ic6740bdfe7d44c40b9fdf9fc4d03f8eddaf9a740
Signed-off-by: Steven Hardy <shardy@redhat.com>

Use password in preference to token if both supplied

Fixes #263 - devstack is providing a token in the environment, which was
causing the wrong path to get hit.

Change-Id: I9aae346e57fdfe156e52d4696e8f2f859884ff2f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat : heat cli pep cleanups"

heat tests : add ValidateTemplate test to CFN_API_Actions_Boto test

Add test for ValidateTemplate test to test_CFN_API_Actions_Boto.py

Change-Id: I1fff55cd9aaa0c62c2a1e05050695bcd3f96664a
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Add ValidateTemplate test to CFN_API_Actions test

Add test for ValidateTemplate action to test_CFN_API_Actions.py

Change-Id: Ia7a377f952d096e7b728a7151906ab2781695008
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat API : ValidateTemplate fix response format

Fix CFN API ValidateTemplate response format, missing the
ValidateTemplateResponse wrapper, required by boto to parse the response

Change-Id: I89464df402346ff87041496652d2b4d39cc35fc6
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : heat cli pep cleanups

Fix some pep whitespace issues, which were not picked
up by the jenkins gate for some reason..

Change-Id: I9a3488d61a3cde4bb8038f3f1927eb0c1ad0f60c
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : boto_client_cloudwatch allow credentials override

Allow the AWS key/secret to be passed in when making the client
connection like boto_client.py

Ref #222

Change-Id: Iee24120eb52c8ffb97b1b421b0a27313e5f5cbdd
Signed-off-by: Steven Hardy <shardy@redhat.com>

Catch SSH Disconnection errors in functional tests

Change-Id: I24f959cbaa36138bafeda70a3966000673c80c56
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : add template-swift-url option to client

Add option to bin/heat to retrieve template body from swift

Fixes #216

Change-Id: I425d7cd0f01875d85d97906f4f91c3a3b2fcf851
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat cli: encapsulate template arg-parsing

Encapsulate template argument parsing in a helper function
cleans up some duplication and provides a single place to add
swift-template-url logic

Ref #216

Change-Id: I36515f318ed79899a2710899ffca83e4452c61f4
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : remove unused validate_template params

Remove unused params argument to validate_template, since
it is no longer passed by the CFN API meaning the validate
action fails

Fixes #262

Change-Id: Ic2a5ede02649f2d6dff86595efb0127e07fbf253
Signed-off-by: Steven Hardy <shardy@redhat.com>

Obey the passed in distro value in HAProxy template

Change-Id: I7e1dad654746329763bb575a09611aa0b827ec24
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Use --script option to parted in templates

Provisioning scripts should never expect user input.

Change-Id: I0099cee6a920313c2b5c8e86ddb18de11bab8329
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Reduce timeout periods in functional tests

Many of the timeouts were absurdly long and delayed reporting of test
results by many hours at a time.

Change-Id: I9a70442548097d607eab87471a8037b566127ac9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Add unit tests

Change-Id: Id815c7d5d08e912f64268529b4bdbdcd06c1c47e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Getting started updates for Cloudwatch

Update GettingStarted.rst:
- Add heat-api-cloudwatch section
- Add firewall rules required for heat-metadata and heat-api-cloudwatch

Change-Id: I3b232f378a23b6c334c7e8e5af3ab067ffd50381
Signed-off-by: Steven Hardy <shardy@redhat.com>

Getting Started: Fix IP address determination on F17

The format of the output of ifconfig has changed between Fedora 16 and
Fedora 17, so starting the metadata server failed on the latter due to a
missing IP address.

The change makes the script work with either format, and also now fails
with an error if it breaks again.

Change-Id: I7012af7bd7c15f6a962d19e66c8a0d8401243895
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat : Remove cloudwatch functionalty from metadata server"

Merge "heat templates : Add boto config to HA templates"

Merge "heat engine : Move watch logic into WatchRule class"

heat engine : Move watch logic into WatchRule class

Move engine/manager.py logic into WatchRule class so watch-
related DB manipulation and related logic is encapsulated in
the WatchRule class

Fixes #217

Change-Id: I5405ab631de17efda7eefb45dadad55ee12c533c
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Report template validation errors

Use a different HTTP Status code (Bad Request) for validation errors.

Change-Id: Ie1097dfbbe920a2efb641b343114d7b4decac473
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Return appropriate error codes

Change-Id: I769366dd164199c3b7d16ca8bf4c4d99d21dbb7b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Separate out code to fetch template from a URL

This will make testing a bit easier.

Change-Id: I8f9d63e3ff68174bb9f1284c21f52696ec5ac006
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : db API add watch_rule_get_by_name

Add watch_rule_get_by_name, and move the previous
watch_rule_get to look up rule by ID, which is consistent
with the other api calls.  Lookup by id is required for
WatchRule rework

Ref #217

Change-Id: I4b5d08ffcd31b6b522c65edd0a202e8cf5a367b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : db API add watch_rule_update DB API action

Add watch_rule_update DB API call, needed for WatchRule
refactor/rework

Ref #217

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie8321d390ab96e987bfa4c97c26f1e0305f6bd48

heat : Remove cloudwatch functionalty from metadata server

Remove the cloudwatch metric functionality from the heat-metadata
service, since all stats should now be sent via the CloudWatch
api via the PutMetricData action (ref cfn-push-stats update)

Note that after this change you will need to rebuild your jeos
images to get the new version of cfn-push-stats from heat-jeos

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I5eec60d3dd0abfb32e2b4777635f1b0e2714a2c2

heat templates : Add boto config to HA templates

Add boto config to HA/IHA templates as it's now required for
authenticated cfn-push-stats which uses the CloudWatch API

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I8670f6774834e9f41870240496fe74728306cf17

Merge "ReST API: Add some simple API documentation"

Merge "ReST API: Use JSON documents for data input"

Merge "ReST API: Refactor handling of input data"

Unit test for load balancer resource type.

Change-Id: I2386419563f02bcb509a8547fd587b9af6285c5c

Merge "heat : Add missing calculate_properties to user resource"

Merge "heat engine : Avoid printing credentials to logfile"

heat : Add missing calculate_properties to user resource

Adding calculate_properties to user AccessKey resource, or
we get a key error when trying to list resources in stacks
using this resource type

Fixes #194

Change-Id: I905c162dd6bc3557825610f046e6ee8228d5225b
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Avoid printing credentials to logfile

Avoid printing the AWS secret key to the (world-readable)
engine logfile

Fixes #258

Change-Id: I26d809064c603421c4bbe4a060de5d4776fec4b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : only attempt stack update from valid states

Only attempt to update a stack if it is in CREATE_COMPLETE
or UPDATE_COMPLETE state

Fixes #260

Change-Id: If47a628f1602d5d8783b3f0e90fd7e76ccef46ba
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Add some simple API documentation

Change-Id: I6b3ff5a46e0ba836634cc21cf7ee8945a18a6a3a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Use JSON documents for data input

This is more in keeping with how OpenStack resources are manipulated than
the previous implementation, which used WWW Forms encoding.

Change-Id: Iba7a6b83a65637cf999c67ef3f4dea7b3e64100d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Refactor handling of input data

Create a separate class for dealing with the data associated with a
PUT/POST request.

Change-Id: I054bc74cf65055d23eb716738c29e751a32f3022
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Fix template validation

Also move the URL to be local to a tenant. This is because keystone will
automatically fill in the tenant id in the endpoint, so all requests will
use this as a base URL.

Change-Id: I3fbd5a7d256426079824f8a26fdcd41eac083146
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : workaround engine error with version code

Work around lack of git sha in vcsversion so we don't get an
engine error if the version dict doesn't contain the sha key

Fixes #259

Change-Id: I25d2cfb008a5a9e0e1a60e7360e58608d2d8e9c0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Change endpoint service type from orchestration to cloudformation.

This is required so that the REST API can take over the orchestration service type.

This will break exiting setups until heat-keystone-setup is re-run.

There will be a corresponding update to devstack, which may be out of sync to this one.

Merge "Remove unnecessary keystone scripts"

Fix versioning code

Removed cruft from OpenStack common versioning code that was removed.
Added optional git SHA information if module is available. The
intent is to have the additional git revision reported only when FINAL
is set to False.

Change-Id: Iae94b84027e7428cd394726e07845d2bad631586
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Remove unnecessary keystone scripts

Make remaining keystone script check installed version of Nova and use
proper arguments to keystone.

closes #252

Change-Id: Ie4709891c7ca89d73390a3474e3d10beab449395
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Fix bugs in ReST API stack creation

Change-Id: I39277224305465cc951e397f340012563c0f7174
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Allow authentication to Nova with a Keystone token

Change-Id: I3ca90169559cc167ff51db5fe47ceec8c917f04b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Make sure to remove python-glanceclient too"

Merge "Fix hash-bang directive in nova_create_flavors.sh"

Merge "heat tests : add functional test for UpdateStack"

Merge "heat tests : functional utils support for UpdateStack"

Merge "heat tests : Add new boto API test"

heat engine : workaround lack of no_cache on essex

no_cache novaclient fix doesn't work on essex, so try
both the essex and the folsom compatible novaclient
prototypes

Change-Id: I0749f821981550d7a5f5a95e2f5951c77d8e1529
Signed-off-by: Steven Hardy <shardy@redhat.com>

Avoid create_stack RPC call timing out on precise

The create_stack RPC call times out on Ubuntu as novaclient
blocks expecting stdin when prompting for a keyring password:

    Please set a password for your new keyring

This probably does not occur on Fedora due to the version or
presence of the python-keyring package differing.

The problem can be avoided by ensuring the no_cache flag is
set on the novaclient.

Change-Id: I3ac9e74571ff837cd07fc3f36ecf706180f4dc46

Fix hash-bang directive in nova_create_flavors.sh

The script employs bash-isms, so the directive to use the
Bourne shell causes some predictable failures:

  nova_create_flavors.sh: [[: not found

... etc.

Change-Id: I60f3de55d2ebbfa47d444ec72c07728bbfa38be6

import gettext to fix db migration execution

Make sure to remove python-glanceclient too

Change-Id: I44c39824f5b1d96ac69e6972506fc865718b3c59
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat tests : add functional test for UpdateStack

Add new API test to prove UpdateStack action

Change-Id: I656f3965a222ee1dcd890d4e4491f5550fada461
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional utils support for UpdateStack

Add Stack.update method so UpdateStack API action
can be tested

Change-Id: I2fdc37b15eab9b7d786153877755a631fda0ad2a
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Add new boto API test

Add new test_CFN_API_Actions_Boto.py test, which
tests the CFN API via the boto client

Change-Id: Iad796da35009fbad0ce21ba0d7ab73c2fd16cd7d
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add the beginnings of an OpenStack ReST API"

Merge "Unit test for DBInstance resource."

Merge "heat tests : API test fixup for ResourceProperties"

Add the beginnings of an OpenStack ReST API

So far only access to stacks (not resources and events) is implemented.

Change-Id: I9655e9441087ef60c06e67e2d6ae68ec4a3b2d11
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : API test fixup for ResourceProperties

Fixup CFN API functional test after ResourceProperties
format change

Change-Id: I91d88443bc885163cffafc83615aa0cfa8d3ff83
Signed-off-by: Steven Hardy <shardy@redhat.com>

Allow separate versioning of each API

Previously, all APIs used single versioning definition. Since these are
likely to change at different rates (AWS APIs are unlikely to change at
all, but OpenStack APIs probably will), give each their own version
definition.

Change-Id: I6985205dfcb5baf6f49ad32b091d811f97d1552a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat API : return ResourceProperties as JSON

For boto to correctly parse the API DescribeStackEvents
action, the ResourceProperties key in the response
must be a string, as per the AWS spec, so we encode the
properties in a JSON blob

Fixes #245

Change-Id: Icd38984836a941ed4a012b06382933bb46f43c4f
Signed-off-by: Steven Hardy <shardy@redhat.com>

Move CloudFormation API to heat.api.cfn package

Change-Id: Ib0adf6f38da298b0b87d80272904767066b41087
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make the keystone service type configurable

We will eventually need to have clients for both the OpenStack and
CloudFormation-compatible APIs, and they will need to have different
service types.

Change-Id: I06ae727c17c245ae60934bbed6e1631c7ad5fd77
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test for DBInstance resource.

Coverage is 100% assuming you don't count the
nested template as code.

Change-Id: I846ed736d75eeef8723c33db7cae889a26049d9a

Add a Folsom specific heat-keystone-setup binary to bin

Fixes issue #253

Change-Id: Ie223c43c15ac806da393e3d532ef410526ac16ce
Signed-off-by: Steven Dake <sdake@redhat.com>

heat engine : format stack outputs for updated stacks

Fix bug where stack outputs are not formatted when
stacks are in UPDATE_COMPLETE state

Fixes #250

Change-Id: I8936c8e62b8c9b1f28f09eb5b8c50eb79cb76eb2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : fix glanceclient deprecation warning

glanceclient module name changed for F18, so do
a conditional import which should import the correct
version provided one is available (tested on F17/F18)

Fixes #251

Change-Id: I095560f29a408949a7d54795fc000c094b1d63b9
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix test_waitcondition.py race by converting to mox.

Eventlet calls and metadata state changes are now
mocked, so there are no sleeps, and in theory no
chance of races.

Change-Id: I05fee73a8cefafe1f2bb5a4ca65c585933497475

Merge "Rename heat/cloudformations.py to heat/cloudformation.py"

Rename heat/cloudformations.py to heat/cloudformation.py

Change-Id: I1db2e5b191b35a07aa51113829d95085bfbfc8e7
Signed-off-by: Steven Dake <sdake@redhat.com>

Trivial unit test changes

- rename assertEquals to assertEqual
- fix the swiftclient package import, which was broken
  for testing

Change-Id: Icbe80ded918b9b2d089797645bf8d46a9efaf619

Switch to in-memory sqlite for unit tests; 1500% speed improvement.

All unit tests now run in 4 seconds, instead of 64 seconds on a HDD.

 _ENGINE global setting had to be moved into get_engine() so that migration works, otherwise get_engine() creates a new isolated in-memory database for
every call.

Other unit test speedups in this change are to stub out some eventlet sleeps
which saves about 5 seconds.

Change-Id: I3643b73dd9bd86c414934b7c78db67402587f570

Move test skipping on import failure from package to function.

This gives a better test output on what has been skipped and why.

The unittest2.TestCase class has been removed because it is unused and
unittest2 is not available to the gates.

Change-Id: I1b5ae0845b2ef8dadc5cff42770ef062ea4e862f

Merge "Get rid of gratuitous params in RPC API"

Merge "Stop deprecation warning when creating resources directly."

Get rid of gratuitous params in RPC API

For historical reasons, we were passing all of the parameters from the query
string received by the AWS API to the engine as "params" in many calls.
This is not required, since all of the relevant information has already
been extracted.

Change-Id: Iedec5b442ccb0b358afc8a4e06f60672890aba05
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test coverage for user resources, plus some user fixes.

- User 'Policies' attribute removed since it shouldn't exist
- fixed 'SecretAccessKey' attribute in AccessKey

Change-Id: Iff7cf0bda074cb615045e7236f274cafa56909f6

Change file to executable to get rid of rpmlint warning

Change-Id: I5274c04bca9c5f089c39a241cc2ba4ea96e279ac
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Version 6 about to be announced for release, time for v7

Change-Id: Ie85008bc7acce7535268fec0a62a0fda7bbbd1ec
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat : HA functional test missing import

Change-Id: Ife9b85c321b41f9d838bf413734a803f858d93c8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : convert HA test to exec_sudo_command

Use exec_sudo_command to ensure sudo command works

Change-Id: I9e4b25de04112f860c40604f6152f86efd937468
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Fixup IHA functional test

Add more prints to monitor progress and ensure
the halt sudo command works by using the new utils
function, workaround paramiko SSH issue

Ref #246

Change-Id: I656925e61b878a9f2eabfbd65bee796d9d8ee54d
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional tests add exec_sudo_command

Add new method in the Instance class, which uses paramiko
invoke_shell instead of exec_command, so sudo commands can
run despite requiretty being set in our sudo config

Ref #246

Change-Id: I3be691167d4c757b68e589261d6f3a1263d77e69
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't fail to delete if VolumeAttachment not found

Change-Id: If12b7ebbee2d71e39e49152d971c11f55badca18
Signed-off-by: Zane Bitter <zbitter@redhat.com>