Move Timestamp code to separate file

Change-Id: I57627f5b9048bbbcda0a07ac274fd1e579348496
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat-keystone-setup : change role to heat_stack_user

Change heat_instance role name to heat_stack_user after discussions

Change-Id: I14e95df0e02d82566f4758510ae38f6b26ccb532
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : add template-defined users to keystone role

Add all keystone users created by the User resource type
to a special keystone role, which can be used later for
defining RBAC policy for these users, and also works around
a keystone bug (1060959) on Folsom

Fixes #279

Change-Id: I94931e427ed51f4332bcb506220925b7ce8097bc
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Allow instance users to view their own details

So that cfn-hup can read instance metadata via the DescribeStackResource
API call, we need non-admin "instance users" to be allowed to read their
own AccessKey resource details (since it can-be/is referenced in the
instance resource metadata).  The change in this patch should allow non-admin
users to read *only their own* secret AccessKey, and leave existing admin-user
visibility of the AccessKey resources unchanged.

Change-Id: Ic26d614d8e30104fbb354a67d3376b5d995ae8cc
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat-keystone-setup add instance role

Add "heat_instance" role which we will assign all "instance users"
to in the engine when we create them

Ref #279

Change-Id: If7cc07c605f7696c1e9f617dbfca1b81d5b04196
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat-keystone-setup workaround keystone arg syntax

Keystone user-role-add syntax is not the same on essex
and folsom, so try both formats so we can work with either
Removes potentially unreliable approach to detecting keystone
version, and also avoids error on folsom when the user already
has the specified role

Fixes #272

Change-Id: Iece52223a29069a1fd517018cc49613be6fac318
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat-keystone-setup workaround keystone output reordering

Folsom version of keystoneclient orders the columns for
keystone user-list differently, so we need to detect the
new format to extract the correct field

Fixes #273

Change-Id: I46f653dd3a8f7b5a68648fbd72671f95b386a547
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : StackBoto fix _check_*_result functions

The _check_*_result functions don't actually check anything
so make them check the response format, which should be a stackid

Change-Id: I6b22cdc64409846caadbd2ebca5e8a81eccc81a6
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : refactor stackid check into utils.Stack

Rework utils.Stack._check_stackid so it can be used in the
tests to verify stackid format, avoiding maintaining multiple
copies of a stackid regex

Change-Id: If7fbd7b35626c377b42a43ffa03ee8067540963b
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : fix CFN_API_Actions test fix state reason

state reason is "state changed" not None now we commit
the IN_PROGRESS state transition to the DB

Change-Id: I4c6641cd489de13ee9575fcdf879cae95ad7df4d
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : fix CFN_API_Actions test stackid regex

stackid format has changed since move from tenant name to
tenant id

Change-Id: I5e8304f33d49133bc1b7e5530ae1a8323e2986c5
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : kill running greenthreads on stack_delete

Add logic to track running eventlet greenthreads and kill
them when we start a stack_delete.  This should avoid errors
where long-running greenthreads end up referencing stacks which
have subsequently been deleted.

Fixes #261
Ref #223

Change-Id: I0d10b6f2dad0efa1caec18a67a3cc66cc693ea24
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Store all resource states to DB

Resources should be committed to the DB on transisiton
to CREATE_IN_PROGRESS state, otherwise resources
which take a long time to go from CREATE_IN_PROGRESS to
CREATE_COMPLETE (e.g WaitConditions) are invisible while
in the CREATE_IN_PROGRESS state to all except the thread
creating them.

Change-Id: If1563505e854c216c0f6a5ce84b613e1ccb74386
Signed-off-by: Steven Hardy <shardy@redhat.com>

Bump version to v8

v7 has branched

Change-Id: Ib8d3471576e0d408b18f4ab4d04ffdeafba234b5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat engine : Make Resource::swift handle auth_token

Make Resource::swift() handle auth_token so the S3
resource will work with AWS auth

Fixes #271

Change-Id: Ie5aca026dea25045e42aab677a2c793c79de1658
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Add a keystone endpoint

Change-Id: I2770279ec50822c106d3ae23ce2f736a49139443
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Handle %(tenant_id)s in endpoints when updating

Change-Id: I61112f02b60b6bb63f33d5459edec1f44a49bdd5
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Change the service user to match devstack

The user which authenticates keystone tokens should be the "heat" user in
the "service" tenant. This changes the default configuration to do this, as
devstack already does.

Ref #269

Change-Id: I89978ec0b490f6d404c568197dd4208097a4b695
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Pass the correct tenant for the service user

Previously, the service user (which authenticates tokens passes to the
engine by the APIs) was paired with the tenant of the end user to do
authentication, which worked only when they were in the same tenant. This
should not be the case, since the service user should only have an admin
role in the "service" tenant.

Fixes #269

Change-Id: I99b764fc489429dd6d081485bd89d5dde737c124
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "ReST API: Format output as JSON"

Merge "Start and enable libvirtd."

Start and enable libvirtd.

Just did a fresh install on fedora 17 and found libvirt was not running
by default which caused nova to not start.  Explicitly enable it.

Change-Id: Id244af934007020d1a9f263dd71f04e5950dd2c5
Signed-off-by: Ian Main <imain@redhat.com>

heat engine : Resource.keystone handle auth_token

Handle auth_token as well as username/password

Fixes #268

Change-Id: I7015556d74e026977fdd04f4ce9a378c0fac7695
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Rework auth.authenticate

engine.auth.authenticate is really creating a novaclient
connection, so move this into Resource.nova

Ref #268

Change-Id: I15d9c0537b3af9e65cd1ea5bd667bde0c89dc4c2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : remove unused EC2 style auth from engine

We handle EC2 style auth at the heat-api-cfn level, so EC2
style authenticated requests simply pass us an auth_token in
the context, so remove this duplicate/dead code.

Ref #268

Change-Id: I17708cb6ef4b0eb4989d47c116b6211f0d419dcb
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Format output as JSON

Eventually, both XML and JSON will be supported, but for now make the
output JSON, the same as the input.

Change-Id: If0f00b182c27616a9a6f08b468d732c718b7635a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Do not assume host has selinux utils installed

related to #265

Change-Id: I4a6cff1f05b6f4f88d672cc0d4ce5e8f62a58e47
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Identify stacks using tenant UUIDs

Tenant names may come and go, but UUIDs are universally unique. Therefore,
ownership of the stack should be keyed on the tenant_id, not the tenant
name.

Change-Id: I7ec410aeaeceb6319299935b5f34d7c4e9c63d67
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make default distribution U10 for deb template

Change-Id: Ifcfc7d1fbb6fac2a785a0dc5a4e6ba09cf898ed4
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat engine : Make wait-condition poll interval better

Remove rising-rate sleep-time logic and replace with a bounded
poll interval derived from the timeout - this should avoid ramping
up to a really long interval and delaying stack complete status

Fixes #264

Change-Id: Id53b87a988299708c29fc853f2801f527fd825dd
Signed-off-by: Steven Hardy <shardy@redhat.com>

Handle upgrades in heat-keystone-setup

Handle upgrades of Heat by removing any outdated endpoints that exist in
keystone and adding any existing "heat" service user to an admin role in
the service tenant.

Change-Id: If6393417b5404a56b4723f42fb1a1b394d01cc6a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Rename CloudFormation service to heat-cfn

This is consistent with what is implemented in devstack.

Change-Id: If47c28ddbef1d6c61e2d741f359d850e4ecffaa9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat tests : Remove utils.Stack getter methods"

heat tests : Remove utils.Stack getter methods

Remove the get_*_client getter methods, as they aren't
actually doing anything, so just access the attributes

Change-Id: Ic6740bdfe7d44c40b9fdf9fc4d03f8eddaf9a740
Signed-off-by: Steven Hardy <shardy@redhat.com>

Use password in preference to token if both supplied

Fixes #263 - devstack is providing a token in the environment, which was
causing the wrong path to get hit.

Change-Id: I9aae346e57fdfe156e52d4696e8f2f859884ff2f
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat : heat cli pep cleanups"

heat tests : add ValidateTemplate test to CFN_API_Actions_Boto test

Add test for ValidateTemplate test to test_CFN_API_Actions_Boto.py

Change-Id: I1fff55cd9aaa0c62c2a1e05050695bcd3f96664a
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Add ValidateTemplate test to CFN_API_Actions test

Add test for ValidateTemplate action to test_CFN_API_Actions.py

Change-Id: Ia7a377f952d096e7b728a7151906ab2781695008
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat API : ValidateTemplate fix response format

Fix CFN API ValidateTemplate response format, missing the
ValidateTemplateResponse wrapper, required by boto to parse the response

Change-Id: I89464df402346ff87041496652d2b4d39cc35fc6
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : heat cli pep cleanups

Fix some pep whitespace issues, which were not picked
up by the jenkins gate for some reason..

Change-Id: I9a3488d61a3cde4bb8038f3f1927eb0c1ad0f60c
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : boto_client_cloudwatch allow credentials override

Allow the AWS key/secret to be passed in when making the client
connection like boto_client.py

Ref #222

Change-Id: Iee24120eb52c8ffb97b1b421b0a27313e5f5cbdd
Signed-off-by: Steven Hardy <shardy@redhat.com>

Catch SSH Disconnection errors in functional tests

Change-Id: I24f959cbaa36138bafeda70a3966000673c80c56
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : add template-swift-url option to client

Add option to bin/heat to retrieve template body from swift

Fixes #216

Change-Id: I425d7cd0f01875d85d97906f4f91c3a3b2fcf851
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat cli: encapsulate template arg-parsing

Encapsulate template argument parsing in a helper function
cleans up some duplication and provides a single place to add
swift-template-url logic

Ref #216

Change-Id: I36515f318ed79899a2710899ffca83e4452c61f4
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : remove unused validate_template params

Remove unused params argument to validate_template, since
it is no longer passed by the CFN API meaning the validate
action fails

Fixes #262

Change-Id: Ic2a5ede02649f2d6dff86595efb0127e07fbf253
Signed-off-by: Steven Hardy <shardy@redhat.com>

Obey the passed in distro value in HAProxy template

Change-Id: I7e1dad654746329763bb575a09611aa0b827ec24
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Use --script option to parted in templates

Provisioning scripts should never expect user input.

Change-Id: I0099cee6a920313c2b5c8e86ddb18de11bab8329
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Reduce timeout periods in functional tests

Many of the timeouts were absurdly long and delayed reporting of test
results by many hours at a time.

Change-Id: I9a70442548097d607eab87471a8037b566127ac9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Add unit tests

Change-Id: Id815c7d5d08e912f64268529b4bdbdcd06c1c47e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Getting started updates for Cloudwatch

Update GettingStarted.rst:
- Add heat-api-cloudwatch section
- Add firewall rules required for heat-metadata and heat-api-cloudwatch

Change-Id: I3b232f378a23b6c334c7e8e5af3ab067ffd50381
Signed-off-by: Steven Hardy <shardy@redhat.com>

Getting Started: Fix IP address determination on F17

The format of the output of ifconfig has changed between Fedora 16 and
Fedora 17, so starting the metadata server failed on the latter due to a
missing IP address.

The change makes the script work with either format, and also now fails
with an error if it breaks again.

Change-Id: I7012af7bd7c15f6a962d19e66c8a0d8401243895
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat : Remove cloudwatch functionalty from metadata server"

Merge "heat templates : Add boto config to HA templates"

Merge "heat engine : Move watch logic into WatchRule class"

heat engine : Move watch logic into WatchRule class

Move engine/manager.py logic into WatchRule class so watch-
related DB manipulation and related logic is encapsulated in
the WatchRule class

Fixes #217

Change-Id: I5405ab631de17efda7eefb45dadad55ee12c533c
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Report template validation errors

Use a different HTTP Status code (Bad Request) for validation errors.

Change-Id: Ie1097dfbbe920a2efb641b343114d7b4decac473
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Return appropriate error codes

Change-Id: I769366dd164199c3b7d16ca8bf4c4d99d21dbb7b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Separate out code to fetch template from a URL

This will make testing a bit easier.

Change-Id: I8f9d63e3ff68174bb9f1284c21f52696ec5ac006
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : db API add watch_rule_get_by_name

Add watch_rule_get_by_name, and move the previous
watch_rule_get to look up rule by ID, which is consistent
with the other api calls.  Lookup by id is required for
WatchRule rework

Ref #217

Change-Id: I4b5d08ffcd31b6b522c65edd0a202e8cf5a367b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : db API add watch_rule_update DB API action

Add watch_rule_update DB API call, needed for WatchRule
refactor/rework

Ref #217

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie8321d390ab96e987bfa4c97c26f1e0305f6bd48

heat : Remove cloudwatch functionalty from metadata server

Remove the cloudwatch metric functionality from the heat-metadata
service, since all stats should now be sent via the CloudWatch
api via the PutMetricData action (ref cfn-push-stats update)

Note that after this change you will need to rebuild your jeos
images to get the new version of cfn-push-stats from heat-jeos

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I5eec60d3dd0abfb32e2b4777635f1b0e2714a2c2

heat templates : Add boto config to HA templates

Add boto config to HA/IHA templates as it's now required for
authenticated cfn-push-stats which uses the CloudWatch API

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I8670f6774834e9f41870240496fe74728306cf17

Merge "ReST API: Add some simple API documentation"

Merge "ReST API: Use JSON documents for data input"

Merge "ReST API: Refactor handling of input data"

Unit test for load balancer resource type.

Change-Id: I2386419563f02bcb509a8547fd587b9af6285c5c

Merge "heat : Add missing calculate_properties to user resource"

Merge "heat engine : Avoid printing credentials to logfile"

heat : Add missing calculate_properties to user resource

Adding calculate_properties to user AccessKey resource, or
we get a key error when trying to list resources in stacks
using this resource type

Fixes #194

Change-Id: I905c162dd6bc3557825610f046e6ee8228d5225b
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Avoid printing credentials to logfile

Avoid printing the AWS secret key to the (world-readable)
engine logfile

Fixes #258

Change-Id: I26d809064c603421c4bbe4a060de5d4776fec4b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : only attempt stack update from valid states

Only attempt to update a stack if it is in CREATE_COMPLETE
or UPDATE_COMPLETE state

Fixes #260

Change-Id: If47a628f1602d5d8783b3f0e90fd7e76ccef46ba
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Add some simple API documentation

Change-Id: I6b3ff5a46e0ba836634cc21cf7ee8945a18a6a3a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Use JSON documents for data input

This is more in keeping with how OpenStack resources are manipulated than
the previous implementation, which used WWW Forms encoding.

Change-Id: Iba7a6b83a65637cf999c67ef3f4dea7b3e64100d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Refactor handling of input data

Create a separate class for dealing with the data associated with a
PUT/POST request.

Change-Id: I054bc74cf65055d23eb716738c29e751a32f3022
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Fix template validation

Also move the URL to be local to a tenant. This is because keystone will
automatically fill in the tenant id in the endpoint, so all requests will
use this as a base URL.

Change-Id: I3fbd5a7d256426079824f8a26fdcd41eac083146
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : workaround engine error with version code

Work around lack of git sha in vcsversion so we don't get an
engine error if the version dict doesn't contain the sha key

Fixes #259

Change-Id: I25d2cfb008a5a9e0e1a60e7360e58608d2d8e9c0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Change endpoint service type from orchestration to cloudformation.

This is required so that the REST API can take over the orchestration service type.

This will break exiting setups until heat-keystone-setup is re-run.

There will be a corresponding update to devstack, which may be out of sync to this one.

Merge "Remove unnecessary keystone scripts"

Fix versioning code

Removed cruft from OpenStack common versioning code that was removed.
Added optional git SHA information if module is available. The
intent is to have the additional git revision reported only when FINAL
is set to False.

Change-Id: Iae94b84027e7428cd394726e07845d2bad631586
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Remove unnecessary keystone scripts

Make remaining keystone script check installed version of Nova and use
proper arguments to keystone.

closes #252

Change-Id: Ie4709891c7ca89d73390a3474e3d10beab449395
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Fix bugs in ReST API stack creation

Change-Id: I39277224305465cc951e397f340012563c0f7174
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Allow authentication to Nova with a Keystone token

Change-Id: I3ca90169559cc167ff51db5fe47ceec8c917f04b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Make sure to remove python-glanceclient too"

Merge "Fix hash-bang directive in nova_create_flavors.sh"

Merge "heat tests : add functional test for UpdateStack"

Merge "heat tests : functional utils support for UpdateStack"

Merge "heat tests : Add new boto API test"

heat engine : workaround lack of no_cache on essex

no_cache novaclient fix doesn't work on essex, so try
both the essex and the folsom compatible novaclient
prototypes

Change-Id: I0749f821981550d7a5f5a95e2f5951c77d8e1529
Signed-off-by: Steven Hardy <shardy@redhat.com>

Avoid create_stack RPC call timing out on precise

The create_stack RPC call times out on Ubuntu as novaclient
blocks expecting stdin when prompting for a keyring password:

    Please set a password for your new keyring

This probably does not occur on Fedora due to the version or
presence of the python-keyring package differing.

The problem can be avoided by ensuring the no_cache flag is
set on the novaclient.

Change-Id: I3ac9e74571ff837cd07fc3f36ecf706180f4dc46

Fix hash-bang directive in nova_create_flavors.sh

The script employs bash-isms, so the directive to use the
Bourne shell causes some predictable failures:

  nova_create_flavors.sh: [[: not found

... etc.

Change-Id: I60f3de55d2ebbfa47d444ec72c07728bbfa38be6

import gettext to fix db migration execution

Make sure to remove python-glanceclient too

Change-Id: I44c39824f5b1d96ac69e6972506fc865718b3c59
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat tests : add functional test for UpdateStack

Add new API test to prove UpdateStack action

Change-Id: I656f3965a222ee1dcd890d4e4491f5550fada461
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional utils support for UpdateStack

Add Stack.update method so UpdateStack API action
can be tested

Change-Id: I2fdc37b15eab9b7d786153877755a631fda0ad2a
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Add new boto API test

Add new test_CFN_API_Actions_Boto.py test, which
tests the CFN API via the boto client

Change-Id: Iad796da35009fbad0ce21ba0d7ab73c2fd16cd7d
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add the beginnings of an OpenStack ReST API"

Merge "Unit test for DBInstance resource."

Merge "heat tests : API test fixup for ResourceProperties"

Add the beginnings of an OpenStack ReST API

So far only access to stacks (not resources and events) is implemented.

Change-Id: I9655e9441087ef60c06e67e2d6ae68ec4a3b2d11
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : API test fixup for ResourceProperties

Fixup CFN API functional test after ResourceProperties
format change

Change-Id: I91d88443bc885163cffafc83615aa0cfa8d3ff83
Signed-off-by: Steven Hardy <shardy@redhat.com>