Allow an already deleted watch to not fail the stack.delete().

Change-Id: I1fbf46475b901bb2cc3b85784444e547ab9d9e67
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Delete redundant escalation_policy (rather use instance.restarter)

Change-Id: Ia5f6b6adfc5c8c60e1db5b2f4e0aa186d0437ad9
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Make sure create happens if a resource has been deleted

(recovery situation)

Change-Id: Ife4492bb32c4b1bbcedeba6e6bdd89bd952effcd
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Make sure the 'nova_instance' is refreshed when ever the state changes

Change-Id: Ifadfb12bcd933ac66681fc94335c1ddd83fc31be
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

When restarting a resource make sure that the parsed_template_id is set

we need this to re-create resources else we get foreign key errors
from the db.

Change-Id: I41b142db020ae84026f3b7007ecd7d927a27880d
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix heat-jeos installation in Getting Started

Change-Id: Idc6a3a7d5b541e03e99eba69fb91f0b069d789c0

Make heat-keystone-service a tad more robust

The ADMIN_ROLE extraction failed when the column with the role names was
centered instead of left-aligned.

Change-Id: If39292b65dfce5fa820396e49e72fc635c2cb0c2

Add install.sh

fixes #134

Change-Id: I5d0aa01143050a305c44573220e96dba9f81e1ae
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add EstimateTemplateCost API

see #1

Change-Id: Ib362b5320b5fa050dfb70202838042e222287534
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add the GetTemplate API

see #1

Change-Id: I178a1d9a19570296b62381548434fb4fcf836fee
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Remove cfntools and jeos

These files are now available in the heat-jeos repository.

Change-Id: I392e7443348a31e8454ae14d957b0b54560c2ec3
Signed-off-by: Steven Dake <sdake@redhat.com>

Convert getLogger(__file__) into getLogger('heat...')

Makes a mess of logs when not installed.

Change-Id: Iab6bd247b943f276bf8de64aed65619b38f99acb
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add a Timeout (-t) to the heat options (and make -f for templates).

This makes the cli more consistent with AWS and implements
the timeout feature.

Note: the timeout is in minutes and defaults to 60 minutes.

Change-Id: I41dea75170c871c1ee47948643311752d9d5e41e
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix the setup of daemon config

Change-Id: I02d4a3da63d2438067cf64c15432d66b539c30bc
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Update openstack-common

Change-Id: I5af06e0d44a69b9f968fce91db441157a69ea9c7
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Improve parser readability + add unit tests

Change-Id: I7dd8c394e6543d1ee545648af32c9025c522b6e0
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix parsing of metadata

I broke metadata in bece6593f00f8e096f045982673f85c67863b932 by no longer
updating the parsed template in the database. We need to resolve references
runtime data before storing the parsed template, because the metadata code
uses this directly.

Change-Id: I753fe199779ae1b0046366abadca0111a81463c6
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Rely on instance_id been set to None

Then we can use the default FnGetRefId()

Change-Id: Ib328289b4d22cb7ab7b9985fa7c95cb19bcfd9c3
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

wait_condition: use properties not t['Properties']

Change-Id: I81fc0dd654e9011fc7404f184390379edeacda8f
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix cloudwatch delete

Change-Id: I091bb394f5ad3afad82d55f4a81bdce94cc09b71
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix restart_resource()

Change-Id: Ia77c9a5ab4107d9803a6e8180fd9e34ac13436f5
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Pass the context to the db calls

Change-Id: I38937ee37926507dab8a7ff9e0d0d42a3ada707d
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

add user auth to ha template

Change-Id: I044d153bc33de08c6736fd4dd32380ceb0bf8caa
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Make sure the resource exists before trying to update it.

Change-Id: I5d8bdc0f4ceff61cab0b909dcaaf8ab5952ba4af
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix the conversion from instance to resource name

Change-Id: Iaca10eb5468bd7b64b6a66f87fc6f7066053cb27
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Restructure watchrules to make them more testable

Change-Id: Ic8085de3f5692249d82e68462bbed02da787712f
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add missing properties to cloud watch

Change-Id: I8d4be61d1a0b7bd37c97148ca291d22487ee22ba
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Change command interpreter to bash

This is important since /bin/sh is symlinked to dash by default on
Debian based systems.

Change-Id: I47b6317981ec020bed0bc45f7f68b636d71023d6
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Add qpid-cpp-server to the openstack setup script

Change-Id: Ie63b1031583091b5bdfd52f79e59b841f21ee778

Teach heat-api about the bind_host

Change-Id: Ica32693373a87f01c41755a2b041c187bddd034d
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Refactor template resolution

Resolve functions in templates by making a copy of the data rather than
modifying the original. This means that e.g. a resource resolving functions
in its own template data does not result in changes to the data held by the
Stack.

This patch also refactors all of the template resolution methods to operate
using a common parsing algorithm to move through the tree.

Finally, the resources have been worked to load data as it is needed,
rather than requiring external code to put them into the correct state
before using them.

Change-Id: I79eafaefc9ced07b652fac7162aa2edbfa7f547a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

U10 wordpress template

Change-Id: I25beb7b48e287b3097379c1e1f92adc309ce9c83
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Fix the Getting Started guide for the new setup.py"

Fix new pep8 warnings.

With the new release of pep8 we have some different requirements.
This patch fixes them all.

Change-Id: Ief16becba47007460f8b125907b055aa51de999e
Signed-off-by: Ian Main <imain@redhat.com>

Fix the Getting Started guide for the new setup.py

With the new setup.py script, OpenStack must be installed before heat,
otherwise PIP will start importing bogus dependencies (at least on Fedora).

Also install stuff that was previously being installed by setup.py. This
will eventually be replaced with an install script (see #134).

Change-Id: I942def545f9351a1f3238dac49f34b13370e2597
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Refactor Resource creation

Allow the Resource class to instantiate the correct type of object for each
resource.

Change-Id: I518f27fa27f675b9e497aac40962331833077aed
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Clean up imports

Change-Id: Ibca9c8ab8b9dafb813baee6a9c4aa024bf9733e2
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Don't use sys.exc_value

sys.exc_value has been deprecated since Python 1.5, and is not thread-safe.
The replacement is sys.exc_info(), but in this case we don't need even that
since we have the exception in question available.

Change-Id: Ibb4b354fd099fbf0d6390163eb4f7cc9e97db0e9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Get list properties working again

The CloudFormation documentation is very confusing on this point.
'CommaDelimitedList' is one of the data types that are valid for a
Parameter (the others are 'String' and 'Number'). A CommaDelimitedList
parameter takes the form of a string where the list members are delimted by
commas:

    "item1,item2,item3"

However the documentation also uses the phrase "Comma Delimited List" to
refer to the type of some Resource Properties that are, in fact, simply
lists:

    [ "item1" , "item2" , "item3" ]

...as if there were *another* way to represent lists. (Note that the
items here need not be strings, and in fact are usually objects of some
variety.)

So we need a different data type to represent the latter. (This patch
changes the name from 'TupleList' to just 'List', since the actual Python
sequence type is just an implementation detail.) In future, we should
probably also verify that only the 3 valid Parameter types are used, and
perhaps that list Properties contain only objects of the correct type.

Change-Id: I94054f588fc37f7d4ba245f2e92b86ac9c872c37
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Remove _authenticate() check for metadata calls (temp)

To be replaced by proper AWS auth, which needs AWS::IAM::AccessKey
resource type to be hooked up.

Change-Id: Icbdb08493fb51add5e6d3d5f4a153595f93c8f75
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix the HA template (sed the username/password)

Change-Id: I835a9f6d2a9abfdeb5af8fb703c8abae5afae2d1
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix apt-get install

rpm deps not available on ubuntu systems
fix apt-get install doesn't work (string vs list)

Change-Id: Ic2da1415f9bccb15321afd0ed5111041cbf2a2d0
Signed-off-by: Steven Dake <sdake@redhat.com>

Remove python 2.7ism

Change-Id: I9e74d79e42cc22aa0f0883fb1e1582be2860d842
Signed-off-by: Steven Dake <sdake@redhat.com>

Compress qcow2 files to take up less disk space

This results in less data transferred during a glance registration.

Change-Id: I36d17c6e1bf12e3e0f37394d5522c6f4f59313de
Signed-off-by: Steven Dake <sdake@redhat.com>

Install argparse and update the U10 package cache

cfntools require argparse
U10 package cache needs updating to install packages correctly

Change-Id: I3630f5082d4b9f73fa95805d51684a68bf8c0d6e
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix auth failed exception handler

This patch fixes the auth failed exception handler so that we
get back a meaningful result when authentication fails.

Change-Id: I2f37daed3890fd685fa6f701938b675460e76b0c
Signed-off-by: Ian Main <imain@redhat.com>

Set stack's `updated_at` time

Fixes #126

Change-Id: Ie7abe6c3385632138671cb0b7f12dfa33e69bae0

Add instance restarter

Change-Id: I8ef28efc7d86a1a3a44f4784cb496c415a14f95c
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add a name to the checkeddict to improve the error messages

Change-Id: I11edc3bce77cd84d0393d6d95c6733b7901f95a1
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Authentication Overhaul

This patch updates the authentication system set up in heat:

- We now authenticate against the 'heat' service at the entry
  point to each api call in the engine.
- We are now using the 'Context' class to contain the authentication
  information as intended.
- The two context classes are unified and we now use the same one
  for both WSGI and RPC.  This is the intended design as the
  context is loaded by the WSGI middleware and then passed into the
  RPC methods.
- We are now doing token authentication in the API that works with
  both native keystone and AWS style authentication.  That token is
  then passed on to the engine for further authentication for various
  endpoints.

Note that the heat-api-paste.ini file requires updating in order for
this to work on your system.  Admin user and password must be set
properly in the authtoken section in order to perform token based
authentication.

I suspect there will be a few bugs in here yet.  This is just part of
the authentication/identification changes we need to make but I wanted
to get this in so we could continue to work with a boto based client.

Change-Id: Ib635ecd3088304e8d51d8e1fc31a8b1bf751caf3
Signed-off-by: Ian Main <imain@redhat.com>

Merge changes I31d97b0d,I10507113

* changes:
  Changed SecurityGroups property type to TuplesList
  Change the policies for User to TuplesList

Merge changes I475ac4f7,I212cffac

* changes:
  Add missing "properties_schema" to WaitConditionHandle
  Fix jeos_path when not intalled as an egg

Changed SecurityGroups property type to TuplesList

Change-Id: I31d97b0de6e72bd24f0f78d86890726fc1e8a138

Change the policies for User to TuplesList

Change-Id: I105071135a6b20a414c2f4016ca3a8312a4ee2a2

Add missing flags to enable working with RabbitMQ

Note: rpc_backend=heat.rpc.impl_kombu must be set in both heat-api.conf
and heat-engine.conf.

Change-Id: Ia7f5af8805240381f28ecae1efc0a677155f898e
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

cloudwatch: set HA template to send watch data

The Wordpress HA template is now able to utilize the cfn-push-stats and send
alarm messages to the metadata server.

Change-Id: I52b615d3401dc2665e2b30e4a925d61ed204c827
Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Add the basic cloudwatch feature

Fix watch db tables and silly programming errors.
get basic posting data to metadata server working
add watch_rule_get_all()
check for alarms in a periodic task
delete watch_data when the rule is deleted
add a last_evaluated field to the watch_rule
remove unused option to watch_data_get
take better account of the sample period.
- still much to be done here (evaluation periods).
add some useful stats to cfn-push-stats
fix how the metric is accessed
fix a divide by zero

Change-Id: Iaf98499d0e3ac6d6f951ea38b3b0f409669258da
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add missing "properties_schema" to WaitConditionHandle

Change-Id: I475ac4f72613a2f20275949a01168246cae1fb52
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix jeos_path when not intalled as an egg

Also use os.path.join() to sort out trailing "/"

Change-Id: I212cffacc018f456894e9b7921fef75256edcf45
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Merge "Changes to checkeddict for tuples and required"

Allow login to U10 jeos launched from heat

cloudinit on debian expects the user "ubuntu" - hard code to ec2-user
useradd doesn't create home directories on U10 without -m option

Change-Id: Iaaee6df560b60e203b17a36bba57ac410ad6ed56
Signed-off-by: Steven Dake <sdake@redhat.com>

Changes to checkeddict for tuples and required

Make i386 cfntools jeos work

was expectin cfg-* instead of cfn-*

Change-Id: I6234829d92a33e8bd4a8fab246ded2c1a43afc55
Signed-off-by: Steven Dake <sdake@redhat.com>

Add U10 JEOS support to heat jeos_create

This requires oz 0.9.0 (or latest master).  0.8.0 shipped with
most distros does not have customization support for Ubuntu
images.

fixes issue #23

Change-Id: I854aaf9657353b3fdb4768a277b527304e88ac8e
Signed-off-by: Steven Dake <sdake@redhat.com>

Validate all resource properties

Change-Id: Ib0346fd22636d3eae31c688426b966f07acda19c
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add functional test to verify jeos and stack ops

(Tox.ini has been modified to only run tests tagged with 'unit'
to prevent this test from running with unit tests.)

This test requires an OpenStack install present and will not run on
StackForge. This test creates a JEOS, waits for glance registration,
detects key registered with keystone, creates stack, and verifies over
SSH that:
- cfn helper script SHAs match tree
- verifies presence of wordpress
- verifies expected user data is present in multipart mime file

closes #112

Change-Id: I22a0dfe41986d466ac689c050fc33585e3e6229e
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Fixing variable name for debug message

Change-Id: I5992e0c449b5caeff3fd91c3aefe721ab32830c4

using the calculated path for the template tests

Change-Id: Ifc5f142cf36a387d32f2ea70dfcb1bb33a44a056

Update resource statuses in the database

This ensures that resources will not get deleted multiple times when
something else fails during stack deletion.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix deletion of security groups

First off, don't set the instance_id to an empty string as soon as we
retrieve the object from the database.

Also, don't fail if we try to delete a security group that no longer
exists.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Only run cfn-init once

cloud-config-final.service (atleast in Fedora 16) runs the user scripts.  So
there is no need to run them in cloud-config.service (which this file is processed
by).

May need a revisit on deb based systems.

Change-Id: Ib7c3d56a50bcdc4ea68626e1d57a28a4ec70e1b4
Signed-off-by: Steven Dake <sdake@redhat.com>

Use the new CheckedDict for Parameters

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add some better checking for parameters and properties

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fixing path lookup to make sure the templates can be found

Change-Id: Ib48c27a9d0a794d243e48661aaebb108728af6bb

Conflicts:

heat/tests/test_resources.py
heat/tests/test_stacks.py

Merge "tools/openstack: Updated to latest openstack F16/F17 tools"

Adding the AWS::IAM::User and AWS::IAM::AccessKey to the mapping

tools/openstack: Updated to latest openstack F16/F17 tools

Change-Id: I8e6b376a90ad1641c10eea2ef6711a9cd09ee2e0
Signed-off-by: Steven Dake <sdake@redhat.com>

Update gitreview for new Stackforge remote

Change-Id: I265b771fa2b4d040a9e90ceb265941acdea90156

Align with project standards.

Rebased from: Change-Id: Ifc9fff4f88dfaebe97b7caba4d603d23c645e346

Reviewed-by: Steven Dake <sdake@redhat.com>

Fedora openstack projects use new tools to setup databases

Signed-off-by: Steven Dake <sdake@redhat.com>

Add .gitreview for Gerrit

Reviewed-by: Steven dake <sdake@redhat.com>

Add an integration test script

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Pep8 fixes

Merge branch 'puppet_instances'

Conflicts:
heat/api/v1/__init__.py
heat/engine/parser.py

Merge branch 'puppet_instances' of github.com:heat-api/heat into puppet_instances

Conflicts:
heat/api/v1/__init__.py

Fixing _decompress to handle bundled and compressed

The api call to os.path.splitext returns the root and the ext;
however, for a .tar.gz the ext would just be the .gz, which meant
there was no handler for a file with a .gz extension.

Handle failures when deleting stacks

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix problem with updating parsed template in DB

The parsed template would not always be updated correctly when the actual
template object had not changed (only the contents). This change forces an
update by making a copy.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix copy-paste errors in template descriptions

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Improvements to uninstall script

- Kill only the specific heat processes we want (heat-api and heat-engine).
- Remove installations wherever they may be located.
- More robust handling of input.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Refactor some not-particularly-Pythonic code

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Delete networks when erasing OpenStack

This is required to remove any network interfaces created using nova. If
these are left behind they prevent a new installation of OpenStack
re-adding them.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Adding chaining to CommandRunner

Making PrivateDnsName return the ip address

Adding puppet and puppet master instances

Wait for instance startup in GettingStarted test

Signed-off-by: Zane Bitter <zbitter@redhat.com>

api : fix pep8 warning

Fix long-line pep8 warning

Signed-off-by: Steven Hardy <shardy@redhat.com>

Allow engine and metadata server start in any order

When the metadata server starts first, it will wait for the engine to come up
and only then registers it's hostname and port and becomes available.

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Making PrivateDnsName return the ip address

Clean up the API routes

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>