Merge branch 'puppet_instances' of github.com:heat-api/heat into puppet_instances

Conflicts:
heat/api/v1/__init__.py

Fixing _decompress to handle bundled and compressed

The api call to os.path.splitext returns the root and the ext;
however, for a .tar.gz the ext would just be the .gz, which meant
there was no handler for a file with a .gz extension.

Adding chaining to CommandRunner

Making PrivateDnsName return the ip address

Adding puppet and puppet master instances

api : fix pep8 warning

Fix long-line pep8 warning

Signed-off-by: Steven Hardy <shardy@redhat.com>

Allow engine and metadata server start in any order

When the metadata server starts first, it will wait for the engine to come up
and only then registers it's hostname and port and becomes available.

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Making PrivateDnsName return the ip address

Clean up the API routes

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Adding puppet and puppet master instances

Clean up the API routes

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Make the wait condition behave better when the stack is deleted.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

heat cli : Add options to bash completion script

Ref #87 add completion of long-format options, align the command options with
the "heat help" option

Signed-off-by: Steven Hardy <shardy@redhat.com>

heat client : reduce duplication between functions

Move common code into utility function to reduce duplication

Signed-off-by: Steven Hardy <shardy@redhat.com>

API and heat-cli rework to align with AWS CloudFormation API

Ref #115, rework API mapper to route by Action= query parameter,
not by path, and align heat CLI tool with revised API.

Signed-off-by: Steven Hardy <shardy@redhat.com>

Report errors when resource creation fails

In order for the Stack creation to fail, resources must raise an exception
when their creation fails. The Stack's create code will set the resource
state appropriately; resources should not silently do it themselves.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Modify command names for consistency

Replace 'events_list' with 'event-list' and 'jeos_create' with
'jeos-create'. This makes things consistent with the conventions of
OpenStack projects. The old versions will continue to work for now.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Updated the version to 4

Signed-off-by: Chris Alfonso <calfonso@redhat.com>

Make 'heat help' show a list of commands

Previously we just printed an error message about not specifying a command
to get help about, and no hint about how to work out which commands even
existed.

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Allow the Getting Started script to run non-interactively

Related: #84

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix pep8 errors

Set cfn-hup to send events to the metadata server

Fixes #107

This is implemented using a logging handler that sends events to the metadata
server.

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Slim down the getting_started template.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Check for the presence of Metadat before trying to include it the multipart

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add status argument that shows service status for all required services

Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Kill some pep8 errors in test_stacks.py

Signed-off-by: Steven Dake <sdake@redhat.com>

Kill some pep8 errors in engine directory

Signed-off-by: Steven Dake <sdake@redhat.com>

Kill few pep8 errors

Signed-off-by: Steven Dake <sdake@redhat.com>

Properly test ref valid against proper input

Signed-off-by: Steven Dake <sdake@redhat.com>

Use manager to test ref validation

Signed-off-by: Steven Dake <sdake@redhat.com>

Add test cases to test valid and invalid keys in FindInMap

Partially Fixes issue #111

Signed-off-by: Steven Dake <sdake@redhat.com>

List stacks tests

Implements a list stacks test.  This one calls straight into engine
manager.

Signed-off-by: Ian Main <imain@redhat.com>

Move list_events into the class.

I think I went too far last time, this should at least be a method
of the class.

Signed-off-by: Ian Main <imain@redhat.com>

Factor out a start_wordpress_stack()

There was a lot of code duplication in the tests so I factored out
a function to start a wordpress stack.

Signed-off-by: Ian Main <imain@redhat.com>

Add event_list test.

I moved parse_event out of the method and into the class so we could
call it from the event_list test.

Signed-off-by: Ian Main <imain@redhat.com>

Add uninstall script

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add Getting Started guide to repo

Convert the Getting Started wiki page to ReStructuredText format and add it
to the repository. Also add a script that will extract the shell commands
from the document and run them, so we can use it as an integration test.

The script can be run using the command:
    > bash -c "$(./tools/rst2script.sed docs/GettingStarted.rst)"

Related: #84

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add cfn-get-metadata to the manifest

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fixed problems with starting MySQL in heat-db-setup

Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add test_validate_ref for invalid and valid inputs

Signed-off-by: Steven Dake <sdake@redhat.com>

Check for invalid Fn::FindInMap key

Partially Fixes Issue #111

Signed-off-by: Steven Dake <sdake@redhat.com>

Check for invalid Ref keys in validate

Partially Fixes Issue #111

Signed-off-by: Steven Dake <sdake@redhat.com>

TEST: slightly better version with minimal template in place.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add volumeattachment validation

Signed-off-by: Steven Dake <sdake@redhat.com>

Allowed the database call to return no parsed template.

The database impl was raising an exception if no parsed template
exists.  The logic that was looking up the parsed template
expects None to be returned if the template isn't stored.

* I also fixed some pep8 errors.

Adding a deepcopy of the template before stack create validation

Calling stack.validate will modify the stack's template, which
we don't want to do.  We just want to validate the template and move
on with an already parsed template.

Add stack delete test, and set stack to DELETE_COMPLETE when done.

Removing stack validation on create

Adding stack create test

Validate invalid mountpoint.device entries

Since KVM only allows /dev/vd[a-z], we validate that implementation-specific
sd[a-z] is rejected by heat validation.

See:
http://docs.openstack.org/trunk/openstack-compute/admin/content/managing-volumes.html
Search device name

Resolves issue #71

Signed-off-by: Steven Dake <sdake@redhat.com>

Allow sending events using metadata server

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Typo in a logging declaration

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Fix stack creation - CREATE_FAILED issue

The stack creation call to validate the stack was resetting the
stack template attribute.  I've made a copy of the stack purely
for validation purposes.

Add ability to automate testing with tox.

Install tox via easy_install. Tox automates the creation of multiple
virtual environments, each of which can be used with a different
interpreter or specific custom tests (and is what StackForge uses).

Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Add option to exclude pep8 examination to run_test.sh.

Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Add test coverage option to run_tests.sh

Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Connect up the waitcondition code to poll the metadata for the signal.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Save to parsed template as that is used in the parser.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

WaitCondition: fix the url to the new metadata server.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add WaitConditions to HA template

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Download cfn tools from the master branch.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Escape the quotes going into cfn-signal shell command.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

More peppy fixes...

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add implementation to cfn-signal

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Fix undefined LOG variable in db.session

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Remove unused "cloudinit_path" setup in resources.py

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Metadata: Add bind_host to the config

This needs to be set to the nova interface to work.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Register metadata server's entry point with Engine

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Remove obsoleted metadata files

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Connect metadata server to the engine via RPC

Similarly to the way heat-api works, the engine does all the heavy lifting (db
access, etc.) while the metadata server provides the API layer that communicates
with the engine.

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Moving key validation into instance validate

Apparently boto expects / to be list stacks.

This patch just makes / redirect to list_stacks.

Signed-off-by: Ian Main <imain@redhat.com>

ValidateTemplate API call framework

This is a start on issue #111

While no actual validation is done by this patch, this patch introduces
the framework for validating in each of the resource types and returning
an appropriate error when a validation error occurs.

Signed-off-by: Steven Dake <sdake@redhat.com>

Fix the sql in the rails template (didn't work with the mysql in f16)

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

uncommenting the metadata server attribute so the tests work

Validating the KeyName against nova on stack_create

Fixes Issue #98

Connect cfn utils to the remote server

The cfn_helper's `Metadata` class can now connect to the metadata server
prodived it's URL is known and available.

Engine will pass metadata server's URL via the User Data to the following file:

    /var/lib/cloud/data/cfn-metadata-server

If the file doesn't exist or the server is unreachable, cfntools will read
metadata from the `/var/lib/cloud/data/cfn-init-data` file as they did so far.

Note that Engine dosen't currently know the metadata server's URL so it's not
passing it to the instance yet.

Fix cfn-get-metadata params and output

Marked the `--stack` and `--resource` parameters as required and set it to
actually write the metadata out.

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Fixed the interpretation of the file extension.

My initial lack of understanding of "is" and "==".

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Only showing the Outputs when the status of a stack is CREATE_COMPLETE

This fixes issues #96

Fix unbound error in cfn_helper.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Adding mime_string to the Instance instance and fixing tests

Fix some indentation and pep errors

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Hack the Rails template to work.

- set the image name mapping
- we don't have AWS::IAM::AccessKey yet
- we don't have PublicDnsName yet

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add Rails template example

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add dummy cfn-signal

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add WaitConditions

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Split the resourses up into seperate files.

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Handle "sources" in cfn-init

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Initial metadata server API

This implements the basic capabilities we need from the metadata server. Each
API call returns proper HTTP responses (404, 409, etc.).

The server is currently not connected to a real database. Rather, it uses a
simple mock. This allows for quick initial API changes before things stabilize.

The immediate next steps are to integrate the server with the cfn tools
(cfn-metadata being the prime candidate) to see what may be wrong/missing.

And then to connect the server to a real database.

Signed-off-by: Tomas Sedovic <tomas@sedovic.cz>

Add very basic support for installing (apt, python & gems)

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Add cfn-get-metadata to files section of cfntools tdls

Found while writing test for jeos creation

Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Modified README in tools directory to explain a few more tools

Signed-off-by: Steven Dake <sdake@redhat.com>

Scoping the session per thread (request).

Fixes issue #94
http://docs.sqlalchemy.org/en/rel_0_7/orm/session.html#sqlalchemy.orm.scoped_session

Oops, meant for website repo.

Heat Logo

SVG format of heat logo.

Skipping the import if its deps aren't installed, use --no-skip if you want to run this

Copied the python-novaclient test code to avoid importing via python path

Adding the metadata.log file

Finish necessary changes related to jeos_create move

As a result of moving jeos_create, the code is now used during test
execution. The library libxml2 which was previously being used is not
available in pip, so lxml has been swapped instead.

Signed-off-by: Jeff Peeler <jpeeler@redhat.com>