Use --script option to parted in templates

Provisioning scripts should never expect user input.

Change-Id: I0099cee6a920313c2b5c8e86ddb18de11bab8329
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Reduce timeout periods in functional tests

Many of the timeouts were absurdly long and delayed reporting of test
results by many hours at a time.

Change-Id: I9a70442548097d607eab87471a8037b566127ac9
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Add unit tests

Change-Id: Id815c7d5d08e912f64268529b4bdbdcd06c1c47e
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Getting started updates for Cloudwatch

Update GettingStarted.rst:
- Add heat-api-cloudwatch section
- Add firewall rules required for heat-metadata and heat-api-cloudwatch

Change-Id: I3b232f378a23b6c334c7e8e5af3ab067ffd50381
Signed-off-by: Steven Hardy <shardy@redhat.com>

Getting Started: Fix IP address determination on F17

The format of the output of ifconfig has changed between Fedora 16 and
Fedora 17, so starting the metadata server failed on the latter due to a
missing IP address.

The change makes the script work with either format, and also now fails
with an error if it breaks again.

Change-Id: I7012af7bd7c15f6a962d19e66c8a0d8401243895
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "heat : Remove cloudwatch functionalty from metadata server"

Merge "heat templates : Add boto config to HA templates"

Merge "heat engine : Move watch logic into WatchRule class"

heat engine : Move watch logic into WatchRule class

Move engine/manager.py logic into WatchRule class so watch-
related DB manipulation and related logic is encapsulated in
the WatchRule class

Fixes #217

Change-Id: I5405ab631de17efda7eefb45dadad55ee12c533c
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Report template validation errors

Use a different HTTP Status code (Bad Request) for validation errors.

Change-Id: Ie1097dfbbe920a2efb641b343114d7b4decac473
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Return appropriate error codes

Change-Id: I769366dd164199c3b7d16ca8bf4c4d99d21dbb7b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Separate out code to fetch template from a URL

This will make testing a bit easier.

Change-Id: I8f9d63e3ff68174bb9f1284c21f52696ec5ac006
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : db API add watch_rule_get_by_name

Add watch_rule_get_by_name, and move the previous
watch_rule_get to look up rule by ID, which is consistent
with the other api calls.  Lookup by id is required for
WatchRule rework

Ref #217

Change-Id: I4b5d08ffcd31b6b522c65edd0a202e8cf5a367b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : db API add watch_rule_update DB API action

Add watch_rule_update DB API call, needed for WatchRule
refactor/rework

Ref #217

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: Ie8321d390ab96e987bfa4c97c26f1e0305f6bd48

heat : Remove cloudwatch functionalty from metadata server

Remove the cloudwatch metric functionality from the heat-metadata
service, since all stats should now be sent via the CloudWatch
api via the PutMetricData action (ref cfn-push-stats update)

Note that after this change you will need to rebuild your jeos
images to get the new version of cfn-push-stats from heat-jeos

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I5eec60d3dd0abfb32e2b4777635f1b0e2714a2c2

heat templates : Add boto config to HA templates

Add boto config to HA/IHA templates as it's now required for
authenticated cfn-push-stats which uses the CloudWatch API

Signed-off-by: Steven Hardy <shardy@redhat.com>
Change-Id: I8670f6774834e9f41870240496fe74728306cf17

Merge "ReST API: Add some simple API documentation"

Merge "ReST API: Use JSON documents for data input"

Merge "ReST API: Refactor handling of input data"

Unit test for load balancer resource type.

Change-Id: I2386419563f02bcb509a8547fd587b9af6285c5c

Merge "heat : Add missing calculate_properties to user resource"

Merge "heat engine : Avoid printing credentials to logfile"

heat : Add missing calculate_properties to user resource

Adding calculate_properties to user AccessKey resource, or
we get a key error when trying to list resources in stacks
using this resource type

Fixes #194

Change-Id: I905c162dd6bc3557825610f046e6ee8228d5225b
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Avoid printing credentials to logfile

Avoid printing the AWS secret key to the (world-readable)
engine logfile

Fixes #258

Change-Id: I26d809064c603421c4bbe4a060de5d4776fec4b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : only attempt stack update from valid states

Only attempt to update a stack if it is in CREATE_COMPLETE
or UPDATE_COMPLETE state

Fixes #260

Change-Id: If47a628f1602d5d8783b3f0e90fd7e76ccef46ba
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Add some simple API documentation

Change-Id: I6b3ff5a46e0ba836634cc21cf7ee8945a18a6a3a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Use JSON documents for data input

This is more in keeping with how OpenStack resources are manipulated than
the previous implementation, which used WWW Forms encoding.

Change-Id: Iba7a6b83a65637cf999c67ef3f4dea7b3e64100d
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Refactor handling of input data

Create a separate class for dealing with the data associated with a
PUT/POST request.

Change-Id: I054bc74cf65055d23eb716738c29e751a32f3022
Signed-off-by: Zane Bitter <zbitter@redhat.com>

ReST API: Fix template validation

Also move the URL to be local to a tenant. This is because keystone will
automatically fill in the tenant id in the endpoint, so all requests will
use this as a base URL.

Change-Id: I3fbd5a7d256426079824f8a26fdcd41eac083146
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : workaround engine error with version code

Work around lack of git sha in vcsversion so we don't get an
engine error if the version dict doesn't contain the sha key

Fixes #259

Change-Id: I25d2cfb008a5a9e0e1a60e7360e58608d2d8e9c0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Change endpoint service type from orchestration to cloudformation.

This is required so that the REST API can take over the orchestration service type.

This will break exiting setups until heat-keystone-setup is re-run.

There will be a corresponding update to devstack, which may be out of sync to this one.

Merge "Remove unnecessary keystone scripts"

Fix versioning code

Removed cruft from OpenStack common versioning code that was removed.
Added optional git SHA information if module is available. The
intent is to have the additional git revision reported only when FINAL
is set to False.

Change-Id: Iae94b84027e7428cd394726e07845d2bad631586
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Remove unnecessary keystone scripts

Make remaining keystone script check installed version of Nova and use
proper arguments to keystone.

closes #252

Change-Id: Ie4709891c7ca89d73390a3474e3d10beab449395
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Fix bugs in ReST API stack creation

Change-Id: I39277224305465cc951e397f340012563c0f7174
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Allow authentication to Nova with a Keystone token

Change-Id: I3ca90169559cc167ff51db5fe47ceec8c917f04b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Make sure to remove python-glanceclient too"

Merge "Fix hash-bang directive in nova_create_flavors.sh"

Merge "heat tests : add functional test for UpdateStack"

Merge "heat tests : functional utils support for UpdateStack"

Merge "heat tests : Add new boto API test"

heat engine : workaround lack of no_cache on essex

no_cache novaclient fix doesn't work on essex, so try
both the essex and the folsom compatible novaclient
prototypes

Change-Id: I0749f821981550d7a5f5a95e2f5951c77d8e1529
Signed-off-by: Steven Hardy <shardy@redhat.com>

Avoid create_stack RPC call timing out on precise

The create_stack RPC call times out on Ubuntu as novaclient
blocks expecting stdin when prompting for a keyring password:

    Please set a password for your new keyring

This probably does not occur on Fedora due to the version or
presence of the python-keyring package differing.

The problem can be avoided by ensuring the no_cache flag is
set on the novaclient.

Change-Id: I3ac9e74571ff837cd07fc3f36ecf706180f4dc46

Fix hash-bang directive in nova_create_flavors.sh

The script employs bash-isms, so the directive to use the
Bourne shell causes some predictable failures:

  nova_create_flavors.sh: [[: not found

... etc.

Change-Id: I60f3de55d2ebbfa47d444ec72c07728bbfa38be6

import gettext to fix db migration execution

Make sure to remove python-glanceclient too

Change-Id: I44c39824f5b1d96ac69e6972506fc865718b3c59
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat tests : add functional test for UpdateStack

Add new API test to prove UpdateStack action

Change-Id: I656f3965a222ee1dcd890d4e4491f5550fada461
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional utils support for UpdateStack

Add Stack.update method so UpdateStack API action
can be tested

Change-Id: I2fdc37b15eab9b7d786153877755a631fda0ad2a
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Add new boto API test

Add new test_CFN_API_Actions_Boto.py test, which
tests the CFN API via the boto client

Change-Id: Iad796da35009fbad0ce21ba0d7ab73c2fd16cd7d
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add the beginnings of an OpenStack ReST API"

Merge "Unit test for DBInstance resource."

Merge "heat tests : API test fixup for ResourceProperties"

Add the beginnings of an OpenStack ReST API

So far only access to stacks (not resources and events) is implemented.

Change-Id: I9655e9441087ef60c06e67e2d6ae68ec4a3b2d11
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : API test fixup for ResourceProperties

Fixup CFN API functional test after ResourceProperties
format change

Change-Id: I91d88443bc885163cffafc83615aa0cfa8d3ff83
Signed-off-by: Steven Hardy <shardy@redhat.com>

Allow separate versioning of each API

Previously, all APIs used single versioning definition. Since these are
likely to change at different rates (AWS APIs are unlikely to change at
all, but OpenStack APIs probably will), give each their own version
definition.

Change-Id: I6985205dfcb5baf6f49ad32b091d811f97d1552a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat API : return ResourceProperties as JSON

For boto to correctly parse the API DescribeStackEvents
action, the ResourceProperties key in the response
must be a string, as per the AWS spec, so we encode the
properties in a JSON blob

Fixes #245

Change-Id: Icd38984836a941ed4a012b06382933bb46f43c4f
Signed-off-by: Steven Hardy <shardy@redhat.com>

Move CloudFormation API to heat.api.cfn package

Change-Id: Ib0adf6f38da298b0b87d80272904767066b41087
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make the keystone service type configurable

We will eventually need to have clients for both the OpenStack and
CloudFormation-compatible APIs, and they will need to have different
service types.

Change-Id: I06ae727c17c245ae60934bbed6e1631c7ad5fd77
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test for DBInstance resource.

Coverage is 100% assuming you don't count the
nested template as code.

Change-Id: I846ed736d75eeef8723c33db7cae889a26049d9a

Add a Folsom specific heat-keystone-setup binary to bin

Fixes issue #253

Change-Id: Ie223c43c15ac806da393e3d532ef410526ac16ce
Signed-off-by: Steven Dake <sdake@redhat.com>

heat engine : format stack outputs for updated stacks

Fix bug where stack outputs are not formatted when
stacks are in UPDATE_COMPLETE state

Fixes #250

Change-Id: I8936c8e62b8c9b1f28f09eb5b8c50eb79cb76eb2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : fix glanceclient deprecation warning

glanceclient module name changed for F18, so do
a conditional import which should import the correct
version provided one is available (tested on F17/F18)

Fixes #251

Change-Id: I095560f29a408949a7d54795fc000c094b1d63b9
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix test_waitcondition.py race by converting to mox.

Eventlet calls and metadata state changes are now
mocked, so there are no sleeps, and in theory no
chance of races.

Change-Id: I05fee73a8cefafe1f2bb5a4ca65c585933497475

Merge "Rename heat/cloudformations.py to heat/cloudformation.py"

Rename heat/cloudformations.py to heat/cloudformation.py

Change-Id: I1db2e5b191b35a07aa51113829d95085bfbfc8e7
Signed-off-by: Steven Dake <sdake@redhat.com>

Trivial unit test changes

- rename assertEquals to assertEqual
- fix the swiftclient package import, which was broken
  for testing

Change-Id: Icbe80ded918b9b2d089797645bf8d46a9efaf619

Switch to in-memory sqlite for unit tests; 1500% speed improvement.

All unit tests now run in 4 seconds, instead of 64 seconds on a HDD.

 _ENGINE global setting had to be moved into get_engine() so that migration works, otherwise get_engine() creates a new isolated in-memory database for
every call.

Other unit test speedups in this change are to stub out some eventlet sleeps
which saves about 5 seconds.

Change-Id: I3643b73dd9bd86c414934b7c78db67402587f570

Move test skipping on import failure from package to function.

This gives a better test output on what has been skipped and why.

The unittest2.TestCase class has been removed because it is unused and
unittest2 is not available to the gates.

Change-Id: I1b5ae0845b2ef8dadc5cff42770ef062ea4e862f

Merge "Get rid of gratuitous params in RPC API"

Merge "Stop deprecation warning when creating resources directly."

Get rid of gratuitous params in RPC API

For historical reasons, we were passing all of the parameters from the query
string received by the AWS API to the engine as "params" in many calls.
This is not required, since all of the relevant information has already
been extracted.

Change-Id: Iedec5b442ccb0b358afc8a4e06f60672890aba05
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test coverage for user resources, plus some user fixes.

- User 'Policies' attribute removed since it shouldn't exist
- fixed 'SecretAccessKey' attribute in AccessKey

Change-Id: Iff7cf0bda074cb615045e7236f274cafa56909f6

Change file to executable to get rid of rpmlint warning

Change-Id: I5274c04bca9c5f089c39a241cc2ba4ea96e279ac
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Version 6 about to be announced for release, time for v7

Change-Id: Ie85008bc7acce7535268fec0a62a0fda7bbbd1ec
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat : HA functional test missing import

Change-Id: Ife9b85c321b41f9d838bf413734a803f858d93c8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : convert HA test to exec_sudo_command

Use exec_sudo_command to ensure sudo command works

Change-Id: I9e4b25de04112f860c40604f6152f86efd937468
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Fixup IHA functional test

Add more prints to monitor progress and ensure
the halt sudo command works by using the new utils
function, workaround paramiko SSH issue

Ref #246

Change-Id: I656925e61b878a9f2eabfbd65bee796d9d8ee54d
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional tests add exec_sudo_command

Add new method in the Instance class, which uses paramiko
invoke_shell instead of exec_command, so sudo commands can
run despite requiretty being set in our sudo config

Ref #246

Change-Id: I3be691167d4c757b68e589261d6f3a1263d77e69
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't fail to delete if VolumeAttachment not found

Change-Id: If12b7ebbee2d71e39e49152d971c11f55badca18
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Improve debugging ability for functional tests

Use proper assert*() functions so that we can get some information out of
any failed tests.

Change-Id: I92d937015562371c2b39bbcf5b9cbd2b6ca19d52
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix typo in test file name

Change-Id: I6c55e9ca8deaab41f8ed47e09553d1ad4811d879
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : fixup test_CFN_API_Actions.py

Fixup CFN API test following API keyname change ref #244

Ref #243

Change-Id: I6c235949ee6bb950d0cc5fa39391ee2b6073b0a0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Unit tests for autoscaling resources. 100% coverage!"

Stop deprecation warning when creating resources directly.

This change stops the following warning from being logged:
heat/heat/engine/resources.py:141: DeprecationWarning: object.__new__()
takes no parameters
  return super(Resource, cls).__new__(cls, name, json, stack)

Change-Id: Icf6187fdcc460d9cd732ebfc0cf14390dc240c5c

Unit tests for volumes and attachments

Change-Id: Id8f1bab9d4cb782830e38a30a6411095d3710273

Update another embedded template to F17

Change-Id: I4244c98f72bd38afe6d6cd0c7a64aa69b79b578d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Changed embedded loadbalancer template to use F17

Change-Id: I7d06045198add18b020736c9e019e848592c7d60
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat API : fix wrongly named key for stack events

We return a key of "ResourceStatusData", should be "ResourceStatusReason"

Fixes #244

Change-Id: I692825b0c800815777e9f73bd7060a108e16e45a
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Fix scoping issue"

Merge "Make instance match expected name"

heat : ensure DB user creds aren't written decrypted

Return the decrypted user_creds record as a dict copy
and do not decrypt the credentials direct into the
sqlalchemy model object, or we can inadvertently
end up committing decrypted credentials to the DB

Ref #218

Change-Id: I0df9afcb271804557c94cdf0c913f7a26affdc83
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix scoping issue

Change-Id: I03ed3e503b7888591dd10c647296792f24679743
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Make instance match expected name

Change-Id: Ic94cf389306ac45679601bcdcfbef98bc83e2453
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Look for instance name that matches template

Change-Id: I8963b36fa4c4530cfec9c388c5758812d7d1bddc
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Implement test_AutoScalingMultiAZSample.py"

Merge "Tag functional tests with the JEOS required"

Merge "Make automated scripts quieter"

Provide full URL address in AutoScalingMultiAZSample.template

Fixes issue #242

Change-Id: Iafcf32f22f7a59ce08473981c7ff332bb1eb47f8
Signed-off-by: Steven Dake <sdake@redhat.com>

Tag functional tests with the JEOS required

Change-Id: Ie0204d5382d402058b5538884d42512e724e94db
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make automated scripts quieter

This eliminates a lot of not-very-interesting stuff from the test logs.

Change-Id: I20bd90f8875645ef02ce3423a555c523b62ca4e3
Signed-off-by: Zane Bitter <zbitter@redhat.com>