Merge "heat : Add missing calculate_properties to user resource"

Merge "heat engine : Avoid printing credentials to logfile"

heat : Add missing calculate_properties to user resource

Adding calculate_properties to user AccessKey resource, or
we get a key error when trying to list resources in stacks
using this resource type

Fixes #194

Change-Id: I905c162dd6bc3557825610f046e6ee8228d5225b
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : Avoid printing credentials to logfile

Avoid printing the AWS secret key to the (world-readable)
engine logfile

Fixes #258

Change-Id: I26d809064c603421c4bbe4a060de5d4776fec4b8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : only attempt stack update from valid states

Only attempt to update a stack if it is in CREATE_COMPLETE
or UPDATE_COMPLETE state

Fixes #260

Change-Id: If47a628f1602d5d8783b3f0e90fd7e76ccef46ba
Signed-off-by: Steven Hardy <shardy@redhat.com>

ReST API: Fix template validation

Also move the URL to be local to a tenant. This is because keystone will
automatically fill in the tenant id in the endpoint, so all requests will
use this as a base URL.

Change-Id: I3fbd5a7d256426079824f8a26fdcd41eac083146
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : workaround engine error with version code

Work around lack of git sha in vcsversion so we don't get an
engine error if the version dict doesn't contain the sha key

Fixes #259

Change-Id: I25d2cfb008a5a9e0e1a60e7360e58608d2d8e9c0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Change endpoint service type from orchestration to cloudformation.

This is required so that the REST API can take over the orchestration service type.

This will break exiting setups until heat-keystone-setup is re-run.

There will be a corresponding update to devstack, which may be out of sync to this one.

Merge "Remove unnecessary keystone scripts"

Fix versioning code

Removed cruft from OpenStack common versioning code that was removed.
Added optional git SHA information if module is available. The
intent is to have the additional git revision reported only when FINAL
is set to False.

Change-Id: Iae94b84027e7428cd394726e07845d2bad631586
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Remove unnecessary keystone scripts

Make remaining keystone script check installed version of Nova and use
proper arguments to keystone.

closes #252

Change-Id: Ie4709891c7ca89d73390a3474e3d10beab449395
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Fix bugs in ReST API stack creation

Change-Id: I39277224305465cc951e397f340012563c0f7174
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Allow authentication to Nova with a Keystone token

Change-Id: I3ca90169559cc167ff51db5fe47ceec8c917f04b
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Make sure to remove python-glanceclient too"

Merge "Fix hash-bang directive in nova_create_flavors.sh"

Merge "heat tests : add functional test for UpdateStack"

Merge "heat tests : functional utils support for UpdateStack"

Merge "heat tests : Add new boto API test"

heat engine : workaround lack of no_cache on essex

no_cache novaclient fix doesn't work on essex, so try
both the essex and the folsom compatible novaclient
prototypes

Change-Id: I0749f821981550d7a5f5a95e2f5951c77d8e1529
Signed-off-by: Steven Hardy <shardy@redhat.com>

Avoid create_stack RPC call timing out on precise

The create_stack RPC call times out on Ubuntu as novaclient
blocks expecting stdin when prompting for a keyring password:

    Please set a password for your new keyring

This probably does not occur on Fedora due to the version or
presence of the python-keyring package differing.

The problem can be avoided by ensuring the no_cache flag is
set on the novaclient.

Change-Id: I3ac9e74571ff837cd07fc3f36ecf706180f4dc46

Fix hash-bang directive in nova_create_flavors.sh

The script employs bash-isms, so the directive to use the
Bourne shell causes some predictable failures:

  nova_create_flavors.sh: [[: not found

... etc.

Change-Id: I60f3de55d2ebbfa47d444ec72c07728bbfa38be6

import gettext to fix db migration execution

Make sure to remove python-glanceclient too

Change-Id: I44c39824f5b1d96ac69e6972506fc865718b3c59
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat tests : add functional test for UpdateStack

Add new API test to prove UpdateStack action

Change-Id: I656f3965a222ee1dcd890d4e4491f5550fada461
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional utils support for UpdateStack

Add Stack.update method so UpdateStack API action
can be tested

Change-Id: I2fdc37b15eab9b7d786153877755a631fda0ad2a
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Add new boto API test

Add new test_CFN_API_Actions_Boto.py test, which
tests the CFN API via the boto client

Change-Id: Iad796da35009fbad0ce21ba0d7ab73c2fd16cd7d
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Add the beginnings of an OpenStack ReST API"

Merge "Unit test for DBInstance resource."

Merge "heat tests : API test fixup for ResourceProperties"

Add the beginnings of an OpenStack ReST API

So far only access to stacks (not resources and events) is implemented.

Change-Id: I9655e9441087ef60c06e67e2d6ae68ec4a3b2d11
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : API test fixup for ResourceProperties

Fixup CFN API functional test after ResourceProperties
format change

Change-Id: I91d88443bc885163cffafc83615aa0cfa8d3ff83
Signed-off-by: Steven Hardy <shardy@redhat.com>

Allow separate versioning of each API

Previously, all APIs used single versioning definition. Since these are
likely to change at different rates (AWS APIs are unlikely to change at
all, but OpenStack APIs probably will), give each their own version
definition.

Change-Id: I6985205dfcb5baf6f49ad32b091d811f97d1552a
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat API : return ResourceProperties as JSON

For boto to correctly parse the API DescribeStackEvents
action, the ResourceProperties key in the response
must be a string, as per the AWS spec, so we encode the
properties in a JSON blob

Fixes #245

Change-Id: Icd38984836a941ed4a012b06382933bb46f43c4f
Signed-off-by: Steven Hardy <shardy@redhat.com>

Move CloudFormation API to heat.api.cfn package

Change-Id: Ib0adf6f38da298b0b87d80272904767066b41087
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make the keystone service type configurable

We will eventually need to have clients for both the OpenStack and
CloudFormation-compatible APIs, and they will need to have different
service types.

Change-Id: I06ae727c17c245ae60934bbed6e1631c7ad5fd77
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test for DBInstance resource.

Coverage is 100% assuming you don't count the
nested template as code.

Change-Id: I846ed736d75eeef8723c33db7cae889a26049d9a

Add a Folsom specific heat-keystone-setup binary to bin

Fixes issue #253

Change-Id: Ie223c43c15ac806da393e3d532ef410526ac16ce
Signed-off-by: Steven Dake <sdake@redhat.com>

heat engine : format stack outputs for updated stacks

Fix bug where stack outputs are not formatted when
stacks are in UPDATE_COMPLETE state

Fixes #250

Change-Id: I8936c8e62b8c9b1f28f09eb5b8c50eb79cb76eb2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : fix glanceclient deprecation warning

glanceclient module name changed for F18, so do
a conditional import which should import the correct
version provided one is available (tested on F17/F18)

Fixes #251

Change-Id: I095560f29a408949a7d54795fc000c094b1d63b9
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix test_waitcondition.py race by converting to mox.

Eventlet calls and metadata state changes are now
mocked, so there are no sleeps, and in theory no
chance of races.

Change-Id: I05fee73a8cefafe1f2bb5a4ca65c585933497475

Merge "Rename heat/cloudformations.py to heat/cloudformation.py"

Rename heat/cloudformations.py to heat/cloudformation.py

Change-Id: I1db2e5b191b35a07aa51113829d95085bfbfc8e7
Signed-off-by: Steven Dake <sdake@redhat.com>

Trivial unit test changes

- rename assertEquals to assertEqual
- fix the swiftclient package import, which was broken
  for testing

Change-Id: Icbe80ded918b9b2d089797645bf8d46a9efaf619

Switch to in-memory sqlite for unit tests; 1500% speed improvement.

All unit tests now run in 4 seconds, instead of 64 seconds on a HDD.

 _ENGINE global setting had to be moved into get_engine() so that migration works, otherwise get_engine() creates a new isolated in-memory database for
every call.

Other unit test speedups in this change are to stub out some eventlet sleeps
which saves about 5 seconds.

Change-Id: I3643b73dd9bd86c414934b7c78db67402587f570

Move test skipping on import failure from package to function.

This gives a better test output on what has been skipped and why.

The unittest2.TestCase class has been removed because it is unused and
unittest2 is not available to the gates.

Change-Id: I1b5ae0845b2ef8dadc5cff42770ef062ea4e862f

Merge "Get rid of gratuitous params in RPC API"

Merge "Stop deprecation warning when creating resources directly."

Get rid of gratuitous params in RPC API

For historical reasons, we were passing all of the parameters from the query
string received by the AWS API to the engine as "params" in many calls.
This is not required, since all of the relevant information has already
been extracted.

Change-Id: Iedec5b442ccb0b358afc8a4e06f60672890aba05
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test coverage for user resources, plus some user fixes.

- User 'Policies' attribute removed since it shouldn't exist
- fixed 'SecretAccessKey' attribute in AccessKey

Change-Id: Iff7cf0bda074cb615045e7236f274cafa56909f6

Change file to executable to get rid of rpmlint warning

Change-Id: I5274c04bca9c5f089c39a241cc2ba4ea96e279ac
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Version 6 about to be announced for release, time for v7

Change-Id: Ie85008bc7acce7535268fec0a62a0fda7bbbd1ec
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat : HA functional test missing import

Change-Id: Ife9b85c321b41f9d838bf413734a803f858d93c8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : convert HA test to exec_sudo_command

Use exec_sudo_command to ensure sudo command works

Change-Id: I9e4b25de04112f860c40604f6152f86efd937468
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Fixup IHA functional test

Add more prints to monitor progress and ensure
the halt sudo command works by using the new utils
function, workaround paramiko SSH issue

Ref #246

Change-Id: I656925e61b878a9f2eabfbd65bee796d9d8ee54d
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional tests add exec_sudo_command

Add new method in the Instance class, which uses paramiko
invoke_shell instead of exec_command, so sudo commands can
run despite requiretty being set in our sudo config

Ref #246

Change-Id: I3be691167d4c757b68e589261d6f3a1263d77e69
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't fail to delete if VolumeAttachment not found

Change-Id: If12b7ebbee2d71e39e49152d971c11f55badca18
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Improve debugging ability for functional tests

Use proper assert*() functions so that we can get some information out of
any failed tests.

Change-Id: I92d937015562371c2b39bbcf5b9cbd2b6ca19d52
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix typo in test file name

Change-Id: I6c55e9ca8deaab41f8ed47e09553d1ad4811d879
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : fixup test_CFN_API_Actions.py

Fixup CFN API test following API keyname change ref #244

Ref #243

Change-Id: I6c235949ee6bb950d0cc5fa39391ee2b6073b0a0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Unit tests for autoscaling resources. 100% coverage!"

Stop deprecation warning when creating resources directly.

This change stops the following warning from being logged:
heat/heat/engine/resources.py:141: DeprecationWarning: object.__new__()
takes no parameters
  return super(Resource, cls).__new__(cls, name, json, stack)

Change-Id: Icf6187fdcc460d9cd732ebfc0cf14390dc240c5c

Unit tests for volumes and attachments

Change-Id: Id8f1bab9d4cb782830e38a30a6411095d3710273

Update another embedded template to F17

Change-Id: I4244c98f72bd38afe6d6cd0c7a64aa69b79b578d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Changed embedded loadbalancer template to use F17

Change-Id: I7d06045198add18b020736c9e019e848592c7d60
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat API : fix wrongly named key for stack events

We return a key of "ResourceStatusData", should be "ResourceStatusReason"

Fixes #244

Change-Id: I692825b0c800815777e9f73bd7060a108e16e45a
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Fix scoping issue"

Merge "Make instance match expected name"

heat : ensure DB user creds aren't written decrypted

Return the decrypted user_creds record as a dict copy
and do not decrypt the credentials direct into the
sqlalchemy model object, or we can inadvertently
end up committing decrypted credentials to the DB

Ref #218

Change-Id: I0df9afcb271804557c94cdf0c913f7a26affdc83
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix scoping issue

Change-Id: I03ed3e503b7888591dd10c647296792f24679743
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Make instance match expected name

Change-Id: Ic94cf389306ac45679601bcdcfbef98bc83e2453
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Look for instance name that matches template

Change-Id: I8963b36fa4c4530cfec9c388c5758812d7d1bddc
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Implement test_AutoScalingMultiAZSample.py"

Merge "Tag functional tests with the JEOS required"

Merge "Make automated scripts quieter"

Provide full URL address in AutoScalingMultiAZSample.template

Fixes issue #242

Change-Id: Iafcf32f22f7a59ce08473981c7ff332bb1eb47f8
Signed-off-by: Steven Dake <sdake@redhat.com>

Tag functional tests with the JEOS required

Change-Id: Ie0204d5382d402058b5538884d42512e724e94db
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make automated scripts quieter

This eliminates a lot of not-very-interesting stuff from the test logs.

Change-Id: I20bd90f8875645ef02ce3423a555c523b62ca4e3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Implement test_AutoScalingMultiAZSample.py

Fixes issue #200

Change-Id: Iaea2d01a9659c703986d009fb9c0605ba6d0279f
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Remove unnecesssary nova constructor calls in each manager API call path"

heat engine : loadbalancer add missing calculate_properties()

Add calculate_properties() call to ensure the user defined parameter
values are correctly updated in self.parameters

Ref #241

Change-Id: I7f4ec0ac546a5599359b6aa2e713ea1b6051ff34
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : convert stack resource to physical_resource_name

Covert stack.Stack to use physical_resource_name or nested stack
references are not fully-qualified

Ref #241

Change-Id: I6e38a7de5af5fe79ddc62cfee9dfe26cae30df6c
Signed-off-by: Steven Hardy <shardy@redhat.com>

Return exit code rom run_tests.sh

Change-Id: Iddec2eb8e552f88bd04657536df094355b96b804
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Avoid test runner crash when we have no tty

Change-Id: I6dac94a98b9125d3371c19fa14a0de9b4e766820
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit tests for autoscaling resources. 100% coverage!

Change-Id: Idff792aa4898b14f3a55b5b44e6133cdcf496e97

Merge "Use stack_identity where it has changed from stack_name."

Merge "Tests EIP resource creation and association."

heat tests : New wordpress IHA functional test

Add new test_WordPress_Single_Instance_With_IHA test

Fixes #213

Change-Id: Ibacfe4d5eb57c470a3e2a000ec794adfb432c081
Signed-off-by: Steven Hardy <shardy@redhat.com>

Tests EIP resource creation and association.

Change-Id: I3af9556930a447eeba6e3152d004ddae7999d638

Allow linux distribution to be passed to multiaz template for test case

Change-Id: I054c3ad72cea2727dd8f5956166d753fff7363e7
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix backtrace when using loadbalancer

Loadbalancer incorrectly tried to reference a string as an integer.

This resulted in the following typeerror which is repaired by
thi patch:

    timeout_check = 'timeout check %ds' % (health_chk['Timeout'])
TypeError: %d format: a number is required, not unicode

Fixes issue #240

Change-Id: I7e2697200d3fa9b0cb009f3a7898d487b70fc23a
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix spelling errors in loadbalancer which resulted in template not launching

Fixes issue #239

Change-Id: I20f685598b90a40ed0452af8b7c018a1bf7e0492
Signed-off-by: Steven Dake <sdake@redhat.com>
Signed-off-by: Tomas Sedovic <tsedovic@redhat.com>

Remove unnecesssary nova constructor calls in each manager API call path

auth.authenticate() creates a nova client object.  This nova client
object is never reused introducing a 40msec penalty for each API call.
The heat-api-cfn module authenticates incoming requests.  In a
properly secured environment (one where RPC is secured), the
auth.authenticate() calls serve no purpose.

Change-Id: I847af259f521a32a7bf3fda0ce3f72735f762a0c
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix up tags

Fix the remaining tags to include the template.

Change-Id: I307d2a7a2678617f38ad3329b51855d5ca6614c2
Signed-off-by: Ian Main <imain@redhat.com>

Fix test_WordPress_2_Instances_With_EBS.py

Change-Id: Iee70c20b4dc771da5cc84bcfe7bb1cd1ba5280d1
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Change templates to launch F17 (not F16) by default"

Change templates to launch F17 (not F16) by default

Change-Id: If8b97e85f2dca5251145a8eebb184e43e25a34ea
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : add HAProxy functional test

Add new test_HAProxy_Single_Instance.py functional test

Fixes #202

Change-Id: I34818756dc5d8ac1f42302118eaa630348946d38
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat templates : add LinuxDistribution parameter to HAProxy

Add LinuxDistribution section and mappings to HAProxy template,
to align with other templates and for compatibility with functional
test infrastructure

Change-Id: Ib86ac4f587aebf712df1c9ad09cebc44f853e114
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional tests allow non-default stackname

Allow the default "teststack" to be overridden, so multiple
stacks can be created in one test

Change-Id: I09a4128b98df7af6c6b85552ac2175919a697c50
Signed-off-by: Steven Hardy <shardy@redhat.com>

Switch to Fedora 17 on guests in Getting Started

Change-Id: I24ff5305876d91828e15f89e363d03bbf6bed923
Signed-off-by: Zane Bitter <zbitter@redhat.com>