Make the keystone service type configurable

We will eventually need to have clients for both the OpenStack and
CloudFormation-compatible APIs, and they will need to have different
service types.

Change-Id: I06ae727c17c245ae60934bbed6e1631c7ad5fd77
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add a Folsom specific heat-keystone-setup binary to bin

Fixes issue #253

Change-Id: Ie223c43c15ac806da393e3d532ef410526ac16ce
Signed-off-by: Steven Dake <sdake@redhat.com>

heat engine : format stack outputs for updated stacks

Fix bug where stack outputs are not formatted when
stacks are in UPDATE_COMPLETE state

Fixes #250

Change-Id: I8936c8e62b8c9b1f28f09eb5b8c50eb79cb76eb2
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : fix glanceclient deprecation warning

glanceclient module name changed for F18, so do
a conditional import which should import the correct
version provided one is available (tested on F17/F18)

Fixes #251

Change-Id: I095560f29a408949a7d54795fc000c094b1d63b9
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix test_waitcondition.py race by converting to mox.

Eventlet calls and metadata state changes are now
mocked, so there are no sleeps, and in theory no
chance of races.

Change-Id: I05fee73a8cefafe1f2bb5a4ca65c585933497475

Merge "Rename heat/cloudformations.py to heat/cloudformation.py"

Rename heat/cloudformations.py to heat/cloudformation.py

Change-Id: I1db2e5b191b35a07aa51113829d95085bfbfc8e7
Signed-off-by: Steven Dake <sdake@redhat.com>

Trivial unit test changes

- rename assertEquals to assertEqual
- fix the swiftclient package import, which was broken
  for testing

Change-Id: Icbe80ded918b9b2d089797645bf8d46a9efaf619

Switch to in-memory sqlite for unit tests; 1500% speed improvement.

All unit tests now run in 4 seconds, instead of 64 seconds on a HDD.

 _ENGINE global setting had to be moved into get_engine() so that migration works, otherwise get_engine() creates a new isolated in-memory database for
every call.

Other unit test speedups in this change are to stub out some eventlet sleeps
which saves about 5 seconds.

Change-Id: I3643b73dd9bd86c414934b7c78db67402587f570

Move test skipping on import failure from package to function.

This gives a better test output on what has been skipped and why.

The unittest2.TestCase class has been removed because it is unused and
unittest2 is not available to the gates.

Change-Id: I1b5ae0845b2ef8dadc5cff42770ef062ea4e862f

Merge "Get rid of gratuitous params in RPC API"

Merge "Stop deprecation warning when creating resources directly."

Get rid of gratuitous params in RPC API

For historical reasons, we were passing all of the parameters from the query
string received by the AWS API to the engine as "params" in many calls.
This is not required, since all of the relevant information has already
been extracted.

Change-Id: Iedec5b442ccb0b358afc8a4e06f60672890aba05
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit test coverage for user resources, plus some user fixes.

- User 'Policies' attribute removed since it shouldn't exist
- fixed 'SecretAccessKey' attribute in AccessKey

Change-Id: Iff7cf0bda074cb615045e7236f274cafa56909f6

Change file to executable to get rid of rpmlint warning

Change-Id: I5274c04bca9c5f089c39a241cc2ba4ea96e279ac
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Version 6 about to be announced for release, time for v7

Change-Id: Ie85008bc7acce7535268fec0a62a0fda7bbbd1ec
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat : HA functional test missing import

Change-Id: Ife9b85c321b41f9d838bf413734a803f858d93c8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : convert HA test to exec_sudo_command

Use exec_sudo_command to ensure sudo command works

Change-Id: I9e4b25de04112f860c40604f6152f86efd937468
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Fixup IHA functional test

Add more prints to monitor progress and ensure
the halt sudo command works by using the new utils
function, workaround paramiko SSH issue

Ref #246

Change-Id: I656925e61b878a9f2eabfbd65bee796d9d8ee54d
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional tests add exec_sudo_command

Add new method in the Instance class, which uses paramiko
invoke_shell instead of exec_command, so sudo commands can
run despite requiretty being set in our sudo config

Ref #246

Change-Id: I3be691167d4c757b68e589261d6f3a1263d77e69
Signed-off-by: Steven Hardy <shardy@redhat.com>

Don't fail to delete if VolumeAttachment not found

Change-Id: If12b7ebbee2d71e39e49152d971c11f55badca18
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Improve debugging ability for functional tests

Use proper assert*() functions so that we can get some information out of
any failed tests.

Change-Id: I92d937015562371c2b39bbcf5b9cbd2b6ca19d52
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Fix typo in test file name

Change-Id: I6c55e9ca8deaab41f8ed47e09553d1ad4811d879
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : fixup test_CFN_API_Actions.py

Fixup CFN API test following API keyname change ref #244

Ref #243

Change-Id: I6c235949ee6bb950d0cc5fa39391ee2b6073b0a0
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Unit tests for autoscaling resources. 100% coverage!"

Stop deprecation warning when creating resources directly.

This change stops the following warning from being logged:
heat/heat/engine/resources.py:141: DeprecationWarning: object.__new__()
takes no parameters
  return super(Resource, cls).__new__(cls, name, json, stack)

Change-Id: Icf6187fdcc460d9cd732ebfc0cf14390dc240c5c

Unit tests for volumes and attachments

Change-Id: Id8f1bab9d4cb782830e38a30a6411095d3710273

Update another embedded template to F17

Change-Id: I4244c98f72bd38afe6d6cd0c7a64aa69b79b578d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Changed embedded loadbalancer template to use F17

Change-Id: I7d06045198add18b020736c9e019e848592c7d60
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat API : fix wrongly named key for stack events

We return a key of "ResourceStatusData", should be "ResourceStatusReason"

Fixes #244

Change-Id: I692825b0c800815777e9f73bd7060a108e16e45a
Signed-off-by: Steven Hardy <shardy@redhat.com>

Merge "Fix scoping issue"

Merge "Make instance match expected name"

heat : ensure DB user creds aren't written decrypted

Return the decrypted user_creds record as a dict copy
and do not decrypt the credentials direct into the
sqlalchemy model object, or we can inadvertently
end up committing decrypted credentials to the DB

Ref #218

Change-Id: I0df9afcb271804557c94cdf0c913f7a26affdc83
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix scoping issue

Change-Id: I03ed3e503b7888591dd10c647296792f24679743
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Make instance match expected name

Change-Id: Ic94cf389306ac45679601bcdcfbef98bc83e2453
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Look for instance name that matches template

Change-Id: I8963b36fa4c4530cfec9c388c5758812d7d1bddc
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Implement test_AutoScalingMultiAZSample.py"

Merge "Tag functional tests with the JEOS required"

Merge "Make automated scripts quieter"

Provide full URL address in AutoScalingMultiAZSample.template

Fixes issue #242

Change-Id: Iafcf32f22f7a59ce08473981c7ff332bb1eb47f8
Signed-off-by: Steven Dake <sdake@redhat.com>

Tag functional tests with the JEOS required

Change-Id: Ie0204d5382d402058b5538884d42512e724e94db
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Make automated scripts quieter

This eliminates a lot of not-very-interesting stuff from the test logs.

Change-Id: I20bd90f8875645ef02ce3423a555c523b62ca4e3
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Implement test_AutoScalingMultiAZSample.py

Fixes issue #200

Change-Id: Iaea2d01a9659c703986d009fb9c0605ba6d0279f
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Remove unnecesssary nova constructor calls in each manager API call path"

heat engine : loadbalancer add missing calculate_properties()

Add calculate_properties() call to ensure the user defined parameter
values are correctly updated in self.parameters

Ref #241

Change-Id: I7f4ec0ac546a5599359b6aa2e713ea1b6051ff34
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat engine : convert stack resource to physical_resource_name

Covert stack.Stack to use physical_resource_name or nested stack
references are not fully-qualified

Ref #241

Change-Id: I6e38a7de5af5fe79ddc62cfee9dfe26cae30df6c
Signed-off-by: Steven Hardy <shardy@redhat.com>

Return exit code rom run_tests.sh

Change-Id: Iddec2eb8e552f88bd04657536df094355b96b804
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Avoid test runner crash when we have no tty

Change-Id: I6dac94a98b9125d3371c19fa14a0de9b4e766820
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Unit tests for autoscaling resources. 100% coverage!

Change-Id: Idff792aa4898b14f3a55b5b44e6133cdcf496e97

Merge "Use stack_identity where it has changed from stack_name."

Merge "Tests EIP resource creation and association."

heat tests : New wordpress IHA functional test

Add new test_WordPress_Single_Instance_With_IHA test

Fixes #213

Change-Id: Ibacfe4d5eb57c470a3e2a000ec794adfb432c081
Signed-off-by: Steven Hardy <shardy@redhat.com>

Tests EIP resource creation and association.

Change-Id: I3af9556930a447eeba6e3152d004ddae7999d638

Allow linux distribution to be passed to multiaz template for test case

Change-Id: I054c3ad72cea2727dd8f5956166d753fff7363e7
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix backtrace when using loadbalancer

Loadbalancer incorrectly tried to reference a string as an integer.

This resulted in the following typeerror which is repaired by
thi patch:

    timeout_check = 'timeout check %ds' % (health_chk['Timeout'])
TypeError: %d format: a number is required, not unicode

Fixes issue #240

Change-Id: I7e2697200d3fa9b0cb009f3a7898d487b70fc23a
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix spelling errors in loadbalancer which resulted in template not launching

Fixes issue #239

Change-Id: I20f685598b90a40ed0452af8b7c018a1bf7e0492
Signed-off-by: Steven Dake <sdake@redhat.com>
Signed-off-by: Tomas Sedovic <tsedovic@redhat.com>

Remove unnecesssary nova constructor calls in each manager API call path

auth.authenticate() creates a nova client object.  This nova client
object is never reused introducing a 40msec penalty for each API call.
The heat-api-cfn module authenticates incoming requests.  In a
properly secured environment (one where RPC is secured), the
auth.authenticate() calls serve no purpose.

Change-Id: I847af259f521a32a7bf3fda0ce3f72735f762a0c
Signed-off-by: Steven Dake <sdake@redhat.com>

Fix up tags

Fix the remaining tags to include the template.

Change-Id: I307d2a7a2678617f38ad3329b51855d5ca6614c2
Signed-off-by: Ian Main <imain@redhat.com>

Fix test_WordPress_2_Instances_With_EBS.py

Change-Id: Iee70c20b4dc771da5cc84bcfe7bb1cd1ba5280d1
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Change templates to launch F17 (not F16) by default"

Change templates to launch F17 (not F16) by default

Change-Id: If8b97e85f2dca5251145a8eebb184e43e25a34ea
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat tests : add HAProxy functional test

Add new test_HAProxy_Single_Instance.py functional test

Fixes #202

Change-Id: I34818756dc5d8ac1f42302118eaa630348946d38
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat templates : add LinuxDistribution parameter to HAProxy

Add LinuxDistribution section and mappings to HAProxy template,
to align with other templates and for compatibility with functional
test infrastructure

Change-Id: Ib86ac4f587aebf712df1c9ad09cebc44f853e114
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : functional tests allow non-default stackname

Allow the default "teststack" to be overridden, so multiple
stacks can be created in one test

Change-Id: I09a4128b98df7af6c6b85552ac2175919a697c50
Signed-off-by: Steven Hardy <shardy@redhat.com>

Switch to Fedora 17 on guests in Getting Started

Change-Id: I24ff5305876d91828e15f89e363d03bbf6bed923
Signed-off-by: Zane Bitter <zbitter@redhat.com>

heat : Show user parameter values in heat describe

Return an agregate set of stack parameters via heat describe
and underlying engine show_stack call, so we see the template
parameters, and any user-overridden values (ie don't just show
the template defaults, which is not really very useful)

Fixes #238

Change-Id: Ia2cc3271f0dcf8c986e968bc21775d31ecbe6228
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : expose keyname from Stack object

Expose keyname via Stack.keyname so it can be acccessed in tests

Change-Id: I7bca1acad150647d525c0a51f4ce75b0ba21050d
Signed-off-by: Steven Hardy <shardy@redhat.com>

Work around nova-network launch issue harder

Change-Id: Ia1bf8cb2f0e23755100713c1289baa371bbfb956
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Merge "Use openstack.common.timeutils.isotime()"

Use stack_identity where it has changed from stack_name.

This is causing my test_rpcapi to fail.

Also, attempt to enable test_rpcapi by setting
@attr(tag=['unit', 'rpcapi'])

Change-Id: Ie831ddddaccc4245a18e5bc754cbf413cea65741

Unit test S3 Bucket resource with associated fixes.

Change-Id: Ib23ed500385c299247bf80062a7a4342f5afe1d2

Use openstack.common.timeutils.isotime()

Remove heat_utils.strftime() and replace callers with
openstack.common.timeutils.isotime().  They do similar activites, and
since its carried in common, makes more sense to use that version.

Change-Id: Icd919fb218a5f97be103eda7814a5fb56e1b0a02
Signed-off-by: Steven Dake <sdake@redhat.com>

Work around nova-network launch issue

Launch nova-network *after* nova-cert to work around the SELinux error in
https://bugzilla.redhat.com/show_bug.cgi?id=857747

Change-Id: I2ca4af4b950cca92cdd2785c493d8453648ccbb0
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Change rpc cleanup to occur before killing engine thread

This bug only manifested itself after a heat request was made to the
engine. Once a request was made a Qpid connection handler continued
to wait in a select call, presumably for a subsequent request. Closing
the connection immediately after detecting a keyboard interrupt and then
terminating the thread yields a clean shutdown with no traceback.

Closes #176

Change-Id: Ifdb82d33a6c52a004bbd6b08c564264f4140e800
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

Add new OpenShift test

New utility functions added to add/remove host file entries.

Closes #204

Change-Id: I182b451a25e22a558d1b4073e981cdc826ab836d
Signed-off-by: Jeff Peeler <jpeeler@redhat.com>

heat tests : new functional test for CFN API

Add new test which tests most actions of the CFN API
note UpdateStack, ValidateTemplate and EstimateTemplateCost
are still TODO

Change-Id: I814508871ddd81495f5d41d38e8e724ab4d03765
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : Update test_WordPress_With_RDS

Update test_WordPress_With_RDS.py to use new test infrastructure

Change-Id: Iea78e4d2507f0f59db3528b475e6981ea027a617
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : remove duplicate cleanup Wordpress_Boto

Remove the duplicate cleanup call, should only be in tearDown
fixture

Change-Id: I43cbe28694b248550689be08522d9774a38e6f64
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : bugfix utils cleanup function

end state for stacks is DELETE_COMPLETE, but then they
are deleted, hence we need to test for either DELETE_COMPLETE
or a null result to avoid false failures

Change-Id: I7e35c5a734d1005fa38d587353cbca5b911ec77b
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat tests : bugfix utils cleanup

Initialize tries variable or we get a referenced before
assignment error

Change-Id: Ic8eb68ced893fb89844e81e895c766e8f8b04bee
Signed-off-by: Steven Hardy <shardy@redhat.com>

tests: Wait for delete completion

Wait for the stack to actually be deleted before ending the test.

Fixes #233

Change-Id: I4f2060ff73615bcb16ac9cba3d7062117cca08dd
Signed-off-by: Zane Bitter <zbitter@redhat.com>

tests: Clean up after a failed functional test

Ensure that whenever a stack is created, we delete it after the test by
putting the cleanup() call into the tearDown() method. For this to work,
we must also move the actual creation into the test itself, since an
exception during setUp() will mean that tearDown is not called.

Change-Id: I481e691f07c1af9e931258d7ba4453b2037c62ad
Signed-off-by: Zane Bitter <zbitter@redhat.com>

tests: Make StackBoto inherit more from Stack

Change-Id: Ie2b6f2e6dd7d3f75622422d68449972ee7eceb00
Signed-off-by: Zane Bitter <zbitter@redhat.com>

tests: Fail promptly on stack creation failure

Fix the functional tests to report failure as soon as stack creation fails,
rather than waiting 80+ minutes to time out.

Change-Id: Ie48a84c7bb3ab274337297cc740b78d58d8ed4a6
Signed-off-by: Zane Bitter <zbitter@redhat.com>

Add Wordpress_2_Instances testcase

Fixes Issue #205

Change-Id: Ic7a08b2ac278a032033bec47bbfe53aeb11b253e
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Add test_WordPress_2_Instances_With_EBS_EIP.py"

Add test_WordPress_2_Instances_With_EBS_EIP.py

This work is based upon Tomas Sedovic's work.

A floating ip checker is added to instance() in util.py

Change-Id: I138a5f7bc0c5d04bc5308a80113f3057440578b9
Signed-off-by: Steven Dake <sdake@redhat.com>
Signed-off-by: Tomas Sedovic <tsedovic@redhat.com>

heat tests : functional test utils add response_xml_item

Add response_xml_item method to Stack, which allows stack
API XML responses to be more easily parsed base on xpath
prefix and keyname

Change-Id: I96437bd7ff4575e9262d46c4c21f4408041e147d
Signed-off-by: Steven Hardy <shardy@redhat.com>

Fix timing issue in starting openstack-network

Change-Id: I31f3092f95b140015d661ebd86bd1567c607f3d4
Signed-off-by: Zane Bitter <zbitter@redhat.com>

There is no spoon take 2

ugh

Change-Id: I746c721ed779b1c63592fa0e07053d27ef4231a0
Signed-off-by: Steven Dake <sdake@redhat.com>

There is no spoon

There is no name, only resource_name.

Change-Id: I1455d497c68fb650d3aef0f1232872f441005c0d
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "heat : Revert "Make sure the properties are defined in all cases.""

Merge "heat : bugfix convert User resource to physical_resource_name()"

Merge "Update openstack-common"

heat : Revert "Make sure the properties are defined in all cases."

bugfix : backout #194 fix as it breaks RDS (or maybe all resoures
implemented as nested-stacks)

This reverts commit ae0b853499296763dae77aa5c1e4c22225674489.

reopens #194

Change-Id: I349a1625a040e33e080549a137824d1d2cfca9f8
Signed-off-by: Steven Hardy <shardy@redhat.com>

heat : bugfix convert User resource to physical_resource_name()

engine user.py needs the self.name references changed to
self.physical_resource_name() to align with the recent resource
naming changes.

Change-Id: I4620a4afc5e9c11d7b6d9348aaac35bcfa31bbac
Signed-off-by: Steven Hardy <shardy@redhat.com>

creating instances failed as a result of regression in last commit

The previous commit to the tree organizes resource names by
stack.resource.  Most of the openstack APIs take resource ids
but the instance create operation requires text identifiers.

Rewrite the text identifiers for the nova security groups before
starting an instance.

Change-Id: I8a842868781ecb353f66b5a4e3d022766a4c8a0e
Signed-off-by: Steven Dake <sdake@redhat.com>

Update openstack-common

Change-Id: I002574a60b4f59543bc6aa73256c2f0b3b79d378
Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

Make physical resource names unique based upon stack name

Some templates use the same resource name when registering with
nova.  Nova will not allow mulitple resource names to register
with the same name in all cases, and in those it does, it often
becomes confused (in the case of EIP).  This patch creates a
dot notation

For the LB test, an example of the resources would be:
teststack.LoadBalancer.LB_instance
teststack.DatabaseServer.MySqlDatabaseServer
teststack.WikiServerOne

Fixes Issue #160
Fixes Issue #136

Thanks to asalkeld@redhat.com for helping sort out the unit
test cases.

Change-Id: I14f4551feb41c7f98caa30dd98f997da6d00c467
Signed-off-by: Steven Dake <sdake@redhat.com>

Merge "Add 2 instance with EBS test."