New upstream release 2012.2

Merge tag '2012.2' into debian/experimental

2012.2

Merge "Fix NetAppCmodeISCSIDriver._get_lun_handle() method" into milestone-proposed

Merge "Revert explicit usage of tgt-adm --conf option." into milestone-proposed

Fixes remove_export for IetAdm

* Corrects indentation.
* Uses specific iqn as keyword argument.

Fixes bug 1055401

Change-Id: Ie99dd8a34924f0d7f447cf41a305353659a51d11
(cherry picked from commit 5b61536fdf17332f48af4b422fe23c2e153934a1)

Fix NetAppCmodeISCSIDriver._get_lun_handle() method

bug 1055578

Change-Id: I06da6a9a59fa2320f1cae9698e5e63562e534916
(cherry picked from commit b2627b27dae521d719b90831dcc41695b389712f)

Revert explicit usage of tgt-adm --conf option.

Fixes bug 1056246.

This reverts commit 0903603971033536751ba40df98a3c39175d3189.

This ensures that we fail-fast if the tgtd configuration does
not include the directory for volume iscsi target configs,
instead of only blowing up when tgtd is restarted.

Change-Id: I30aa3f1d8944eb33cd4a42d65e227031023406b4

Add missing entries in setup, fix up pip-requires

setup.py still has references to nova/compute and was missing some
requires statements, and more importantly didn't hvae the install_requires.

Also, tools/pip-requires needed lxml versions set, as well as
added the missing setuptools_git entry.

This was exposed when trying to run Grenade as the requires.txt
file was never generated.

Fixes bug #1055693

Change-Id: Iaf9669d66e89507989ef3fde630dc2b488a97cfc
(cherry picked from commit 7f00d13640edac8136241e546076f2106f7bfa61)

Fix cinder-volume-usage-audit

It seems many point in the internal API and openstack.common changed, but
this binary has been forgotten.

Also, context ie needed when using the notifier, so import it.

This fixes bug #1053502

Change-Id: I306b8671e7b0ed8c2ce2548a51a4c5e6393e13cb
Signed-off-by: Julien Danjou <julien@danjou.info>
(cherry picked from commit 186143ecc81369c02aca51b81feb976259bcad41)

Return 400 if create volume snapshot force parameter is invalid

Fixes bug #1014689

* Add is_valid_boolstr function in utils.py
* Add force parameter check in SnapshotsController.create()
* Add unittest for invalid force parameter.

Change-Id: I0f64326f33eb4fad1cf384bd825f56f09e935f40
(cherry picked from commit c678b045c9839ed30e13fe5e7e655e3cb2e2c3f9)

Merge "Stop double logging to the console" into milestone-proposed

Stop double logging to the console

The code in nova for logging added an extra root handler to be
able to log messages to the console during log setup. This handler
was removed in the setup method. The common setup method no longer
removes this handler, so don't create it. Note that there may be
a small period before the logging setup is finished where messages
will not appear.

Fixes bug 1053512

Change-Id: I559cca8ffc2a33beff22025e42a9713487245980
(cherry picked from commit a1cbbe2e9e5d7a5ec55ec1197571cd68fcdbad15)

Remove cinder gating hack

The hack was necessary while we switched the name used for az's
in the gating tests. Now it can be removed

Change-Id: I970205910ac0950ab4a961aa0537eb964d7f0d3c
(cherry picked from commit bc0fb113af225878b4305da7d834673a6b7f5e97)

Merge "Set the default availability zone back to nova" into milestone-proposed

Set the default availability zone back to nova

Currently nova and cinder have to have the same set of az's for
the ec2 api to work properly. Therefore, set the default az for
cinder to nova so they will match.

Includes a hack to az to set cinder to nova to work around gate
issues. The hack can be removed once the gate sets the zone to
nova properly.

Fixes bug 1053508

Change-Id: I9c30ccc5c79b9c4e6c1ebeb3e80d0098e1ffbb11
(cherry picked from commit d051ca9cdf828b1e47ef5158c4b83beb9484109e)

Add lun number (0) to model_update in HpSanDriver

The HpSanDriver was not setting the lun number in model_update
and as a result default value of 1 was being used.  Trouble is the
Lun number used by LeftHand is 0, so the connect info would be
wrong and fail when trying to attach the volume.

Fixes bug #1053717

Change-Id: If82a66c6a78ab03da09223a7b79abe559a6f702f
(cherry picked from commit f55198570fd59b7a2a4ddd2f5e77b3d03d0a3d64)

Fixes to the SolarisISCSI Driver

Even when the san_is_local config option was set to false, the
SolarisISCSIDriver's _execute method was accidentally set to
util.execute by the VolumeDriver's __init__ method.

Fix bug 1053041

Change-Id: Ie3299f5065e2b084644ec2956f0c6ebae4264a49
(cherry picked from commit 3b8a6303e6c04f0c7b45043c2fcd53948910d37e)

Update MANIFEST.in patch

Merge snapshot 6b31057

Merge remote-tracking branch 'upstream/milestone-proposed' into debian/experimental

Don't suppress upstream file on dh_clean

dump version to folsom rc1

Merge tag 'folsom-rc1' into debian/experimental

folsom-rc1

Add rules to generate quickly the manifest.in

Set important path

Merge "Correct IetAdm remove_iscsi_target" into milestone-proposed

Add nova migrate_version check to cinder import

Cinder-manage migrate import only works from Nova/Folsom--->Cinder/Folsom
this change adds an explicit check of the nova migrate_version (133)
to make sure we have all of the volume id/uuid changes that are needed
to be compatable, and presents an error message if that's not the case.

Addresses bug #1052598

Change-Id: I7f32cf35e33320f4348b7bc44a8e92b5716b71d8
(cherry picked from commit 321d32379cd6044378f2f9c32c068de18f514df5)

Correct IetAdm remove_iscsi_target

Remove logical units should be done before delete the target while
unexport iSCSI volume. Or ietd will show "No such file or directory"
error.

Fix bug 1043107

Change-Id: Iab5b97044c5a30c788fcabce827923ff82a84b91
(cherry picked from commit f14e955735065a998cd78280661f6d33c850d9e2)

Change two remaining rename mistake

Mark Cinder 2012.2 Final as we near RC1

Mark Final=True as we prepare to publish Folsom RC1.

Change-Id: Ie95dd290aef49633586a4b483c3c80dca3e72aa2

Merge "Clean up db.volume_create()"

Merge "Fix volume deletion when device mapper is used"

Clean up db.volume_create()

 Adding the metadata return to db.volume_create() introduced some
 messy and unnecessary repitition in the code.  This patch
 cleans that up and makes use of existing volume_get functions rather
 than duplicating the code in volume_create.

 This syncs cinder up with the patch as it's been submitted for nova
 in https://review.openstack.org/#/c/10461/

 Addresses bug #1052176

Change-Id: I17aca069fbb0240770613f176430a1b2fcf2b25a

Merge "Update quota when deleting volume that failed to be scheduled"

Fix volume deletion when device mapper is used

Call dmsetup remove if there is a /dev/mapper/nova--volumes-
element present.

Resolves bug 979020

Change-Id: Iddaaed411a77dda4bd32f9a97687ff17744119eb

Merge "Fix FLAGS.volumes_dir help message"

Update quota when deleting volume that failed to be scheduled

If one volume was failed to get scheduled, removing such volume should
also clean up reservation.
Also when create_volume is ready to send to scheduler, reservation
should be committed no matter backend can successfully create that
volume or not since deleting volume call will do a minus reservation
even on volume with 'error' status.

Fix bug 1052052

Change-Id: Iaec9926024ad5adb38b08b07772095f49b8593c2

Add files that need to be installed

Add debconf po directory and dependency

Fix error in configuration file

Clean /var/lib/cinder on purge

Mispelling in init script arguments

Add dbconfig-common support

Fix some lintian warning

Add po rules

Remove update-rc.d, it's already done by DEBHELPER

Sync a change to rpc from openstack-common.

This commit pulls in the following change from openstack-common:

    ee44222 Change the qpid_heartbeat default to 60 seconds.

Fix bug 1050661.

Change-Id: I999e16c18227f9aab4dc8c2ff88cd6907c7c8191

Merge "Sync notifier changes from openstack-common"

Merge "Add a resume delete on volume manager startup"

Merge "Improve entity validation in volumes APIs"

Add a resume delete on volume manager startup

  Currently if for some reason the volume service was stopped
  during the zero out operation of a volume delete there was
  no way to get the volume removed from the system (it would
  be present in deleting status forever).

  This change adds a simple check of volumes in the DB with status
  of deleting, and if any are found it restarts the delete process
  on them.

  addresses bug #1011150

Change-Id: Id4c4a3bc61f95245ebc6658234b4b88029956562

Merge "Add entity body validation helper"

Improve entity validation in volumes APIs

Fixes bug #1048565

Use the new Controller.is_valid_body() helper to validate the entity
body in various volumes related POST/PUT handlers and return 422
as appropriate.

Change-Id: I04127972981522c1ed81903893396c4f9665bcd3

Add entity body validation helper

Add a _valid_body() helper for the to avoid repeating the same tests in
multiple methods. Include a check that the entity itself is actually a
dict.

(Cherry-picks part of commit d1ad73ee from Nova)

Change-Id: If8114cc76d68567005c85c803f29e30e034db89a

Should've added super().tearDown() in test_iscsi

  Made changes to use tempfiles and implemented teardown,
  but should have also called super().tearDown as well.

  Associated with chage: I9b9a2400

Change-Id: I2e9d1cb7bfbe78323630eb2f3270698a7ce7e4c4

Add debian dir

Fixes bug 1050135.

Regenerate cinder.conf.sample and fix a couple related bugs.

Change-Id: I3e472f9c69ad4888dc15f901f4bc7cd825fb5ba1

Fix FLAGS.volumes_dir help message

And other nova/volume/iscsi.py typos

Change-Id: I781a07b4f11b6cf336c278a6994bd5575ae1a70a

Merge "Use tmpdir and avoid leaving test files behind"

Merge "Sync log format changes from openstack-common."

Merge "Update rpc from openstack-common."

Use tmpdir and avoid leaving test files behind

 We were just creating a file for testing iscsi persist files and
 weren't cleaning up after the test.

 Change this to use a tmpdir and make sure we leave no tracks.

 Fixes bug #1050086

Change-Id: I9b9a2400a172d52987d76f3132793cb042fd201c

Merge "Add volume quota in volume/api.py and olume/manager.py"

Merge "Fixes bug 1049446."

Sync log format changes from openstack-common.

This patch pulls in the following change from openstack-common:

    9f88d84 Improve logging of process id

Change-Id: I6c5be346ed332d14357441b2b147ad1f09157f41

Update rpc from openstack-common.

Fix bug 1049843.

This commit syncs the following commit from openstack-common:

    commit 7e9f72bb28456c912aa80945dbdb8d200f81b462
    Make projects define 'control_exchange'.

This change allows cinder to set a project-specific default of 'cinder'
for the 'control_exchange' option.  The option is now defined in
cinder.flags.

Change-Id: Ia91c172ca0665798d616f9faf5880770074235c8

Add volume quota in volume/api.py and olume/manager.py

Fixes bug #1048158

volume.api.API.create() call QUOTAS.reserve(), then
volume.manager.VolumeManager.create_volume call QUOTAS.commit().
volume.manager.VolumeManager.delete_volume call QUOTAS.reserve() and
QUOTAS.commit().

It also fixes bug #1049459.

Change-Id: I764aeec83cce93595fbe9aa00205a7d8c9e13c35

Fixes bug 1049446.

Removed the "vtype" option which did not work in the driver, and
added the "easytier" option. Added another check to _check_flags
and made sure -warning flag is passed properly. Added unit tests
to check all option variations.

Change-Id: I4e66436f8f62d851a079ec80209fe9d6b27fb5b4

Merge "Remove null_kernel option."

Merge "Revert "Don't zero out snapshot volume on snapshot_delete""

Revert "Don't zero out snapshot volume on snapshot_delete"

This reverts commit 1b3322d45fe2c5ed72cc7f8674e5e319928065ad

Turns out that although it's less likely we can still see this issue when zeroing out regular volumes.

Merge "Remove unused utils.wrap_exception"

Merge "Nail the pip requirement at 1.1."

Merge "rename nova.pot => cinder.pot, nova.po => cinder.po"

Nail the pip requirement at 1.1.

The most recent version of pip (1.2.1 as of a couple days ago) fails
to install the required Cinder .venv packages. Nailing the installed
pip version when using run_tests.sh seems like a reasonable solution
to this issue.

Fixes LP Bug #1047120.

Change-Id: I8d831f747b0d25b5d0f6e74a234e764ff448965b

Merge "Don't zero out snapshot volume on snapshot_delete"

Merge "Recent changes to SolidFire API changed iqn format"

Merge "Prevent from bug #1008866 is reverted"

Clean up .gitignore

remove:
* nova.egg-info
* .nova-venv
* tools/conf/nova.conf*

Change-Id: I6578a75314b86628a5afbd4c4282fb271b9a830e

Prevent from bug #1008866 is reverted

Fixes bug #1047841.

Commit 2f5360753308eb8b10581fc3c026c1b66f42ebdc (Adds new volume API
extensions) reverted a part of commit
99456bd690445443ae05c0d4fe1ec43ba6090f6f (Send 'create volume from
snapshot' to the proper host), so bug #1008866 is reproduced. I make
API.create_volume to call _cast_create_volume in cinder/volume/api.py,
it Prevent from bug #1008866 is reverted.

Change-Id: I1bf0b7c5fc47da756bce95128f8fd770d14399b0

rename nova.pot => cinder.pot, nova.po => cinder.po

Fixes Bug #1047195

renamed:    cinder/locale/bs/LC_MESSAGES/nova.po -> cinder/locale/bs/LC_MESSAGES/cinder.po
renamed:    cinder/locale/nova.pot -> cinder/locale/cinder.pot
renamed:    cinder/locale/cs/LC_MESSAGES/nova.po -> cinder/locale/cs/LC_MESSAGES/cinder.po
renamed:    cinder/locale/da/LC_MESSAGES/nova.po -> cinder/locale/da/LC_MESSAGES/cinder.po
renamed:    cinder/locale/de/LC_MESSAGES/nova.po -> cinder/locale/de/LC_MESSAGES/cinder.po
renamed:    cinder/locale/en_AU/LC_MESSAGES/nova.po -> cinder/locale/en_AU/LC_MESSAGES/cinder.po
renamed:    cinder/locale/en_GB/LC_MESSAGES/nova.po -> cinder/locale/en_GB/LC_MESSAGES/cinder.po
renamed:    cinder/locale/es/LC_MESSAGES/nova.po -> cinder/locale/es/LC_MESSAGES/cinder.po
renamed:    cinder/locale/fr/LC_MESSAGES/nova.po -> cinder/locale/fr/LC_MESSAGES/cinder.po
renamed:    cinder/locale/it/LC_MESSAGES/nova.po -> cinder/locale/it/LC_MESSAGES/cinder.po
renamed:    cinder/locale/ja/LC_MESSAGES/nova.po -> cinder/locale/ja/LC_MESSAGES/cinder.po
renamed:    cinder/locale/ko/LC_MESSAGES/nova.po -> cinder/locale/ko/LC_MESSAGES/cinder.po
renamed:    cinder/locale/pt_BR/LC_MESSAGES/nova.po -> cinder/locale/pt_BR/LC_MESSAGES/cinder.po
renamed:    cinder/locale/ru/LC_MESSAGES/nova.po -> cinder/locale/ru/LC_MESSAGES/cinder.po
renamed:    cinder/locale/tl/LC_MESSAGES/nova.po -> cinder/locale/tl/LC_MESSAGES/cinder.po
renamed:    cinder/locale/tr/LC_MESSAGES/nova.po -> cinder/locale/tr/LC_MESSAGES/cinder.po
renamed:    cinder/locale/uk/LC_MESSAGES/nova.po -> cinder/locale/uk/LC_MESSAGES/cinder.po
renamed:    cinder/locale/zh_CN/LC_MESSAGES/nova.po -> cinder/locale/zh_CN/LC_MESSAGES/cinder.po
renamed:    cinder/locale/zh_TW/LC_MESSAGES/nova.po -> cinder/locale/zh_TW/LC_MESSAGES/cinder.po

Change-Id: I3a7894ac90793f270fb27444034b197b7c4f2841

Don't zero out snapshot volume on snapshot_delete

 When trying to zero out an LVM snapshot on precise the kernel sometimes
 hangs when performing the dd.  Also the dd process itself can take
 an extremely long time even when it does succesfully complete.
 This can be up to 30 minutes for a 1 Gig volume/snapshot.

 I believe this is a kernel specific issue with LVM snapshots.  The
 zeroing process is unreliable and can cause kernel hangs to let's remove it.

 In order to protect against data leakage we'll implement the zeroing process
 on volume creation.  This doesn't seem to have a significant impact and doesn't
 suffer from the same isues tha zeroing out an LVM snapshot does.

 No reason to continue zero on delete, the zero on creation should
 probably be sufficient.

 Doesn't seem to cause any timing issues but need to keep this in mind.

 Fixes bug 1023755

Change-Id: I56209d8e5973cffa997b4ec3e51c3361838386de

Recent changes to SolidFire API changed iqn format

 The SF API initially didn't supply the in prefix so we
 formed it manually in the OpenStack driver.

 This has been fixed in the API so we dropped the manual
 build of the prefix in volume create.  Unfortunatly missed
 the same case needed in create-from-snapshot.

 Going forward we're adding running integration tests against
 SF to catch this sort of thing.

Change-Id: I7107537d586f0a7c457dcbabfc90e1bc081d28d2

Merge "avoid the buffer cache when copying volumes"

Merge "Update dev docs   * Quick pass at implementing the basics for cinder dev docs   * Remove the N/A compute related stuff   * Clean up the architecture a bit to only show cinder related   * Remove various modules form TOC's that aren't applicable"

Merge "Filter volumes and snapshots by query string"

Merge "Rename test_nova_rootwrap.py to test_cinder_rootwrap.py"

Merge "Update SolidFire driver to reflect IQN changes"

Merge "Remove vpn_ping function in cinder/utils.py"

Merge "Clean up some codes about compute in VolumeTestCase"

Merge "Typo nova => cinder"

Merge "Remove unused db api"

Remove unused utils.wrap_exception

Moved into utils by commit 6ad36074, but it hasn't been used in cinder
since commit 9e4242c3 which prepared for switching to common rpc.

Change-Id: I9dff70e81c0bae36f26df893ac6971e17ba46bb3

Sync notifier changes from openstack-common

Syncs the following from stable/folsom:

 c767e9b Add multiple-driver support to the notifier api.

Also remove notification_driver from cinder.flags. This should
have been done when first adopting this code from openstack-common
since the option is defined there now.

Note: I've left the cinder-specific change to use cinder's context
rather than openstack-common's context.

Change-Id: I6ff4b5d45ca9cc4acaf37c62c143f2886ebee423

Clean up some codes about compute in VolumeTestCase

self.compute have not be assigned in VolumeTestCase, so clean up some
codes about it.

Change-Id: Ie2577065ad27b4ee5b54dec65adfe723bf93985f

Remove unused db api

service_get_all_compute_by_host and service_get_all_compute_sorted are
not be used by cinder.

Change-Id: Ie384d2666bbfea1d5fab74e4e3e021909f6c0e3f

Merge "Fixes potential bugs found by pylint"

Typo nova => cinder

Change-Id: I715feee8ca84fb65518e750585f82e942e710ecd

Remove vpn_ping function in cinder/utils.py

vpn_ping is not be used by cinder.

Change-Id: I3ea04200360a23259ce3cce54ff88125895e217b

Update SolidFire driver to reflect IQN changes

 Prior to release the SolidFire device returned only
 a partial iqn string in it's api call.

 With the GA release, this was modified to return the entire
 iqn string, so just drop the prefix we were using in beta.

Change-Id: I7fa9d1ec6e2639149375a1115198eee90c527ef1