Redundant body validation for volume_upload_image

The body validation is redundant for os-volume_upload_image,should remove
the redundant validation.

Change-Id: Iba7a4d5f917615f8a8d6320b5fe18af66e4011e0
Closes-Bug: #1254975

Merge "To fix test_get_dss_rp in test_vmware_vmdk.py"

Merge "Remove dead code from test_get_volume_stats()"

Merge "Add greenthread.sleep() to parent wait()"

Merge "Update openstack/common/periodic_task"

Merge "Pass the size when fetching image in xenapi driver"

Merge "NetApp fix free space as zero during 1st vol stats update"

Merge "Fix docstring for _migrate_volume_completion"

Merge "Initialize and terminate connection raise 500 err"

Merge "Migrate volume should check para "host" in request"

Merge "Fix ./run_tests.sh -V --virtual-env-name"

Merge "Ensure 'status' in update_snapshot_status"

Merge "Remove unused code in test_admin_actions.py"

Ensure 'status' in update_snapshot_status

The function os-update_snapshot_status doesn't check whether the param
"status" is in request body. It throws 500 error. We should catch the
KeyError and return 400 (HTTPBadRequest) instead.

Change-Id: If3775e3c0299cf0edbdda5081a6633b38462011b

Update openstack/common/periodic_task

The following commits are in this update:

1771a77 Adjust import order according to PEP8 imports rule
4bfb7a2 Apply six for metaclass
0ea069e Removed calls to locals()

Change-Id: Ied20ce735af79b52e7674a3dfe3b097b84b61533

Initialize and terminate connection raise 500 err

Initialize and terminate connection should check whether "connector" is
in request body. It throws 500 error if "connector" is not present. We
should catch the KeyError and transfer it to 400 (HTTPBadRequest)
instead of.

Closes-Bug: #1253944
Change-Id: If38419592701c8a14df52f94fd46ed0fc7a17e04

Fix docstring for _migrate_volume_completion

"Migrate a volume to the specified host." as the description of
_migrate_volume_completion func is incorrect.

Closes-Bug: #1253910
Change-Id: Ica944d9a7fa962ff56a9f0107ac1519623d2e551

Migrate volume should check para "host" in request

The server doesn't check whether the parameter "host" is in request
body. So the 500 error has been thrown.

We should catch the KeyError and transfer the KeyError to
400 (HTTPBadRequest) instead of 500.

Closes-Bug: #1253904
Change-Id: I3fb07113816a87f284b47e32bacd57f78a32676c

Continue to delete volumes that DNE in rbd backend

If a volume has already been deleted in the RBD backend, catch the
exception and let Cinder continue removing it in the database.

Closes-Bug: #1254318
Change-Id: I99b591ce78d82c6eaabff0459d9c523e85c8e65f

Merge "Add default quota class into DB during migration"

Merge "Using HttpNfcLease to transfer vmdk files."

Add greenthread.sleep() to parent wait()

Add an eventlet.greenthread.sleep() to wait() to keep
cinder-volume parent from looping after catching SIGTERM
and hogging the CPU. This was already added to the running
state but is missing from the SIGTERM caught state when
the parent waits to reap the child.

Change-Id: Ia871e31db5bf9ec4e86f926f8f6c4f0f4ecb7925
Closes-Bug: #1254089

Fix ./run_tests.sh -V --virtual-env-name

Currently if --virtual-env-name is specified, the tests fail
because it still creates .venv/ but then looks in the specified
location to use the venv.

This makes --virtual-env-name work as expected.

Change-Id: I036cd08f7b7b9dc87e7012f8dd198a26375297a2

Pass the size when fetching image in xenapi driver

In commit 6e287c0f2bb7d4994d50f1763f412277e4dac6f7 the fetch_to_raw
method was changed to accept the volume size so it can fail when the
image doesn't fit in the destination volume. In this commit we also
updated all the volume drivers to pass the volume size to that method so
it could perform the check. The xenapi driver missed that change.

This commit updates the xenapi driver to pass the volume size when
fetching the image to enable the introduced check.

Change-Id: I89bc4b3b1c1e6b06f5c529166cf9ffa1fe600c96
Related-Bug: #1235358

Merge "Add support for extend volume in GPFS vol driver"

Remove unused code in test_admin_actions.py

Change-Id: I66fa378005d0e8b181274a47b1746a1fe787e716
Closes-Bug: #1253931

Merge "Fix typo in cinder.volume.API."

Merge "Don't do glance v2 calls when config is set to v1"

Merge "Remove suffixes from LVM brick test vgs output"

Merge "Add valid check and unit tests on quota class"

Merge "Create snapshot throws 500 Internal Error"

Merge "GlusterFS: Synchronize operations that manipulate qcow2 data"

Merge "Subclass vendor specific exceptions."

Add support for extend volume in GPFS vol driver

Add support for extend volume support to the GPFS volume
driver.

Ensure that requested volume size is implemented for each
of the volume creation paths.

Replace instances where units.GiB could be used but was not.

Implements: blueprint gpfs-extend-volume-support
Change-Id: I79295205f4147fca109f5cb59497a6e1fbe6d296

Remove dead code from test_get_volume_stats()

The _emulate_vgs_execute() routine is never called because the function
that calls it (get_all_volume_groups) is overridden to return fake
output without executing vgs.

Change-Id: I3d3f536f7d85128547dc9e758e3930412ebed121

Remove suffixes from LVM brick test vgs output

When fake_execute() is called to retrieve volume group information, the
--nosuffix flag is passed but ignored.  This patch honors the nosuffix
flag and removes the unit suffix from the volume group sizes in the
returned output.

Change-Id: I45f41bc58f4ffb4bd527336c0f760350cff7c355

Merge "LVM: Activate source LV before cloning from it"

Subclass vendor specific exceptions.

Up until now drivers have been able to define their
own custom exception classes.  In most cases these are
inherited from either a native python exception class
or at best the base cinder exception class.

The problem with this is that it makes it very difficult
for higher layers (such as volume manager) to do any intelligent
exception handling and the base Cinder.exception class is too broad.

This change takes the first step in cleaning this up.  We create
new exception classes for all drivers to inherit from:
  VolumeDriverException
  VolumeBackendAPIException
  BackupDriverException

This still allows the freedom to create custom exceptions for a
particular driver, however it also gives us a common exception
class to catch and check in higher levels.  Further refinement
and standardization will be helpful going forward but this
should give us a good start.

Change-Id: I8c2ca4eecf7a64a82846d6d24fc0239db086237e

Don't do glance v2 calls when config is set to v1

Fixes bug 1252549

Change-Id: I6d9509bfecd2f73040a0ad27aff8fc5f6fd0a899

LVM: Activate source LV before cloning from it

LVM may be configured to not automatically activate
thin-provisioned LVs.

Ensure they are activated when performing a clone, otherwise
dd will fail as the device does not exist in /dev/mapper/.

Closes-Bug: #1252423

Change-Id: Ibcb946ffe7804b1976bf1b1863c48340c8cc7fd5

Add default quota class into DB during migration

For some time now use_default_quota_class has been the
default setting for Cinder.  Cinder, however, has not been putting
any defaults for the default quota class into the database.  This
resulted in any command that queried for the default quotas to cause
the message "Deprecated: Default quota for resource: <resource> is set
by the default quota flag: <quota flag>, it is now deprecated.  Please use
the default quota class for default quota."

This commit resolves this issue by setting the default value for volumes,
snapshots and gigabytes in the quota_class table at migration time if there
is not already a class_name of 'default' in the quota_classes table.

Unit tests are included with this commit.

Closes-bug 1233763
Change-Id: I457ed8a9b78492eda22e31dfc198b2ee051d3ece

To fix test_get_dss_rp in test_vmware_vmdk.py

The test "test_get_dss_rp" in test_vmware_vmdk.py is not testing
the positive case as intended. Rather, it tests the negative case
(no datastores) which is already covered by
"test_get_dss_rp_without_datastores".

Change-Id: I5b4802e22218217e0338fc721fc0ce1efeaee4f1
Closes-Bug: #1251126

Fix typo in cinder.volume.API.

'_valid_availabilty_zone' --> '_valid_availability_zone'

Change-Id: Ib79772039d663f0eb4fc8994cc8edc5154d75a02
Closes-Bug: #1252915

Create snapshot throws 500 Internal Error

The server doesn't check whether the parameter "volume_id" is in request body.
So the 500 error has been thrown.

We should catch the KeyError and transfer the KeyError to 400(HTTPBadRequest)
instead of 500.

Change-Id: I8a1dde1fd6ed820b39995af434efacc2a27c9604
Closes-Bug: #1252179

Fixes inappropriate error message.

"Volume cannot be deleted while migrating" as error message in
create_snapshot is inappropriate while volume is migrating.

Change-Id: I6cfaf312f9b1edbf4e54f737664290d6ab3b6332
Closes-Bug: #1252175

Merge "Check only our VG name when testing if VG exists"

NetApp fix free space as zero during 1st vol stats update

NetApp clustered ontap drivers report space as zero
till first 60 seconds of driver start. This is causing
discomfort for some performance sensitive deployements.
This was due to async nature of the NetApp stats collection job.
Job is changed to sync at driver start to improve customer
experience.

Change-Id: I7d5cbf590897a0d328ece3a60516c92c0ad0ee7f
Closes-bug: #1253660

Merge "Use cached volumes in REST API extensions"

Merge "Enable object caching in cinder REST API requests"

Add valid check and unit tests on quota class

1.Cinder quota class hard_limit’s value should larger than -1 (-1 is a flag
value for unlimited).
2.Add unit tests for quota class.

Closes-bug: #1245360

Change-Id: Ie483db1bdbd4fac875de26abab8ebebd96f4938b

GlusterFS: Synchronize operations that manipulate qcow2 data

Operations that modify qcow2 chains or the GlusterFS driver's
snapshot info file should use locking so that more than one thread
cannot run these operations at the same time.

Without this it is possible for multiple threads to concurrently
modify snapshot information resulting in an incomplete snapshot
chain.

Closes-Bug: #1251425

Change-Id: I93c6ffecd9aec38560cb19085243390b9120b363

Check only our VG name when testing if VG exists

Rather than calling "vgs" we should just call
"vgs <cinder-vg-name>" which returns only information about the VG
we are querying.

Also hardens test command string matching to error on unexpected
calls.

Change-Id: I25580e34b6589e161a51274f22dbb9ed922e43ed

Merge "Remove dup of LVMISCSIDriver in LVMISERDriver"

Merge "Update quota-set throw 500 error"

Merge "Adds extend volume to Dell EqualLogic Driver"

Update quota-set throw 500 error

The server doesn't check whether the parameter "quota_set" or
"quota_class_set" is in request
body.So the 500 error has been thrown.

We should catch the KeyError and transfer the KeyError to
400(HTTPBadRequest) instead of 500.

Change-Id: I01260c77efa50324f3d203888689cdb1e94d2c21
Closes-Bug: #1249971

Using HttpNfcLease to transfer vmdk files.

The current VMware driver supported only "sparse" and "preallocated"
vmware_disktype property set in a "vmdk" glance image. Both of these were just
copied over as *-flat.vmdk files into the vmfs or nfs file system of the
underlying datastore. This was used during copy_image_to_volume() api.
Unfortunately for a vsan datastore this work flow breaks since there is no
access to the flat vmdk file in the underlying datastore.

This patch introduces a new vmware_disktype for a glance image called
"streamOptimized". This is a format generated when a VM/vApp is exported using
the HttpNfc APIs. AS the name suggests this is a highly optimized format for
streaming in chunks and thus would result in much faster upload / download
speeds. The driver's copy_volume_to_image() implementation now always uploads
the vmdk contents using HttpNfc api so that the glance image ends up in the
"streamOptimized" disk type. Also the driver's copy_image_to_volume()
implementation now understands a "streamOptmized" disk type and uses HttpNfc to
import that vmdk into a backing VM.

Note that the same "streamOptmized" glance image format will also be supported
by VMware nova driver. This change is in a different patch -
https://review.openstack.org/#/c/53976/

Patch Set 4: Removing changes to requirements.txt that got in by mistake.
Patch Set 5: Fixing a small bug around progress updates.
Patch Set 6: Addressing comments from Avishay.

Fixes bug: 1229998

Change-Id: I6b55945cb61efded826e0bcf7e2a678ebbbbd9d3

Merge "Nexenta NFS driver refactoring"

Merge "Remove the use of common.uuidutils.gen_uuid"

Adds extend volume to Dell EqualLogic Driver

Adds extend_volume support to the Dell EqualLogic Driver

Change-Id: I416c73248f1813a805dcca4d70ad6cbc91d78f7d
Implements: blueprint eql-extend-vol-support

Merge "Don't use deprecated module commands"

Remove the use of common.uuidutils.gen_uuid

There's a movement to remove gen_uuid from the
openstack common.  This change removes it's use
from Cinder and just puts the call inline.

Change-Id: I07329bab9553e15e498ddbda3848d50b8f48fd53

Merge "Do not allow bad keys while updating quota"

Merge "Support volume_readonly_update using XML format"

Merge "Nexenta iSCSI driver: extend volume stats of _update_volume_stats"

Merge "Remove duplication of ISCSIDriver in ISERDriver"

Merge "Imported Translations from Transifex"

Merge "Fail when image is bigger than the volume"

Merge "Retrieve volume image metadata using single query"

Merge "Add call to retrieve image metadata for volumes in bulk"

Imported Translations from Transifex

Change-Id: I8893400d375faefcb59c69f4ed729ecf5e8fe7d3

Merge "Nexenta: Remove snapshot after volume-clone deletion."

Do not allow bad keys while updating quota

Raise 400 (bad request) error instead of 200 (ok) if bad keys
are passed to the update quota request

Closes-Bug: #1248815

Change-Id: Iaefaa4961dd3783dfab15f843cbb2dcb12195a7d

Merge "RequestContext initialization failed in cinder."

Merge "Report zero capacity if GPFS is unmounted"

Merge "Do not remove volume silently if GPFS is unmounted"

Use cached volumes in REST API extensions

This patch caches db volumes in the core volumes API so that they can be
used in the host and tenant attribute API extensions in order to lower
the response time by avoiding costly individual db queries for each
volume in the REST API contributions.

Change-Id: Ie0cbe929379df32fddbdce1953f13b6f26208bff
Partial-Bug: #1197612

Enable object caching in cinder REST API requests

Allow the core API to cache resources, such as DB results, so that
extensions can use data already retrieved within the same API request
eliminating additional expensive DB calls.

Loosely based on commit 9f9fbc54e7336da10fc3056bdaca2ec7d01c7f94 from
nova.

Change-Id: If9f49faf7305287c0489ad6209cf19b8bec612cc
Partial-Bug: #1197612

Nexenta iSCSI driver: extend volume stats of _update_volume_stats

Added location_info to stats provided by _update_volume_stats method
of Nexenta iSCSI volume driver.

Change-Id: Ib947180cb6d08d7639443a8998190ab911d1a4a4

Fail when image is bigger than the volume

When creating a new volume from a qcow2 image stored in glance, we will
be given the physical size of the image instead of the virtual size.
Most drivers will convert that image to raw after downloading for
resizing it to the requested volume size afterwards.

If the virtual size of the image is bigger than the requested one, the
resulting volume might end up being unusable after the resize even
though the creation went good.

This patch will make the volume creation fail if the virtual size of
the image exceeds the one of the requested volume.

Closes-Bug: #1235358
Change-Id: I254cd9e3acf5d9eb7eb913b37d27a14e97568dec

Update URL for global HACKING document and remove duplicate section

* Related to I579e7c889f3addc2cd40bce0c584bbc70bf435e2

* Remove section on locals since its already in global hacking doc
  (http://git.openstack.org/cgit/openstack-dev/hacking/tree/doc/source/index.rst#n154)

Change-Id: I5acb06dfde6eb7f579d8d52bc31fafbdab8c726d

Retrieve volume image metadata using single query

The image metadata REST API contributions are making an individual db
call for each of the available volumes. When the number of volumes is
large the volume details call can take several minutes.

This patch changes the image metadata API contributions to take
advantage of the new db query to retrieve metadata in bulk.

Change-Id: I9a35438c1f38ea8a3d8f5b687ae58ba1f3f78121
Partial-Bug: #1197612

Add call to retrieve image metadata for volumes in bulk

When using the GET volume details REST API call, the image metadata API
contribution is making an individual db call for each of the available
volumes. When the number of volumes is large the details call can take
several minutes.

This patch adds a call to the volume.API to retrieve image metadata in
bulk, very similar to the one used to retrieve individual volume image
metadata.

Change-Id: Ic3aa721016704c72b7564cc5ceff71676806a24a
Partial-Bug: #1197612

Do not remove volume silently if GPFS is unmounted

When GPFS is not mounted, delete_volume() will complete successfully, so that
volume record is removed by cinder but volume file still resides on GPFS. This
change will prevent cinder to remove volume when GPFS is not mounted.

Change-Id: Ic3bf265e553f22c8b6a6e3568da04af88fab3322
Closes-Bug: #1249411

Report zero capacity if GPFS is unmounted

_get_available_capacity() calls df command to gather the capacity of GPFS
filesystem. If GPFS is unmounted, df command will return the capacity of
root file system. This change will let get_volume_stats() to report zero
capacity, so that Cinder can schedule the volume request to another volume
service After GPFS is mounted again, the correct capacity will be reported.

Change-Id: I4c229d78e7d659604a23a50e6ab46060642b4088
Closes-Bug: #1246779

Nexenta NFS driver refactoring

Refactor NFS driver, redefined volume_backend_name attribute
inherited from RemoteFsDriver.

Change-Id: I607277053c1233c688dbfaf0c5e150f9511b83af

RequestContext initialization failed in cinder.

RequestContext initialization failed in cinder because of the following
error:
"TypeError: 'in <string>' requires string as left operand, not NoneType"

It must traverses in tuple not in string when find the "compute"
service_catalog.

Change-Id: I46f4bbd0ffb9d1db8bdcb0254ca95551fea08baf
Closes-Bug: #1248434

Nexenta: Remove snapshot after volume-clone deletion.

Detect if volume was created via cloning and remove a snapshot from the
appliance if so. Return 'provider_location' to update the volume DB record
after creating a volume via cloning.

Closes-Bug: #1246079
Change-Id: I6c946d34871119600d7197614f5be22fa926e5dc

Don't use deprecated module commands

The commands module was deprecated since version 2.6 and it has been
removed in Python 3. Use the subprocess module instead.
See http://docs.python.org/2/library/commands#module-commands

Closes-Bug: #1248216
Change-Id: I4091179c6b312ae8534b30adc518eff67d68320a

Remove dup of LVMISCSIDriver in LVMISERDriver

LVMISERDriver is almost copy of LVMISCSIDriver.

Change-Id: I27f03ba19908184e96d05e7f17e581d906fc119a

Remove duplication of ISCSIDriver in ISERDriver

ISERDriver is almost copy of ISCSIDriver.

Change-Id: I22394c7a3b26b140b19f76e052c98d11ec59145c

Support volume_readonly_update using XML format

Almost all API support JSON and XML format together,
But this API does not support xml format.
In the request of xml format,
the type of parameter "readonly" in the body is string.
In the request of JSON format,
the type of parameter "readonly" in the body is bool.
But the code only support bool, not support string.
This branch is to solve this problem.

Closes-bug #1244848

Change-Id: I7f2b09a0063df9daad3fdd09789f8e19c43b0aa3

Merge "Examine if GPFS is mounted before writing data."

Merge "Fix typo in test_check_ssh_injection_on error test"

Merge "Remove unused db calls to fetch original metadata"

Merge "Remove lvm-thin pool_size config option"

Fix typo in test_check_ssh_injection_on error test

The test case currently has shh instead of ssh.
This commit fixes the typo.

Change-Id: I1e6f926b7d22f48ae56166077659ff3e3d9a1899

Merge "Sync log from oslo"

Merge "Add tests for LVM -cow clearing"

Merge "replace u\2013 char with dash"