Adds extend volume to Dell EqualLogic Driver

Adds extend_volume support to the Dell EqualLogic Driver

Change-Id: I416c73248f1813a805dcca4d70ad6cbc91d78f7d
Implements: blueprint eql-extend-vol-support

Merge "Don't use deprecated module commands"

Merge "Do not allow bad keys while updating quota"

Merge "Support volume_readonly_update using XML format"

Merge "Nexenta iSCSI driver: extend volume stats of _update_volume_stats"

Merge "Remove duplication of ISCSIDriver in ISERDriver"

Merge "Imported Translations from Transifex"

Merge "Fail when image is bigger than the volume"

Merge "Retrieve volume image metadata using single query"

Merge "Add call to retrieve image metadata for volumes in bulk"

Imported Translations from Transifex

Change-Id: I8893400d375faefcb59c69f4ed729ecf5e8fe7d3

Merge "Nexenta: Remove snapshot after volume-clone deletion."

Do not allow bad keys while updating quota

Raise 400 (bad request) error instead of 200 (ok) if bad keys
are passed to the update quota request

Closes-Bug: #1248815

Change-Id: Iaefaa4961dd3783dfab15f843cbb2dcb12195a7d

Merge "RequestContext initialization failed in cinder."

Merge "Report zero capacity if GPFS is unmounted"

Merge "Do not remove volume silently if GPFS is unmounted"

Nexenta iSCSI driver: extend volume stats of _update_volume_stats

Added location_info to stats provided by _update_volume_stats method
of Nexenta iSCSI volume driver.

Change-Id: Ib947180cb6d08d7639443a8998190ab911d1a4a4

Fail when image is bigger than the volume

When creating a new volume from a qcow2 image stored in glance, we will
be given the physical size of the image instead of the virtual size.
Most drivers will convert that image to raw after downloading for
resizing it to the requested volume size afterwards.

If the virtual size of the image is bigger than the requested one, the
resulting volume might end up being unusable after the resize even
though the creation went good.

This patch will make the volume creation fail if the virtual size of
the image exceeds the one of the requested volume.

Closes-Bug: #1235358
Change-Id: I254cd9e3acf5d9eb7eb913b37d27a14e97568dec

Update URL for global HACKING document and remove duplicate section

* Related to I579e7c889f3addc2cd40bce0c584bbc70bf435e2

* Remove section on locals since its already in global hacking doc
  (http://git.openstack.org/cgit/openstack-dev/hacking/tree/doc/source/index.rst#n154)

Change-Id: I5acb06dfde6eb7f579d8d52bc31fafbdab8c726d

Retrieve volume image metadata using single query

The image metadata REST API contributions are making an individual db
call for each of the available volumes. When the number of volumes is
large the volume details call can take several minutes.

This patch changes the image metadata API contributions to take
advantage of the new db query to retrieve metadata in bulk.

Change-Id: I9a35438c1f38ea8a3d8f5b687ae58ba1f3f78121
Partial-Bug: #1197612

Add call to retrieve image metadata for volumes in bulk

When using the GET volume details REST API call, the image metadata API
contribution is making an individual db call for each of the available
volumes. When the number of volumes is large the details call can take
several minutes.

This patch adds a call to the volume.API to retrieve image metadata in
bulk, very similar to the one used to retrieve individual volume image
metadata.

Change-Id: Ic3aa721016704c72b7564cc5ceff71676806a24a
Partial-Bug: #1197612

Do not remove volume silently if GPFS is unmounted

When GPFS is not mounted, delete_volume() will complete successfully, so that
volume record is removed by cinder but volume file still resides on GPFS. This
change will prevent cinder to remove volume when GPFS is not mounted.

Change-Id: Ic3bf265e553f22c8b6a6e3568da04af88fab3322
Closes-Bug: #1249411

Report zero capacity if GPFS is unmounted

_get_available_capacity() calls df command to gather the capacity of GPFS
filesystem. If GPFS is unmounted, df command will return the capacity of
root file system. This change will let get_volume_stats() to report zero
capacity, so that Cinder can schedule the volume request to another volume
service After GPFS is mounted again, the correct capacity will be reported.

Change-Id: I4c229d78e7d659604a23a50e6ab46060642b4088
Closes-Bug: #1246779

RequestContext initialization failed in cinder.

RequestContext initialization failed in cinder because of the following
error:
"TypeError: 'in <string>' requires string as left operand, not NoneType"

It must traverses in tuple not in string when find the "compute"
service_catalog.

Change-Id: I46f4bbd0ffb9d1db8bdcb0254ca95551fea08baf
Closes-Bug: #1248434

Nexenta: Remove snapshot after volume-clone deletion.

Detect if volume was created via cloning and remove a snapshot from the
appliance if so. Return 'provider_location' to update the volume DB record
after creating a volume via cloning.

Closes-Bug: #1246079
Change-Id: I6c946d34871119600d7197614f5be22fa926e5dc

Don't use deprecated module commands

The commands module was deprecated since version 2.6 and it has been
removed in Python 3. Use the subprocess module instead.
See http://docs.python.org/2/library/commands#module-commands

Closes-Bug: #1248216
Change-Id: I4091179c6b312ae8534b30adc518eff67d68320a

Remove duplication of ISCSIDriver in ISERDriver

ISERDriver is almost copy of ISCSIDriver.

Change-Id: I22394c7a3b26b140b19f76e052c98d11ec59145c

Support volume_readonly_update using XML format

Almost all API support JSON and XML format together,
But this API does not support xml format.
In the request of xml format,
the type of parameter "readonly" in the body is string.
In the request of JSON format,
the type of parameter "readonly" in the body is bool.
But the code only support bool, not support string.
This branch is to solve this problem.

Closes-bug #1244848

Change-Id: I7f2b09a0063df9daad3fdd09789f8e19c43b0aa3

Merge "Examine if GPFS is mounted before writing data."

Merge "Fix typo in test_check_ssh_injection_on error test"

Merge "Remove unused db calls to fetch original metadata"

Merge "Remove lvm-thin pool_size config option"

Fix typo in test_check_ssh_injection_on error test

The test case currently has shh instead of ssh.
This commit fixes the typo.

Change-Id: I1e6f926b7d22f48ae56166077659ff3e3d9a1899

Merge "Sync log from oslo"

Merge "Add tests for LVM -cow clearing"

Merge "replace u\2013 char with dash"

Remove lvm-thin pool_size config option

The pool_size config option when using thin LVM
is never actually checked/honored.  It's also unlikely
that users will want to do something other than use the
entire VG for their thin pool.

Rather than have the unused option going forward let's
remove it from the config and just go with the default
behavior of utilizing the entire Cinder VG.

For folks that would like to only use a portion of the
VG for some reason, they can do an lvcreate pool on their
own (just like we have them do for the VG itself) and get
the same flexibility that way.

This is done simply by:
lvcreate -T -L ${size} ${vg-name}/${vg_name}-pool

DocImpact

Change-Id: I3ef2cde433b8dd775b1873a0d6df165dd1945d8c

Examine if GPFS is mounted before writing data.

If GPFS is not mounted, throw an exception and log the error message. That will
prevent create_volume(), copy_image_to_volume() or _clone_image() to create
file on local disk, which can not be removed by the driver code itself.

Change-Id: If5d4c7a88e82362d2a87068202926b1ca82d9dff
Closes-Bug: #1242511

Imported Translations from Transifex

Change-Id: I51851182eaf19bd096d938e8e04fd56433b7280a

Remove unused db calls to fetch original metadata

Remove unnecessary db calls made to fetch
original metadata when delete flag is set
to True.

Closes-Bug: #1246291

Change-Id: If7483b8b21f71efa5e7c211b031170bc03eb6b9b

replace u\2013 char with dash

unicode char causes problems with maven build.

backport:none

closes-bug: #1246569

Change-Id: I3aa5c2debaed03acd2c2fb8d4e7c30738d35f4f3

Sync log from oslo

5fef5a8105 allow keeping of existing loggers with fileConfig
fb8075a19d Add amqp=WARN,qpid=WARN to default_log_levels
4654a5d247 Don't override default value for eventlet.wsgi.server logging
41ddd7a975 _get_log_file_path explictly return, when logfile/logdire unset
e12e6b45f8 Make openstack.common.log Python 3 compatible
572cfecb4d Make Messages unicode before hitting logging
3243cdfbe9 python3: handle module moves in log

DocImpact

Change-Id: I2e565fd65a00f1c6dea830a09487de9f03cb5279

Merge "NetApp unit test fail fix for http_proxy"

Merge "Allow spaces in quoted SSH command arguments"

Merge "remove rundundant lockfile requirement"

Merge "Use pipe between ceph backup diff export/import"

Merge "Fixes typo in method name _notify_voloume_type_error"

Add tests for LVM -cow clearing

Ensure that volume_clear for Thick LVM snapshot deletion
references the -cow device, and that it uses the LV instead
of the -cow device for ThinLVM.

These tests were written for a change to stable/grizzly --
but are applicable for general use here as well.

Related-Bug: #1245529
Change-Id: I380ad7832d558d9aa73a701cbf3acc35229e70ab

clean up numeric expressions in test

Replace numeric expressions with constants in tests
to make code more readable.

Change-Id: I42469cdbe3cafd36f8d9855c8284f885ffa7f465

Fixes typo in method name _notify_voloume_type_error

Closes-Bug: #1246228

Change-Id: I7b408f2c4085ba5af5fc4b539000e5675bdc5a76

Allow spaces in quoted SSH command arguments

The check_ssh_injection() method was rejecting arguments with spaces
even when they were quoted, this was causing problems with some volume
driver commands such as commands for a storage pool with spaces in the
name.

Closes-Bug: #1244415
Change-Id: Ie4b809e1b39fdb752cf634e6d3c0a3924d8ac52b

Use pipe between ceph backup diff export/import

We now use a piped transfer between the rbd export-diff
and import-diff for incremental backups/restores as
opposed to holding the entire diff in memory.

Change-Id: I33476d9b3934781413af5cd2867a11d825a5d78e
Fixes: bug 1244464

Imported Translations from Transifex

Change-Id: Icd1f44454695217295422cfc18007296ec77521f

Merge "Apply six for metaclass"

Merge "Add cinder.db.migration.db_initial_version()"

Add missing space to num_iser_scan_tries text

Should read "...rescan iSER target to" rather than
"targetto".

Change-Id: I785f67f3a029f06c0184762ddf795202ae198397

Add cinder.db.migration.db_initial_version()

Updates Cinder to use a new function called db_initial_version()
instead of the INIT_VERSION constant. This allows us to
move the top level INIT_VERSION constant into the
sqlalchemy migration.py implementation where it belongs.

Change-Id: I10dacdebb50d3121e3bfd094e40138807233aa64

remove rundundant lockfile requirement

This requirement was removed from nova even before
the cinder split.

Change-Id: Ie85eeee9aef81a80d1279f7d21566ec33e20159f

Merge "Nexenta iSCSI driver: Refactor create_cloned_volume"

Imported Translations from Transifex

Change-Id: Ie2ea233527914abbbd069c56cc550fc835f1abb8

Merge "Revert "Brick connector fix for NFS drivers""

Merge "NetApp fix for 7mode iscsi volume stats"

Merge "NetApp fix ssc volume filtering inconsistency"

Revert "Brick connector fix for NFS drivers"

This reverts commit b6b9df2940ac07f715f759f4c315b2cf088c2320

Passing in driver=self in the base driver connector builder breaks all of the other drivers and isn't the *correct* driver to be passing in.

Simply removing this fixes the functionality, however breaks your tests and I'm not sure of the impact on what you were attempting so I'm reverting.

Change-Id: I0af85a2bc491cc0e23aa6af1f67c2dfed1c7081f

Merge "Update my mailmap"

Merge "Updated from global requirements"

Merge "GlusterFS: set correct filename when cloning volume"

Update my mailmap

Using new email address.

Change-Id: I6dc5e7d96a166b890e6e1878531df1ea160d4b9d

GlusterFS: set correct filename when cloning volume

When cloning a volume, the volume[name] field was populated
with incorrect data, resulting in an unexpected filename containing
the volume data.  This results in failures of later operations on
that cloned volume.

Change-Id: I067ed44cebdc8e91e9ded326953fd0c99d003f05
Closes-Bug: #1244238

Merge "Downgrade target create failure mesg to warning"

Merge "Handle NotFound exceptions in API"

Handle NotFound exceptions in API

There were a number of calls in the API that
weren't catching NotFound exceptions.  The result is
unhandled exception traces and errors in the logs on good
runs in tempest.

Basicly any negative test that requests a non-existent element
would result in an unhandled exception.  This patch adds try/except
around the volume_api.getxxx calls in cinder/api/... methods to
clean this up.

Closes-bug: #1243485

Change-Id: I902acc7f4fdbc20fdb1a68697679417694c5533e

Unit test fails in pbuilder environment

When running tests inside a pbuilder environment we don't
have /dev/disk/by-path directory and so the test_host_driver
test fails. Fix test by overriding the isdir method to
return True and pretend that the directory is there.

Change-Id: Ifd39d796b7f250b1ec45227a4262ebb33d5656bf

Updated from global requirements

Change-Id: I24d49ff79f5ed7364a47278179dcadbaf519aed1

Merge "Rename "rtstool" to "cinder-rtstool", add dep"

Merge "Brick connector fix for NFS drivers"

Check if dir exists before calling listdir

Changes along the way to how we clean up and detach after
copying an image to a volume exposed a problem in the cleanup
of the brick/initiator routines.

The clean up in the initiator detach was doing a blind listdir
of /dev/disk/by-path, however due to detach and cleanup being
called upon completion of the image download to the volume if
there are no other devices mapped in this directory the directory
is removed.

The result was that even though the create and copy of the image
was succesful, the HostDriver code called os.lisdir on a directory
that doesn't exist any longer and raises an unhandled exception that
cause the taskflow mechanism to mark the volume as failed.

Change-Id: I488755c1a49a77f42efbb58a7a4eb6f4f084df07
Closes-bug: #1243980

Merge "VMware: Registering vmdk opts in global space"

Rename "rtstool" to "cinder-rtstool", add dep

With rtstool merged into Cinder, it should use the
"cinder-" prefix.

Add to setup.cfg scripts section for installation.

Additionally, add the rtslib-fb>=2.1.39 dependency
to Cinder's runtime requirements.

Implements blueprint: lio-rtslib

Change-Id: I715db09cb86145c6769c345f59ecda4d18b5e659

Downgrade target create failure mesg to warning

Since this will occur more often than we would like and
almost always recovers, change the log level to warning
instead of error.

This is to comply with the desire of the QA team to eradicate
error messages from succesful tempest runs.

Change-Id: If1a841bbeb9a36ff7e103a0e9aff67fda66a7f3b
Closes-Bug: #1243840

Nexenta iSCSI driver: Refactor create_cloned_volume

Optimize volume cloning of Nexenta iSCSI driver, current implementation
with zfs send recv may take long time, because it requires data
transferring.

Change-Id: Iaa2eea608e09d0a4ac155b74f964b153de561f4c

Merge "Add openstack/common/crypto from OSLO"

Merge "Revert "remove cinder-rtstool because of rtslib dep""

Merge "Remove duplication of brick.iscsi in brick.iser"

Merge "Nexenta drivers ignore "does not exist" exception"

VMware: Registering vmdk opts in global space

Registering vmdk_opts in the patch. This will make sure the documentation
tool will auto generates a table for the driver config params.

Closes-Bug: #1242547

Change-Id: Ic12126ad5283e37113e9f75e190fa92a9277ca7f

Merge "NetApp fix mirrored stats"

Merge "NetApp fix for compression and dedup stats"

Nexenta drivers ignore "does not exist" exception

Ignore "does not exist" exception in NFS and iSCSI driver,
delete_volume and delete_snapshot methods.
This exceptions means that the volume or the snapshot not exists in the
backend, so we can avoid "delete" errors, when the resource was already
deleted.

Closes-Bug: 1240650
Change-Id: I3b2684097dcb95ba50a67c94a353dc3f17374777

Merge "Let GPFS driver to rename snapshot with root permission"

Merge "Drop auth_token configs for api-paste.ini."

Merge "Fix volume transfer href issue"

Merge "Updated from global requirements"

Add openstack/common/crypto from OSLO

Add cinder/openstack/common/crypto/__init__.py and
cinder/openstack/common/crypto/utils.py.

They are needed in cinder/openstack/common/rpc/securemessage,
which is updated in the following commits.

Oslo version: 4987d09a28c986bdca0921a1d0f062ac9328904f

Change-Id: I15e7ce3b84831fd247ea155a3b15829348087830

Merge "Provide gettext _ in missing locations"

Fix volume transfer href issue

The volume transfer collection in url defined as "os-volume-tranfer",
but I got another define "tranfers" in href url. They are different.
So it should be modify.

Change-Id: I69a43012f2bb70ce5fc7b0331d2759527a261170
closes-bug: #1242980

Remove duplication of brick.iscsi in brick.iser

TargetAdmin and TgtAdm in iser is mostly a copy of TargetAdmin and
TgtAdm in iscsi.

Change-Id: I8d89a35c478485370b41f4dfd376de07b9fc9314

Merge "Add extend_volume for Huawei drivers"

Merge "Imported Translations from Transifex"

Merge "Uses oslo.imageutils"