Make Storwize/SVC tests work without simulator.

Moved to using brick to get connector info and fixed a small bug to get
tests working on real storage again. Also fixed up simulator to handle
the multihostmap case properly.

Change-Id: I7f5804aa94eac29d8c3cec0f8e9ae9339d4e0816

Revert hardening of Storwize/SVC SSH commands.

This reverts commit 6be79a8e3b4607adbbe6a26ee565156cd0fb36b0.
Paramiko expects string commands, not lists.

Change-Id: I1b762c0311a0ac810427ea033f737fd067761b1c

Imported Translations from Transifex

Change-Id: I4d20bf6b7a7e6d35e1319dbc758f1ccc305b4971

Merge "Imported Translations from Transifex"

Merge "Tidy up the SSH call to avoid injection attacks in storwize_svc"

Merge "Fix duplicate config options"

Fix duplicate config options

This is causing an error in the config file tool generator.
Removed them since they are registered in cinder.api.common

Change-Id: I23988d5133bbb95637dd9514813009ea8b460982

Merge "Move copy_volume function to volume/utils.py."

Merge "Delete snapshot metadata when snapshot is deleted"

Merge "Fix indent in cincer/volume/configuration.py"

Merge "Fixes Opt type of use_multipath_for_image_xfer"

Move copy_volume function to volume/utils.py.

There are several copy-pastes of running dd, so moved the most
correct one (LVM) to volume/utils.py, and also updated
BlockDeviceDriver to use it. Other drivers (e.g., NFS, GPFS, Scality)
should be updated as well. Volume migration for detached volumes
is a future use case.

Change-Id: I56c64c94eccf0a311e6f3d611738ad0403351971

Merge "Implement validate_connector for Storwize/SVC."

Fixes default value of use_default_quota_class

Changed 'True' to True

Change-Id: I69d5cefd888044b5544e41b34ab4f8974efb0a14

Merge "Rename SolidFire driver for consistency"

Merge "Fixes Opt types in cinder/backup/drivers/ceph.py"

Merge "Fix extend_volume error handling."

Merge "Fixes race condition in LVMVolumeDriver create_cloned_volume method"

Imported Translations from Transifex

Change-Id: I71bcb713fc49faea2e1e442f08087800e0ea417a

Delete snapshot metadata when snapshot is deleted

When a volume is deleted all rows in the volume_metadata table for that
volume are deleted as part of the database operation. This patch updates
the snapshot delete operation to delete corresponding rows in the
snapshot_metadata table.

Change-Id: I17543a82be370bed57d4165ad8756ccb390bc0d9

Tidy up the SSH call to avoid injection attacks in storwize_svc

Let the command and arguments form up a list and avoid the extra arguments
attackers inserted to the command string

fix bug 1192971

Change-Id: I72bb7ef137223381c9daa613e61f1fde4c3bc8ae

Fix extend_volume error handling.

If the async call to the manager/driver failed, the API still updated
the quota and volume size in the DB. Solution is to move these tasks
down to the manager, where we know if the extend succeeded.

Change-Id: I668fd659830bd6d410be64a1f5116377b08a9e96
Fixes: bug 1201814

Fixes race condition in LVMVolumeDriver create_cloned_volume method

When we create a clone volume, LVMVolumeDriver will firstly create a temp
snapshot for copying, the temp snapshot name is
"clone-snap-%s" % source_volume['id']. When we create multiple clone volumes
of the same volume simultaneously, which would trigger the race issuse.

I changes the temp snapshot name template to "clone-snap-%s" % volume['id'],
so temp snapshot name will be unique.

Fixes bug #1202139

Change-Id: I3a4f2585ea9e6f70b6f6f9889e900f19559b8176

Checks the volume_clear flag and just return if it is none

Refactors the clear_volume method in LVMVolumeDriver, checks the
volume_clear flag firstly and return directly if it is none.

Change-Id: Id2523cfaaf61c7d6dec51c0daf6255d9de5d50f3

Merge "Minor reorg for (array resource usage and backend options naming)"

Merge "remove improper assert usage"

Merge "Add tests for cinder/api/urlmap.py"

Merge "Fix error when QuotaUsage.updated_at is NULL"

Merge "Add te field user_id into the volume detailed information."

Fixes Opt type of use_multipath_for_image_xfer

Changed use_multipath_for_image_xfer from StrOpt to BoolOpt

Change-Id: Id02ba23b233d348885250ccb8c14fcf04667adec

Fixes Opt types in cinder/backup/drivers/ceph.py

Changed backup_ceph_chunk_size, backup_ceph_stripe_unit and
backup_ceph_stripe_count from StrOpt to IntOpt.

Change-Id: I30a0b4d905b41f00e6450bc5cbfbf0c4d8593ab3

Fix indent in cincer/volume/configuration.py

Change-Id: I7d6e01de7dbc542ebe8fc35c0776de7a099f91e6

Merge "Mark methods used in class only with prefix "_""

Merge "Add Brick Fibre Channel attach/detach support."

Implement validate_connector for Storwize/SVC.

Implement the new validate_connector API for the Storwize/SVC driver.

Change-Id: I637f406c2592b158a7941da3657a0517972b0996

Merge "Fixes ceph-backup failure if original volume deleted"

Fix error when QuotaUsage.updated_at is NULL

When QuotaUsage.updated_at is None, it will raise non-expected exception.
Just verify it.

Fix bug 1197259

Change-Id: I2b41d025f8cffa6c0b3f0153a5194d5e7b1a05df

Rename SolidFire driver for consistency

Rename driver to SolidFireDriver for consistency.

Fixes: bug #1136081
Change-Id: I83aef90706474e8a079ab5247b72b33c7a2c8472

Add Brick Fibre Channel attach/detach support.

This patch adds the required code to do
Fibre Channel attach and detaches of volumes.
This code has been pulled over from Nova's
implementation of FC attach/detach.

Also adds a new driver config entry to enable
multipath support for iSCSI and FC attaches
during volume to image and image
to volume transfers.

DocImpact

blueprint cinder-refactor-attach

Change-Id: I436592f958a6c14cd2a0b5d7e53362dd1a7c1a48

Increase timeout period for clone volume.

Current timeout value for clone volume in the
SolidFire driver is 20 seconds, this is fine
in many cases however there seems to be a
number of customers doing clones of
volumes >= 400G.

A populated 400G volume is taking upwards of
35 seconds to clone in some cases resulting in failure.

There's no reason not to bump this timeout value up
significantly to a worst case scenario (ie multi-terrabyte volume).

Fixes bug: 1202007

Change-Id: I98c399f5d647e14f031018f7fc1cc43bb0d94c84

Merge "Adds multiple iSCSI port support to 3PAR"

Merge "Be sure to check deleted types on quota update."

Merge "CoraidDriver: Allow volumes in error state to be deleted"

Be sure to check deleted types on quota update.

If a volume-type is deleted, and later a volume
that's assigned that type is deleted the quota
update will fail and result in a trace for
VolumeTypeNotFound exception.

The volume is succesfully deleted, however the
quota information for the volume-type let alone
the other quota items for the volume are not
updated.

Fixes bug: 1200709

Change-Id: Idd687514be9d622df84aad54b1b33ddc6615851b

CoraidDriver: Allow volumes in error state to be deleted

This fix will allow the delete call to be successfull if volume
doesn't exists on the SAN.

Fixes bug 1195788

Change-Id: I0396f1252c8faafff3e8b4f9a4aeffb930350a8d

Adds multiple iSCSI port support to 3PAR

Added support to the 3PAR iSCSI OpenStack driver to provide the
ability to select the best fit target iSCSI port from a list of
candidate ports. The first time a volume is attached to a host,
all iSCSI ports configured for driver selection, are examined for
best fit. The port with the least active volumes attached will
then be selected as the path to the 3PAR array. Any subsequent
volume attach, to the same host, will use the established target
port.

DocImpact

Fixes bug #1197036

Change-Id: Icf8c28ea3f201e5e21c9a6ed00a2fbdda445c8b3

Implement extend volume functionality in Sheepdog

This implements the extend volume functionality for Sheepdog driver.

Change-Id: Id7361e9571742bea210f13ced722829f489e7cb0
Implements: blueprint extend-sheepdog-volume

Mark methods used in class only with prefix "_"

In the swift driver the three methods prepare_nbackup, backup_chunk
and finalize_backup are used internally in the class only and are
not meant to be used from outside. Thus marked with prefix "_"

Change-Id: Idf3a75f2e799c16b1442a349e0724d3e5af2795a

Merge "Add flag argument to 'cinder-manage config list'"

Merge "Catch additional connect fail cases."

Merge "Implement extend volume functionality in Rbd"

Merge "Clean up Huawei tmp files from tests."

Add te field user_id into the volume detailed information.

Fixed Bug 1200555.

Change-Id: Ibc36453caa174432b69597b1b2a0b314a7730357

Merge "Imported Translations from Transifex"

Catch additional connect fail cases.

When fixing bug/1195910, some other failure
cases weren't considered (ie not authorized,
unreachable dest etc).

We should fix this up to handle the various
connection error states accordingly and also
add some hints to the log output to help
determine where to look in case of failure.

Fixes bug: 1201592

Change-Id: Ib099c7af705e7c49be4d0f723c8a20262c942e7f

Merge "Implement extend volume functionality in SolidFire"

Merge "Add unit tests for cinder/api/contrib/volume_actions."

Merge "Use base ISCSI driver to fulfill some driver requirements"

Clean up Huawei tmp files from tests.

Remove tmp files created by Huawei tests.

Change-Id: Id2eb4034b7be9d76843659647387344914ce236a
Fixes: bug 1200416

Add flag argument to 'cinder-manage config list'

Unlike other cinder-manage 'list' commands the 'config list'
option doesn't allow users to specify a filter to limit
the output.  This commit adds the ability to specify
the flag the user wishes to display.

If no flag is specified the default behavior is still to
display all the configured flags.  If the flag requested
is not found, cinder-manage reports that the flag was not
found.

(fixes bug 1187137)

Change-Id: I698f4c06d7e93217d8f307a880e0ae40711151c2

Imported Translations from Transifex

Change-Id: Ie950672cd1eb59c78124a84c37da620a3b4af97f

Add generic block device driver

This driver adds an ability to create volumes on any block device on
local host.

This driver supports the following features:

- Volume Create/Delete
- Volume Attach/Detach
- Get Volume Stats
- Copy Image to Volume
- Copy Volume to Image
- Clone Volume

Not implemented:

- Snapshot Create/Delete
- Create Volume from Snapshot

These features are not implemented because there is no generic way
to create snapshots for block devices.

bp block-device-driver

Change-Id: If5fcaf2775daf660c46d630eea0f9633ca816ee9

Use base ISCSI driver to fulfill some driver requirements

Cinder has a list of minimum features that must be implemented by each
driver. This uses the copy_volume_to_image and copy_image_to_volume
implementation from the base ISCSI class. Also use the base for raising
NotImplementedError. This touches the Nexenta and Zadara driver.

Change-Id: I44a347e126a783e38d3a68cba23306a571aec43b

Merge "Cleanup and make HACKING.rst DRYer"

Cleanup and make HACKING.rst DRYer

Reference the OpenStack hacking guide in HACKING.rst and remove
duplicate entries.  Add placeholder section for cinder specific rules.
cinder specific rules can be created using hacking's local check
support.

Change-Id: Ia74da70363e3fe602405a440c1d2ec75052e9193

Merge "Handle errors raised by extend_volume"

Merge "Fix a few Sphinx warnings"

Merge "Add support to import images into sheepdog volumes."

Merge "Update requirements from openstack/requirements."

Merge "Enable zero the snapshot when delete snapshot in LVMVolumeDriver"

Update requirements from openstack/requirements.

Fixes bug: 1200214

Change-Id: I31edd5283b72ac46e99a11aca196f5b9915c4465

Enable zero the snapshot when delete snapshot in LVMVolumeDriver

Because snapshot without 'size' field, So clear_volume method in
LVMVolumeDriver will skip secure deleting. Get the size of snapshot from
'volume_size' filed, So it can zero the snapshot.

Remove the 'size_in_g' parameter in _delete_volume method, because it never
used. Add a unittest for clear_volume method.

Fixes  Bug #1198185

Change-Id: Ie919b50ce4fb276f29ab2e0279f868a691ea7bef

Fixes ceph-backup failure if original volume deleted

Fixes: bug #1199661
Change-Id: I21f979bf2c0ca6910a6437cb6277193f71fed664

Merge "Ignore files created by Sphinx build"

Implement extend volume functionality in Rbd

This implements the extend volume functionality for Rbd driver.

Implements: blueprint extend-rbd-volume
Change-Id: I7ddbd0dda742627e959ac672b125555225238030

Handle errors raised by extend_volume

Errors raised by extend_volume aren't handled by the manager.
This means the volume status will not be updated to 'error_extending'
when an error is raised during the process.

* Handle such errors and update volume status accordingly
* Add logging for the extend volume process

Fixes: bug #1199471
Change-Id: I06a037af0344d1eaf4115f0af5a85ceeab1ffd37

Minor reorg for (array resource usage and backend options naming)

1. Use HUS target/initiator resources efficiently.
2. Command options aligned with openStack scheme of using dashes.
3. Self tests modified to accomodate #1 and #2.

Change-Id: I7d23a980f237c973538ca08215f77a1f69cc2517
Fixes: bug 1200441

Merge "Check enabled backup service before rpc request"

Merge "Fixed Ceph backup librbd segfault"

Check enabled backup service before rpc request

In previous code we didn't check whether we have an enabled
backup service there before we send out the rpc request,
results that if no enabled backup service there,the volume will
stays in "backing-up" state and the backup will stays in "creating".

This patch fixed this issue, we exam whether at least an appropriate
(same host,az as the volume and is_alive) backup service available
before we do the rpc request.

Fixes: bug #1200040
Change-Id: I77154528f489ed20f7b784e6fcefccf15dc81d1d

Merge "Enable setting blocksize on volumes."

Fixed Ceph backup librbd segfault

Change-Id: I1a6b9935eb7da9fca5b572ea4823bae3def99ea0
Fixes: bug #1198271

Merge "    cinder.api: Replace 'locals()' with explicit values"

Merge "Fix missing volume_name_template flag."

Merge "Consist terminate_connection function signature"

Merge "Add support for storing volumes on GPFS"

Merge "Add unit tests for cinder/api/versions"

Merge "Update upper bound of keystoneclient version."

Add support to import images into sheepdog volumes.

Supporting import images from glance to sheepdog volumes.
Unit test framework for sheepdog is added too.

Fix Bug #1148784

Change-Id: I8ffd1bc1b2d719aed27ce0d98eaa41fef8027ca2

Add tests for cinder/api/urlmap.py

Add tests for unquoting and parsing functions in
TestParseFunction class
Add tests for Accept class methods:
 - TestAccept class - test cases for processing content types
 - TestUrlMapFactory - test cases for urlmap factory
Add tests for URLMap class methods except __call__ method in TestURLMap

Change-Id: I3f1aa527f49175d9fac6fbe7309383709c30c237

remove improper assert usage

There're many talks about it. An assert should be used for `never
happen` cases, not common paramaters validating.

With grep, we could many all assert statement used in none-test codes:

cinder/volume/drivers/san/solaris.py:110:
cinder/volume/drivers/san/solaris.py:116:
cinder/volume/drivers/san/solaris.py:161:
cinder/volume/drivers/san/solaris.py:162:
cinder/volume/drivers/san/solaris.py:163:
cinder/volume/drivers/san/solaris.py:164:
cinder/volume/drivers/san/solaris.py:170:
    checking cmd output which should never changed, so leave it
cinder/db/sqlalchemy/migration.py:113:
    ensure file existence from impossible cases, so leave it
cinder/utils.py:
    used for functional flow, so use ValueError instead

fixes bug #1199354
Change-Id: I2b1701269bdf7c8737548e57bd940921a6256372

Enable setting blocksize on volumes.

Some back-ends support blocksizes other than the default 512 (like 4096),
this change adds a provider_geometry column to the volumes table,
format is "physical_block_size logical_block_size".

This can then be used by libvirt to determine if it should pass in
non-default block_size info, and there's a method for future
geometry/disk info that might be needed.

Fixes bug: 1196248

Change-Id: I8d40bc56403154fbe955cd4ccf8f0c55fc9eb7c5

cinder.api: Replace 'locals()' with explicit values

    Help bring source code into compliance with the
    Cinder Style Commandments:
    https://github.com/openstack/cinder/blob/master/HACKING.rst

    This change covers all affected source in the
    cinder api module, specifically:
    cinder/api/contrib/volume_actions.py

    Partially fixes: bug #1190758

Change-Id: I2134e69b70a5a5132847168f60b4d192bdf0b536

Update upper bound of keystoneclient version.

This is the intermediate step so that we can update the the lower
bound of keystoneclient in openstack-requirements.

Change-Id: Ie6d973ccd1263243ebf0779ae59ef32416bf7087

Fix missing volume_name_template flag.

volume_template_name was converted to a self.configuration option,
however we don't import that opt in the self.configuration changes.

This patch switches the specifier back to the global CONF

Fixes bug: 1199909

Change-Id: I1431ba8a46b3a86ed77c02646a1c5fd1f62ae010

Change check-detach to reject more states

Change check_detach is reject anything other than 'in-use', rather than
just rejecting 'available'.

Fixes bug #1199922

Change-Id: I3180540ca7bb699a3494ca4eea1389ae8a117df0

Implement extend volume functionality in SolidFire

This implements the extend volume functionality for SolidFire driver.

Implements: blueprint solidfire-extend-size-support

Change-Id: I00dc15f722c70b8835ae5a060ca8f0c4a80a1acb

Add unit tests for cinder/api/versions

Added to the following unit tests:
  Test action args;
  Test get most recent update;
  Test create version entry;
  Test create feed.

Change-Id: I760e8f419be529cda969e848f151a8cab1053dce

Merge "Add interface class for backup drivers"

Merge "Make String column creation compatible with SQLAlchemy 0.8"