Remove cinder.exception from Brick

This patch fixes an issue that made
Brick's connector module dependent on cinder's
exception module.

Adds a new brick exceptions module to store brick
wide exceptions.

fixes bug #1206288

Change-Id: I070d08f07c7bc488b24b0d68531bb2e0a5461422

Merge "Allow connect by FC-only or iSCSI-only systems."

Merge "Fix running of migrations tests by Jenkins gate"

Merge "Make unicode-to-utf8 conversion universal in ceph backup driver."

Imported Translations from Transifex

Change-Id: Idf33136691295d8ff15dae48ba3b4f6b7e002bbb

Fix running of migrations tests by Jenkins gate

DB schema migrations tests are always skipped for MySQL
and PostgreSQL backends, when running gate jobs. This is
due to the bug in the function, which checks, if given DB
backend is available.

Fixes bug 1205386

Change-Id: I80d5da64347279b8fb5a975ff0d11f31fe35c6ce

Merge "Update references with new Mailing List location"

Make unicode-to-utf8 conversion universal in ceph backup driver.

librbd does not like unicode strings. A patch was
recently applied (c98cf2d8) to make all config
values utf8 but there are other areas of the ceph
backup driver where this also applies. This patch
adds a new method which converts strings to utf8
and replaces all relevant uses of str() with this
new conversion.

Change-Id: I8c3b01d1ea00b601c599396e3a662f172ffb9757
Fixes: bug #1206044

Merge "Fix unit suffix and add no_suffix option."

Merge "Removed the dep on cinder.utils"

Update references with new Mailing List location

Yesterday, openstack@lists.launchpad.org was migrated with
all users to openstack@list.openstack.org.

This patch updates references to the old mailing list with the
new, to ensure that people encountering them don't accidentally
try and join the old list!

Change-Id: I7cd33f95b7baa22dbd4abb6e391ee59876998f59

Allow connect by FC-only or iSCSI-only systems.

Currently the brick code raises exceptions if it cannot determine the
initiator name or FC HBA information. This patch makes this information
optional, as Nova does.

Fixes: bug 1203486
Change-Id: I8efc101d7ac980261a8bc5d74209cafe4b06cc15

Merge "Create volume from snapshot must be in the same AZ as snapshot"

Removed the dep on cinder.utils

This patch ensures that we don't have any
dependency on cinder's utils.py.

bug 1205100

Change-Id: Ic8b7cc532a1804e0f3b7ad89e24f8edf73cf78a5

Merge "Imported Translations from Transifex"

Merge "Fix volumes search by metadata"

Imported Translations from Transifex

Change-Id: Ief9b93dbcfd4fad56d97442b698c0c5844332e48

Merge "Using volume name property instead of using template and id."

Merge "fix name 'update_volume_status' to 'update_volume_stats'"

Create volume from snapshot must be in the same AZ as snapshot

This issue and patch also apply to cloning volumes.

When creating a volume from a snapshot we need to pick the
availability zone of the snapshot's source volume. This patch
goes further and enforces that the new volume must be in the same
AZ as the snapshot. It raises an user error if the user tries
to create a volume in a different AZ to the snapshot.

This is enforced across all drivers because creating a volume from
a snapshot is implemented in the drivers and not all drivers are
guaranteed to support creating a volume from snapshot is a foreign
AZ. More to point if you don't support create a volume like this,
and we allow this then you can create volumes and instances that
get stuck in some weird states that require a support call to fix.

If you do support cross AZ functionality then you can override
the enforcement of that cloned volumes most be in the same AZ
as their source via the 'cloned_volume_same_az' option.

Change-Id: Iafc8f35ecc6a6b51dbe6df8bf44eaa3e79c3bd01
Fixes: bug #1202648

Merge "Migration for detached volumes with no snaps."

Using volume name property instead of using template and id.

Change-Id: I478f875ed509fb591799a78b7fd52bc830e6fd1c

Merge "use encode('utf8') instead of str()"

Merge "get_snapshot should populate the snapshot metadata"

Merge "Fix further Hacking 0.6.x warnings"

Merge "GPFS stub calls to truncate and dd in unit tests"

Merge "Storwize/SVC: Use VolumeDriver's copy vol<->image."

Fix unit suffix and add no_suffix option.

In Cinder we've been using gibibytes, however
we have code in some places using Gigabytes, the brick
LVM code was one of those places.

This change sets the default suffix to gibibytes/mibibytes (1024 based)
and also provides an option to omit the suffix from the response now
that we can say that we're consistent in what is expected.

Change-Id: Id6274ba732bbdf484c5544e005155aebd68eaf2f

GPFS stub calls to truncate and dd in unit tests

gpfs unit tests had calls to truncate, and allowed
driver call to dd and df.  Modify tests to stub these
out.

Also remove references to image_path.  This was a temp file
created using truncate that is no longer used.

Change-Id: I437b56505ba025b256b051dfaf43d8124005f854
Fixes: bug #1203075

Merge "GPFS convert glance image to raw only when needed"

Merge "Implements extend volume feature in HP 3PAR driver"

Storwize/SVC: Use VolumeDriver's copy vol<->image.

Inherit the VolumeDriver copy volume<->image functions. This patch also
creates a new SanDriver class which is protocol-agnostic, and leaves
the SanISCSIDriver class for drivers that wish to use it.

Change-Id: Iad5cb030545ef7f4e01d006f1e63cdeeec713bf6

Merge "Implement extend volume for Storwize/SVC."

Implements extend volume feature in HP 3PAR driver

This patch enables the extend volume feature to be used in cinder
when the backend storage is a 3PAR array.

Change-Id: I8c8422f0ffc6d55ebe80fa8b2962b54eca266974

use encode('utf8') instead of str()

It is not clear for converting a unicode to string by using str().
Instead we should use var.encode('utf8') to do this.

Change-Id: I8ce4c98f819c98e835a6d8298fe22f2fd0ca18b6

Imported Translations from Transifex

Change-Id: Ia984fca524ee33c0ce76931187a5293fb80d8b26

Migration for detached volumes with no snaps.

Implementation of volume migration for detached volumes with no
snapshots. Migration is initiated by an admin API. The scheduler
confirms that the specified destination host can accept the volume.
The source driver is given the opportunity to migrate the volume on
their own. Otherwise, a new volume is created on the destination, both
volumes are attached, the data is copied over, the volumes are
detached, the source is deleted, and the destination is renamed. In
the database, the destination volume's attributes are copied to the
source so that the volume-id remains unchanged, and the destination
volume row is deleted.

DocImpact

Implements: bp volume-migration
Change-Id: Ib6fcf27051f45e60aa3ba5f599e88c1421db753e

get_snapshot should populate the snapshot metadata

Update the query in db api snapshot_get() to join with the table
snapshot_metadata, so that snapshot metadata is returned. This makes the
api snapshot_get() function in the same way as volume_get().

Fixes: bug #1204446
Change-Id: I37004140f6a11b96aaeb3af6c631028a44541d3a

Merge "Adding driver minimum features and volume stats to dev doc"

Adding driver minimum features and volume stats to dev doc

This is a first pass in getting information out of the wiki and into the
dev docs, so changes can be reviewed properly as discussed at the Havana
summit.

Change-Id: I75e71b3e5df69e6b507ee64d330a9ec2455266c5

Update RBD driver to be compliant with HACKING

Fixes imports, doc strings, and dict style.

Change-Id: Id678d972b9bf744239460fe97155a6a7bd8a868e

GPFS convert glance image to raw only when needed

Modify _gpfs_fetch_to_raw to check image format.  If already in raw
format, no need to call convert_image.  In that case, simply rename
to destination name.

Change-Id: I197d99194f93c02ce3c501de25433d89b23e6a35
Fixes: bug #1201676

Merge "Add create & attach times to SolidFire attributes."

Fixes RBD driver docstring format issues.

All docstrings should now comply with HACKING.rst

Change-Id: I0892af8d81415880d5e0f9aab5c7cd95ff3bf6b9
Fixes: bug #1203697

Merge "Cleanup README.rst"

Merge "Refactor SSHPool.get() to use Pool.get()"

Merge "Added incremental backup support to Ceph backup driver"

fix name 'update_volume_status' to 'update_volume_stats'

_update_volume_status() private method is called by
get_volume_stats(). This is confusing as the volume's
stats and not status gets updated.

fixes bug #1199327

Change-Id: I9f7971e457250798320c14d3f58bdc199c8cfceb

Fix further Hacking 0.6.x warnings

* Add missing Apache license header
* Avoid using locals() in string formatting

Change-Id: Ib9fa878babae5c50bc77e48c62b33a8ebfe39f7f

Add create & attach times to SolidFire attributes.

This change simply adds create_time and attach_time to
the SolidFire devices attributes.

Times are taken from the volume-ref object, attach_time
is only set/present after an attach, and is also removed
from the attributes list on a detach.

This also required that we actually set attach_time on the
volume in the db.  We have the column, but we weren't actually
setting it, so this change required that be fixed.

In the future we should also look at changing the attach_time
from a string to a proper date-time object.

Change-Id: Ib9577ac160596a6878d1729f6022885b6cfa90e2

Implement extend volume for Storwize/SVC.

This implements the extend volume functionality for the Storwize/SVC
driver.  Extending volumes with snapshots is not supported, as this
will require converting the snapshots into full copies, which will eat
up free space.

Change-Id: I5fb8c6967e6f3df1adfef46e05c832a953dd7131

Cleanup README.rst

Change-Id: Ia7413db4d71c85cbb382f289f36c02b0f838571d

Merge "3PAR Driver modifications to support QOS"

Fix volumes search by metadata

The metadata parameter is urlencoded (to string) by cinderclient
but isn't decoded back to dict by the API.

The metadata parameter needs to be converted back to dict
to be of any use by the filters parameter of get_all().

The original implementation has been done by:
Mathieu Gagne <mgagne@iweb.com>

Fixes: bug #1195015
Change-Id: I19d7d386afddddc067e9f4ef86967c9b72d9e530

Merge "Sync gettextutils from oslo"

Add test for volume status check when extending

Ensure exception is raised if volume status is not 'available'
when extending volume.

Change-Id: I21337d5ca78090665b2feba50c74f853d3703650

3PAR Driver modifications to support QOS

Currently, the OpenStack HP 3PAR Fibre Channel (FC) and iSCSI Drivers
do not support Quality of Service (QoS) extra specs. The QoS settings
added in this patch include;
•   maximum MB/second (maxBWS)
•   maximum IO/second (maxIOPS)
These new extra specs will be scoped keys, the scoping will be
qos:maxBWS and qos:maxIOPS. A new key hp3par:vvs was also
added to allow the admin to predefine QOS settings on a 3PAR
virtual volume set and any volume created would be added
to that predefined volume set.

The 3PAR storage arrays set these values on virtual volume sets,
not the actual volume. So the change includes creating a virtual
volume set with these settings and then adding the volume to the
volume set.
1.  Max IO/S & Max MB/S are not QoS guarantees
2.  These are per volume maximums which the 3PAR is guaranteed
not to exceed.
3.  Settings these values does not guarantee these performance
rates will be achievable

DocImpact

Implements blueprint 3par-qos-support

Change-Id: I69031c6d3febe11dd5f9ff17095b86f3fe72a2a4

Merge "Clone_image should return dict of vol properties, clone status."

Make Storwize/SVC tests work without simulator.

Moved to using brick to get connector info and fixed a small bug to get
tests working on real storage again. Also fixed up simulator to handle
the multihostmap case properly.

Change-Id: I7f5804aa94eac29d8c3cec0f8e9ae9339d4e0816

Revert hardening of Storwize/SVC SSH commands.

This reverts commit 6be79a8e3b4607adbbe6a26ee565156cd0fb36b0.
Paramiko expects string commands, not lists.

Change-Id: I1b762c0311a0ac810427ea033f737fd067761b1c

Added incremental backup support to Ceph backup driver

The Ceph backup driver is now capable of doing differential
and incremental backups between or within Ceph clusters.

Implements: blueprint cinder-backup-to-ceph

Change-Id: Id59bf1963c6d35aae4baf6f49be17340982c205c

Sync gettextutils from oslo

Bring in the necessary code for handling cinder translations

Partially implements bp user-locale-api

Change-Id: Ibcf087c0f099262b90c115a155fdef619d3c5851

Imported Translations from Transifex

Change-Id: I4d20bf6b7a7e6d35e1319dbc758f1ccc305b4971

Merge "Imported Translations from Transifex"

Merge "Tidy up the SSH call to avoid injection attacks in storwize_svc"

Merge "Fix duplicate config options"

Fix duplicate config options

This is causing an error in the config file tool generator.
Removed them since they are registered in cinder.api.common

Change-Id: I23988d5133bbb95637dd9514813009ea8b460982

Merge "Move copy_volume function to volume/utils.py."

Merge "Delete snapshot metadata when snapshot is deleted"

Merge "Fix indent in cincer/volume/configuration.py"

Merge "Fixes Opt type of use_multipath_for_image_xfer"

Move copy_volume function to volume/utils.py.

There are several copy-pastes of running dd, so moved the most
correct one (LVM) to volume/utils.py, and also updated
BlockDeviceDriver to use it. Other drivers (e.g., NFS, GPFS, Scality)
should be updated as well. Volume migration for detached volumes
is a future use case.

Change-Id: I56c64c94eccf0a311e6f3d611738ad0403351971

Merge "Implement validate_connector for Storwize/SVC."

Fixes default value of use_default_quota_class

Changed 'True' to True

Change-Id: I69d5cefd888044b5544e41b34ab4f8974efb0a14

Merge "Rename SolidFire driver for consistency"

Merge "Fixes Opt types in cinder/backup/drivers/ceph.py"

Merge "Fix extend_volume error handling."

Merge "Fixes race condition in LVMVolumeDriver create_cloned_volume method"

Imported Translations from Transifex

Change-Id: I71bcb713fc49faea2e1e442f08087800e0ea417a

Delete snapshot metadata when snapshot is deleted

When a volume is deleted all rows in the volume_metadata table for that
volume are deleted as part of the database operation. This patch updates
the snapshot delete operation to delete corresponding rows in the
snapshot_metadata table.

Change-Id: I17543a82be370bed57d4165ad8756ccb390bc0d9

Tidy up the SSH call to avoid injection attacks in storwize_svc

Let the command and arguments form up a list and avoid the extra arguments
attackers inserted to the command string

fix bug 1192971

Change-Id: I72bb7ef137223381c9daa613e61f1fde4c3bc8ae

Fix extend_volume error handling.

If the async call to the manager/driver failed, the API still updated
the quota and volume size in the DB. Solution is to move these tasks
down to the manager, where we know if the extend succeeded.

Change-Id: I668fd659830bd6d410be64a1f5116377b08a9e96
Fixes: bug 1201814

Fixes race condition in LVMVolumeDriver create_cloned_volume method

When we create a clone volume, LVMVolumeDriver will firstly create a temp
snapshot for copying, the temp snapshot name is
"clone-snap-%s" % source_volume['id']. When we create multiple clone volumes
of the same volume simultaneously, which would trigger the race issuse.

I changes the temp snapshot name template to "clone-snap-%s" % volume['id'],
so temp snapshot name will be unique.

Fixes bug #1202139

Change-Id: I3a4f2585ea9e6f70b6f6f9889e900f19559b8176

Checks the volume_clear flag and just return if it is none

Refactors the clear_volume method in LVMVolumeDriver, checks the
volume_clear flag firstly and return directly if it is none.

Change-Id: Id2523cfaaf61c7d6dec51c0daf6255d9de5d50f3

Merge "Minor reorg for (array resource usage and backend options naming)"

Merge "remove improper assert usage"

Merge "Add tests for cinder/api/urlmap.py"

Merge "Fix error when QuotaUsage.updated_at is NULL"

Merge "Add te field user_id into the volume detailed information."

Fixes Opt type of use_multipath_for_image_xfer

Changed use_multipath_for_image_xfer from StrOpt to BoolOpt

Change-Id: Id02ba23b233d348885250ccb8c14fcf04667adec

Fixes Opt types in cinder/backup/drivers/ceph.py

Changed backup_ceph_chunk_size, backup_ceph_stripe_unit and
backup_ceph_stripe_count from StrOpt to IntOpt.

Change-Id: I30a0b4d905b41f00e6450bc5cbfbf0c4d8593ab3

Fix indent in cincer/volume/configuration.py

Change-Id: I7d6e01de7dbc542ebe8fc35c0776de7a099f91e6

Merge "Mark methods used in class only with prefix "_""

Merge "Add Brick Fibre Channel attach/detach support."

Implement validate_connector for Storwize/SVC.

Implement the new validate_connector API for the Storwize/SVC driver.

Change-Id: I637f406c2592b158a7941da3657a0517972b0996

Merge "Fixes ceph-backup failure if original volume deleted"

Fix error when QuotaUsage.updated_at is NULL

When QuotaUsage.updated_at is None, it will raise non-expected exception.
Just verify it.

Fix bug 1197259

Change-Id: I2b41d025f8cffa6c0b3f0153a5194d5e7b1a05df

Rename SolidFire driver for consistency

Rename driver to SolidFireDriver for consistency.

Fixes: bug #1136081
Change-Id: I83aef90706474e8a079ab5247b72b33c7a2c8472

Add Brick Fibre Channel attach/detach support.

This patch adds the required code to do
Fibre Channel attach and detaches of volumes.
This code has been pulled over from Nova's
implementation of FC attach/detach.

Also adds a new driver config entry to enable
multipath support for iSCSI and FC attaches
during volume to image and image
to volume transfers.

DocImpact

blueprint cinder-refactor-attach

Change-Id: I436592f958a6c14cd2a0b5d7e53362dd1a7c1a48

Increase timeout period for clone volume.

Current timeout value for clone volume in the
SolidFire driver is 20 seconds, this is fine
in many cases however there seems to be a
number of customers doing clones of
volumes >= 400G.

A populated 400G volume is taking upwards of
35 seconds to clone in some cases resulting in failure.

There's no reason not to bump this timeout value up
significantly to a worst case scenario (ie multi-terrabyte volume).

Fixes bug: 1202007

Change-Id: I98c399f5d647e14f031018f7fc1cc43bb0d94c84