Merge "Move root task class to base file."

Merge "Increase test coverage brick/initiator/connector"

Merge "Remove unused methods from cinder.utils"

Merge "3PAR driver add missing domain check on QOS cmd"

Merge "Dont crash service if sf cluster isnt available"

Merge "Refactor cinder/tests/test_volume.py"

Merge "Allow volume create from source unless in error status"

Merge "Backup driver for IBM Tivoli Storage manager (TSM)"

Move root task class to base file.

Start cleaning up the large create_volume file by
splitting up the base task and task naming helper
into its own file.

Change-Id: Ibff80dc8b10507d49374737b4760039f51d8e1ba

Merge "Fix python 3 pep8 errors for print"

Backup driver for IBM Tivoli Storage manager (TSM)

An implementation of Cinder backup driver using TSM as a backend for
Cinder backups. The driver is a wrapper for the TSM command line
utility dsmc, and uses TSM image backup and restore.

Re-added make_dev_path from cinder/utils.py which was removed by commit
d65425453d215ad64e2bf31b66a3b613c6e7f879

Change-Id: Id105c91ffd3ca953a9fc67dc13f31c3b885bccd7

Dont crash service if sf cluster isnt available

Currently if the SolidFire driver is configured but the cluster
isn't available for some reason the ensure_export call will raise
an unhandled exception and crash the volume-service.

We should be able to handle things like loosing connectivity to
a single back-end without impacting the other volume-service
backends.

We'll wrap the ensure_export call in a try block here and
return None in the case that the connection can't be made.
This will keep the service from crashing and log an error
message that the connection timed out.

Additional work would include adding a periodic retry task
to the manager to try and start the backend service for us
on some regular interval incase the device comes back.

Fixes: bug 1215064
Change-Id: Ice3f517d220c40113074bb77adbb10d5e32abd0b

3PAR driver add missing domain check on QOS cmd

The 3PAR drivers need to support CPGs that are not part of a
virtual domain on the 3PAR backend. This patch now checks
if the domain is set before calling the createvvset command.
This instance was overlooked in the following patch that has
already been merged: https://review.openstack.org/#/c/42697/

Also fixes: bug 1212328

Change-Id: I0375dfc89104775582b9258f18f97c683e6148b1

Merge "Unified Volume Driver for IBM XIV and IBM DS8K"

Remove unused methods from cinder.utils

These methods were left over from the split from Nova and are unused still.

Remove methods:
fetchfile()
trycmd()
generate_uid()
last_octet()
get_my_linklocal()
parse_mailmap()
str_dict_replace()
flatten_dict()

Change-Id: I5d41dec66246814bb1edb6f4993d5307587a00f9

Merge "3PAR driver terminate connection host validation"

Merge "Relax policy so owner can access encryption info"

Merge "Fix incorrect msgstr's to avoid translation errors"

Merge "Allow to delete a volume in error_extending status"

Merge "Avoid serializing CinderExceptions before they are translated"

Merge "Use system locale when Accept-Language header is not provided"

Refactor cinder/tests/test_volume.py

Refactor test_volume.py to remove code duplication.
- remove iterant definition of the 'expected' dict from
'test_create_delete_volume' and 'test_create_delete_snapshot'
method;
- move 'test_copy_volume_to_image_status_available',
'test_copy_volume_to_image_status_use' and
'test_copy_volume_to_image_exception' methods to new class
 CopyVolumeToImageTestCase;
- move 'test_volume_get_active_by_window' and
'test_snapshot_get_active_by_window' to new class
GetActiveByWindowTestCase;
- create base class BaseVolumeTestCase for TestCase classes.
bp cinder-tests-improvement

Change-Id: I5d3644375d321e613418ea8e544557d33401ff77

Merge "Adds brick helpers to cinder utils"

Unified Volume Driver for IBM XIV and IBM DS8K

    * Refactored xiv.py to xiv_ds8k.py
    * Updated tests
    * Updated flags
    * Updated compatibility checks
    * DocImpact
    * Added extend_volume and migrate_volume

implements blueprint ibm-unify-xiv-ds8k

Change-Id: Ifd64fc1dab91ada6fd42a7e92a41361cf220042f

Merge "Removes ssh_execute in utils.py"

Merge "Generic backup_volume and restore_backup functions"

Merge "Storwize/SVC: More error logging"

Merge "Fix some pylint error in Coraid Driver"

Adds brick helpers to cinder utils

This patch adds some cinder utils functions
that wrap calls into brick to automatically
populate cinder's root wrap helper.  This
prevents propogating the recreation of the
sudo cinder-rootwrap string.

Change-Id: I3ae2add4f38a40c57ca197b231e09a9856d7e809

Fix python 3 pep8 errors for print

The new auto-pulled requirements files exposed
python 3 compat issues in a number of modules.
We added these to tox.ini ignore temporarily,
this change updates the print routines in bin/cinder
and removes the debug cruft that was in the unit tests.

Will update requirements and test-requirements
appropriately in a follow up patch.

Change-Id: I76ea24f4dc1f61c4f8a1d202b0554c90daf2c9cc

Fix incorrect msgstr's to avoid translation errors

There are numerous msgstr's in the cinder.po files for en_US,
en_AU and en_GB that are incorrect translations of the associated
msgid.  It appears that there are a number that are the result of
problems with past fuzzy translations gone wrong and some may also be the
result of copy/paste mistakes.  Regardless of the origin it makes debug and
development very difficult if the string that is coming out in the
logs doesn't match what is expected.  This patch fixes the numerous
bad msgstr's.

Once this commit is merged, Transifex will catch the change to
the Cinder po files and then spin a new Transifex Translations import.

Fixes bug #1209317

Change-Id: Ia78f5ebb4bec996798798bb25ea1b97c47b5e50b

Merge "Add accept_transfer to solidfire driver"

Merge "Added need info to accept_transfer"

Merge "Remove unused methods from cinder.utils"

Merge "Fix Fibre Channel attach for single WWN"

Merge "Update Brick to use executor"

3PAR driver terminate connection host validation

The 3PAR backend does not allow FQDN host names (i.e. foo.rose.hp.com),
instead it requires just foo without the rose.hp.com. This patch will
now validate the host name in terminate connection by calling
_safe_host just as it was doing in initialize connection when creating
the host on the 3PAR backend.

Change-Id: I52e90938c782473edc93f30672a0530ab5934edc
Fixes: bug 1214994

Remove unused methods from cinder.utils

These methods were left over from the split from Nova and are unused still.

Remove methods:
is_valid_ipv4()
make_dev_path()
convert_to_list_dict()
partition_dict()
subset_dict()

Change-Id: Icb36aa6a2d1f607c440a2d524d3480de23d1cb7a

Merge "Make the SolidFire driver api port configurable."

Allow to delete a volume in error_extending status

We must be able to remove "error_extending" volume, because we
cannot retrieve it without changing database status.
If trying to remove the volume, now it fails like the following:

$ cinder delete vol-test01
ERROR: Invalid volume: Volume status must be available or error,
but current status is: error_extending
$

"error_extending" also would be error status, so it is good to
remove the volume.

Fixes bug #1214228

Change-Id: I861e7af75f2c50d4e03ef3680dccde73078b4888

Merge "GPFS support for various volume attributes"

Update Brick to use executor

modify existing modules in Brick
to make use of the Executor object,
so we don't replicated the same
set_execute() method everywhere.

Change-Id: Ib0363029557253ad86bae90e1db4fefd24a42df7

Merge "Removed need for domain in 3PAR drivers"

Removes ssh_execute in utils.py

The ssh_execute function is already defined in oslo.processutils
Removes the version in utils.py

Change-Id: Ie0bd73d1f4e6df290270f6d712584431e965be78

Use system locale when Accept-Language header is not provided

Remove en_US as the default language when no header is provided, and use
None instead. Upon translation None will be defaulted to system as it
was before the translation changes.

Fixes bug: #1214476

Change-Id: I0fe22c526710e69ae0731e7d0b42170e6f3a8523

Merge "Use FakeLoopingCall instead of the real one"

Generic backup_volume and restore_backup functions

Add implementation for backup_volume and restore_backup to the
VolumeDriver class, which uses brick for attach and detach.
Add default NotImplmeneted implmentation for non block drivers:
remotefs, coraid, gpfs, scality, sheepdog and sm.

Change-Id: I291390a58608b14f0deea703fc5cec3e34b965cd

Relax policy so owner can access encryption info

The admin only policy is too restrictive to allow Nova to access a
volume's encryption metadata using the owner's request context. Hence,
this commit relaxes the policy for the volume encryption metadata
API extension so the metadata is accessible to the volume's owner.

Implements: blueprint encrypt-cinder-volumes
Change-Id: Ia946850b79f7f717ab7528caf7cac2905e650917
SecurityImpact

Merge "Add root_helper param to get_connector_properties"

Fix Fibre Channel attach for single WWN

The code allowed for only a string of the WWN or a list of them.
Unfortunately unicode is also returned, for which the attach fails.
This patch allows for unicode as well.

Change-Id: I4d2809b41b24b2240e447a5c09f14e6438304cd6
Fixes: bug 1214413

Make the SolidFire driver api port configurable.

Making the SolidFire driver api port configurable allows it to be
placed behind a transparent proxy.

Change-Id: I976ecfd5df11797722776faf65777ca1ffa5b0c4

Add accept_transfer to solidfire driver

The SolidFire cluster is tenant aware and as such
needs to change account association on volume transfer.

We use the project_id to build this account, so read that
in here and create a new account if necessary and re-assign
the existing volume to the new tenant account.

Change-Id: I29879714c2d32a982918cd1305c8eb00718795fd

Added need info to accept_transfer

Drivers that implement accept_transfer will need
things like the new user_id and project_id.  We were
not including this in the original add, in order for
drivers that are tenant aware this information will be
necessary.

Also the get_volume call in the transfer was using
the new user context, so the volume would never be
found.  We fix this here by providing an elevated
context to the get_volume call when accepting the
transfer.

Change-Id: I7b60c19950f85c4309a97bb842ff238bcf8e746a
Fixes: bug 1213275

Merge "Standardize on ID for log messages"

Merge "Reduce hidden effects of sqlalchemy objects"

Allow volume create from source unless in error status

This patch restores the source volume status checking behavior
to allow create_volume function to proceed unless it is in
error status. In FibreChannel attached environment, it is typical
to have a volume attached before the volume clone starts. The
operating system owns the volume will ensure the consistency.

Fixes: bug #1214235
Change-Id: Ie639f2f36e2939399303ca0658c169124801e86b

Merge "Allow Cinder to call Nova client"

Avoid serializing CinderExceptions before they are translated

CinderExceptions were being unicode()'d when being wrapped in an
HTTPException, and this was causing the delayed translation to fail for
those errors.

Also, CinderExceptions have a 'message' class attribute that holds the
generic error message template, e.g. "Backup  %(backup_id)s is not
found", unfortunately, because the names are the same, it was
overshadowing the actual exception instance 'message', e.g. "Backup 1 is
not found", when translating. This patch puts the exception's actual
message in a new field called 'msg'.

Fixes Bug: #1214102

Change-Id: Ied9abcc3d05454852c0a5891432eb181220a744e

Add root_helper param to get_connector_properties

This patch adds the ability to pass in a custom
root_helper for executing commands.  This is needed
for other projects that need a custom root-wrapper,
such as nova.

fixes Bug #1213135

Change-Id: Ie18276ae2e736bb2276d4e9c57385d2588441428

Standardize on ID for log messages

We have some places where logs use name to identify
a volume and others where we use ID.  Let's standardize
on the UUID here as that's typically the unique identifier
we use in most places anyway.  Even though name is a
derviative it seems better to be consistent with this
and use the UUID by itself.

Change-Id: Iaee3d146042780e4a526834db1e0be84a705f24b
Fixes: bug 1214140

Reduce hidden effects of sqlalchemy objects

The flows are currently holding onto sqlalchemy
due to bug #1214083 and this is causing a problem
with gettextutils which appears to be deepcopying
the raw objects, of which one of those is sqlalchemy
objects, which can't seem to be deepcopied.

Change-Id: Ie831738799a75e2a4a652c73900cad353a71e327

Removed need for domain in 3PAR drivers

The 3PAR drivers need to support CPGs that are not part of a
virtual domain on the 3PAR backend. This patch removes the need
for the CPG to be part of a domain and changes a few of the commands
that took the domain as an option.

DocImpact

Change-Id: I7e472e19e484e837c9216ea01455a4b8a85b19e5
Fixes: bug #1212328

Merge "Remove strcmp_const_time"

Merge "Update Nexenta ISCSI volume driver authors"

Allow Cinder to call Nova client

This code allows Cinder to call Nova client functions. This will be used
for online migration and guest-assisted snapshots, which are both in
progress.

Change-Id: I9c94917bddcf250b880ca730df463a8402fe6b1d

Use FakeLoopingCall instead of the real one

Decrease the execution time in brick's tests.

Change-Id: Idef19e91f593c2c276015d5bf9f9cc85cd6094ad

Fix some pylint error in Coraid Driver

Chage usage of rpc method in tests, for fixing
3 pylint error.

Change-Id: Ib30d3f1a26b718d2fca588668683253c03df01ba

Storwize/SVC: More error logging

Some cases had exception raised without logging the error, and one
case where FC was not configured properly raised an IndexError rather
than presenting a clear message.

Fixes: bug 1212652
Change-Id: I7c39977f8e168e5e6afcdeb0f772fec854732140

Merge "Added missing import"

Remove strcmp_const_time

This was carried over from Nova and isn't used in Cinder.  Removed
in Nova via commit 08a5066d with message:

"This function was used with deprecated auth and is no longer used
anywhere in the code, so just remove it."

Change-Id: I2b90a1a723265d9d23f89ec03246de8508d591e5

Merge "Add more asserts to the limiter unit tests to test the RateLimit"

Refactor LVM driver to use Brick VG utility

Refactor the LVM driver to utilize bricks LVM
module.  This includes significant modification to
tests and fake objects related to testing.

implements blueprint: refactor-lvm-and-iscsi-driver

Change-Id: I94e41abf90d0c5b77e732d40ed8b81b0a2f5d7dd

Merge "Fixes SSH injection threat in 3PAR driver"

Merge "Implement missing Coraid Driver functionality for Havana"

Added missing import

pep8 tests didn't find this one.
This patch adds the missing _ import

Fixes Bug #1213268

Change-Id: Ia0e688fc15ccc4d8b3f83516c517e9f9c83767a0

Merge "Add support for encrypted volumes"

Fixes SSH injection threat in 3PAR driver

The setqos ssh command was not built up correctly when the following
patch https://review.openstack.org/#/c/37697/ landed for cleaning up
the SSH calls from injection attacks in the 3PAR driver.

The command was in the following format causing the injection threat
due to the spaces in the second item in the list:
['setqos', '-io 5000 -bw 500M vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']
When it should actually be in the following format:
['setqos', '-io', '5000', '-bw', '500M', 'vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']

This patch fixes an append vs. extend that was introduced in patch
https://review.openstack.org/#/c/42241

Also fixes: bug 1212884

Change-Id: I28f84acd02397ee0d433a666375737145904d67e

Implement missing Coraid Driver functionality for Havana

Intorduce a brick connector for AoE protocol.
Refactoring Coraid Driver. Implement missing functionality for Havana:
- Copy Volume To Image
- Copy Image To Volume
- Clone Volume

Fix a bug with resize volume command.

Change-Id: I2af6a41dc44cb8bc4b74da752e0be9ed54a83cb1
Implements: blueprint coraid-driver-refactoring-for-havana

Merge "Fix SSH injection threat in 3PAR driver"

Increase test coverage brick/initiator/connector

Covered next methods:
disconnect_volume_multipath_iscsi;
get_multipath_iqn;
get_iscsi_devices;
get_multipath_device_name;

Change-Id: I0eaffa6d1408446f1f13e56016642df5337015a2

Merge "Refactor Nexenta driver"

Merge "refactor/unify driver version strings"

Merge "Externalize error messages in the v2 API"

Fix SSH injection threat in 3PAR driver

The setqos ssh command was not built up correctly when the following
patch https://review.openstack.org/#/c/37697/ landed for cleaning up
the SSH calls from injection attacks in the 3PAR driver.

The command was in the following format causing the injection threat
due to the spaces in the second item in the list:
['setqos', '-io 5000 -bw 500M vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']
When it should actually be in the following format:
['setqos', '-io', '5000', '-bw', '500M', 'vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']

Change-Id: I69ed8dbca3af3ba56220891411b63331c1935373
Fixes: bug 1212884

refactor/unify driver version strings

This patch updates each driver to provide
the same mechanism for reporting the version
of the driver.  It also includes fixing the
reported driver version at get_volume_stats()
time to be the version set in the driver.

When the manager starts the driver it now
logs the driver's name and version in the log file.

fixes Bug #1212878

Change-Id: Icefd065f885ad417735490e6ac90e2b21557d2dc

Refactor Nexenta driver

Moving NEXENTA_OPTIONS out of nexenta/volume.py and splitting the
options. This change is to avoid duplication as the iSCSI and NFS driver
will use the same configuration options.

Change-Id: I3596fec9e852f07aea2ef7f2cd26023de07e7d0b

Merge "Extract ISCSI tries option into connector module"

Update Nexenta ISCSI volume driver authors

Change-Id: Ib2981c336d479fb506a4db4a9d91e00c1cc6d4e8

Extract ISCSI tries option into connector module

The usage of this option occurred only in that module.
Rename this options to num_volume_device_scan_tries,
according to discussion on IRC.
The old one marked as depricated option.

DocImpact
Change-Id: Ib4a37237c2d95ca2dd6c05ce0a41f930b29ffd1c

Merge "No need to declare the exception conf"

Externalize error messages in the v2 API

This patch does more internationalization for the REST API error
messages that don't currently have it to take advantage of the new
support added by bp user-locale-api to show error messages in the locale
requested by the user through the Accept-Language HTTP header.

We only do v2 because consumers have used the response error message in
the past for error checks, so changing it in v1 too would break them.

Partially implements bp user-locale-api

Change-Id: I92780b42c125a91ab4916b7a31e4b71d306a89a1

Merge "Replace os.unlink with delete_if_exists"

Merge "Tidy up the SSH call to avoid injection attacks for HP's driver"

Merge "Raise exception when Glance metadata not found."

Add more asserts to the limiter unit tests to test the RateLimit

Added new asserts to test the per user set limits instead of using
the defaults only

Change-Id: Ib6651a82c9d7bb4b79d5c68be6372dc1100b816a

Replace os.unlink with delete_if_exists

Shouldn't care when doing unlink on our temp files
if they exist or not.  In fact this causes problems
when you do things like with tempfile/dir and happen
to try and unlink after it's already been removed.

This replaces these calls with the safer
common.fileutils.delete_if_exists which will
ignore the os exception of the object DNE.

Fixes bug: 1212502

Change-Id: Ica86c95f736411da486335aec5512e59247bfbc0

No need to declare the exception conf

Brick can just assume that the conf entry exists
in each project that will use brick.
Cinder and Nova already declare the same exact
conf entry.

Change-Id: I4e0e11ce6f99a663a75e582ead92ac9d61300032

Merge "Fixes some unseen flake8 violations."

Merge "Add tests for cinder/brick/initiator/connector"

Add support for encrypted volumes

This modification adds an encryption key UUID field to the volume
table, which is sufficient to make Cinder "aware" of encrypted volumes
as designated by predefined volume types. Integration with a key
manager is necessary to obtain an actual encryption key UUID (the
current implementation generates a random UUID when an encrypted
volumes is created). Cinder should *not* presume that it necessarily
will have access to the key itself -- this decision depends upon the
design, implementation, and policy for encrypted volumes. The key's
UUID is stored in Cinder because it is metadata about the volume.

Implements: blueprint encrypt-cinder-volumes
Change-Id: I164290e761a9922919a70f22f99af70dac213b61
SecurityImpact