Merge "Add unit tests for NetApp do_setup methods"

Merge "RBD: use image_conversion_dir for image operations"

Merge "Brick: fix bug in tgt conf for volume"

Merge "Imported Translations from Transifex"

Merge "Fix issue with passing lists in filters"

Merge "Fix broken StorPool driver"

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: If00e7075870d6d391bf8722766e9dde1ca861713

Merge "Sync the latest loopingcall module from oslo-incubator"

Merge "Handle the volume not found case in the VMAX driver"

Merge "Expand the description of extra_capabilities"

Expand the description of extra_capabilities

The existing description of extra_capabilities was a bit terse,
meaning deployers couldn't easily gauge the power of this option.
This patch expands the textual description using information from
the blueprint and original commit message, so it can be picked
up automatically by the documentation.

Change-Id: Iac2b6d8a3ce4875a8c1d9874dd7f0e4cf7c435c0
Closes-Bug: 1288044

Merge "Brick LVM: Remove self.lv_list"

Fix broken StorPool driver

The newly added StorPool driver has a number of issues;
It imports it's own 3'rd party libs which are not in the
requirements file, it declares conf options but never registers
them, and as a result of these two things it break the ability
to generate a configuration file.

This patch adds a try_import around the import storpool calls
like we do in other drivers, and it registers the config options
properly.

We also move the api setting out of init and into the check_setup
so the service doesn't crash if somebody tries to load the driver
without the required storpool modules.

Closes-Bug: 1405023
Closes-Bug: 1405022
Closes-Bug: 1405016
Closes-Bug: 1403532

Change-Id: I61340ab7c5abcdc21dbb12cf0693da036e69e90c

Merge "Replace the NetApp driver proxy layer with a proper factory."

Merge "Revert "Outputs the message about failing to bind"

Merge "Sync periodic_task module from oslo-incubator"

Merge "Sync latest imageutils from oslo-incubator"

Merge "Sync the latest middleware module from oslo-incubator"

Brick LVM: Remove self.lv_list

This member isn't used anywhere, and now that requests for
specific LVs are overwriting self.lv_list with a subset of
the LVs that are present, it doesn't contain coherent info
anyway.

Change-Id: I4d661869012937cc40177e53c8546d5cd7c98cd9

Revert "Outputs the message about failing to bind

This reverts commit 8b59396182ceacb704e00afe1aee040a19e2a187.

This commit broke the ability to create Iscsi targets w/
cinder-rtstool. Everything seems to be working fine except there
are issues with regards to how rtstool output is parsed in that
any output (regardless of exit status) causes the command
to be marked as failed.

Suggesting this as a quick revert until we can investigate
the proper fix for error handling with cinder-rtstool.

Change-Id: I439433571ed1d01d162f685f8441b28bd6bffa43
Closes-bug: #1405228

Replace the NetApp driver proxy layer with a proper factory.

The proxy implementation required a hack in the Abstract Base
Classes project in Cinder core.  This factory implementation
removes the need for the hack.  It also improves logging, as
the actual driver object is provided to the volume manager
instead of the driver proxy.

Change-Id: I28f4798b9e799547d1696d2f135d3302b3c553fe
Closes-Bug: 1405060

Quobyte Driver Exception Cleanup

Clean up deprecated vendor specific exception code in Quobyte Cinder Driver.
Removes superfluous exceptions, uses standard Cinder exceptions instead.

Change-Id: I3225915a5f90ae22093d3c590fb04fbf28fc2573
Implements: blueprint qb-drv-exception-cleanup

Merge "Mock calls to rpm and dpkg from NetApp unit tests"

Merge "NetApp E-series: Do not log passwords in requests"

Merge "Add error handling to _connect function in PureISCSIDriver"

Handle the volume not found case in the VMAX driver

When a volume cannot be found on the array, VMAX driver throws
an exception. This brings a volume into error_deleting state during
the volume deletion operation. This patch fixed it by returning None
when a volume cannot be found.

Closes-Bug: #1395830
Change-Id: Iad714ff6e577bc9d7cf69b8654a7eb726969279e

Fix format errors in brick/iscsi LOG messages

Currently in cinder.brick.iscsi.iscs:LioADM.create_iscsi_target
The Log message for the exception is:
  LOG.error("%s" % e),

This rightfully results in:
  *** UnicodeError: UnicodeError(u'Message objects
      do not support str() because they may contain
      non-ascii characters. Please use unicode() or
      translate() instead.',)

In some cases this causes the Volume service to stop and
doesn't help a ton with debug. While looking at this also
noticed a number of other similar cases where invalid LOG
messages were set up.  Following the i8n guidelines here:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Went ahead and cleaned the bulk of the LOG messages in this
file up to adhere to the guidelines as well as fixing the
UnicodeError described in the bug.

Change-Id: I33adf99ca25a2d8f869de5bfa85b4ca8429be05e

Merge "Set iet_conf to nonexistent file in unit test"

Merge "Rename oslo.concurrency to oslo_concurrency"

Add unit tests for NetApp do_setup methods

We need to ensure that our do_setup methods are properly calling check_flags.
This patch adds tests to that effect.  We also need to ensure that our config
documentation is accurate; this also fixes a minor issue for that.

Change-Id: I99eea59c2451fe1508bafa6ae1ed792b3d0b952e

Outputs the message about failing to bind to IPv6

Change-Id: I85d9bffc4f848a38fd11784e6634fd014cc43001

NetApp E-series: Do not log passwords in requests

Previously, requests to the backend that contained passwords were
not scrubbed prior to logging.

Closes-bug: 1383444

Change-Id: I389d5115e4a6ffbae6f0463a62015f6ac01ec2e9

Merge "Sync request_utils module from oslo-incubator"

Merge "Make GPFS driver compliant with logging standards"

Set iet_conf to nonexistent file in unit test

The Iet test in test_iscsi isn't setup to deal with
an actual iet.conf file.  The result is that if you happen
to be on a system that has an iet.conf file the test will fail
when it gets to the os.stat check.

This patch just uses a tempdir with a bogus file name that is
set as the iet_conf option to make sure the test never runs into
a situation where the file is actually there.

Change-Id: I5c8653a17250063660ca8aa369c537cc340bc4e9
Closes-Bug: #1400780

Fix issue with passing lists in filters

The Cinder db code already allows searching for a value in a list,
for example, id in ['id1', 'id2', 'id3']. The problem is when we
get the value at the API it comes as a string (e.g.
"['id1', 'id2', 'id3']", and therefore the filter fails. This was
already fixed for metadata filters, so just apply it to all filters.

We do a try/except because if it really is a string, then the
literal_eval will fail because we don't pass double quotes, such as
"'string'".  The current code therefore will now cover lists and
fall back to the original behavior for strings.

Change-Id: Idfd8298401a330bb99ddcd130268fabb6ef9d162
Closes-Bug: 1403875

Merge "Persist volume uuid on VMAX array"

Merge "Fixed a problem in terminate_connection in VMAX driver"

Merge "Add a provider_id column to Volumes and Snapshots"

Merge "LVM: Volume is deleted unexpectedly during volume migration"

Merge "Mock leaked _execute() calls in driver tests"

Merge "Add support for Purity Protection Groups to PureISCSIDriver"

Merge "encryption_id needs to be non-nullable"

Merge "rtstool on Ubuntu installs in /usr/local/bin"

Merge "Sync install_venv_common from oslo-incubator"

Rename oslo.concurrency to oslo_concurrency

oslo.concurrency-0.3.0 has moved its path to oslo_concurrency,
the old path oslo.concurrency can still work but is deprecated now.

Closes-Bug: #1398656
Change-Id: I52211d7b7e1db3454c99d27042dae506adb2c41c

Add a provider_id column to Volumes and Snapshots

There are a number of cases where there's some really ugly mapping
work in drivers to try and map the backend device-id to the
Cinder ID of a Volume or Snapshot.  Most drivers seem to work around this in
their own creative ways using their own mechanisms (metadata,
naming schemes etc).

It seems like it would be useful for a number of reasons however to
go ahead and add a simple column to the Volumes table that could be
used for storing a backend ID for the Volume and Snapshot.

Change-Id: Id07cdd1e03feac71ff34325d5abc68c5adc48266

Mock leaked _execute() calls in driver tests

Some drivers have _execute() calls being linked, causing tests to prompt
for password and eventual fail for time out. This prevents those
_execute calls from happening.

Closes-Bug: #1404414
Change-Id: I43a11c065799efe6f5b81dc15e1f7232c80d1070

Sync request_utils module from oslo-incubator

The request_utils module hasn't had a sync done since shortly
after the module was added.  This patch brings us up to date
with the latest oslo-incubator code.

This sync is needed to enable removal of the old gettextutils
and i18n code.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Changes being merged with this patch:
---------------------
5d40e143 - Remove code that moved to oslo.i18n
39625e18 - Set pbr 'warnerrors' option for doc build

Change-Id: Ib5b75d6ff38ff6f9571a0fdc30e854e046e66dd7

Sync periodic_task module from oslo-incubator

The periodic_task module hasn't been sync'd since the middle of the
Juno release cycle.  This patch brings it up to date with the
latest oslo-incubator code.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Changes merged with this patch:
---------------------
5d40e143 - Remove code that moved to oslo.i18n
a3220c51 - add list_opts to all modules with configuration options

Change-Id: I0d68ba54617be550244969b7672e95158126f64a

Persist volume uuid on VMAX array

This change saves the volume uuid in the ElementName field of
a SMI-S volume object so that it persists on the array.

Closes-Bug: #1395903
Change-Id: I53945f2864e6cfab756afdaeb17d45dfdac38c02

Fixed a problem in terminate_connection in VMAX driver

The VMAX driver unmaps the volume from the wrong VM in
terminate_connection during live migration. This patche
fixed this problem.

Closes-Bug: #1395845
Change-Id: Ida7136165b959a9e0d7d50c240b447bf237caa6c

Sync the latest middleware module from oslo-incubator

Middleware hasn't had a sync from oslo-incubator since the
middle of the icehouse development cycle.  This sync
brings us up to date with the latest changes.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Changes being merged with this patch by file:
---------------------
catch_errors.py
- ce8f8fa4 - Add middleware.catch_errors shim for Kilo
- 4504e4f4 - Remove middleware
- 5d40e143 - Remove code that moved to oslo.i18n
- 76183592 - add deprecation note to middleware
- 463e6916 - remove oslo log from middleware
- fcf517d7 - Update oslo log messages with translation domains
- fdcae242 - Middleware to catch all error in WSGI pipeline

request_id.py
- 4ffc4c87 - Add middleware.request_id shim for Kilo
- 4504e4f4 - Remove middleware
- 76183592 - add deprecation note to middleware

Change-Id: I572b4c186a8ba2f774ba840307b917f273c529ea

LVM: Volume is deleted unexpectedly during volume migration

When using LVMISCSIDriver, a volume is unexpectedly deleted during
volume migration operation. This problem only occurs when the
volume_group of backend A and backend B is same value such as
misconfiguration. Even if the configuration is wrong, cinder should
not delete the volume unexpectedly for user.

Closes-Bug: 1404013
Change-Id: I010be0c70589459a488cdef7cd83380eab27c61c

RBD: use image_conversion_dir for image operations

This patch deprecates the rbd-only 'volume_tmp_dir' from the rbd driver
in favor of image_conversion_dir for image operations.

Closes-Bug: #1375490
DocImpact: config option removal
Change-Id: I46ab21c2a90be136d1eb677fcefcc3d65c48a3c5

Sync the latest loopingcall module from oslo-incubator

We have not done a sync of loopingcall since its dependency
upon the old i18n module was removed.  To get that old code
removed we need to do this sync.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Change being merged with this patch:
---------------------
5d40e143 -  Remove code that moved to oslo.i18n

Change-Id: I2fd9cb73cf347adfb2ce203e45d5059604ed5f7a

Sync install_venv_common from oslo-incubator

The install_venv_common modules hasn't had a sync done
since early in the icehouse release.  This sync brings
Cinder's version up to date with the latest code.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Change being merged with this patch:
---------------------
fe3389e5 - Improve help strings

Change-Id: I66fd66650a7106b8d20e4fc483dabb91184922f9

Sync latest imageutils from oslo-incubator

Performing a sync as imageutils has not been updated since late
in the Icehouse release cycle.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Change being merged with this patch:
---------------------
b2d35eec - Use list.pop(0) to keep the code simpler

Change-Id: If15f311db093f05fc97568bdcc5f7ad8ea8abddf

rtstool on Ubuntu installs in /usr/local/bin

The cinder-rtstool which is required to use LIO iscsi_helper
installs in /usr/local/bin on Ubuntu and /usr/bin on RHEL
variants.  Currently the rootwrap.conf only has /usr/bin
configured, as a result LIO can't be used on Ubuntu without
modifying the rootwrap file.

This patch just adds /usr/local/bin to the rootwrap.conf; Honestly
I'm not sure if this is good, bad or doesn't matter.  May be able
to address this via documentation, or upstream in the packaging of
cinder-rtstool instead?  Not sure what's preferred.

Change-Id: I577e10df25181c7d4ca8189b10640a8e6e39b047
Closes-Bug: #1402076

encryption_id needs to be non-nullable

DB2 10.5 doesn't support primary key constraints over
nullable columns, so we have to make this column
non-nullable.

Change-Id: I3f6ded20cd8cf1902347f58f91c05446739b48f5
Closes-Bug: #1404303

Mock calls to rpm and dpkg from NetApp unit tests

This patch fixes an issue wherein several NetApp unit tests ran
OS rpm or dpkg commands because the callouts to these commands
were not mocked out during driver initialization.

It also replaces 'rpm -qa' with 'rpm -q' when that command is
invoked since the latter also works and is faster.

Closes-Bug: 1393545
Change-Id: I3d5cfeb2ee39ecb6af5b312dfa6c2a585cf8e0e3

Fix files in Cinder with execute bit set

I noticed there were a number of files in the cinder/volume
directory tree that have the execute bit set for no apparent
reason.  I think in all cases it was because that was just
they way the permissions on the file were originally set based
on the user's umask settings.

This patch changes the permissions to be consistent with the other
python files in the cinder/volume directory.

Change-Id: Ib52cbe16ed426392c3b296b56b4d2592b4808e65

Merge "Fix typo that escaped review in connector.py"

Add error handling to _connect function in PureISCSIDriver

The driver was throwing an exception when trying to connect a volume
to a host when they were already connected.  This change catches the
exception and looks up the existing connection information to use as
a return value.

Change-Id: Id0e6b1d3c3cd1e51745e97f99eef88a15e285526
Closes-Bug:  1403631

Merge "Fix HNAS driver initialization"

Merge "Isolate Cinder Attach and Connect in Base Driver"

Merge "Remove redundant args for clone_image method"

Fix typo that escaped review in connector.py

There was a typo (cann't) that escaped review of the
Huawei SDSHypervisor connector.  This patch fixes that
typo.

It also adds a period to one of the log messages to be
consistent with the rest of the messages.

Change-Id: Iddb6639ebdbb5facdf47800fc783330d674bff2f

Merge "Add Oracle ZFSSA NFS Cinder Driver Support"

Merge "Logging updates to properly use ',' instead of '%'"

Remove redundant args for clone_image method

The clone_image method takes both image_id and image_meta
as arguments.  No big deal, except the image id is included
in the image_meta; so there's really no reason to have both.

This patch removes the image_id argument and updates those
drivers that implement clone_image to extract the image ID
from the provided image_metadata.

Change-Id: Ibf3d3f7520f0e6d30081e98bdcbf1a07ebdb44ab

Add Oracle ZFSSA NFS Cinder Driver Support

This change will add a new Oracle ZFSSA NFS Driver to Cinder.
This driver supports all minimum features required by a driver for the kilo release.
This driver uses the base nfs driver methods for creating and deleting volumes.

Certification test results: https://bugs.launchpad.net/cinder/+bug/1400406

Change-Id: Id61fe3319172c8ff19ed421ead618e583a8d9263
Implements: blueprint oracle-zfssa-nfs-cinder-driver

Fix HNAS driver initialization

In iSCSI driver, when CHAP authentication is enabled, the driver would throw
an error message in the attempt to create the first volume after the driver
initialization. This is fixed by passing the right value to set_targetsecret.

Closes-Bug: #1402773
Change-Id: I554a67a2e19edb2e09c12febc339522719dfbe00

Merge "Updated from global requirements"

Merge "Convert test_image_utils tests to mock"

Merge "Catch ImageNotFound exception when deleting rbd volume"

Merge "Improve use of temporary_file and temporary_dir"

Merge "Fixed wait for job completion in VMAX driver"

Merge "Remove iscsi_helper calls from base iscsi driver"

Merge "Uncouple scheduler stats from volume creation"

Merge "Update global requirements"

Merge "Implement Huawei SDSHypervisor driver"

Merge "Implement Huawei SDSHypervisor connector"

Merge "Fibrechannel and iSCSI for Violin Memory 6000 Series Arrays"

Merge "Add Scality SRB driver"

Make GPFS driver compliant with logging standards

This patch adds the log level markers (_LI, _LE or _LW) where they
were missing.  It also changes the use of '%' to ',' for inserting
variables into log messages.  These changes are made based on the
guidelines in:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Change-Id: I46dc4855776638a133a65451c7e32269dd09b8d1
Partial-Bug: 1384312

Updated from global requirements

Change-Id: I90b81f0c11fa7e7d0bb9a0e24dd9c9a4dd90de34

Fixed wait for job completion in VMAX driver

The VMAX driver used non-thread-safe variables in the wait for job
completion routines, resulting in failures or timeouts during concurrent
operations. This patch fixed the problem.

Closes-Bug: #1393568
Change-Id: I444b961a6543886da35fb44127b1cf7c509ce8d8

Logging updates to properly use ',' instead of '%'

The i18n logging standards recommend using ',' for
the addition of variables to log strings.  This patch
implements that change for the ibmnas driver.

Change-Id: Ia3b79ffa1d9f812848d9b00837b0f92fb16619f5

Add support for Purity Protection Groups to PureISCSIDriver

We will be needing access to the Protection Group features of Purity to
enable features like Replication and Consistency Groups. To do this we
need to add new helpers for the FlashArray object for the required REST
API methods.

DocImpact: To bring in pgroup support we will need to bump up the
required REST API version to 1.2+ and remove support for 1.0 and 1.1

Implements: blueprint pure-iscsi-add-pgroup-support
Change-Id: Ia446615e0c03b91fc1da75489855e77c29639efa

Catch ImageNotFound exception when deleting rbd volume

When deleting a rbd volume it is possible for remove() to
throw a ImageNotFound exception. In this case we should
catch the exception, so the volume delete can continue.

Closes-Bug: 1403172
Change-Id: I32cf9d3774c129cda4449996ceeb4b43b7e42904

Isolate Cinder Attach and Connect in Base Driver

The base Cinder Driver combines the Attach process and the
actual Connect process all under the Attach method.  This makes
sense, but the method can be split between the parts that perform
things like DB updates and RPC calls and those that just take iqn
info and actually make connections to the Cinder Volume Node.

This would allow Drivers to utilize the connector portion of the
code to add enhancements of their own.

Change-Id: I9e3cd24dc978e7c7672bf1eb09626428d2ba144d

Uncouple scheduler stats from volume creation

Capture and report scheduler stats independently from volume creation.
Without this scheduler stats were not reported until the first volume
creation and were subsequently only updated each time a volume was
created.

Change-Id: Ia1a809ba10e0595e6c255fde683f7c252377ac09
Fixes-bug: 1402790
Fixes-bug: 1402806

Fibrechannel and iSCSI for Violin Memory 6000 Series Arrays

This patch adds both Fibrechannel and iSCSI driver support for Violin
Memory 6000 Series All-Flash Arrays.

Certification results posted at:
https://bugs.launchpad.net/cinder/+bug/1399911

Change-Id: I9f62fe79e892cff01abdb02dbd95be8e432f8ab7
Implements: blueprint violinmemory-v6000-storage-drivers

Add Scality SRB driver

This patch implements the `srb-driver` blueprint. It uses a similar
approach as Ceph's RBD in the way it exposes a block device to the
system.

The driver controls the SRB Linux kernel driver through a sysfs
interface and leverages LVM for snapshot management. The native block
driver talks to Scality's storage system (or any other vendor exposing
a compatible CDMI interface) through a HTTP-based RESTful protocol.

iSCSI export to Nova is provided.

Driver cert results are provided in bug #1400327.

Implements: blueprint srb-driver
See: https://blueprints.launchpad.net/cinder/+spec/srb-driver
Related-Bug: #1400327
See: https://bugs.launchpad.net/cinder/+bug/1400327
Co-Authored-By: Nicolas Trangez <ikke@nicolast.be>
Co-Authored-By: JordanP <jordan.pittier@scality.com>
Change-Id: Id8d00df9db4004d5aeb8c0269d114ef50e0b8f8e

Update volume driver for Huawei storage system

This driver is similar to the previous one, but contains
the following differences:
1. Remove smart tier support because that our product does not
   support smart tier any more. 18000 does not support smart
   tier, so this has no problem with 18000 series.
2. Update qos support implementation.
3. Add synchronization because that our tests show that when we
   create volumes or snapshots in batch in a shell script with cli
   command, our array may occur error.
Certification test result for Huawei storage drivers:
https://bugs.launchpad.net/cinder/+bug/1399038

Implements: blueprint huawei-storage-drivers
Change-Id: I69c32ef3225c23881be522eac451b8855805e35d

Implement Huawei SDSHypervisor driver

It uses socket and CLI to communicate with SDSHypervisor
to perform the following:
* Create/Delete Volume
* Extend Volume
* Create/Delete Snapshot
* Create Volume from Snapshot
* Delete Volume Snapshot
* Attach/Detach Volume
* Get Volume Stats
* Clone Volume

Certification test result for Huawei SDSHypervisor:
https://bugs.launchpad.net/cinder/+bug/1368064

Implements: blueprint huawei-sdshypervisor-driver
Change-Id: Ied72c5568875eae2387cf6271f31ddc5eebcc4bb

Merge "Fix HNAS driver confusing error message"

Merge "Added volume type description for volume type API"

Merge "Correct default service_name for nova_catalog*_info config option"