Create proxy volume driver

Drivers that need a special proxy logic can't inherit from BaseVD
directly. This is problematic for the ABCmeta feature since the class
model can't be accessed easily with isinstance().

Change-Id: I553a72991bb450e8581a757fb98a264ed1ba8fb2
Partly-Implements: blueprint abc-volume-drivers

Merge "Fix 3PAR host persona mapping to match WSAPI"

Merge "Make 3PAR drivers compliant with logging standards"

Merge "Fixing 3PAR connection name cache error"

Merge "Fix handling of serialized data in filtering of volumes"

Fix handling of serialized data in filtering of volumes

Commit 4aaf40ba1aab4d7c347b05750d0fe21f8d1bcc68 has introduced a bug.
'ast.literal_eval(v)' throws exception 'SyntaxError' if 'v' is an expression
such as UUID '920da701-93c1-4178-9f1a-ef1c7a8a384d', 'd-', or 'd+'.
Catch the 'SyntaxError' exception in addition to 'ValueError' and
assume 'v' is a string. So the API can handle the request successfully
rather than returning a '500' error code.

Change-Id: Ib50cf3be41ae96ed1f9ef0463ced71443e59061c
Closes-Bug: #1406504

Merge "Add a privileged user for OpenStack services"

Merge "Add specific docs build option to tox"

Merge "Add support to PureISCSIDriver for Consistency Groups"

Merge "Mox -> Mock for test_block_device.py"

Merge "Remove check on db_exc.DBError"

Merge "Add unit tests for NetApp do_setup methods"

Remove check on db_exc.DBError

After using oslo.db >= 0.4.0 we will never get DBError Exception

Change-Id: I94d6a155df1d71658e7271ab4d55122906216a87

Add specific docs build option to tox

Now the documentation can be build in a clean virtual env with "tox
-edocs".

Change-Id: I0f2752f200caa21ad0f26e53df5c2757dd94c78a

Merge "RBD: use image_conversion_dir for image operations"

Merge "Brick: fix bug in tgt conf for volume"

Merge "Imported Translations from Transifex"

Merge "Fix issue with passing lists in filters"

Merge "Fix broken StorPool driver"

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: If00e7075870d6d391bf8722766e9dde1ca861713

Add a privileged user for OpenStack services

Currently Cinder makes all requests to other services (Nova, Swift,
etc.) with current user context. Sometimes Cinder needs privileged
rights for external queries (e.g. asking Nova where an instance is
hosted); there is no way to do it yet.

This patch adds to ability to configure an account with special rights
in the configuration ('os_privileged_user_name',
'os_privileged_user_password' and 'os_privileged_user_tenant' options).
Then, requests that need special permissions can be achieved by creating
a client(privileged_user=True).

Note: This user does not necessarily need to have an admin role
associated with it. For instance, policies can be changed to allow a
specific user (without any roles) to perform special actions.

DocImpact: New configuration options to set a privileged user account
Change-Id: I61d8a6de1c5db5ee2ecce124997f9b6447b04e47

Merge "Sync the latest loopingcall module from oslo-incubator"

Add support to PureISCSIDriver for Consistency Groups

This change adds implementations for the required driver methods for
Consistency Groups to be supported with the PureISCSIDriver. There is a
nice direct mapping between Consistency Groups and Purity Protection
Groups which makes the implementation pretty straightforward.

Implements: blueprint pure-iscsi-consistency-group
Change-Id: I8b97947d4788a7a7ba2dfa1d2b07645eafba76ec

Merge "Handle the volume not found case in the VMAX driver"

Merge "Expand the description of extra_capabilities"

Expand the description of extra_capabilities

The existing description of extra_capabilities was a bit terse,
meaning deployers couldn't easily gauge the power of this option.
This patch expands the textual description using information from
the blueprint and original commit message, so it can be picked
up automatically by the documentation.

Change-Id: Iac2b6d8a3ce4875a8c1d9874dd7f0e4cf7c435c0
Closes-Bug: 1288044

Merge "Brick LVM: Remove self.lv_list"

Fix broken StorPool driver

The newly added StorPool driver has a number of issues;
It imports it's own 3'rd party libs which are not in the
requirements file, it declares conf options but never registers
them, and as a result of these two things it break the ability
to generate a configuration file.

This patch adds a try_import around the import storpool calls
like we do in other drivers, and it registers the config options
properly.

We also move the api setting out of init and into the check_setup
so the service doesn't crash if somebody tries to load the driver
without the required storpool modules.

Closes-Bug: 1405023
Closes-Bug: 1405022
Closes-Bug: 1405016
Closes-Bug: 1403532

Change-Id: I61340ab7c5abcdc21dbb12cf0693da036e69e90c

Merge "Replace the NetApp driver proxy layer with a proper factory."

Merge "Revert "Outputs the message about failing to bind"

Merge "Sync periodic_task module from oslo-incubator"

Merge "Sync latest imageutils from oslo-incubator"

Merge "Sync the latest middleware module from oslo-incubator"

Brick LVM: Remove self.lv_list

This member isn't used anywhere, and now that requests for
specific LVs are overwriting self.lv_list with a subset of
the LVs that are present, it doesn't contain coherent info
anyway.

Change-Id: I4d661869012937cc40177e53c8546d5cd7c98cd9

Revert "Outputs the message about failing to bind

This reverts commit 8b59396182ceacb704e00afe1aee040a19e2a187.

This commit broke the ability to create Iscsi targets w/
cinder-rtstool. Everything seems to be working fine except there
are issues with regards to how rtstool output is parsed in that
any output (regardless of exit status) causes the command
to be marked as failed.

Suggesting this as a quick revert until we can investigate
the proper fix for error handling with cinder-rtstool.

Change-Id: I439433571ed1d01d162f685f8441b28bd6bffa43
Closes-bug: #1405228

Replace the NetApp driver proxy layer with a proper factory.

The proxy implementation required a hack in the Abstract Base
Classes project in Cinder core.  This factory implementation
removes the need for the hack.  It also improves logging, as
the actual driver object is provided to the volume manager
instead of the driver proxy.

Change-Id: I28f4798b9e799547d1696d2f135d3302b3c553fe
Closes-Bug: 1405060

Quobyte Driver Exception Cleanup

Clean up deprecated vendor specific exception code in Quobyte Cinder Driver.
Removes superfluous exceptions, uses standard Cinder exceptions instead.

Change-Id: I3225915a5f90ae22093d3c590fb04fbf28fc2573
Implements: blueprint qb-drv-exception-cleanup

Merge "Mock calls to rpm and dpkg from NetApp unit tests"

Merge "NetApp E-series: Do not log passwords in requests"

Merge "Add error handling to _connect function in PureISCSIDriver"

Handle the volume not found case in the VMAX driver

When a volume cannot be found on the array, VMAX driver throws
an exception. This brings a volume into error_deleting state during
the volume deletion operation. This patch fixed it by returning None
when a volume cannot be found.

Closes-Bug: #1395830
Change-Id: Iad714ff6e577bc9d7cf69b8654a7eb726969279e

Fix format errors in brick/iscsi LOG messages

Currently in cinder.brick.iscsi.iscs:LioADM.create_iscsi_target
The Log message for the exception is:
  LOG.error("%s" % e),

This rightfully results in:
  *** UnicodeError: UnicodeError(u'Message objects
      do not support str() because they may contain
      non-ascii characters. Please use unicode() or
      translate() instead.',)

In some cases this causes the Volume service to stop and
doesn't help a ton with debug. While looking at this also
noticed a number of other similar cases where invalid LOG
messages were set up.  Following the i8n guidelines here:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Went ahead and cleaned the bulk of the LOG messages in this
file up to adhere to the guidelines as well as fixing the
UnicodeError described in the bug.

Change-Id: I33adf99ca25a2d8f869de5bfa85b4ca8429be05e

Merge "Set iet_conf to nonexistent file in unit test"

Merge "Rename oslo.concurrency to oslo_concurrency"

Add unit tests for NetApp do_setup methods

We need to ensure that our do_setup methods are properly calling check_flags.
This patch adds tests to that effect.  We also need to ensure that our config
documentation is accurate; this also fixes a minor issue for that.

Change-Id: I99eea59c2451fe1508bafa6ae1ed792b3d0b952e

Outputs the message about failing to bind to IPv6

Change-Id: I85d9bffc4f848a38fd11784e6634fd014cc43001

NetApp E-series: Do not log passwords in requests

Previously, requests to the backend that contained passwords were
not scrubbed prior to logging.

Closes-bug: 1383444

Change-Id: I389d5115e4a6ffbae6f0463a62015f6ac01ec2e9

Merge "Sync request_utils module from oslo-incubator"

Merge "Make GPFS driver compliant with logging standards"

Set iet_conf to nonexistent file in unit test

The Iet test in test_iscsi isn't setup to deal with
an actual iet.conf file.  The result is that if you happen
to be on a system that has an iet.conf file the test will fail
when it gets to the os.stat check.

This patch just uses a tempdir with a bogus file name that is
set as the iet_conf option to make sure the test never runs into
a situation where the file is actually there.

Change-Id: I5c8653a17250063660ca8aa369c537cc340bc4e9
Closes-Bug: #1400780

Fix issue with passing lists in filters

The Cinder db code already allows searching for a value in a list,
for example, id in ['id1', 'id2', 'id3']. The problem is when we
get the value at the API it comes as a string (e.g.
"['id1', 'id2', 'id3']", and therefore the filter fails. This was
already fixed for metadata filters, so just apply it to all filters.

We do a try/except because if it really is a string, then the
literal_eval will fail because we don't pass double quotes, such as
"'string'".  The current code therefore will now cover lists and
fall back to the original behavior for strings.

Change-Id: Idfd8298401a330bb99ddcd130268fabb6ef9d162
Closes-Bug: 1403875

Merge "Persist volume uuid on VMAX array"

Merge "Fixed a problem in terminate_connection in VMAX driver"

Merge "Add a provider_id column to Volumes and Snapshots"

Merge "LVM: Volume is deleted unexpectedly during volume migration"

Merge "Mock leaked _execute() calls in driver tests"

Merge "Add support for Purity Protection Groups to PureISCSIDriver"

Merge "encryption_id needs to be non-nullable"

Merge "rtstool on Ubuntu installs in /usr/local/bin"

Merge "Sync install_venv_common from oslo-incubator"

Rename oslo.concurrency to oslo_concurrency

oslo.concurrency-0.3.0 has moved its path to oslo_concurrency,
the old path oslo.concurrency can still work but is deprecated now.

Closes-Bug: #1398656
Change-Id: I52211d7b7e1db3454c99d27042dae506adb2c41c

Add a provider_id column to Volumes and Snapshots

There are a number of cases where there's some really ugly mapping
work in drivers to try and map the backend device-id to the
Cinder ID of a Volume or Snapshot.  Most drivers seem to work around this in
their own creative ways using their own mechanisms (metadata,
naming schemes etc).

It seems like it would be useful for a number of reasons however to
go ahead and add a simple column to the Volumes table that could be
used for storing a backend ID for the Volume and Snapshot.

Change-Id: Id07cdd1e03feac71ff34325d5abc68c5adc48266

Mock leaked _execute() calls in driver tests

Some drivers have _execute() calls being linked, causing tests to prompt
for password and eventual fail for time out. This prevents those
_execute calls from happening.

Closes-Bug: #1404414
Change-Id: I43a11c065799efe6f5b81dc15e1f7232c80d1070

Sync request_utils module from oslo-incubator

The request_utils module hasn't had a sync done since shortly
after the module was added.  This patch brings us up to date
with the latest oslo-incubator code.

This sync is needed to enable removal of the old gettextutils
and i18n code.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Changes being merged with this patch:
---------------------
5d40e143 - Remove code that moved to oslo.i18n
39625e18 - Set pbr 'warnerrors' option for doc build

Change-Id: Ib5b75d6ff38ff6f9571a0fdc30e854e046e66dd7

Sync periodic_task module from oslo-incubator

The periodic_task module hasn't been sync'd since the middle of the
Juno release cycle.  This patch brings it up to date with the
latest oslo-incubator code.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Changes merged with this patch:
---------------------
5d40e143 - Remove code that moved to oslo.i18n
a3220c51 - add list_opts to all modules with configuration options

Change-Id: I0d68ba54617be550244969b7672e95158126f64a

Persist volume uuid on VMAX array

This change saves the volume uuid in the ElementName field of
a SMI-S volume object so that it persists on the array.

Closes-Bug: #1395903
Change-Id: I53945f2864e6cfab756afdaeb17d45dfdac38c02

Fixed a problem in terminate_connection in VMAX driver

The VMAX driver unmaps the volume from the wrong VM in
terminate_connection during live migration. This patche
fixed this problem.

Closes-Bug: #1395845
Change-Id: Ida7136165b959a9e0d7d50c240b447bf237caa6c

Sync the latest middleware module from oslo-incubator

Middleware hasn't had a sync from oslo-incubator since the
middle of the icehouse development cycle.  This sync
brings us up to date with the latest changes.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Changes being merged with this patch by file:
---------------------
catch_errors.py
- ce8f8fa4 - Add middleware.catch_errors shim for Kilo
- 4504e4f4 - Remove middleware
- 5d40e143 - Remove code that moved to oslo.i18n
- 76183592 - add deprecation note to middleware
- 463e6916 - remove oslo log from middleware
- fcf517d7 - Update oslo log messages with translation domains
- fdcae242 - Middleware to catch all error in WSGI pipeline

request_id.py
- 4ffc4c87 - Add middleware.request_id shim for Kilo
- 4504e4f4 - Remove middleware
- 76183592 - add deprecation note to middleware

Change-Id: I572b4c186a8ba2f774ba840307b917f273c529ea

LVM: Volume is deleted unexpectedly during volume migration

When using LVMISCSIDriver, a volume is unexpectedly deleted during
volume migration operation. This problem only occurs when the
volume_group of backend A and backend B is same value such as
misconfiguration. Even if the configuration is wrong, cinder should
not delete the volume unexpectedly for user.

Closes-Bug: 1404013
Change-Id: I010be0c70589459a488cdef7cd83380eab27c61c

RBD: use image_conversion_dir for image operations

This patch deprecates the rbd-only 'volume_tmp_dir' from the rbd driver
in favor of image_conversion_dir for image operations.

Closes-Bug: #1375490
DocImpact: config option removal
Change-Id: I46ab21c2a90be136d1eb677fcefcc3d65c48a3c5

Sync the latest loopingcall module from oslo-incubator

We have not done a sync of loopingcall since its dependency
upon the old i18n module was removed.  To get that old code
removed we need to do this sync.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Change being merged with this patch:
---------------------
5d40e143 -  Remove code that moved to oslo.i18n

Change-Id: I2fd9cb73cf347adfb2ce203e45d5059604ed5f7a

Sync install_venv_common from oslo-incubator

The install_venv_common modules hasn't had a sync done
since early in the icehouse release.  This sync brings
Cinder's version up to date with the latest code.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Change being merged with this patch:
---------------------
fe3389e5 - Improve help strings

Change-Id: I66fd66650a7106b8d20e4fc483dabb91184922f9

Sync latest imageutils from oslo-incubator

Performing a sync as imageutils has not been updated since late
in the Icehouse release cycle.

Current HEAD in OSLO:
---------------------
commit 36b0e8570b449129d6d474c03b02ceb62edb78df
Date:   Thu Dec 11 11:27:08 2014 +0100
We shouldn't replace `oslo-incubator` in comments

Change being merged with this patch:
---------------------
b2d35eec - Use list.pop(0) to keep the code simpler

Change-Id: If15f311db093f05fc97568bdcc5f7ad8ea8abddf

rtstool on Ubuntu installs in /usr/local/bin

The cinder-rtstool which is required to use LIO iscsi_helper
installs in /usr/local/bin on Ubuntu and /usr/bin on RHEL
variants.  Currently the rootwrap.conf only has /usr/bin
configured, as a result LIO can't be used on Ubuntu without
modifying the rootwrap file.

This patch just adds /usr/local/bin to the rootwrap.conf; Honestly
I'm not sure if this is good, bad or doesn't matter.  May be able
to address this via documentation, or upstream in the packaging of
cinder-rtstool instead?  Not sure what's preferred.

Change-Id: I577e10df25181c7d4ca8189b10640a8e6e39b047
Closes-Bug: #1402076

encryption_id needs to be non-nullable

DB2 10.5 doesn't support primary key constraints over
nullable columns, so we have to make this column
non-nullable.

Change-Id: I3f6ded20cd8cf1902347f58f91c05446739b48f5
Closes-Bug: #1404303

Mock calls to rpm and dpkg from NetApp unit tests

This patch fixes an issue wherein several NetApp unit tests ran
OS rpm or dpkg commands because the callouts to these commands
were not mocked out during driver initialization.

It also replaces 'rpm -qa' with 'rpm -q' when that command is
invoked since the latter also works and is faster.

Closes-Bug: 1393545
Change-Id: I3d5cfeb2ee39ecb6af5b312dfa6c2a585cf8e0e3

Fix files in Cinder with execute bit set

I noticed there were a number of files in the cinder/volume
directory tree that have the execute bit set for no apparent
reason.  I think in all cases it was because that was just
they way the permissions on the file were originally set based
on the user's umask settings.

This patch changes the permissions to be consistent with the other
python files in the cinder/volume directory.

Change-Id: Ib52cbe16ed426392c3b296b56b4d2592b4808e65

Merge "Fix typo that escaped review in connector.py"

Add error handling to _connect function in PureISCSIDriver

The driver was throwing an exception when trying to connect a volume
to a host when they were already connected.  This change catches the
exception and looks up the existing connection information to use as
a return value.

Change-Id: Id0e6b1d3c3cd1e51745e97f99eef88a15e285526
Closes-Bug:  1403631

Merge "Fix HNAS driver initialization"

Merge "Isolate Cinder Attach and Connect in Base Driver"

Merge "Remove redundant args for clone_image method"

Fix typo that escaped review in connector.py

There was a typo (cann't) that escaped review of the
Huawei SDSHypervisor connector.  This patch fixes that
typo.

It also adds a period to one of the log messages to be
consistent with the rest of the messages.

Change-Id: Iddb6639ebdbb5facdf47800fc783330d674bff2f

Fix 3PAR host persona mapping to match WSAPI

The HP 3PAR drivers had mapped it's extra specs host personas to match
the 3PAR CLI/IMC, the WSAPI server has a different mapping for the
same personas. This patch corrects the mapping.

The Configuration Reference Guide will need to be updated to document
the correct mappings to match the code.
Closes-Bug: 1403997
DocImpact

Change-Id: I59272b4eb39392deb309771b10ebfecd0cf09454

Merge "Add Oracle ZFSSA NFS Cinder Driver Support"

Make 3PAR drivers compliant with logging standards

The guidelines are specified here:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Change-Id: I79beb65d94d338ccd96df789691c96b86ddbaac2
Partial-Bug: 1384312

Fixing 3PAR connection name cache error

The 3PAR driver had a connection name cache in 3PAR common.  If
Cinder was restarted or the common object was destroyed the cache
was lost.  Instead of having the cache in 3PAR common, the 3PAR
driver can query the backend to see if there is a host already
available.  Replacing the name cache with a backend query had minimal
impact on performance of the driver and eliminates the problem of the
cache being destroyed/lost.

Closes-Bug: #1398914
Change-Id: Ie5467abc38946cceb4896fe9cbbd1606c7fbfba2

Merge "Logging updates to properly use ',' instead of '%'"

Remove redundant args for clone_image method

The clone_image method takes both image_id and image_meta
as arguments.  No big deal, except the image id is included
in the image_meta; so there's really no reason to have both.

This patch removes the image_id argument and updates those
drivers that implement clone_image to extract the image ID
from the provided image_metadata.

Change-Id: Ibf3d3f7520f0e6d30081e98bdcbf1a07ebdb44ab

Add Oracle ZFSSA NFS Cinder Driver Support

This change will add a new Oracle ZFSSA NFS Driver to Cinder.
This driver supports all minimum features required by a driver for the kilo release.
This driver uses the base nfs driver methods for creating and deleting volumes.

Certification test results: https://bugs.launchpad.net/cinder/+bug/1400406

Change-Id: Id61fe3319172c8ff19ed421ead618e583a8d9263
Implements: blueprint oracle-zfssa-nfs-cinder-driver

Fix HNAS driver initialization

In iSCSI driver, when CHAP authentication is enabled, the driver would throw
an error message in the attempt to create the first volume after the driver
initialization. This is fixed by passing the right value to set_targetsecret.

Closes-Bug: #1402773
Change-Id: I554a67a2e19edb2e09c12febc339522719dfbe00

Merge "Updated from global requirements"

Merge "Convert test_image_utils tests to mock"

Merge "Catch ImageNotFound exception when deleting rbd volume"

Merge "Improve use of temporary_file and temporary_dir"

Merge "Fixed wait for job completion in VMAX driver"

Merge "Remove iscsi_helper calls from base iscsi driver"

Merge "Uncouple scheduler stats from volume creation"

Merge "Update global requirements"

Merge "Implement Huawei SDSHypervisor driver"