Merge "Dell Storage Center API change fails init_conn"

Merge "Simplify cxt test_create_export() unit test"

Dell Storage Center API change fails init_conn

An attribute in the dell storage center REST API containing
the world wide name of the target device changed.  This meant
that on intialize connection we were returning None instead of
the wwn.

The driver has been changed to look for the new attribute and
to fall back to the old.  If neither is found it will not
return a target wwn of None.

Change-Id: I6ae6870d46937089bd6ed8799895f7068eebf01d
Closes-Bug: 1435935

Merge "Change leftover oslo.* to oslo_*"

Merge "Tests: Fix az test failure when PYTHONHASHSEED != 0"

Change leftover oslo.* to oslo_*

Use oslo_i18n instead of "from oslo import i18n"
Use oslo_messaging instead of "from oslo import messaging"

Partial-Bug: 1409733

Change-Id: If119603e4f89965d0c9e5917b2772ae0e7ddf3d2

Update file doc string for pure.py

The PureISCSIDriver now requires a higher version of the REST API, this
causes the required Purity version to go up to 4.0.0. The doc string
for the pure.py file was not updated to reflect this.

Change-Id: Ibb133a6ab689c98aee0ac16946d059a647f482d3
Closes-Bug: 1434580

Merge "Remove chap secret DEBUG logging in PureISCSIDriver"

Merge "update oslo policy to remove policy.d log spam"

Merge "Scality SOFS : Use ensure_tree from fileutils"

update oslo policy to remove policy.d log spam

After oslo policy added config dirs it started spamming the logs
relentlessly on if you didn't have a policy.d directory on your
system. This is a very unfriendly upgrade to operators.

A fix was provided in the incubator just before incubator policy was
deleted. This syncs in that fix.

Change-Id: Idf9c63c52561acdfe5463fee35dbc497c5e1fde5
Related-Bug: #1421863

Merge "Logging not using oslo.i18n guidelines"

Merge "Fix logging mistake in swift backup driver"

Merge "Fix SAN generic driver ssh whitespaced commands"

Merge "Removing Windows drivers for no reported CI"

Merge "Remove error messages from multipath command output before parsing"

Merge "Removing Huawei drivers for no reported CI"

Remove chap secret DEBUG logging in PureISCSIDriver

We are removing a small piece of code that caused the CHAP secret to be logged
in plain text in the log file when DEBUG level logging is turned on in Cinder.
This is undesirable so it is being taken out.

Change-Id: I119800e2c3695201e9fca544f597ea9a577a2809
Closes-Bug: 1434320

Merge "Removing Zadara driver for no reported CI"

Removing Windows drivers for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Idd348bb81680c3f06a3a732d7e2ae657cceaa6f2

Merge "Removing Netapp FC drivers for no reported CI"

Merge "Removing DRBD driver for no reported CI"

Merge "Removing Fujitsu driver for no reported CI"

Merge "Removing FusionIO driver for no reported CI"

Merge "Removing Nexenta driver for no reported CI"

Merge "Removing Symantec NFS driver for no reported CI"

Merge "Removing StorPool driver for no reported CI"

Merge "Removing ZFSSA driver for no reported CI"

Merge "Removing Coraid driver for no reported CI"

Merge "Removing HP MSA driver for no reported CI"

Merge "Make the 3PAR drivers honor the pool in create"

Merge "Add retry to create resource in Datera driver"

Fix logging mistake in swift backup driver

After recent swift driver refactoring a small mistake was introduced
causing c-bak to log an exception because of wrong number of arguments
to format a string. This commit fixes the issue.

Change-Id: I2e322ae6a2495771c89fa25ab5474da20eecc80d
Closes-Bug: 1434188

Removing Zadara driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]-
http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I016e22c857f520a7eb79e1ed5b36735a97f68b68

Removing Huawei drivers for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I0599a8721b14ba4f2a255188b71be6d62ae8cc1a

Removing Netapp FC drivers for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I85ed137ddb1929509f9930cd1de91671dde3db42

Removing Fujitsu driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer has chosen not to respond
to the CI deadline email and report a CI to ensure their driver
integration is successful. Therfore, we can not validate the driver is
working in Cinder today in a continuous way.

DocImpact
[1] - http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Ibe9a3cc9831a1ef4aa7cbdb15e09bced353c738a

Removing DRBD driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: If4b119ec6ca80dcf28530e77e1f98bda04ba6eab

Removing FusionIO driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer has chosen not to respond
to the CI deadline email and report a CI to ensure their driver
integration is successful. Therfore, we can not validate the driver is
working in Cinder today in a continuous way.

DocImpact
[1] - http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Ic5881eec84e3069f80543bb20b0132ddb20d90ad

Removing Nexenta driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I732612e671c57c0b611f1016f22c89a886a317f7

Removing Symantec NFS driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I38b66f8df30508704df6081f18a09a3a12853858

Removing StorPool driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I024d97038f6e027bd5f154d2933438847962fcb4

Removing ZFSSA driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html
Change-Id: I5126ee5c56d2a7382e67626d28197eafa5940be5

Merge "Revert "Datera's export to avoid deprecated keys""

Make the 3PAR drivers honor the pool in create

Currently, the 3PAR drivers rely on the pool (CPG) existing
in the extra specs of a volume type.   This is the way that the
3PAR drivers supported the idea of 'pools' prior to Cinder
itself supporting pools.

Now, the 3PAR drivers will not use the CPG specified in the
extra specs of a volume type.   The drivers will log a warning
explaining that CPG is deprecated, and then override the CPG
setting with the pool name specified by the scheduler in the
volume['host'] entry.    This fixes a few bugs in the 3PAR
drivers.

Existing 3PAR deployments will need to update their cinder.conf
to specify the list of CPGs they want the driver to support as
pools in the hp3par_cpg=[list of cpgs] entry.  hp3par_cpg can be
a single CPG, or a comma separated list of CPGS.

The 3PAR best practice guide will be updated for the Kilo release
explaining how to upgrade from existing deployments and describe
how best to use CPGS as pools.

Closes-Bug: #1432876
DocImpact

Change-Id: I2c733ff3f13ba309cc07e07331b4945b1981a07a

Removing HP MSA driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because it's not supported, so it won't have
a CI reporting to ensure their driver integration is successful.
Therfore, we can not validate the driver is working in Cinder today in
a continuous way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Ia6681e943ffb807ff6b3064976f6ef8eb3259e65

Merge "Fix retype return value in volume driver base class"

Merge "Fix retype arguments in volume driver base class"

Merge "Fix allocated_capacity tracking when rescheduling"

Removing Coraid driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer has chosen not to respond
to the CI deadline email and report a CI to ensure their driver
integration is successful. Therfore, we can not validate the driver is
working in Cinder today in a continuous way.

DocImpact
[1] - http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I033960c21db91c3150daeffa3dae38005b7ef39b

Add retry to create resource in Datera driver

If the volume is still in a creating state, wait, and retry a few times.
Otherwise, raise an exception for the manager to set the volume into an
error state.

Closes-Bug: #1433543
Change-Id: If49fd9229f08301cedbd63399fe46475e73a83ef

Logging not using oslo.i18n guidelines

Part of multi-patch set for easier chunks.

There have been quite a few instances found where the
i18n guidelines are not being followed. I believe this
has helped lead to some of the confusion around how to
correctly do this. Other developers see this code and
assume it is an example of the correct usage.

This patch attempts to clean up most of those violations
in the existing codebase to hopefully help avoid some of
that confusion in reviews.

Some issues address:
* Correct log translation markers for different log levels
* Passing format values as arguments to call, not preformatting
* Not forcing translation via six.text_type and others

Guidelines can be found here:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Hacking checks will not be able to identify all violations of
the guidelines, but it could be useful for catching obvious ones
such as LOG.info("No markers!").

Change-Id: I38f52c6408b47ccb59ec2064b360f7d4427d6830
Partial-bug: 1433216

Merge "Windows iSCSI driver: Fixes copy disk method exception handling"

Tests: Fix az test failure when PYTHONHASHSEED != 0

The test_list_availability_zones_enabled_service test calls
a method which returns a tuple that is generated from a dict.
This is compared to a tuple in the test, which can fail when
PYTHONHASHSEED is not 0, due to the tuples containing elements
in different orders.  (Because the dict used to build the tuple
was ordered differently.)

For this test, we can convert to lists and sort them to do the
comparison, since the ordering is not important.

Partial-Bug: #1348818

Change-Id: Ib7e5d59073e5e243450e28492d68942f6088bb5f

Merge "Change datetime.now() to timeutils.utcnow() from oslo_utils"

Change datetime.now() to timeutils.utcnow() from oslo_utils

We use an UTC time to avoid the difference with time zones.

Change-Id: I15aa3b5d3337b90ccdcc6c4ac5d3c7d78108fe21
Related-Bug: #1288979

Merge "Update Violin REST client library name"

Merge "Add minimum qemu-img version check functions"

Merge "cinder-manage man update"

Merge "Remove the reference of volume['instance_uuid']in VNX driver"

Merge "EMC: Fix use of "_" as variable name"

Merge "Don't override extra specs with config in VMAX"

Merge "Return updated volume object to the caller of _attach_volume()"

Merge "Check license before clone in VMAX driver"

Merge "Reduce configured file size for nfs backup unit tests"

Merge "Sort snapshots in create CG from CG snapshot"

Merge "Change default value of gpfs_images_share_mode to None"

Remove error messages from multipath command output before parsing

This fixes an issue in _get_multipath_device_name() that fails to
parse the output from 'multipath -ll <device>' command when the
stdout contains error messages in addition to the expected output.

Change-Id: I498edd950627daca01eaf6343e6d742440ca4b04
Related-Bug: #1380742
Closes-Bug: #1433202

Return updated volume object to the caller of _attach_volume()

Currently, migrate volume between two back-ends using LIO scsi
target fails due to the error of "Unable to terminate volume
connection: 'NoneType' object has no attribute 'split'".

The root cause of this error is _detach_volume() during volume
migration does not use updated volume object which is updated
during _attach_volume() by create_export().
As a result terminate_connection() which is called from
_detach_volume() tries to split volume['provider_location']
even if the entry is None and causes above error.

Also same error would be happened following methods.

- copy_volume_data(-> volume migration)
- backup_volume
- restore_backup
- copy_image_to_volume
- copy_volume_to_image

This change adds updated volume as an additional return value
for _attach_volume().

Change-Id: I7b76941d8b2e761c2c0147b13a201583d7e0a1c4
Closes-Bug: #1433360

Fix SAN generic driver ssh whitespaced commands

SAN driver was sending commands over ssh with whitespaces between
every character resulting in commands like "u n a m e - s" instead
of "uname -s" (example from bug report).

As the bug reporter noted, the problem was that there were two joins
in the process of mounting the command. The first one got the
tuple and joined into a string. The second one joined a whitespace
between each character of the string.

Additionally, this behavior made utils.ssh_injection a bad check,
because it expected a list of args used in 'for arg in cmd_list' and
what it got was a single string. This resulted in the check being made
over the single characters instead of each arg.

All this is to explain why I chose to remove the first join instead of
the second one.

An unit test for this issue was created. SAN driver had no unit test.

Change-Id: I8e8624f2b82c26522936adf05e637a7bbe34a069
Closes-Bug: #1422604

EMC: Fix use of "_" as variable name

Variables with name "_" will clash with translation lookup
function "_" in cinder.i18n. This patch fixes usage of "_"
as variable name.

Change-Id: I4f03dcfd7b92dcae78e741486ded7028e481d0ee

Reduce configured file size for nfs backup unit tests

Unit tests that were ported from the Swift backup
service for NFS backup trigger memory errors when
run in tox on a 1GB VM.  This commit configures
NFS backup 'backup_file_size' to match the default
Swift 'chunk_size' so that the NFS backup unit test
memory consumption is dialed down to match the Swift
unit tests.

Closes-Bug: 1432687

Change-Id: I4b71d47190179b97baefe9bc390276f720670919

tests: remove useless variable

Change-Id: Ieb0871e0da707d34338c0aa7b2bafccf9267b3d0

Revert "Datera's export to avoid deprecated keys"

The changes on the Datera solution have been reverted, so the driver
is being updated as well.

This reverts commit a754f317a708d9932aea743588468f0bb1cabdbb.

Change-Id: I369abca84d224c71b0ea7c55d0ecda8db9a76759

Merge "Fix typo in log message"

Merge "Raise exception for invalid mock assert calls"

Merge "Fix some issues with pool name sent to SVC"

Don't override extra specs with config in VMAX

A recent merge in https://review.openstack.org/#/c/157679
brought in regression because it tied volume type extra specs to
config file settings.

This patch rolled back most of the changes and don't let extra specs
be overwritten by the config file settings. Intervals and retries
will be read from the config file.

Partial-Bug: #1425641
Change-Id: I7b7959d64f9cc5e954d03f56f6a37021c4c0e9e1

Check license before clone in VMAX driver

This patch checks if a license for clone is available before
doing the clone operation.

Change-Id: I69d009b2cac775c301e9a5254079238b2b2a3b10
Closes-Bug: #1385450

Merge "Fixing mount when state_path is configured with a final '/'"

Merge "Decrement remaining retries after failed REST call."

Merge "SMBFS: Fix retrieving the volume path and format"

Merge "Make unused iscsi_num_targets, iser_num_targets configs as deprecated"

Fixing mount when state_path is configured with a final '/'

If state_path variable is configured with a final '/' on path, then
mount_path variable is created with wrong syntax. This causes
a failure when the c-vol process tries to mount the filesystem.

This patch proposes to fix the aforementioned problem by checking
the validity of the mount point and fixing the mount point in case
it has an incorrect value.

Closes-bug: 1425551

Change-Id: I9fe50fe07953fb5e94da467a7446528e5030e41b

Merge "Fixed the order of mock decorators in VMAX driver"

Merge "VMware: Fail immediately for images in a container"

Merge "VMware: Relocate volume to compliant datastore"

Merge "i18n Compatibility in VMAX driver"

Update Violin REST client library name

Fixed all drivers and tests to use the 'vmemclient' library.

Change-Id: I337e67ecd7c45d7b28e1bc4a551245ec0705ea31
Closes-bug: 1430009

Merge "Remove use of contextlib.nested"

Merge "Increase LeftHand driver minimum client version"

Merge "Remove global mocking from test_pure.py"

Remove the reference of volume['instance_uuid']in VNX driver

Multiattach feature removed the column 'instance_uuid' and
'attached_host' from volume DB model. However, these 2 fields are
used by VNX driver to determine the volume's original status
in retype. This patch changed the VNX driver to not use those
removed fields.

Change-Id: I4b4820d93e784913eeb7e485439d5f434141bcb9
Closes-Bug: 1432925

Merge "VMware:Use datastore selection logic in new module"

Merge "VMware: Refactor initialize_connection unit tests"

Merge "Huawei driver check before associating LUN to a LUN group"

Merge "Fixed a concurrency issue in VMAX driver"

Increase LeftHand driver minimum client version

An error was occuring during LeftHand driver initialization when
an older LeftHand client was installed.

The minimum client version needed to be updated.

Closes-Bug: 1432757
Change-Id: Ifb6bc989a50ed9d051a72c065d8a7287a8570d1e

Decrement remaining retries after failed REST call.

Also, update unit test to properly test the retry path.

Change-Id: I89863a44102bdeebce09de80fa5c5131af67f564
Closes-Bug: #1429283

VMware: Fail immediately for images in a container

Currently VMDK driver doesn't support images within
a container such as OVA. Instead of throwing an error
immediately, the driver tries to create a backing
using the container as its vmdk. This will eventually
fail with vCenter error. This patch fixes it.

Change-Id: Ie97a3a63807d00880310f2a7e5f6d32ee89d2cd7
Closes-Bug: #1371478