Merge "Fixes nits in check_no_contextlib_nested"

Merge "Add project_id to barbican keymgr wrapper"

Merge "Dell SC driver has insufficient iscsi logging"

Merge "Fix incorrect invocation of _add_to_threadpool"

Merge "Tests: Fix v6000 test failure with random hash seed"

Merge "Enable H238 hacking rule"

Merge "Storwize: Replication status still active when primary copy is offline"

Merge "Fix: Boot from image with HNAS iSCSI"

Merge "Fix ISCSIDriver initialized connection volume type"

Mock wait_for_volume_removal in test_brick_connector

Systems where /dev/disk/by-path did exist were failing unit
test for test_connect_volume, test_connect_volume_with_alternative_targets
and test_connect_volume_with_alternative_targets_primary_error in
cinder.tests.test_brick_connector .  The problem was that the test
cases were mocking out os.path to return exists.  This resulted in
the new code from commit 43029941219505bc3861dd285e3393e08c76b433
never being able to exit the wait_for_volume_removal loop.

To avoid this problem I am mocking out wait_for_volume_removal for these
test cases.  wait_for_volume_removal is tested elsewhere and not relevant
for these test cases.

Change-Id: Ib7f75c852f9c79f261e319be0c1e3fd21acab8f1
Closes-bug: 1440153

Merge "Only use operational LIFs for iscsi target details"

Dell SC driver has insufficient iscsi logging

In the case where a volume was mapped but the server could not
locate the volume not enough information was being logged to
sort out the failure. Added logging to Dell SC ISCSI driver.
Now returns much more connection information on trying to map
a volume. Also tries to return iscsi properties associated with
the controller on which the volume in question is active.

Updated tests.

Minor comment change.

Change-Id: I76bf501152802c5421be316703615fdc27a49072
Closes-Bug: 1439852

Merge "Fix missing clone_image API support for sheepdog driver."

Merge "Fix wrong command for _rescan_multipath"

Enable H238 hacking rule

Hacking 0.10 introduces new hacking rule H238 - old style classes
are deprecated (they are converted to new style classes - inherit
from `object`). In order to avoid any unwanted side effects all
classes should be declared using new style.

See reference on the differences:
https://www.python.org/download/releases/2.2.3/descrintro/

Change-Id: Iec5620e8f9da2d051a3754391eab4e75faf644e0

Fix ISCSIDriver initialized connection volume type

ISCSIDriver initialize connection is a duplicated function
left in kilo to serve drivers that don't use the new targets model.

In Kilo there is a new parameter of iscsi_protocol, that is set to
iscsi by default and can be changed to iser in order to enable RDMA.

In order support RDMA in drivers that still inherit from ISCSIDriver,
driver_volume_type should be set to iscsi_protocol parameter value
instead of a hard coded value until this function duplication will be solved.

Closes-Bug: #1438833

Change-Id: If51ff933b75bf475c779d2599776f8a83acc08e5

Fix missing clone_image API support for sheepdog driver.

If image is backend by sheepdog, it will use create_cloned_volume
function to help to clone this image. Normally sheepdog can clone
only from snapshot.

This patch set is derived from abandoned change:
Ibd355082e7c3215c00f6576404566577f7a2601c

Change-Id: I6f6834ff5443f2d1a21d4ae10e26e1cab3664a01
Closes-Bug: #1140177

Merge "Be safe with getting attachment"

Merge "Catch more general exception in manager's create_volume"

Only use operational LIFs for iscsi target details

When Nova invokes our cDOT driver's initialize_connection() method
in order to attach an iSCSI volume to an instance, we have been
returning the first target from the list of targets returned from
the filer API call to get iscsi target details.  In failover mode,
this may be a target with a LIF that is down, causing the attach
attempt to fail in Nova.

This commit fixes that issue so that attaches still work in
failover by returning the first target with an *operational* LIF.

Closes-bug: 1437419

Change-Id: I3f53c3644f7d94f5188151c16d70e565b745ad4a

Catch more general exception in manager's create_volume

When fixing issues with inaccurate allocated_capacity tracking when
create_volume flow fails (Icd6b04ac60c17cbda225d3be8bcc4435ea0cd7a8)
it was ignored that drivers may raise all kinds of exceptions and these
aren't repacked into CinderException in the flow. This commit broadens
except clause to catch Exception when deciding if rescheduling
occurred while creating a volume. Also regression unit test is added.

Change-Id: I36058eacd1eb6b42c6a4311bd3382ddc9f47550c
Closes-Bug: 1438744

Merge "Fix the format of the system name in VMAX driver"

Merge "Convert all eqlx tests from mox to mock"

Merge "Fix potential access to missing key"

Merge "Remove LP bug ref in remove_iscsi_device"

Merge "VMware: Fix exception logging"

Merge "Fix HNAS iSCSI driver error on LUN creation"

Merge "Fix broken fetch_to_volume_format log message"

Merge "Brick: Fix race in removing iSCSI device"

Merge "Enhance VNX Cinder volume creation logic"

Merge "Fix logging to catch original exceptions and tracebacks"

Merge "Fix for  inconsistent cinder-services state change"

Merge "Change volume and snapshot stuck creating to error"

Fix broken fetch_to_volume_format log message

Format arguments are not passed correctly, leading
to a "TypeError: not enough arguments for format string"
failure.

Fix the same issue introduced in hosts.py _list_hosts().

Closes-Bug: #1438607

Change-Id: Id2d4fe2eeb401361fac2ff24c3b04df7944aea9f

Tests: Fix v6000 test failure with random hash seed

If PYTHONHASHSEED is set to a non-zero value, this test
will fail due to a dependency on dict ordering.

Rework the test to handle randomly ordered dictionaries.

Partial-Bug: #1348818

Change-Id: I92e780db5805e59ac9eef98a07cfbb7a4be54110

Fix wrong command for _rescan_multipath

The _run_multipath command is wrong, it should be 'multipath -r'
not 'multipath - r'.

Closes-bug: 1437794

Change-Id: I9a40265ba2a53e024626829f892b523672160e07

Storwize: Replication status still active when primary copy is offline

If primary backend is in abnormal state, even secondary backend is in good
state, we should report error status.

Closes-Bug: #1384040

Change-Id: I777ea6e7ba8c0a4aab77021a561b94285b36b402

Merge "Hitachi: Fix access to volume instance_uuid"

Remove LP bug ref in remove_iscsi_device

Some like referencing bugs in code comments, others don't.  In
general we try and avoid it, but I certainly don't agree with
blocking a patch solely for that reason.  So instead this patch
tries to modify the previous commit to fix it up rather than
having a contest of wills to see who will bend first.

Change-Id: I98bca9e3a98383c994bc49426a71d944e10fae17

Fix potential access to missing key

This patch puts a simple check around the 'extra_specs'
key, and makes sure it's there, while trying to inject
the multiattach capabilities filtering.

If we want to change the approach, we can do so in early
Liberty, when we enable multiattach for drivers.   At this
stage of the release, lets just do the simple and safe thing.

Change-Id: I45496e4325122ba20e79351f85945ca9804eaa61
Closes-Bug: 1438141

Brick: Fix race in removing iSCSI device

Some folks are seeing race conditions on overloaded
or slow machines, where the time between issuing the
remove volume command, and the volume being from
/dev/disk/by-path by the kernel isn't long enough.

This patch adds a simple verify loop for iSCSI only.
It will try 3 times and wait 2 seconds between tries.

Also, This patch will only fix attaches that happen
in cinder for copy volume <--> image operations.
Nova needs a separate patch to fix any potential
issues there.

Change-Id: I5db9744da6b865b7d903503db8a895b409f32f5c
Closes-Bug: 1437441

Merge "SMBFS: Fix missing volume provider location"

Merge "Properly remove host object from ISE"

Merge "Use cached values for stats on query failures for vmem drivers"

Fix the format of the system name in VMAX driver

There is a change in the format for system name in SMI-S for VMAX V3.
It was "SYMMETRIX+xxxxxx" previously and now it is changed to
"SYMMETRIX-+-xxxxxx". In this patch, the VMAX driver was modified
accordingly to support this format.

Change-Id: Ie7e349db13d6ad2562a296d3d0cb66089a54b800
Closes-Bug: #1437490

Hitachi: Fix access to volume instance_uuid

The instance_uuid and attached_host no longer exists
in the volume object.  It's part of the attachments that
show up in volume['volume_attachment'].

This patch now tests to see if there are any volume
attachments at all via the volume['volume_attachment'] list.

Change-Id: I6b06adaf408e9458a9d4d8c73a6749bd3a282340
Closes-Bug: 1436605

VMware: Fix ImageNotAuthorized during copy volume

Copy volume to image by non-admin user fails with ImageNotAuthorized.
This is because we are setting image's is_public meta-data to True
while calling image update (for writing to image). This patch fixes
this by setting is_public using the image-meta passed in by Cinder.

This bug was introduced by commit 960cbb21e359a3526e9ff9bf4ca78db1eca3a743.

Note: The oslo.vmware API which we use for upload requires is_public
meta-data which may not be needed at all for writing to image.
Till we update oslo.vmware API, we have to pass a value for is_public.

Change-Id: Ib7778b6c7a3e8dd501216173a26d7ba246aa85e4
Closes-Bug: #1437319

Fix: Boot from image with HNAS iSCSI

Number of the logical unit was passed to the run_cmd function as a integer and
should be passed as a string.

Change-Id: I9a66c46294f85fb19b2a01f0cde8f231467f936f
Closes-Bug: #1430778

SMBFS: Fix missing volume provider location

In case of cloning volumes or creating volumes from snapshots, the
volume provider location is not set, making the volumes unusable.

This also leads to disk image leaks, because the delete volume
operation will pass without deleting the disk image if the provider
location is not present.

The SMB driver wraps base RemoteFS methods in order to set locks.
The issue is that it does not return the wrapped method return
value, which signals volume updates, in this case the provider
location.

Change-Id: Id7435676052885d301a48fa5ac224071e18ecf5b
Closes-Bug: #1437271

Enhance VNX Cinder volume creation logic

Sometimes sysadmin needs to remove broken disks and replace them
with some new disks. Before the disks are replaced and fully rebuilt,
the pool would be in "Faulted" state, and all LUNs created in this
pool would be in "Faulted" state as well.
A LUN in this "Faulted" state is still OK for IO access.

Current implementation of create_volume in VNX Cinder Driver will
wait until the VNX LUN gets into Ready State or timeout.
Thus the new volume in the back end corresponding to the pool will
be stuck at creating state for a long time before disks are replaced.
This reduces the high availability of the back end.

The change allows new volume to get into available state as long as
the corresponding VNX LUN can serve IO.

Change-Id: Ifb152b3b9c59ce0d5c875129a7bf0503740d5a3a
Closes-Bug: 1436241

Merge "Properly use obj_extra_fields in objects"

Merge "Create unit tests for volume objects"

Merge "Windows: Fixes wintypes import issue in vhdutils"

Merge "Windows iSCSI: fix volume clone"

Merge "Eager load volume extra specs"

Properly use obj_extra_fields in objects

The following patch fixes a bug in the snapshot object,
where fields that are not part of the Snapshot model,
i.e. name and volume_name, were not specified as
obj_extra_fields in the object. It also fixes the same
problem in the volume object, i.e. name and name_id.
With this patch, those extra fields are properly loaded,
e.g. snapshot.volume_name or volume.name.

Change-Id: Ie2b8dc66c897f89f941e9ad3b80ec4f4ab346430
Closes-Bug: #1429889

Create unit tests for volume objects

This is a follow up patch to cinder objects that adds
missing unit tests for volume objects. It also adds
a @base.remotable decorator to the volume save method,
which makes sure a context is properly supplied to the
method, whether it is passed in or taken from the
context stashed in the object.

Change-Id: I9febfdf94c4d8c82defedf0ceaec03800552affe
Implements: blueprint cinder-objects
Closes-Bug: #1434571

Merge "VMware: Fixed usage of volume instance_uuid"

Merge "Imported Translations from Transifex"

Merge "Move to hacking 0.10"

Fix incorrect invocation of _add_to_threadpool

_add_to_threadpool expects to be passed the function and which is to be
run in an alternate thread, and the function's arguments. Instead, the
function (self.delete_volume) was being invoked directly, and it's
result passed to _add_to_threadpool. This results in a TypeError being
raised (the result is a bool, which is not callable), but more
importantly, it defeats the purpose of the statement - to offload the
invocation of delete_volume to another thread.

Change-Id: I524156cbffe0f6f5a2da902c6a62417d1ec425b9
Closes-Bug: #1436624

Merge "Syncing versionutils from oslo-incubator"

VMware: Fixed usage of volume instance_uuid

instance_uuid and attached_host no longer exist in the volume object.
They have been moved into the volume_attachment list attachments.

This patch now tests for non-empty volume_attachment list instead of
testing the existence of a non None value of instance_uuid.

Change-Id: I04c46dc49849fb1e0abf955dcc6d7ec1ce5e57a5
Closes-Bug: 1436603

Change volume and snapshot stuck creating to error

Service of volume goes down after the status of
the volume is turned 'creating', volume to remain with
the status of the 'creating'.

Status of the volume is still 'creating' even if
volume service is restarted, it is impossible for user
to remove it without force-delete.

With this patch, in order to keep consistence with Nova,
volume state 'creating' should be shifted to the 'error' properly.

Closes-Bug: #1310526
Co-Authored-By: Ivan Kolodyazhny <e0ne@e0ne.info>
Change-Id: I89ef201f25b739cc443cb2920de2bd6ce89d97e1

Merge "The value of netapp_storage_protocol should default to none"

Merge "Fixed access to instance_uuid in retype"

Merge "Sort list of cinder_object.changes"

Merge "Fix typo in cinder/cinder/volume/drivers/emc_vmax"

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I77d55f05ea387e764539231006a35ec46b7c18aa

Fixed access to instance_uuid in retype

We missed an access to volume['instance_uuid']
in the multiattach patch.   The instance_uuid and attached_host
were moved into the volume_attachment table.

This patch changes how we test to see if a volume is available
or not, but checking the new location.

Change-Id: I8844cd8c2947845f9efb11a2a1371efee2d28bbe
Closes-Bug: 1436604

Merge "Added the missing attachment to detach_volume"

Eager load volume extra specs

The Linux SMBFS driver uses volume extra specs in order to determine
the according image format when creating new volumes.

Accessing the extra_specs attribute can raise DetachedInstanceError
as this attribute is lazy loaded and the session might close by the
time this attribute is accessed.

This can be avoided by simply eager loading the volume extra specs.

Change-Id: Iffdb160a4a968067261aa90638832782caed5ed0
Closes-Bug: #1436418

Be safe with getting attachment

The volume manager wasn't being safe with trying to pull an
attachment out of the attachments list.  It's possible someone
is calling the manager to detach a volume that has no attachments.

This patch raises an InvalidVolume exception if we detect that
there are no attachments left to detach.

Change-Id: I684ed870d13a4efc6f64b0144c987e355428bc54
Closes-Bug: #1435574

Added the missing attachment to detach_volume

I must have missed this driver in the multiattach
patch.   The attachment object is passed in to
detach_volume to give drivers a chance to deal with
a detach call.

This patch just updates the signature of the method
to be the same as the parent.

Change-Id: I895c163e67d35df202a5490a7a31ee7fc13a0cb4
Closes-Bug: #1436367

Make lio iSCSI changes persistent to avoid lost

To avoid losing iSCSI configuration when target.service is
started/restarted we make persistent any change Cinder makes to the
configuration.

This will allow us to coordinate access from multiple rtslib users
(target daemon, targetcli, cinder...)

This patch changes rtstool and adds an additional command "save" with
optional parameter the filename where we want to save current
configuration. If no parameter is provided it saves to default location
defined by rtslib.

Closes-Bug: #1427301
Change-Id: I74bd09ed16a2e0e584d3e04762aec8cbdf101f6d

Merge "Updated from global requirements"

Sort list of cinder_object.changes

If PYTHONHASHSEED is set to a non-zero value,
test_objects.TestObject.test_base_attributes unit test
fails.  This is because 'cinder_object.changes' key is
an unsorted list when the object is converted to a
primitive.  The following patch fixes this by sorting
cinder_object.changes.

Change-Id: I3a80396c5c897de26e982fa6426e7720a09c1375
Closes-Bug: #1434154

Move to hacking 0.10

Release notes: http://lists.openstack.org/pipermail/openstack-dev/2015-January/054165.html

Ignore some new rules that have more then 10 failures, fix ones that
have fewer.

Removed deleted hacking rules from tox.ini

Note: One of the main benefits of the new hacking, is flake8 enables
concurrency by default now, so it should be much faster.

Change-Id: Ie650fa3dc91434967ad05e61edd3bcc1d833bfb1

Syncing versionutils from oslo-incubator

This is to fix deprecation warnings caused by a fact that version
that's currently in Cinder imports oslo.config instead of
oslo_config.

Change-Id: Iaf0bea76e5bb389cb052de1ecb34a8b24ae39343
Closes-Bug: 1436270

Merge "Enable request-id in cinder API logs"

Merge "Fix: Synchronise Quobyte Share mounting"

Merge "Dell Storage Center API change fails init_conn"

Merge "Simplify cxt test_create_export() unit test"

Properly remove host object from ISE

This removes host object from ISE when terminate_connection
detects no more allocations for that host.

Change-Id: I31cc27bc95efaab3dca0c9a4c833655c43b73abf
Closes-Bug: 1433450

Dell Storage Center API change fails init_conn

An attribute in the dell storage center REST API containing
the world wide name of the target device changed.  This meant
that on intialize connection we were returning None instead of
the wwn.

The driver has been changed to look for the new attribute and
to fall back to the old.  If neither is found it will not
return a target wwn of None.

Change-Id: I6ae6870d46937089bd6ed8799895f7068eebf01d
Closes-Bug: 1435935

Windows iSCSI: fix volume clone

In some environments, volume cloning fails when using the Windows
iSCSI volume driver. This involves creating a new VHD image and
copying the data from the source volume on top.

This can raise an error, caused by the fact that the destination
path exists.

This patch slightly changes the workflow used when cloning an image.
Instead of first creating a new WT disk and then copying the cloned
image data on top, the source image is copied, resized if needed
and then imported as a WT disk.

Change-Id: I07d45fa9324a34ef45ed2aa8051338ee6a0f8a5b
Closes-Bug: #1435865

Enable request-id in cinder API logs

Using common.local:store.context doesn't work correctly with
the new oslo_log module.  This change removes the calls to
common.local and removes the file altogether which allows the
proper settings to be passed in to the logging module and give
us back our request-id in the API logs.

Change-Id: If312f419fb465c9128bcfa0a280d6c35a46cb29b
Closes-Bug: #1435588

Use cached values for stats on query failures for vmem drivers

This change allows vmem drivers to return previously cached
values for free_capacity_gb and total_capacity_gb if the queries
to the backend for those stats succeed but do not contain
the data.  This can happen when the mgmt plane is under heavy load.

Change-Id: I218a54897361d739c04963b4c36d93620be01fb3
Closes-Bug: 1433990

Merge "Change leftover oslo.* to oslo_*"

Merge "Tests: Fix az test failure when PYTHONHASHSEED != 0"

The value of netapp_storage_protocol should default to none

The value of netapp_storage_protocol was changed from 'None' to 'iscsi'
in a recent commit. It needs to be reverted back to its correct default
value of 'None'.

Closes-bug: 1433842

Change-Id: I7f7bff8d8cbd8671ee52cb9225f496ff6e679398

Change leftover oslo.* to oslo_*

Use oslo_i18n instead of "from oslo import i18n"
Use oslo_messaging instead of "from oslo import messaging"

Partial-Bug: 1409733

Change-Id: If119603e4f89965d0c9e5917b2772ae0e7ddf3d2

Updated from global requirements

Change-Id: I6f506eaa69ba7ae26cd13403d0dec491848db3c6

Fix: Synchronise Quobyte Share mounting

Quobyte ci tests show random failures with multiple similar shares.
A single share is listed in mounted shares twice after two (or more)
chronologically close successive calls to
_ensure_shares_mounted (examples see bug or similar Quobyte ci error
reports).
This is now prevented by synchronizing the method.

Closes-Bug: #1434502

Change-Id: Iae5cfb529c56681eaaf5868042264e4f8d71c0fb

Fix typo in cinder/cinder/volume/drivers/emc_vmax

Change-Id: I0eff3be00a267a2ddbdc0e72d7c8da35d158cee8

Update file doc string for pure.py

The PureISCSIDriver now requires a higher version of the REST API, this
causes the required Purity version to go up to 4.0.0. The doc string
for the pure.py file was not updated to reflect this.

Change-Id: Ibb133a6ab689c98aee0ac16946d059a647f482d3
Closes-Bug: 1434580

Merge "Remove chap secret DEBUG logging in PureISCSIDriver"

Merge "update oslo policy to remove policy.d log spam"

Merge "Scality SOFS : Use ensure_tree from fileutils"

update oslo policy to remove policy.d log spam

After oslo policy added config dirs it started spamming the logs
relentlessly on if you didn't have a policy.d directory on your
system. This is a very unfriendly upgrade to operators.

A fix was provided in the incubator just before incubator policy was
deleted. This syncs in that fix.

Change-Id: Idf9c63c52561acdfe5463fee35dbc497c5e1fde5
Related-Bug: #1421863