Merge "Dell Eqlx: Support over subscription in thin provisioning"

Merge "HNAS iSCSI manage does not work with spaces"

Merge "Add ability to set prefix in SolidFire Volume name"

Merge "Port test_quobyte to Python 3"

Merge "Fix broken format string in vol mgr log"

Merge "Hacking check for opt name registration"

Merge "VMAX Target iSCSI IP Address"

Dell Eqlx: Support over subscription in thin provisioning

Dell eqlx driver reports the following new stats:
  * provisioned_capacity
  * max_over_subscription_ratio
  * thin_provisioning_support (True or False)
  * thick_provisioning_support (True or False)

Change-Id: I09176259840eb5b52a5f4ec1942db2bf152667d0
Implements: blueprint dell-eqlx-over-subscription-thin-provisioning

Hacking check for opt name registration

Depending on how opts are registered (either with register_opt() or
register_opts()), the name needs to be singular or plural to match
the method.  This patch adds a hacking check to make sure the names
of the opts and opt lists (or tuples) are correct given how they are
being registered.  The check also verifies that a single option is
sent when register_opt() is used and a list is used when using
register_opts().

Includes fixes to files that don't meet the naming convention and a
addition to the generate_cinder_opts.py file in order to skip
checks.py in the generation of the opts.py file.

Closes-Bug: 1495752
Change-Id: Ia795915c6e3d46272acc30407961d5d876f783ce

Merge "Port test_netapp to Python 3"

Merge "Port netapp SSC Cmode to Python 3"

Merge "Detach volume on device validation failure"

Add ability to set prefix in SolidFire Volume name

The SolidFire creates names for Volumes on the backend using
the format UUID-<cinder-id>

This works well, but it turns out that there is a possibility
of a UUID collision for customers running multiple clouds against
the same cluster. To eliminate that possibility we should allow
a config option to set the prefix to be whatever an admin chooses.

This patch introduces the sf_volume_prefix config option to
address this bug.  The default still uses the 'UUID-' prefix.

DocImpact
Changing this setting on an existing deployment will
result in the existing volumes being inaccessible. To introduce
this change to an existing deployment it's recommende to
add the Cluster as if it were a second backend and disable
new deployments to the current backend.

Change-Id: I21a87e6431099e51355044f2dfea35b61ca8125f
Closes-Bug: #1503069

Updated from global requirements

Change-Id: I870a7a95358ab8c8e94e2ab8d78bc7cddf2ed3f8

Fix broken format string in vol mgr log

"Detected volume stuck in" message is
not formatted correctly.

Change-Id: Ia2b3797508d8bcbc00f2c85d1d9f8172d923a062

Detach volume on device validation failure

If device validation fails when attaching a volume for some driver
operation (copy_volume_data, copy_image_to_volume, copy_volume_to_image)
we may end up with an attached volume that we don't cleanup.

This patch tries to detach the volume if we fail when validating the
device after we have attached the volume.

This happens for example on multipath when we have properly detected the
paths but they are all in a failed state when we try to read from the
device on validation.

Closes-Bug: #1502138
Change-Id: I73be4206930eba7da064e22d86ff2136191acb0b

emc vmax driver: use integer division for Python 3

Replace a/b with a//b in emc_vmax_utils.py to get integers on
Python 3.

Blueprint cinder-python3
Change-Id: I8d9390b1558e2b4a08674eadcaa3559020f8dcff

VMAX Target iSCSI IP Address

In VMAX iSCSI driver, the iscsi_ip_address was hardcoded
in cinder.conf. This may have issues with multi-portgroup
environment. If a customer has multiple portgroups
containing different ports with different iSCSI IP addresses,
then ‘iscsiadm‘ command cannot use more than the one hardcoded
IP address in its sendtargets operation.

This patch addresses this by examining the ports in the
portgroup of the masking view used in the attach operation.
Each port has a corresponding iSCSI IP address. A portgroup
with only one port will have one IP address; a portgroup with
multiple ports will have multiple IP addresses. Even if there
is more than one IP address, the first in the list is likely to
result in a successful iscsiadm -sendtargets.

Closes-Bug: #1501678
Change-Id: I52ab6b278a114d55aec5e66b38ff76fd1bfb1b49

Updated from global requirements

Change-Id: Id75e695e0e25ad4505391dc1a5b131f8f2a9e9b8

Merge "Delete a temporary volume in DB with admin context"

Merge "Implement extend_volume method to Block Device driver"

Delete a temporary volume in DB with admin context

Non-disruptive backup creates a temporary volume. Information
of the volume will be deleted from DB if the volume cannot be
created by drivers. volume_destroy method is used in order to
delete the information. We must elevate the context to admin
context because the method requests admin context.

Change-Id: Ie5cd935cdd9e13c261708e504fa6fb2622a8aebb
Closes-Bug: 1502460

Merge "Small optimization in Block Device driver"

Merge "DRBD: new option "drbdmanage_devs_on_controller"."

Merge "Use of ast for integers doesn't changes type"

Merge "Cleanup orphaned code from cinder root directory"

Merge "VMAX Truncate Storage Group Name"

Port test_quobyte to Python 3

Modify assertRaisesAndMessageMatches() to tolerate subclasses. On
Python 3, a permission error now raises an exception PermissionError
which is a subclass of OSError, whereas the test expected exactly the
OSError type.

Partial-Implements: blueprint cinder-python3
Change-Id: Ia232c27de6a67eafad30b25301531e292fe349dc

Merge "Tests: print fake_notifier queue upon mismatch"

Merge "Fix enable/disable_replication raise InvalidVolume"

Merge "Fix various Python 3 issues"

Port netapp SSC Cmode to Python 3

Fix query_cluster_vols_for_ssc(): cast string (records) to int. On
Python 3, comparison between str and int now raise a TypeError.

tox.ini: add cinder.tests.unit.test_netapp_ssc to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: I05127340029a5bb6c8444f51341be8008aab8dc8

Port test_netapp to Python 3

* Add close() method to FakeHttplibSocket,
  FakeDirectCmodeHTTPConnection, FakeDirect7modeHTTPConnection
* Replace StringIO() with BytesIO() for socket buffers
* makefile(): ignore optional arguments after mode
* Fix bytes versus Unicode: use bytes for HTTP body. Encode HTTP body
  to UTF-8 and HTTP headers to Latin1.
* tox.ini: add cinder.tests.unit.test_netapp to Python 3.4

Partial-Implements: blueprint cinder-python3
Change-Id: I3dc8c36a84ffbb47be3e85eed34518c6adad48ec

VMAX Truncate Storage Group Name

In the VMAX driver, it generates a storage group name using
the short host name, pool name, etc. However the storage
group name has an upper limit of 64 characters. So it fails
if the length of the name exceeds the limit. This patch
fixes it by truncating the name to fix within the limit.

Change-Id: I18258933591a389691a7b33af2d30a40bb34f09c
Closes-Bug: #1501925

Merge "Fix volume throttling to Python 3"

HNAS iSCSI manage does not work with spaces

Currently, HNAS iSCSI driver does not work when trying to manage a
volume that contains one or more space in the name.
This patch fixes this functionality and performs some other minor
adjustments.

Change-Id: I2ba6407478c293f20925171d80dcc8f97f2110c7
Closes-bug: #1500544

Fix various Python 3 issues

* Drop exceptions import. Replace exceptions.OSError with OSError.
  The exceptions module was removed in Python 3.
* Replace 8l with 8
* Replace generator.next() with next(generator)
* convert_uuid_to_es_fmt(): use bytes
* Replace function.func_name with function.__name__

This change helps to run tests using "testr run" instead of
testtools.run.

Blueprint cinder-python3
Change-Id: I36476199ef336069669c5bc6cb5c285b21d8116b

Fix volume throttling to Python 3

BlkioCgroup._set_limits(): sort devices before iterating on them to
have a reliable behaviour.

The devs variable is a dictionary. On Python 3, the hash function is
now randomized, so iterating on a dictionary gives items in a random
order. Use sorted() to iterate on the list of sorted devices instead.

tox.ini: add cinder.tests.unit.test_volume_throttling to Python 3.

Blueprint cinder-python3
Partial-Bug: #1348818
Change-Id: Icf7141f772397c7ac08f0f1e21ad74cb86a06351

Merge "Image cache tests: use fake_notifier"

Fix enable/disable_replication raise InvalidVolume

In both enable_replication and disable_replication,
it tests to see the replication_state is in the correct
state.  When it's not it was raising InvalidVolume()
InvalidVolume requires a reason text message.

This patch adds the missing reason=msg when creating
the InvalidVolume exception

Change-Id: I66a3e4dc4359457e9669c5ddaa4b0529645334f9
Closes-Bug: 1501942

Tests: print fake_notifier queue upon mismatch

If these tests fail, output more information
so it's easier to figure out where things
went wrong.

Related-Bug: #1501745
Related-Bug: #1501839

Change-Id: Id78802834821c791a22c22f49260a8480122cc06

Cleanup orphaned code from cinder root directory

There were several methods in the root directory source files
that were no longer being used anywhere. While some of these
have potential for being useful, they are not in use and should
not be sitting around the codebase waiting for someone to need them.

This patch removes unused methods from utils as well as their
associated unit tests.

Change-Id: Iee5bac44b41a2696ab972a2fbfe0281ec423b393

Image cache tests: use fake_notifier

Use the same method for testing notifications that's
used in test_volume.

This may resolve the bug below, but that isn't
really clear yet.  Either way, it seems less risky.

Closes-Bug: #1501745

Change-Id: I566d27e70bcfaaa0f863cdfacaef6fe11236f9e6

Merge "LVM: Make sparse_copy_volume private, use for capabilities"

Merge "Obtain target authentication from database same as LIO target"

Implement extend_volume method to Block Device driver

This patch adds the extend_volume method to Block Device driver
to get the minimum features for this driver.

Related blueprint: block-device-driver-minimum-features-set
Change-Id: I6ca7ba4a407ab7d8171fc7d5d6fcb60a29de8f6b

Small optimization in Block Device driver

Method _devices_sizes() in Block Device driver invokes N times
_get_device_size(device) to get devices sizes. It can be done by
executing one command: blockdev --getsize64 /dev/loop1 /dev/loop2.
In such a way we take the devices' sizes in bytes and convert them
to Megabytes.

Change-Id: I0aba86239b4c580a0b12202a8f7fc863dab6fecd

DRBD: new option "drbdmanage_devs_on_controller".

With this option set the c-vol node will have all volumes accessible,
via DRBD-client if no local copy already exists anyway.

This is handy for a) debugging b) maintenance c) iSCSI exports
and other use cases.

Change-Id: Ib347777d2f4bb8b46990d76e138e1dbf13ff95bb

Merge "Sheepdog: Improve snapshot and clone operation"

Merge "Port test_volume to Python 3"

Merge "VMware: Remove VMDK driver for ESX server"

Obtain target authentication from database same as LIO target

Currently, tgt, iet and cxt obtain user and password for iSCSI
target by analyzing configuration file.
However this information is already stored in DB and LIO obtains
these authentication from provider_auth in DB.
This way is simple and robust instead of analyzing configuration
file directly.
This patch proposes these two changes:
- Change the way to obtain authentication from configuration
  file to DB at _get_target_chap_auth().
- Move _get_target_chap_auth() into iscsi.py and inherit
  the method at tgt, iet and cxt target because they can use
  same implementation to get authentication from DB.

Co-Authored-By: Anish Bhatt <anish@chelsio.com>
Change-Id: I5188ce5855d206c513f72e01f010175490ec89b2
Partial-Bug: #1499795

Merge "Dell SC: cgsnapshot-delete doesn't actually delete"

LVM: Make sparse_copy_volume private, use for capabilities

This should be a private variable after the refactoring
done for
0982ad1 Efficient volume copy for generic volume migration

Additionally, just use the variable determined by the
config at init time when reporting capabilities rather
than having a separate calculation there.

Change-Id: I433e22f71b24afd10a879447d79ce1fda0a7bfa6

Dell SC: cgsnapshot-delete doesn't actually delete

dell_storagecenter_api.py was looking for the cgsnapshot for
cgsnapshot-delete via the wrong REST API call.  It was also only
looking for the first volume's snapshot rather than all snapshots
associated with a cgsnapshot.  It now locates the snapshots properly
and expires the associated replays on cgsnapshot-delete.

Tests updated appropriately.

Change-Id: I1e635db8b06d3d7a78573e6e8a2a4c25b7fb458d
Closes-Bug: #1500583

Merge "Setup LVM_SYSTEM_DIR earlier in LVM.__init()"

Merge "Fix Python 3 issues in wsgi"

Merge "Add manage_existing and unmanage to BaseVD"

Merge "GlusterFS: extend volume to the right path"

Fix typo in cinder-config-generator.conf

In cinder-config-generator.conf, I could see:
namesapce = oslo.i18n
instead of namespace. This patch fixes this.

Change-Id: Ice55b974d593f4eb24920805a751ee58ac0201f3

Merge "Fix update Huawei driver issue"

Merge "Fix unreachable code pylint issues"

Port test_volume to Python 3

* don't use hasttr() to check if a lazy SQLAlchemy is loaded or not: use
  the obj_attr_is_set() method instead. On Python 3, hasattr() pass
  through SQLAlchemy exceptions which is unexpected.
* Replace a/b with a//b to use integer division, not float division.
* Replace filter() with list-comprehension using an if.
* Replace file() with open() and open /dev/null in binary mode (not text
  mode, so Unicode on Python 3).
* test_volume require "import cinder.volume.targets.tgt" on Python 3
* Use a key function to sort a list of dictionaries. Dictionaries are no
  more comparable on Python 3.
* tox.ini: add the following tests to Python 3.4.

  - cinder.tests.unit.keymgr.test_mock_key_mgr
  - cinder.tests.unit.test_volume

Note: test_list_availability_zones_enabled_service() of test_volume
was broken, the test checked that the result of .sort() is None...

Blueprint cinder-python3
Change-Id: If1a26acc0138db9bda7fde1cb1f40093d9b3c494

Merge "Small cleanups in BaseVD/VolumeDriver"

Merge "Add "fast8" tox env"

Fix unreachable code pylint issues

Fixed unreachable code (warning code W0101) pylint issues.

TrivialFix
Change-Id: I1b26952609c609114dc23ffb34609b7a9aed2ebf

Fix update Huawei driver issue

If a volume is created with old version of Huawei driver,
there is no pool info related to the volume, but the new
version of Huawei driver assumes that the volume have the
pool info and will read the pool info from the volume,
and then the read fails. This will happen when we call
create_volume_from_snapshot() in new version of Huawei
driver when the volume is created by old version of Huawei
driver.

Closes-bug: #1499251
Change-Id: I296f6354340e1a3698d8a284c9aa2a444c73771d

Merge "Fix VMAX live migration problem"

Merge "Report *real* free capacity in Huawei driver"

Merge "Use pbr wsgi_scripts to install Cinder WSGI entry point"

Merge "py3: Port pure driver test to Python 3"

Merge "Fix volume related operation in CloudByte driver"

Merge "Imported Translations from Zanata"

Merge "Fix Bad indentation pylint issues"

Merge "Remove the destination volume check in delete_volume"

Fix Python 3 issues in wsgi

Fix unicode versus bytes issues in wsgi code, a HTTP body is a bytes
string. Changes:

* On Python 3, encode JSON to UTF-8.
* Replace file() with open(); file() was removed in Python 3.
* Use literal byte strings (b'...') for HTTP body.
* Use binary instead of text mode for HTTP body when getting a file from
  a socket (sock.makefile).

Blueprint cinder-python3
Change-Id: If46e0060371f5eb00fd33d5b58ec236d1ff4ace1

py3: Port pure driver test to Python 3

* Replace func.func_name with func.__name__: the func_name attribute
  was removed in Python 3, whereas the __name__ attribute exists on
  Python 2 and Python 3
* Create INITIATOR_TARGET_MAP using list(set()) to get the same order
  than the tested code. The exact order is not reliable, it depends
  on the hash function which is now randomized by default on
  Python 3. The hash function is also different between Python 2.7
  and 3.4.
* tox.ini: add test_pure to Python 3.4

Blueprint cinder-python3
Change-Id: I78601278259f1d34ad6ac3458d2dd0a3aca9d77a

GlusterFS: extend volume to the right path

Extend volume uses the wrong volume file path. It should
extend the active volume file path.

And set _active_volume_path as a common function, that
also change delete_volume() and backup_volume().

Closes-Bug: 1499452

Change-Id: I2f19a721f4d3e9b05601e820e10a6eb1328a68a9

Merge "Show image metadata"

Use pbr wsgi_scripts to install Cinder WSGI entry point

pbr 1.4.0 added support for wsgi_scripts that creates scripts for wsgi
servers on install.

Change-Id: Ifbab059001d1567b1f7b394c0411a9ca4629f846
Closes-Bug: #1500367

Report *real* free capacity in Huawei driver

When we query capacity of a storage pool on Huawei storage,
there are two items in the result: one is "USERFREECAPACITY"
and the another one is "DATASPACE". In fact the "DATASPACE"
is the *real* space we can use to create LUN, the
"USERFREECAPACITY" contains some metadata that we can not use
to store user data.

Closes-Bug: #1499227
Change-Id: I34a8c67dea2a7b7f5a2a693a65c9303b2cc3d972

Merge "Create a page of drivers with stevedore.sphinxext"

Merge "Huawei driver add check before use a QoS"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Icc2ef9b5d5fe090baa7a3027cdc52ae1e2874e82

Fix Bad indentation pylint issues

Fixed Bad indentation (warning code W0311) issues in cinder project.

Closes-Bug: 1462992
Change-Id: Idf3c036b1826ed5c0efa2e13ddf289e6880323a6

Show image metadata

This patch implements the API to show the glance image metadata
for a specific volume.

DocImpact: May need to document this API.
APIImpact: Provided the API to show image metadata.
Partially implements: bp support-modify-volume-image-metadata

Change-Id: I2bcc9d3d44a784abaa0138397f553a825c92573a

Fix volume related operation in CloudByte driver

Currently the volume related operation in CloudByte driver does not:

* Update the ISCSI Initiator Group during volume deletion operation,
and
* During retry of any volume operation it does not catches the exact
cause of the failure happened.

So to deal with the following issues two changes has been done in
CloudByte Driver:

* Added a new method "_update_initiator_group"
ISCSI Initiator Group is one of the parameter added to the volumes
at the time of creation in CloudByte Storage. Using this the external
source can access the volumes easily. By default, Initiator Group
value is set to 'ALL', but it should be changed to 'None' before
deletion. Since the following is not happening, thus volume delete
operation fails from OpenStack. In order to avoid this the
"delete_volume" method now uses the "_update_initiator_group" which
update the volume ISCSI Initiatior Groupof the volumes to 'None'
before deletion, and thus volume delete operation will have no issues
while running from OpenStack.

* Added a check to "_retry_volume_operation"
The _retry_volume_operation method was not able to check the exact
cause of the failure happened during volume operation in CloudByte
Storage, which arises if some invalid parameters are provided in
"cinder.conf" against "cloudbyte backend" or if some anomaly happens
at CloudByte Storage during any volume operation from OpenStack. Due
to this, tracking the ERROR becomes a very difficult task to do. Thus
to resolve this issue a "check" has been added to the method which
will raise the exact cause of the error and thus making it easier to
solve.

Change-Id: Ie385df7c18520ea4abb5640fb354bdd18212c5a3
Closes-Bug: #1499297

Merge "Add placholder for migration backports in Liberty"

Merge "Remove duplicate keys from dictionary"

Merge "Revert use of netapp_lib from NetApp Drivers"

Add placholder for migration backports in Liberty

Adding 5 placeholders for migration backports.

Change-Id: Id3c4efbeee8bb1d800d71576d9de66ae9deb315a

Merge "Python 3 incompatible expression fix"

Merge "Port image_utils to Python 3"

Merge "Port volume transfer to Python 3"

Merge "Missing configuration opts from cinder.sample.conf"

Revert use of netapp_lib from NetApp Drivers

This patch cleanly reverts the changes made via the
commit: e681ba2a99995dcd999e6539bb1222f8a1ac8adc
cleanly and mitigates the conflicts that would
occur with git-revert on the said commit.

The revert is solely for changes pertaining to the use
of the external library, netapp_lib. Minor code refactors
from the prior change are retained.

Unit test coverage has been increased for ZAPI and REST
interface code in netapp/dataontap/client/api.py and
netapp/eseries/client.py.

Closes-Bug: #1499334
Change-Id: Icead7e168e1c7187840de87c69365d26aedd5924

Remove the destination volume check in delete_volume

* If the volume migration fails in the middle of the progress,
the destination volume will be cleaned up via
rpcapi.delete_volume. The method delete_volume in manager
should allow us to clean up the database record for the
destination volume.

* The variable update in migrate_volume_completion has been
assigned twice. Remove the second one.

Change-Id: Icb815476943053f1487268b33c28f3575c4fd0dc
Closes-Bug: #1490445

Huawei driver add check before use a QoS

One QoS in Huawei storage array can contain at most 64 LUNs.
Do a check before adding LUN to QoS, if the number of the
LUNs in the QoS is already equal or larger than 64, then
this QoS should not be used.

Closed-Bug: #1498773
Change-Id: I9dd78cc1378051ded135a885cfc9347d42977311

Merge "Use function capsulation in Huawei driver"

Merge "Check sio_storage_pools in check_for_setup_error"