Return updated volume type after updating

When updating volume type in db, it queries the object and
would like to return the updated object.

The problem is that the update session hasn't committed and
the update has not been implemented in db. And then the query is
executed in another session. As a result, the update function returns
an non-updated object.

The fix is to return updated object.

Closes-Bug: #1540190

Change-Id: I4b57ea69b1eebd62de707ca15aad32c53fca9f1d

Merge "Fix NFS driver unit test docstring"

Merge "Adds friendly zone name support"

Merge "Disallow transferring volume in consistency group"

Merge "fix NFS driver max_over_subscription_ratio typo"

Merge "Fixing HNAS XML parser"

Merge "Fix torpid coordinator unit tests"

Merge "NetApp ONTAP - Reapply API tracing"

Merge "Fix sluggish rbd unit tests"

Fixing HNAS XML parser

HNAS XML parser does not handles situations where the user
could accidentally insert a blank space in the parameter value
breaking the driver in execution time. With this fix, an
error is raised in the driver setup.

Closes-bug: #1537758
Change-Id: If553647563638a5c9a09441ad2ec40ed13a0ece2

Merge "Set LVM driver default overprovisioning ratio to 1.0"

Merge "Fix xtremio slow unit tests"

Merge "Adding action to policy.json"

Merge "DRBD: Rename "dres" to avoid confusion with "res""

Merge "Tegile tests: Change volume size to int"

Adds friendly zone name support

Added user friendly names for zones to include host and storage
names along with ids to easily identify the host and storage port
details.

This is done by extracting the host and storage name from connection
info object in the zone manager. The host and storage names are passed
to the zone drivers to form a friendly name. The method signature has
been changed which accepts host and storage name, with default as None.

Also added test cases to test this support. Changes have been made to
zone manager test code to accommodate the change in signature of some
methods.

Moved get_friendly_zone_name method to utils.py so that it can be used
by both cisco and brocade drivers

Changed cisco driver to accommodate host_name and storage_system
parameters in add/delete connection.

Implements: blueprint brocade-zone-driver-friendly-zone-names

Change-Id: I350493b96901675a1b8910d6104f31c7d677ebda

Merge "Huawei: Refactor driver for the second time"

Merge "Return BadRequest for invalid Unicode names"

Fix xtremio slow unit tests

This commit mocks out time.sleep() in the test_retry_request()
method of test_emc_xtremio.EMCXIODriverTestCase.

As documented in the accompanying bug, this yields about a 6X
speedup for this unit test suite.

Change-Id: I86647dce1fe8a6e8281ee3617fbc5e5c1332404d
Closes-Bug: #1536782

Fix sluggish rbd unit tests

The rbd_test.py module tests methods decorated by utils.retry,
which does retries with exponential backoffs, without mocking out
time.sleep().

This commit mocks time.sleep(), yielding a 3x speedup, as documented
in the accompanying bug.

Closes-Bug: #1536717

Change-Id: I414629f09f397e44d3a5be794ef83658a4c1eec0

Fix torpid coordinator unit tests

The test_coordination.py unit module tests a _reconnect() method
which does a randomly seeded exponential retry backoff.  This
retry/backoff mechanism introduces needless delay in unit test
runs.

This commit mocks out random.uniform, improving run time by about
a factor of nine, as documented in the accompanying bug.

Closes-Bug: #1536750

Change-Id: I83fafba17be99cbe972dfb60fe87dac6dc3756cf

Merge "EMC VMAX - Incorrect SG selected on an VMAX3 attach"

Merge "Replace assertEqual(*, None) with assertIsNone in tests"

Merge "NexentaStor 5 NFS backend driver."

Merge "Check min config requirements for rbd driver"

Merge "Added 'bootable volume' filter for non-admin user"

Merge "Reduce use of eval()"

Merge "VMware: Fix release notes"

Merge "NetApp FC drivers should not set 'rw' access mode"

NetApp ONTAP - Reapply API tracing

The NetApp ONTAP drivers had their API tracing inadvertently
removed when the netapp_lib changes were reverted.

This patch adds that tracing back in.

Closes-Bug: #1536683
Change-Id: I3c9f8fdc33e0e5128db41b497f54bd8ff07a8d85

Replace assertEqual(*, None) with assertIsNone in tests

Replace assertEqual(*, None) with assertIsNone in tests to have
more clear messages in case of failure.

Change-Id: If62be1aa29fd420855f42d44865fbdcbab16bf70

Merge "Refactor Windows drivers using os-win"

Merge "Add pagination support to volume type"

Fix NFS driver unit test docstring

This trivial commit fixes an incorrect docstring in
a unit test for the generic NFS driver.

Change-Id: I06adbc168501cd6214bc23194ee36c2873cb3cba

Merge "Activate sparse copy for Netapp"

Merge "NetApp ONTAP: Fix extending volume beyond lun geometry"

Merge "Remove DB calls from Pure Volume Driver CG methods"

Adding action to policy.json

After reviewing code found out the volume:create_snapshot policy.json
action is missing so added it to the policy.json file.

Closes-bug: #1530196

Change-Id: I2a0bf01bc465b0bcbe7ea0b7c65b90851ddfac2c

fix NFS driver max_over_subscription_ratio typo

Change-Id: I3b8a23f9c5854500f8577c2b87818e9689e753b8

Merge "Add cinder backup driver for Google Cloud Storage"

Merge "API Middleware fault: Log exception type"

Added 'bootable volume' filter for non-admin user

During launch instance from Horizon, if non-admin
user selects volume as source for launching
instance, drop down list for volumes will also
show non-bootable volumes. It is wrong behaviour.

To fix this, 'bootable volume' search filter is
enabled so that only bootable volumes get
displayed in drop down list of volume.

APIImpact

DocImpact:Need to add bootable against
query_volume_filters in OpenStack Configuration
Reference

Closes-Bug: #1524450

Change-Id: If5bfbd73bbe02b13b76d7169ea16424493ac5fca

Set LVM driver default overprovisioning ratio to 1.0

This introduces a config option, 'lvm_max_over_subscription_ratio',
which allows overriding the global max_over_subscription_ratio.

This is needed because the way we handle configuration with
multi-backend does not allow setting a value which will be applied
to each LVM backend without manually setting it in each backend,
and it would be better to default to a safe overprovisioning
ratio for the LVM driver.  It is often used in smaller deployments
and POCs which may not have all of the capacity monitoring
infrastructure used with other drivers, so overprovisioning should
be an opt-in capability rather than opt-out.

Partial-Bug: #1472803
DocImpact: new config option lvm_max_over_subscription_ratio

Change-Id: I5a214462b573d00d26086512821b4f8cc1db4fc3

Tegile tests: Change volume size to int

Defining volume size as a string is not correct, and
causes huge memory consumption when multiplied by
units.Gi in the driver.

Change-Id: Ib4cf13629b70dc1c517e4c12f29c62bb9c75adbf
Closes-Bug: #1535464

Merge "NexentaStor 5 iSCSI backend driver."

Merge "Add Fujitsu ETERNUS DX Volume Driver (FC part)"

Merge "Add finish_volume_migration to volume object"

VMware: Fix release notes

This patch fixes some typos in the VMware VMDK driver
release notes.

Change-Id: Ibe6ec3aa4ddbf29d303a92f8561d4a3587d9bedc

Merge "Imported Translations from Zanata"

Huawei: Refactor driver for the second time

After a few new features being added into drivers,
we found it hard to maintain the code. For further working,
we need to refactor our code. The work contains the following:
1. Define a new class, named HuaweiConf, to parse xml config file.
   We used an external xml file to store SAN info.
   But we do config parsing anywhere in our code,
   even two different functions do the same parsing.
2. Adjust some function structures.
3. Rename some functions & variables.

DocImpact
Implements: blueprint refactor-huawei-driver
Change-Id: If935a38399809cf95848825344fb837bf04a7dd3

Merge "NetApp eseries: report max_over_subscription_ratio correctly"

Add cinder backup driver for Google Cloud Storage

Implement cinder backup driver for Google Cloud Storage.
It supports:
 - creating backup which is stored on Google Cloud Storage
 - restoring backup from Google cloud storage
 - incremental backup
 - independent of any volume backend

DocImpact
Implements: blueprint gcs-cinder-backup-driver
Depends-On: I04f2e3dee1f5e001ad2f1cce15893b0965c082d7

Change-Id: Id2951176ad636afa52208e78c0b678cf02b8fad2
Co-Authored-By: Sreedhar Varma<sreedharv@vedams.com>
Co-Authored-By: Lakshmi Narayana<lakshminarayanat@vedams.com>

NexentaStor 5 iSCSI backend driver.

This patch implements a driver for NexentaStor 5 iSCSI backend.

DocImpact
Change-Id: I16af54cf1bb08c5742adb0a87f24edad1a097de7
Implements: blueprint nexentastor-5-cinder-iscsi-driver

NexentaStor 5 NFS backend driver.

This patch implements a driver for NexentaStor 5 NFS backend.

DocImpact
Change-Id: I424970b20925bf3d2eec8d6e8f633d79e07a93cb
Implements: blueprint nexentastor-5-cinder-nfs-driver

DRBD: Rename "dres" to avoid confusion with "res"

Expand the "d(rbd)res(ource)" abbreviation.

Change-Id: I37eb7bc6c73436eafe948363538d9b77c01c0ccc

EMC VMAX - Incorrect SG selected on an VMAX3 attach

Use the default storage group for an SLO/Workload
combination and not the storage group that will be
part of the Masking View(contains the host name).

Change-Id: I195dd0113103930af6e54e19afeebf33f979e8fa
Closes-Bug: #1515176

Activate sparse copy for Netapp

Activating sparse copy of files since using
"volume migration" or "retype" the size of the resulting
file is larger than before. Due to the reason that the
sparse blocks in the file are copied over completely. This
is inefficient performance wise and wastes space on the
storage itself.

Closes bug: #1534649

Change-Id: I3be7baf0255d838e6f5e16302c85d318061f4004

Add Fujitsu ETERNUS DX Volume Driver (FC part)

As I explained in my blueprint,
this patch completes Fujitsu ETERNUS DX Volume Driver.
Fujitsu ETERNUS DX Volume Driver consists of two parts, iSCSI and FC.
The iSCSI part [1] had been reviewed and
thanks to the nice reviews, it's merged.
The iSCSI and FC parts have a lot of common codes,
and all the common codes are included in the iSCSI part.

[1] https://review.openstack.org/201500/

DocImpact
Implements: blueprint fujitsu-eternus-dx-driver
Change-Id: If61145ee999bffd82223a99a7d59de315a5ecd3b

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9fac5927f89f28c399b9870e029b7baf27eceb8f

Merge "Remote unused iscsi_targets table"

Updated from global requirements

Change-Id: Ia5570e89fd81f9cf4cae08628fda829c500e62e0

Merge "Python 3: Replace reduce and xrange with six.moves"

Merge "Huawei: Add manage/unmanage volume support"

Merge "Infrastructure to use the DRBD transport for NOVA"

Merge "EMC VMAX - Extend Volume for VMAX3"

Merge "ITRI DISCO cinder driver"

Disallow transferring volume in consistency group

Currently, transferring a volume in a consistency group would
success. But consistency group is not designed to span multiple
tenants. If the accepted volume is attached to an instance, and
the original user try to delete the CG, it would fail and could
not find the attachment.

This patch fixes it by adding a check in transfer API accept. It
raises InvalidVolume exception if the volume being transferred
belongs to a consistency group.

Change-Id: I597d32a301a1ded87ba711de6168995b5f62c4d8
Closes-bug: #1499584

Reduce use of eval()

Calling eval() is less than ideal security practice,
and does not appear to be needed in these instances.
Convert to ast.literal_eval() which is a safer
mechanism for parsing inputs like this.

Change-Id: I102f28cfa2a643f36a4d4174cef09c6f7576a804

Remote unused iscsi_targets table

iscsi_targets table, ORM class IscsiTarget, and db methods are not
currently being used, so we can drop them.

Closes-Bug: #1534808
Change-Id: I5bd0013f8fbcce18c844a1b051c3d385176f7e5b

ITRI DISCO cinder driver

    This commit adds a Cinder volume driver for ITRI DISCO product.
    The DISCO driver supports the following features:
    * Volume Create/Delete
    * Volume Attach/Detach
    * Snapshot Create/Delete
    * Create Volume from Snapshot
    * Get Volume Stats
    * Copy Image to Volume
    * Copy Volume to Image
    * Clone Volume
    * Extend volume

    Implements: blueprint disco-driver-cinder

This patchset also includes the unit tests.

New config options for the cinder driver were also added.
related nova patchset : https://review.openstack.org/253353
related os_brick patchset : https://review.openstack.org/253352

DocImpact
Change-Id: I0168af34364343246a2855bdbd4a9f5ed5b05438

NetApp eseries: report max_over_subscription_ratio correctly

The scheduler is looking for a key named
"max_over_subscription_ratio".

Closes-Bug: #1534240

Change-Id: I12f7a6ae8592bc8bc3b7fe70b2ff9cc947dc57d3

Merge "Base iSCSI initiator validation"

Python 3: Replace reduce and xrange with six.moves

1. Builtin function 'reduce' in Python 2 has been moved to standard
library module in Python 3 [1]. To make code compatible, replaced
reduce(expr) with six.moves.reduce(expr).
2. xrange is renamed to range in Python 3, replaced it with
six.moves.range
3. Added __bool__() method in FeatureState class to make it python 3
compatible because Python 3 calls the __bool__() method instead of
__nonzero__ when evaluating an instance in a boolean context.
4. Added this test case to tests-py3.txt.

[1] http://python3porting.com/stdlib.html#moved-builtins

Closes-Bug: 1530249
Change-Id: I376cd643b9f58358a3e147532dafe77a7325a114

Infrastructure to use the DRBD transport for NOVA

Our DRBD block storage driver for Cinder can be used to make
Nova directly connect to the DRBD 9 storage servers, instead
of needing an iSCSI hop.

Please see
  http://drbd.linbit.com/users-guide-9.0/s-openstack-transport-protocol.html
for more details.

Change-Id: Ie26f10302cd8ce3fd06bc52dd4f431ead5a03c24
Implements: blueprint drbd-transport

Merge "Fix ChunkedBackupDriver _create_container"

Merge "LeftHand: Implement v2 replication (managed)"

NetApp ONTAP: Fix extending volume beyond lun geometry

In the case where a LUN is extended beyond it's supported geometry,
a new LUN must be created and only the used blocks should be copied
to the new LUN. Currently, we do not pass the block count, source
block, and destination block information. This causes the extend to
fail.

Closes-Bug: 1532836
Change-Id: I31d93ecfeee9884d6796c66acfbe556363130c44

Refactor Windows drivers using os-win

A common library abstracting Windows specific operations has been
created in order to remove duplicated code among OpenStack projects,
also being easier to maintain.

This patch refactors Windows drivers, leveraging the os-win library.

The Windows iSCSI driver unit tests needed to be updated, for which
reason those where rewritten using mock.

Implements: blueprint windows-os-win

Change-Id: I234835eebac83baab9c3e13b6cf069734137bbc2

Base iSCSI initiator validation

Validate that iSCSI initiator is string

Change-Id: I2309c70e1d937b1897a0e4f85a9255a9abe15169
Closes-Bug: #1534199

Fix ChunkedBackupDriver _create_container

Current _create_container method in ChunkedBackupDriver is not behaving
as expected.

According to update_container_name docstring the method should return
None if the container name that comes in to the driver is to be used,
but code was using backup_default_container instead.

Also, if None is returned by update_container_name the logging will
report that it will be using None instead of the name that it will be
really using.

If update_container_name returns the same value we already have in the
DB, driver will unnecessarily update the DB.

This patch fixes all this.

Change-Id: I2aeac37f5533b6bf0c10dd6bfe45224a25f39ea6
Closes-Bug: #1534182

Merge "Enable trim/discard in SolidFire's driver"

Merge "Allow host and instance_uuid at attach"

Merge "Handling Invalid argument iflag=direct in dd"

Merge "Dell SC: Adding logging to httpclient"

Huawei: Add manage/unmanage volume support

Add manage/unmanage volume support for Huawei
drivers. Also implement the required
manage_existing_get_size function.

DocImpact
Implements: blueprint huawei-support-manage-volume
Change-Id: I964d49b9979b710bca445c2d209099dcea64d3da

Merge "Report discard support for Dell SC connections"

Remove DB calls from Pure Volume Driver CG methods

After the updates to the CG API’s to pass in the objects we didn’t need
to call the DB anymore. This finally fixes that issue and updates to
return the actual database updates.

Change-Id: If6c96843be1d7e1cbc83e4258b917296129df621
Closes-Bug: #1531676

Dell SC: Adding logging to httpclient

Added url and payload logging to REST calls in the
HttpClient class of the Dell Storage Center Cinder
driver.

Change-Id: Iedf915a8678698721e05a938712339e7715b333e

LeftHand: Implement v2 replication (managed)

This patch implements the managed side of v2 replication in the HPE
LeftHand driver.

At this time, only periodic mode is supported with LeftHand arrays.

extra_spec value 'replication:sync_period' will specify the sync period
for the volume type. If it is not provided, it will be defaulted to 1800
seconds, or 30 minutes. 'replication:retention_count' determines how
many snapshots will be kept on the primary system. The maximum is 50,
and if the value is not specified, it defaults to 5.
'replication:remote_retention_count' determines how many snapshots will
be kept on the secondary system. The maximum is 50, and if the value is
not specified, it defaults to 5.

cinder.conf should have the replication config group (lefthandrep)
and at least one other target group (lefthand) as such:

[lefthand]
hpelefthand_api_url = https://10.10.10.10:8081/lhos
hpelefthand_username = user
hpelefthand_password = pass
hpelefthand_clustername = mgm-cluster-name-1
volume_backend_name = lefthand
volume_driver = cinder.volume.drivers.hpe.hpe_lefthand_iscsi.\
                HPELeftHandISCSIDriver

[lefthandrep]
hpelefthand_api_url = https://11.11.11.11:8081/lhos
hpelefthand_username = user
hpelefthand_password = pass
hpelefthand_clustername = mgm-cluster-name-2
volume_backend_name = lefthandrep
volume_driver = cinder.volume.drivers.hpe.hpe_lefthand_iscsi.\
                HPELeftHandISCSIDriver
replication_device = managed_backend_name:alex-devstack@lefthand#lefthand,
                     target_device_id:lh-id,
                     hpelefthand_api_url:https://10.10.10.10:8081/lhos,
                     hpelefthand_username:user,
                     hpelefthand_password:pass,
                     hpelefthand_clustername:mgm-cluster-name-1

Change-Id: I97959e78b71042642a9f36fc2cd8a4ad3c73f135
Implements: blueprint hp-lefthand-v2-replication
DocImpact

Enable trim/discard in SolidFire's driver

Pretty straight forward change to set a flag in the connection info
returned from initialize_connection. This change will work pending
upcoming Nova code reviews, as trim/discard support has been supported
by SolidFire since its inception.

Followed the Cinder Liberty spec titled
'cinder-backend-report-discard' for this change.

Change-Id: I667bb27cf4be7cfe7d403c9603c40bf20db9491e

Merge "Re-add Nexenta drivers"

Merge "Execute mount.nfs check as root"

API Middleware fault: Log exception type

This causes a fault such as the following to log the type:

ERROR cinder.api.middleware.fault [req-7d2... ddf... 658...]
  Caught error: <class 'oslo_db.exception.DBDataError'> (pymysql.err.InternalError)
  (1366, u"Incorrect string value: '\\xF0\\x9F\\x8C\\x8B' for column 'display_name'
   at row 1") [SQL: u'INSERT...

Without this info (DBDataError), it is rather difficult to
determine which exception actually occurred.

Change-Id: I51ca64847b7d82c4258e134161e1b23f232004e5

Re-add Nexenta drivers

Drivers were removed due to lack of CI.

Refactored iSCSI to use single target/tg with multiple zvols.
Migrated unit tests to use mock.
Added releasenotes.

DocImpact
Implements: blueprint nexentastor-4-cinder-drivers
Change-Id: I2ff4c79573322a9c0cd473a9d413e1fcdbe55ee0

Merge "3PAR: Adding volume checks to manage snapshot API"

Merge "Add ConsistencyGroupStatus enum field"

Merge "Dell SC: Implements Replication V2"

Return BadRequest for invalid Unicode names

If the database fails to insert values due to them
containing Unicode that the database can't support (or other
similar errors that fall under DBDataError), return an
HTTP 400 Bad Request rather than HTTP 500.

The following fix in oslo.db is needed for this to be
most useful, but is not a requirement:
  https://review.openstack.org/#/c/265921/

This will need to be applied to numerous calls other
than just volume_create, as well.

Closes-Bug: #1393871
Partial-Bug: #1531400

Change-Id: I8f71df58082adca95c30d69eab211529025a3ab6

Handling Invalid argument iflag=direct in dd

During volume/snapshot create/delete operations,
dd command is used to clear contents of disk.

Before invoking dd, it is checked if iflag=direct
supports dd or not by executing dd command with
iflag=direct and if=/dev/zero combination.
But this always results in invalid argument
error.

Handling for this argument is done to eliminate
unnecessary call to dd command when it is used
with iflag=direct and if=/dev/zero combination
to check if this argument supports dd or not.

Closes-Bug: #1270362

Change-Id: Ic6dd029ca1a339076e491c38ef3c69315497f189

Execute mount.nfs check as root

Currently the existence of 'mount.nfs' is checked with a
non-root user, in this case cinder. This results, for example on SUSE,
in the error:

      NfsException: mount.nfs is not installed

Because mount.nfs is located under /sbin, unprivileged users do not
have /sbin in their PATH to search for executables.
This change switches the parameter run_as_root to true, to find
the binary in privileged directories, as well.

Change-Id: Id1dcc9a7653f1317532da2eb83aa1ecbb5cf5ec8
Closes-Bug: #1510150