Fix issue in hacking with underscore imports

Hacking rule for underscore imports _() are not working correctly.
It also matches _.* imports like "import _LE"

See review: https://review.openstack.org/#/c/270754/

Closes-bug: 1541780
Change-Id: Ibdef35e1896882a8dfe3165dba989255639e61ba

Merge "EMC VMAX - Fix for last volume in VMAX3 storage group"

Merge "Imported Translations from Zanata"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ife555940fe3df05e895c7a2229b0e59700b1a1b9

Fix the replication spelling in message

Changed replicaiton to replication

Change-Id: I58cd74b644e976d49b72075eed347c8cce4c4352

Merge "LeftHand: Implement v2 replication (unmanaged)"

Merge "Remove deprecated options from NFS driver"

Merge "Replication V2 for Pure Storage"

Merge "Improve logging for volume detach"

Updated from global requirements

Change-Id: I026436e02d8fae0501fe948558527a7c635d3345

Improve logging for volume detach

Currently the volume manager doesn't log the instance ID during
volume detach. This is missing in cinder-api log as well. This
patch adds a log statement to print a message with volume ID and
instance ID before calling driver detach.

Change-Id: I6e765124c4e737e64cff39ec82cb81749bca28ab

Merge "Huawei: Balanced FC port selection when zoning"

Merge "Pin RPC and object version to lowest running"

Merge "Report RPC and objects versions"

EMC VMAX - Fix for last volume in VMAX3 storage group

This patch fixes bug in the deletion the last volume in a
storage group for the VMAX3. If a masking view did not exist
we tried to get an instance of it which threw an exception.
Now we handle both scenarios correctly.

Closes-Bug: #1512796

Change-Id: Ideb2aaffe4fbc1ae2137d569d7b137ac0edef573

Merge "Add missing RPC calls versions to rpcapi modules"

Merge "Remove invalid NetApp QoS keys"

Merge "XtremIO: Set the location of a CA certificate"

Merge "Storwize: Add force flag on vdisk mapping call"

Merge "Adds HTTPS southbound connector for Brocade FC Zone Driver"

Merge "EMC VMAX - VMAX driver failing to remove zones"

Pin RPC and object version to lowest running

This commit adds detection and pinning to lowest RPC API version to all
rpcapi modules. The version pin is determined by a DB call done once per
service lifetime thanks to caching. Handling the compatibility is
guaranteed by oslo.messaging and our shims in rpcapi modules.

To achieve o.vo compatibility, a similar approach is implemented. Custom
oslo.messaging serializer is implemented that backports objects to the
lowest running version on sending.

During the process of upgrade it may happen that manager receives an
object in the version lower than current one. Handling of such
situations is up to the manager and it should do that explicitely by
checking obj.VERSION.

The patch also adds required methods to db.api and Service object.

Co-Authored-By: Thang Pham <thang.g.pham@gmail.com>
Change-Id: I649892da64f9734928a6cf0f004a369aa7aa375f
Partial-Implements: blueprint rpc-object-compatibility

Report RPC and objects versions

While doing a rolling upgrade we will have services running in various
versions. In order to determine how to downgrade the RPC request and
payload (objects) to the lowest common version we need to actually
report versions of RPC servers (managers).

This commit implements such reporting in generic cinder.service module.
It is using DB columns that were merged in Liberty to save this
information.

To have a single version string identify a set of o.vo versions we need
to have dictionary with objects versions history. In that purpose a
dict-like CinderObjectVersionsHistory class and OBJ_VERSIONS instance of
it is added to cinder.objects.base. A unit test enforcing bumping the
versions is also included with the patch.

Change-Id: Ic3b57450e9d6f155a7eb805d224389f5f09eae18
Partial-Implements: blueprint rpc-object-compatibility

Add missing RPC calls versions to rpcapi modules

Some RPC calls in rpcapi modules are not passing version indicators to
the RPC client. The RPC call version should be indicated explicitely
because otherwise it gets defaulted to the latest one or '1.0'. This
creates a set of problem in maintaining RPC API backward compatibility.

This commit changes these calls to point to the right versions according
to git history and version comments in rpcapi files.

Change-Id: Ib05d9748e18589df5a67f7b7ea668394cc8df769
Related-Blueprint: rpc-object-compatibility

Huawei: Balanced FC port selection when zoning

Currently we always select the first two FC ports
from every controller when zoning, the rest FC ports
of the controller will never be selected. This patch
will calculate each port's load and select the first
two smallest load ports.

Implements: blueprint huawei-balanced-fc-port-selection
Change-Id: Ie9045e0d12b7cdb920b3886545772b60727cc64e

Merge "Run flake8 also on cinder/common"

Merge "Add pagination support to consistency group"

Merge "Fix update_consistencygroup log info"

Merge "Fix laggard cisco FC zone client unit tests"

Adds HTTPS southbound connector for Brocade FC Zone Driver

Set ssl verify to False for HTTPS.

Marked 'principal_switch_wwn' parameter from the config options as
deprecated.

DocImpact

Implements: blueprint brocade-zone-driver-virtualfabrics-support

Change-Id: I0b40b520580eaa6821c0af29abc6d2497d884ad2

Merge "Fix thin provisioning flags in NetApp drivers"

Replication V2 for Pure Storage

This implementation utilizes Pure Storage Protection Groups to
replicate volumes natively between Pure Storage backends.

Replication schedules can be set via config file options.
Replication targets are also set via config file options.

For example,
[puredriver-1]
volume_backend_name = puredriver-1
...
replication_device = target_device_id:<unique_array_id>,
                     managed_backend_name:puredriver-2,
                     san_ip:<ip_address>,
                     api_token:<authentication_token>
pure_replica_interval_default = 900
pure_replica_retention_short_term_default = 14400
pure_replica_retention_long_term_per_day_default = 3
pure_replica_retention_long_term_default = 7

replication_device describes the target array for replication. This can
be either another managed cinder backend or one not managed by cinder.

The above settings will cause a protection group to be created between
the two flash arrays. It will replicate any volumes placed in it with
settings that cause a volume to be replicated every 15 mins (900s).  All
snapshots will be kept for 4 hours (14400s).  Then 3 snapshots per day
will be kept for 7 days.

Note that replication-failover is supported from primary to any of
multiple secondary arrays, but subsequent replication-failover is
only supported back to the original primary.

DocImpact
Implements: bp pure-v2-replication
Change-Id: I69e567143b65e92f89969ff5036c4f242c17a1dd

Merge "Remove redundant definition of 'deleted'"

Merge "Huawei: Add manage/unmanage snapshot support"

Remove redundant definition of 'deleted'

Remove redundant definition of class variable 'deleted' from
models.Volume because it's already defined in the parent class
CinderBase.

Change-Id: I9fcd9ff1b99a8e018043fe61cd06059681fdb266

Fix update_consistencygroup log info

In update_consistencygroup function,
the log info is inappropriate, so fix it.

Change-Id: I0de0c3ebdcf9da2d6e975027ebba519869e84c3b
Closes-Bug: #1538391

Merge "Fix NFS driver unit test docstring"

Huawei: Add manage/unmanage snapshot support

Add manage/unmanage snapshot support for Huawei
drivers. Also implement the required
manage_existing_snapshot_get_size function.

DocImpact
Implements: blueprint huawei-manage-unmanage-snapshot

Change-Id: I05f8a750a745498c879d8c734e661d778528258c

Merge "Adds friendly zone name support"

Merge "Disallow transferring volume in consistency group"

Remove deprecated options from NFS driver

In the Liberty release, the NFS driver deprecated the 'nfs_used_ratio'
and 'nfs_oversubscription_ratio' configuration options since equivalent
common functionality is now provided across drivers by the scheduler-aware
'reserved_percentage' and 'max_over_sucscription_ratio' configuration
options.

This commit removes these deprecated options, tests for same, and
some Liberty code that proviced backwards compatibility with respect to
these options.

DocImpact

Change-Id: Ia3af9cbe69b2342649fe378aefe6ed1e46a82b19

Merge "fix NFS driver max_over_subscription_ratio typo"

Merge "Fixing HNAS XML parser"

Merge "Fix torpid coordinator unit tests"

Merge "NetApp ONTAP - Reapply API tracing"

Merge "Fix sluggish rbd unit tests"

Fixing HNAS XML parser

HNAS XML parser does not handles situations where the user
could accidentally insert a blank space in the parameter value
breaking the driver in execution time. With this fix, an
error is raised in the driver setup.

Closes-bug: #1537758
Change-Id: If553647563638a5c9a09441ad2ec40ed13a0ece2

Merge "Set LVM driver default overprovisioning ratio to 1.0"

Merge "Fix xtremio slow unit tests"

Merge "Adding action to policy.json"

Merge "DRBD: Rename "dres" to avoid confusion with "res""

Merge "Tegile tests: Change volume size to int"

Adds friendly zone name support

Added user friendly names for zones to include host and storage
names along with ids to easily identify the host and storage port
details.

This is done by extracting the host and storage name from connection
info object in the zone manager. The host and storage names are passed
to the zone drivers to form a friendly name. The method signature has
been changed which accepts host and storage name, with default as None.

Also added test cases to test this support. Changes have been made to
zone manager test code to accommodate the change in signature of some
methods.

Moved get_friendly_zone_name method to utils.py so that it can be used
by both cisco and brocade drivers

Changed cisco driver to accommodate host_name and storage_system
parameters in add/delete connection.

Implements: blueprint brocade-zone-driver-friendly-zone-names

Change-Id: I350493b96901675a1b8910d6104f31c7d677ebda

Merge "Huawei: Refactor driver for the second time"

LeftHand: Implement v2 replication (unmanaged)

This patch implements the unmanaged side of v2 replication in the HPE
LeftHand driver.

With unmanaged replication, the original driver instance will handle
all provisioning requests even after a failover.

cinder.conf should have the replication config group:

[lefthandrep]
hpelefthand_api_url = https://10.10.10.10:8081/lhos
hpelefthand_username = user
hpelefthand_password = pass
hpelefthand_clustername = vsa-12-5-mgmt1-vip
volume_backend_name = lefthandrep
volume_driver = cinder.volume.drivers.hpe.hpe_lefthand_iscsi.\
                HPELeftHandISCSIDriver
replication_device = target_device_id:lh-id,
                     hpelefthand_api_url:https://11.11.11.11:8081/lhos,
                     hpelefthand_username:user2,
                     hpelefthand_password:pass2,
                     hpelefthand_clustername:vsa-12-5-mgmt2-vip

Change-Id: I3c489e986648eee16b3bf5a19799a4ea0c0240b0
Implements: blueprint hp-lefthand-v2-replication
DocImpact

EMC VMAX - VMAX driver failing to remove zones

The population of the target_wwns and init_targ_map
should occur before the terminate_connection
and not after.

Closes-Bug: #1501938
Change-Id: I3a896a1fcdfd9c09a4c8fa5a1f7fb7253ff36715

Merge "Return BadRequest for invalid Unicode names"

Fix laggard cisco FC zone client unit tests

The test_cisco_fc_zone_client_cli.py unit module tests methods
decorated by utils.retry, which does retries with exponential
backoffs, without mocking out time.sleep().  One test in this
suite takes about 10% of the total time to run all cinder unit
tests.

This commit mocks time.sleep() in two critical tests in this
module, yielding a 30x speedup in run-time for the module.

Closes-Bug: #1536457

Change-Id: I3a686b760e2049a1f0ae4f8ee5ccbb4fa974aa1f

Fix xtremio slow unit tests

This commit mocks out time.sleep() in the test_retry_request()
method of test_emc_xtremio.EMCXIODriverTestCase.

As documented in the accompanying bug, this yields about a 6X
speedup for this unit test suite.

Change-Id: I86647dce1fe8a6e8281ee3617fbc5e5c1332404d
Closes-Bug: #1536782

Fix sluggish rbd unit tests

The rbd_test.py module tests methods decorated by utils.retry,
which does retries with exponential backoffs, without mocking out
time.sleep().

This commit mocks time.sleep(), yielding a 3x speedup, as documented
in the accompanying bug.

Closes-Bug: #1536717

Change-Id: I414629f09f397e44d3a5be794ef83658a4c1eec0

Fix torpid coordinator unit tests

The test_coordination.py unit module tests a _reconnect() method
which does a randomly seeded exponential retry backoff.  This
retry/backoff mechanism introduces needless delay in unit test
runs.

This commit mocks out random.uniform, improving run time by about
a factor of nine, as documented in the accompanying bug.

Closes-Bug: #1536750

Change-Id: I83fafba17be99cbe972dfb60fe87dac6dc3756cf

Merge "EMC VMAX - Incorrect SG selected on an VMAX3 attach"

Merge "Replace assertEqual(*, None) with assertIsNone in tests"

Merge "NexentaStor 5 NFS backend driver."

Merge "Check min config requirements for rbd driver"

Merge "Added 'bootable volume' filter for non-admin user"

Merge "Reduce use of eval()"

Merge "VMware: Fix release notes"

Merge "NetApp FC drivers should not set 'rw' access mode"

NetApp ONTAP - Reapply API tracing

The NetApp ONTAP drivers had their API tracing inadvertently
removed when the netapp_lib changes were reverted.

This patch adds that tracing back in.

Closes-Bug: #1536683
Change-Id: I3c9f8fdc33e0e5128db41b497f54bd8ff07a8d85

Run flake8 also on cinder/common

Even though testenvs pep8 and pep8-constraints included cinder/common
directory to be processed by flake8, global configuration in flake8
secion was excluding common glob preventing the directory from being
checked.

This patch removes glob from flake8 exclude section, unnecessary
cinder/common inclusion when running flake8, and fixes
cinder/common/config.py.

If we had a common directory in our code root and wanted to exclude it,
glob should be ./common instead of just common like we had now.

Change-Id: Iefc64c02335ed9296bda323fdcb5688125fb4e77

Replace assertEqual(*, None) with assertIsNone in tests

Replace assertEqual(*, None) with assertIsNone in tests to have
more clear messages in case of failure.

Change-Id: If62be1aa29fd420855f42d44865fbdcbab16bf70

Add pagination support to consistency group

In liberty release, we have added pagination to backups
and snapshots. There are still some work that hasn't been
done yet.
This patch adds pagination support to consistency groups.

APIImpact
Add pagination args like limit, marker, sort to query
consistency group.

DocImpact

Change-Id: I37602069e06cc99c9adbf45c2a981b0513a1be26
Implements: blueprint add-pagination-to-other-resource

Merge "Refactor Windows drivers using os-win"

Merge "Add pagination support to volume type"

Fix NFS driver unit test docstring

This trivial commit fixes an incorrect docstring in
a unit test for the generic NFS driver.

Change-Id: I06adbc168501cd6214bc23194ee36c2873cb3cba

Merge "Activate sparse copy for Netapp"

Merge "NetApp ONTAP: Fix extending volume beyond lun geometry"

Merge "Remove DB calls from Pure Volume Driver CG methods"

Adding action to policy.json

After reviewing code found out the volume:create_snapshot policy.json
action is missing so added it to the policy.json file.

Closes-bug: #1530196

Change-Id: I2a0bf01bc465b0bcbe7ea0b7c65b90851ddfac2c

fix NFS driver max_over_subscription_ratio typo

Change-Id: I3b8a23f9c5854500f8577c2b87818e9689e753b8

Merge "Add cinder backup driver for Google Cloud Storage"

Merge "API Middleware fault: Log exception type"

Added 'bootable volume' filter for non-admin user

During launch instance from Horizon, if non-admin
user selects volume as source for launching
instance, drop down list for volumes will also
show non-bootable volumes. It is wrong behaviour.

To fix this, 'bootable volume' search filter is
enabled so that only bootable volumes get
displayed in drop down list of volume.

APIImpact

DocImpact:Need to add bootable against
query_volume_filters in OpenStack Configuration
Reference

Closes-Bug: #1524450

Change-Id: If5bfbd73bbe02b13b76d7169ea16424493ac5fca

Set LVM driver default overprovisioning ratio to 1.0

This introduces a config option, 'lvm_max_over_subscription_ratio',
which allows overriding the global max_over_subscription_ratio.

This is needed because the way we handle configuration with
multi-backend does not allow setting a value which will be applied
to each LVM backend without manually setting it in each backend,
and it would be better to default to a safe overprovisioning
ratio for the LVM driver.  It is often used in smaller deployments
and POCs which may not have all of the capacity monitoring
infrastructure used with other drivers, so overprovisioning should
be an opt-in capability rather than opt-out.

Partial-Bug: #1472803
DocImpact: new config option lvm_max_over_subscription_ratio

Change-Id: I5a214462b573d00d26086512821b4f8cc1db4fc3

Tegile tests: Change volume size to int

Defining volume size as a string is not correct, and
causes huge memory consumption when multiplied by
units.Gi in the driver.

Change-Id: Ib4cf13629b70dc1c517e4c12f29c62bb9c75adbf
Closes-Bug: #1535464

Merge "NexentaStor 5 iSCSI backend driver."

Merge "Add Fujitsu ETERNUS DX Volume Driver (FC part)"

Merge "Add finish_volume_migration to volume object"

VMware: Fix release notes

This patch fixes some typos in the VMware VMDK driver
release notes.

Change-Id: Ibe6ec3aa4ddbf29d303a92f8561d4a3587d9bedc

Merge "Imported Translations from Zanata"

Huawei: Refactor driver for the second time

After a few new features being added into drivers,
we found it hard to maintain the code. For further working,
we need to refactor our code. The work contains the following:
1. Define a new class, named HuaweiConf, to parse xml config file.
   We used an external xml file to store SAN info.
   But we do config parsing anywhere in our code,
   even two different functions do the same parsing.
2. Adjust some function structures.
3. Rename some functions & variables.

DocImpact
Implements: blueprint refactor-huawei-driver
Change-Id: If935a38399809cf95848825344fb837bf04a7dd3

Merge "NetApp eseries: report max_over_subscription_ratio correctly"

Add cinder backup driver for Google Cloud Storage

Implement cinder backup driver for Google Cloud Storage.
It supports:
 - creating backup which is stored on Google Cloud Storage
 - restoring backup from Google cloud storage
 - incremental backup
 - independent of any volume backend

DocImpact
Implements: blueprint gcs-cinder-backup-driver
Depends-On: I04f2e3dee1f5e001ad2f1cce15893b0965c082d7

Change-Id: Id2951176ad636afa52208e78c0b678cf02b8fad2
Co-Authored-By: Sreedhar Varma<sreedharv@vedams.com>
Co-Authored-By: Lakshmi Narayana<lakshminarayanat@vedams.com>

NexentaStor 5 iSCSI backend driver.

This patch implements a driver for NexentaStor 5 iSCSI backend.

DocImpact
Change-Id: I16af54cf1bb08c5742adb0a87f24edad1a097de7
Implements: blueprint nexentastor-5-cinder-iscsi-driver

NexentaStor 5 NFS backend driver.

This patch implements a driver for NexentaStor 5 NFS backend.

DocImpact
Change-Id: I424970b20925bf3d2eec8d6e8f633d79e07a93cb
Implements: blueprint nexentastor-5-cinder-nfs-driver

DRBD: Rename "dres" to avoid confusion with "res"

Expand the "d(rbd)res(ource)" abbreviation.

Change-Id: I37eb7bc6c73436eafe948363538d9b77c01c0ccc

EMC VMAX - Incorrect SG selected on an VMAX3 attach

Use the default storage group for an SLO/Workload
combination and not the storage group that will be
part of the Masking View(contains the host name).

Change-Id: I195dd0113103930af6e54e19afeebf33f979e8fa
Closes-Bug: #1515176

Activate sparse copy for Netapp

Activating sparse copy of files since using
"volume migration" or "retype" the size of the resulting
file is larger than before. Due to the reason that the
sparse blocks in the file are copied over completely. This
is inefficient performance wise and wastes space on the
storage itself.

Closes bug: #1534649

Change-Id: I3be7baf0255d838e6f5e16302c85d318061f4004

Add Fujitsu ETERNUS DX Volume Driver (FC part)

As I explained in my blueprint,
this patch completes Fujitsu ETERNUS DX Volume Driver.
Fujitsu ETERNUS DX Volume Driver consists of two parts, iSCSI and FC.
The iSCSI part [1] had been reviewed and
thanks to the nice reviews, it's merged.
The iSCSI and FC parts have a lot of common codes,
and all the common codes are included in the iSCSI part.

[1] https://review.openstack.org/201500/

DocImpact
Implements: blueprint fujitsu-eternus-dx-driver
Change-Id: If61145ee999bffd82223a99a7d59de315a5ecd3b