Remove the HP CLIQ proxy driver

This patch removes the deprecated HP Lefthand
CLIQ/SSH based driver.  It also refactors the proxy
class, which was nothing but a wrapper for the 2
drivers.   The LeftHand driver is now entirely based
off of the REST client.

Implements: blueprint deprecate-hp-lefthand-cliq
DocImpact

Change-Id: I12d8bb7b7dcac8ae40796d9d169825265c634a33

Merge "Correct assertDictMatch argument order"

Merge "NetApp: Fix issue with updating E-Series password"

Merge "add "unreleased" release notes page"

Merge "Add test for snapshot filtering by project id"

Merge "Imported Translations from Zanata"

Correct assertDictMatch argument order

Patch to fix the order of the arguments in assertDictMatch to
(expected, observed) in instances where it was in the
wrong order.

Closes-Bug: #1259292

Change-Id: I969d780ea06190ba5362106ee2b8efa1ee43927c

Merge "Add LC_ALL=C to lvcreate, lvextend and pvresize"

Merge "Refactor HP 3PAR drivers to now be HPE"

Merge "Port zfssa driver to Python 3"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia11e9eca9fbc4dd75f61b84a4a95c2d07500347f

Merge "Update retype API to use versionedobjects"

Merge "Update get/delete_volume API to use versionedobjects"

Merge "py3: Fix error handling in prophetstor driver"

Merge "Updated from global requirements"

Merge "Port vzstorage to Python 3"

py3: Fix error handling in prophetstor driver

* Port prophetstor driver to Python 3
* Replace "except exception as e:" with "except Exception as e:"
  to handle "Fexvisor failed to join the volume ..." and "Fexvisor
  failed to remove the volume ..." errors. Here, lower case
  "exception" is the cinder.exception module, not an exception class.
  On Python 3, "except" requires exception classes.
* tests-py3.txt: add cinder.tests.unit.test_prophetstor_dpl

Partial-Implements: blueprint cinder-python3
Change-Id: I0447b62cc0afe5a10ecbc888dfb6608b69f977d2

Updated from global requirements

Change-Id: I7aa9545451d910681f114e856e8ab82e898b9f20

Refactor HP 3PAR drivers to now be HPE

This patch refactors the HP 3PAR FC and iSCSI drivers to be
HPE 3PAR FC and HPE 3PAR iSCI.

This is being done because the company responsible for the
HP 3PAR FC and iSCSI drivers is now called Hewlett Packard
Enterprise (HPE).

The drivers are now located in the cinder/volume/drivers/hpe
folder.

DocImpact
Implements: blueprint rebrand-hp-3par-driver
Change-Id: I529429e00ef5e1b7263d40d9d50ed8ac8535d34a

Merge "OpenStack typo"

Merge "Update create_volume API to use versionedobjects"

Merge "CG driver function should not access db"

Merge "NetApp: Fix issue with E-Series volume expand"

add "unreleased" release notes page

We need a release notes page to show notes for unreleased versions by
scanning the "current" branch. This ensures that notes files cannot be
merged if they break the releasenotes job.

Change-Id: Ie1277428a3053d183df73bac882adc8aa0ac1079

Update retype API to use versionedobjects

The following patch updates retype API to use volume
versionedobjects.  Changes were made to be backwards
compatible with older RPC clients.  It only includes
changes to the core cinder code.  Changes in the
drivers are left to each driver maintainer to update.

Note that this patch DOES NOT try to use object dot
notation everywhere, since it would increase the
size of the patch.  Instead, it will be done in
subsequent patches.

Change-Id: Ie79abf085349b496930fb75a76f299e65587ba6d
Partial-Implements: blueprint cinder-objects

Update get/delete_volume API to use versionedobjects

The following patch updates get_volume and delete_volume
API to use volume versionedobjects.  Changes were made to
be backwards compatible with older RPC clients. It only
includes changes to the core cinder code.  Changes in the
drivers are left to each driver maintainer to update.

Note that this patch DOES NOT try to use
object dot notation everywhere, since it would
increase the size of the patch.  Instead, it
will be done in subsequent patches.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Co-Authored-By: Szymon Wroblewski <szymon.wroblewski@intel.com>
Change-Id: Ifb36726f8372e21d1d9825d6ab04a072e5db4a6a
Partial-Implements: blueprint cinder-objects

Update create_volume API to use versionedobjects

The following patch updates create_volume API to use
volume versionedobjects.  Changes were made to be
backwards compatible with older RPC clients.  It
only includes changes to the core cinder code.
Changes in the drivers are left to each driver
maintainer to update.

Note that this patch DOES NOT try to use
object dot notation everywhere, since it would
increase the size of the patch.  Instead, it
will be done in subsequent patches.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: Ic1b0f09132f8fc500b29650abbd57f18ea8bd9dd
Partial-Implements: blueprint cinder-objects

Change-Id: Ief9c63e8bddb2b40bdef4465b9099cff33d7c3bc

Merge "CG creation should be scheduled on backend level"

Merge "Imported Translations from Zanata"

Merge "Test for object version hash changes"

Merge "Add retype logic in manage_existing for VNX"

Merge "Use oslo_config new type PortOpt for port options"

Test for object version hash changes

Use the ObjectVersionChecker fixture from oslo.versionedobjects to check
when Cinder's registered objects have a change (new remotable method,
new field, etc) that require a version bump.

Fixes some registration problems along the way:

1. CinderObject doesn't need to be registered.
2. TestObject should be registered where it's used, not globally.

Removes deps=requirements.txt from tox.ini since it's not necessary and
prevents us from pip installing oslo.versionedobjects[fixtures].

Closes-Bug: #1514926

Change-Id: Id57c56a75ea11411e9e54104165bd44b577c1485

Fix cinder objects unit test registration

The base test case was extending test code from oslo_versionedobjects
which is bad because (1) it was adding test objects from the o.vo
registry into the cinder object registry and (2) it was extending
internal private test classes from o.vo which are subject to change and
would break cinder.

This cleans up the base test case and object registration to basically
do it the same way that nova does.

It also moves the duplicate _compare() method into the base class and
fixes a bug where db obj fields that were lists were compared
incorrectly against object lists.

This will allow us to verify object version hashes using o.vo's
ObjectVersionChecker fixture in a follow on change without the
extraneous object registrations from o.vo messing with the results.

Partial-Bug: #1514926

Change-Id: Ie34675e378951cda9aa218f3181dc86767717450

Merge "Adds CORS support to Cinder"

Merge "XtremIO fix create CG from src flow"

CG driver function should not access db

Currently the following CG driver interfaces don't pass in volumes
or snapshots to the driver. As a result, drivers have to retrieve info
from db. In this patch, these interfaces are changed so that drivers
don't have to access db.

Removing the access to db from driver CG functions will be handled by
separate patches.

* create_consistencygroup
* delete_consistencygroup
* create_cgsnapshot
* delete_cgsnapshot

Change-Id: I63287fd43927fc09dad77292ecfe561917f7bda5
Closes-Bug: #1501466

Add test for snapshot filtering by project id

Cinder API already supports listing snapshots by project id. But a
test case is missing to validate this feature. Hence added that in
this patch.

https://review.openstack.org/#/c/242391/ --> adds this support on the
python-cinderclient side.

Change-Id: I70606abf2fe5eca43cd0a3d15f7b9e12bb979b3b
Co-Authored-By: wuyuting <wytdahu@gmail.com>

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia332d04fab7164036e3343bda560008450588240

Use oslo_config new type PortOpt for port options

The oslo_config library provides new type PortOpt to validate the
range of port now.
ref: https://github.com/openstack/oslo.config/blob/2.6.0/oslo_config/cfg.py#L1114

DocImpact
Change-Id: I9a3e4d13feef67b4a43936c6099b822e4f1f6a57
Closes-Bug: #1514702

Merge "Removal of deprecated NPIV option in Storwize"

CG creation should be scheduled on backend level

Currently, cinder scheduler schedules the CG creation
on pool level, that means if there are multiple volume
types in one CG if each volume type is associated with a
different pool (those pools under same backend), you can't
create the CG successfully.

According to the design of CG's, it should be scheduled on
backend level to support the case mentioned above.

DocImpact
UpgradeImpact
Change-Id: I335dbdd1d2b1146543148ccce8d52162804369f4
Closes-Bug: #1496655

Removal of deprecated NPIV option in Storwize

The storwize_svc_npiv_compatibility_mode option was deprecated and
set to be removed during the M release. This patch removes the
option, the associated code, and the test cases for the associated
code. This patch also removes the unused import versionutils.

Closes-Bug:1514585
Change-Id: Ib91dae38e28cd0ff1994fd8efe7c3eb4ee2c3d39

Merge "Update cinder-manage man to match current options"

Merge "VMware: Relocate volume only during no disk space"

Merge "Change nfs to NFS in the help strings of nfs.py"

OpenStack typo

Change Openstack to OpenStack as
per standard

Change-Id: I1ecdbdf529a7c12c0a72869f95984db1fe4e2023

Merge "Update the devref for volume migration"

Merge "3PAR drivers volume size conversion is incorrect"

Merge "Port cinder.utils.monkey_patch() to Python 3"

Change nfs to NFS in the help strings of nfs.py

The correct short form of Network File System is NFS and not nfs.

Change-Id: I14d839ff67e13accffc8d5f683fd0e92ea0da589

Merge "Port cinder.hacking to Python 3"

Port zfssa driver to Python 3

* Replace base64.encodestring() with
  oslo_serialization.base64.encode_as_text() to accept Unicode as
  input (encoded to UTF-8). On Python 3, the function decodes base64
  from ASCII to get Unicode.
* tests-py3.txt: add cinder.tests.unit.test_zfssa

Partial-Implements: blueprint cinder-python3
Change-Id: I29a1a752d4cad5796fba1f21fe88238cb4414717

Port vzstorage to Python 3

* vzstorage: replace a/b with a//b to use integer division on
  Python 3.
* fix os.path.exists mock: only override return for path /fake
  (shares config)
* tests-py3.txt: add cinder.tests.unit.test_vzstorage

Note: remove also spaces in parameters in two functions calls to
respect the PEP 8.

Partial-Implements: blueprint cinder-python3
Change-Id: I7cee7009d8bc87cd0294e90cb2967f4560276994

Port cinder.utils.monkey_patch() to Python 3

On Python 3, unbound methods are regular functions: use pass
inspect.isfunction to inspect.getmembers().

tox.ini: add test_utils to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: I4fe9936792a43aff301010780e86244bdf2d05de

Merge "Fix UsedLimitsController's authorizer to soft"

Merge "Case sensitivity problem in cinder scheduler"

Merge "Use Service object instead of DB API directly"

Merge "Add reno for release notes management"

XtremIO fix create CG from src flow

Fix a bug during volume creation with CG,
    that prevented the volume from being added to the CG on the array.
Query array snapshots names for CG snapshot before copying them
    to a new volume.
Add unittest for create_cg_from_src.

liberty-backport-potential

Change-Id: Ieb76cc3e039e4c5495d00a8703c79930bc8b4df1
Closes-Bug: #1512682

Merge "Update register_opts hacking check to allow tuples"

Merge "Docstring fix in scheduler-stats"

Merge "Don't use default=None for config options"

Merge "Add protocol to help of glance_api_servers option"

Don't use default=None for config options

In the config module default=None is set as the default value,
so it isn't necessary to set it again when doing config options.

Change-Id: I09989ab679d249a9f7dea6af5d53c14dd1726e09
Closes-Bug: #1323975

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ifa7a8f2610f20afd7416adae8c32ddaa47e55262

Merge "Port vmware datastore to Python 3"

Merge "Fix delete quota of subprojects"

Merge "Using extra-specs in cloned vols for Nimble driver"

Merge "Port test_tintri to Python 3"

Merge "NetApp: Cleanup if E-Series volume create fails"

3PAR drivers volume size conversion is incorrect

The 3PAR drivers conversion of the volume size to gibibytes (GiBs) is
incorrect, resulting in slightly smaller volumes than expected. The
drivers were assuming the input was gigabytes (GBs) when in fact the
input was gibibytes (GiBs) as documented by the cinder API.

Change-Id: I5c86f506790723195f8f9433c9e5eedddd53a4ab
Closes-bug: 1513158

Port vmware datastore to Python 3

* _filter_datastores(): replace filter() with list comprehension
  to get a list on Python 3.
* tox.ini: add test_vmware_datastore to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: Ide4e4adf012e155b99b528ddde937df1a48a079b

Use Service object instead of DB API directly

In cmd.manage and volume.api we had code accessing DB API directly.
This should be done through Service versioned object instead and this
commit fixes that.

Change-Id: I7c65323279b86c37fce7ffeb2b2626508842edfb
Closes-Bug: 1513806

Merge "Brocade driver add_zone optimization"

Docstring fix in scheduler-stats

Docstring fixes in scheduler-stats

Change-Id: I0044c5c35a35eb99d2b9549065c401b0f1ccbd28
Closes-Bug: #1506706

Merge "SMBFS: Fix retrieving total allocated size"

Add LC_ALL=C to lvcreate, lvextend and pvresize

In various locales decimal mark is considered to be ',' instead of '.'.
This creates a problem when Cinder executes lvcreate, lvextend or
pvresize because it always passes numerals in 1.00g form and these
commands expect 1,00g when started with LC_NUMERIC set to one of such
locales. This commit adds LC_ALL=C env variable to all executions of
lvcreate, lvextends and pvresize and updates rootwrap's volume.filters
accordingly to make sure that parameters are interpreted in a correct
way.

Depends-On: Ie25194997b94664ec14a0f94d09c167f4fad3b4d
Change-Id: Ice7ae67f649f75cbbf2702f5f732d489ebe08aa8
Closes-Bug: 1488433

Port cinder.hacking to Python 3

Fix the N325 check on Python 3: the AST changed between Python 2 and
Python 3 for try/except.

tox.ini: Add cinder.tests.unit.test_hacking to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: I7c7d1c5e52f525ade14b13ecf2dec1681997da22

Port test_tintri to Python 3

* Set configuration.nfs_oversub_ratio, otherwise tests
  fail with TypeError on comparison between mock.Mock and int.
* tox.ini: add test_tintri to Python 3.4.

Change-Id: Ie2b5215795481bdfb11116876d83ef777a10c224
Partial-Implements: blueprint cinder-python3

Add reno for release notes management

Change-Id: Id4d6604d9775c34e9a8e911ec6e7afd02d56ef47

Merge "Execute mount.nfs check with absolute path"

Merge "Fix failure of unit test TestCinderAllCmd"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I6ab2b52a778e11c5bf6af424624deb9bfee24c84

Fix failure of unit test TestCinderAllCmd

After introducing the commit 93d26e40098c966e7d791a9fb6152244a9f9409d
unit test TestCinderAllCmd fails if a test environment has
/etc/cinder/cinder.conf with proper backend configuration.
We should mock out some variables not to depend on test environment.

Change-Id: I3218f6be1c38ed228aa96346d6976a04ecb8d421
Closes-Bug: #1513263

Execute mount.nfs check with absolute path

Currently the existence of mount.nfs is checked by executing
the relative binary 'mount.nfs' with a non-root user,
in this case cinder. This results, for example on SUSE, in the error:

      NfsException: mount.nfs is not installed

Because mount.nfs is located under /sbin, unprivileged users
do not have /sbin in their PATH to search for executables.
The change runs the mount.nfs check by using the absolute binary
path /sbin/mount.nfs. This seems to be common for most distributions
(SUSE, RedHat, CentOS, Ubuntu, Debian). The check can still be executed
as non privileged user, by not relying on correctly set PATH variable
and using the absolute path.

Change-Id: I3c1ecfdadd9ea492d58d69cbdf33045b002668c7
Closes-Bug: #1510150

Merge "Imported Translations from Zanata"

Merge "Update minimum tox version to 1.8"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9f984456b5e7196acb93d7bb4f1b71fcf8c0e97b

Merge "Return volume_type extra specs based on policy"

Update minimum tox version to 1.8

Other projects have updated to 1.8 or later for the minimum
tox version (nova, neutron), so we should probably do the
same.

Change-Id: Iddb9ab286519d555671ec39c0ce75c9351025730

Merge "Add qos_specs_id to volume type show"

Merge "Implement update_migrated_volume for NFS driver"

Update cinder-manage man to match current options

Add missing 'volume update_host' and 'service remove' commands, and
remove 'storage management' and 'volume reattach' commands.

Change-Id: Ie37fb4288b1bea1035d934136454af186eb8b44c
Closes-Bug: #1512844

Merge "Replace warnings.warn in sqlalchemy-api"

Merge "Move CloneableVD to common functions"

Merge "Replace warnings.warn in glusterfs"

Replace warnings.warn in sqlalchemy-api

There is a warning message logged by warnings.warn,
it should be replaced by LOG.warning.

Change-Id: Ifcff0ebeb13b07420f6b8073b094c3b1687999e8

Replace warnings.warn in glusterfs

There is a warning message logged by warnings.warn,
it should be replaced by LOG.warn.

Change-Id: Ia15d2cdfe6ed1b000a399bbdd0ccafe02aaa0197

Merge "Fix calling delete_zones method with a wrong argument"