Merge "get_all_snapshots: Fix log message typo"

Merge "Port HP 3PAR driver to Python 3"

Merge "Modify test_hpe3par to support random hash"

Merge "Support initialization state in Backup Manager"

Merge "Imported Translations from Zanata"

Merge "Updated from global requirements"

get_all_snapshots: Fix log message typo

snaphsots -> snapshots

Change-Id: I1d6fb77251f8106670cb1674e0f99314a84134ad

Merge "Downstream Fix for Genconfig"

Updated from global requirements

Change-Id: I559009cdaa90cecb91e3a919701a58c46683ae94

Port HP 3PAR driver to Python 3

* Use oslo_serialization.base64.encode_as_text() to get Unicode on
  Python 3.
* Replace sys.maxint with sys.maxsize, sys.maxint was removed in
  Python 3.
* test_hpe3par: use list(set()) to get FCWWNs is the right order. On
  Python 3, the hash function is randomized by default.
* test_hpe3par: fix client getWsApiVersion() to return a valid
  version. Before, the comparison between mock.Mock and int raised a
  TypeError.
* hpe_3par_common: set version to 3.0.2
* hpe_3par_iscsi: set version to 3.0.1
* tox.ini: add test_hpe3par to Python 3.4

Partial-Implements: blueprint cinder-python3
Change-Id: I2bed171c0db93b8ea83127a69a63c3bb2317b10b

Modify test_hpe3par to support random hash

On Python 3, or on Python 2 with -R command line option, the hash
function is now randomized for security. Changes:

* Rename CommentMatcher to Comment and simplify it.
* Generalize the usage of Comment.

Change-Id: I0233bab571aee3c034f067e6c28e6b38dc017db9

Merge "3PAR Fix find_existing_vluns"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9baf13fc1f048c5d3f613a25be93b09cde3d600f

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia43cf62b457aa69760dc79e3c8bb6acfeee1deca

Merge "Remove the HP CLIQ proxy driver"

Merge "NetApp: E-Series fix deletion of missing volume"

Remove the HP CLIQ proxy driver

This patch removes the deprecated HP Lefthand
CLIQ/SSH based driver.  It also refactors the proxy
class, which was nothing but a wrapper for the 2
drivers.   The LeftHand driver is now entirely based
off of the REST client.

Implements: blueprint deprecate-hp-lefthand-cliq
DocImpact

Change-Id: I12d8bb7b7dcac8ae40796d9d169825265c634a33

Merge "Correct assertDictMatch argument order"

Merge "NetApp: Fix issue with updating E-Series password"

Downstream Fix for Genconfig

This patch adds the opts.py file to the tree as a fix for deployers
that package cinder. The opts.py file is no longer being deleted right
away by generate_sample.sh after the cinder.sample.conf is being
generated.

This patch also introduces a pep8 check to make sure that the opts.py
file is up to date, so that it will catch when new opts get added to
Cinder without the opts.py being updated.

To support the ability to keep and check the opts file a number
of changes were needed in the check_uptodate.sh script as well as
the generate_sample.sh script:
    - check_uptodate now takes --checkopts instead of --checkonly
      When checkopts is used the opts.py file is generated using the
      current code and the generated file is compared to the existing
      file.  The check fails if there are differences.
    - generate_sample now has the --nosamplefile option.
      When this option is used, only the opts.py file is generated.
      The oslo-config-generator code is skipped so no sample file
      is created.
    - generate_sample also has some coding style consistency changes.
    - Added the 'genopts' option to tox so users can generate
      a fresh opts.py without a sample file when necessary.

Closes-Bug: 1501820
Co-Author: Jay Bryant <jsbryant@us.ibm.com>

Change-Id: I1f5494ebb19d5f4e8c651cbeef0acad07ad96829

Merge "add "unreleased" release notes page"

Merge "Add test for snapshot filtering by project id"

Merge "Imported Translations from Zanata"

Correct assertDictMatch argument order

Patch to fix the order of the arguments in assertDictMatch to
(expected, observed) in instances where it was in the
wrong order.

Closes-Bug: #1259292

Change-Id: I969d780ea06190ba5362106ee2b8efa1ee43927c

3PAR Fix find_existing_vluns

When 3PAR iSCSI driver is configured for multipath, with multiple
ip addresses in hp3par_iscsi_ips, find_existing_vluns fails to return
more than 1 vlun.  The problem with this is that every time
initialize_connection is called, the driver will not find the vlun it expects
to be there, and then it will create a new one.

This patch removes the break inside of find_existing_vluns, so that it
returns the entire list, not just the first vlun.

Change-Id: I0861745717cf9045e10a030dc25fab419f7b1f58
Closes-Bug: #1515033

Merge "Add LC_ALL=C to lvcreate, lvextend and pvresize"

Merge "Refactor HP 3PAR drivers to now be HPE"

Merge "Port zfssa driver to Python 3"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia11e9eca9fbc4dd75f61b84a4a95c2d07500347f

Merge "Update retype API to use versionedobjects"

Merge "Update get/delete_volume API to use versionedobjects"

Merge "py3: Fix error handling in prophetstor driver"

Merge "Updated from global requirements"

Merge "Port vzstorage to Python 3"

py3: Fix error handling in prophetstor driver

* Port prophetstor driver to Python 3
* Replace "except exception as e:" with "except Exception as e:"
  to handle "Fexvisor failed to join the volume ..." and "Fexvisor
  failed to remove the volume ..." errors. Here, lower case
  "exception" is the cinder.exception module, not an exception class.
  On Python 3, "except" requires exception classes.
* tests-py3.txt: add cinder.tests.unit.test_prophetstor_dpl

Partial-Implements: blueprint cinder-python3
Change-Id: I0447b62cc0afe5a10ecbc888dfb6608b69f977d2

Updated from global requirements

Change-Id: I7aa9545451d910681f114e856e8ab82e898b9f20

Refactor HP 3PAR drivers to now be HPE

This patch refactors the HP 3PAR FC and iSCSI drivers to be
HPE 3PAR FC and HPE 3PAR iSCI.

This is being done because the company responsible for the
HP 3PAR FC and iSCSI drivers is now called Hewlett Packard
Enterprise (HPE).

The drivers are now located in the cinder/volume/drivers/hpe
folder.

DocImpact
Implements: blueprint rebrand-hp-3par-driver
Change-Id: I529429e00ef5e1b7263d40d9d50ed8ac8535d34a

Merge "OpenStack typo"

Merge "Update create_volume API to use versionedobjects"

Merge "CG driver function should not access db"

Merge "NetApp: Fix issue with E-Series volume expand"

add "unreleased" release notes page

We need a release notes page to show notes for unreleased versions by
scanning the "current" branch. This ensures that notes files cannot be
merged if they break the releasenotes job.

Change-Id: Ie1277428a3053d183df73bac882adc8aa0ac1079

Update retype API to use versionedobjects

The following patch updates retype API to use volume
versionedobjects.  Changes were made to be backwards
compatible with older RPC clients.  It only includes
changes to the core cinder code.  Changes in the
drivers are left to each driver maintainer to update.

Note that this patch DOES NOT try to use object dot
notation everywhere, since it would increase the
size of the patch.  Instead, it will be done in
subsequent patches.

Change-Id: Ie79abf085349b496930fb75a76f299e65587ba6d
Partial-Implements: blueprint cinder-objects

Update get/delete_volume API to use versionedobjects

The following patch updates get_volume and delete_volume
API to use volume versionedobjects.  Changes were made to
be backwards compatible with older RPC clients. It only
includes changes to the core cinder code.  Changes in the
drivers are left to each driver maintainer to update.

Note that this patch DOES NOT try to use
object dot notation everywhere, since it would
increase the size of the patch.  Instead, it
will be done in subsequent patches.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Co-Authored-By: Szymon Wroblewski <szymon.wroblewski@intel.com>
Change-Id: Ifb36726f8372e21d1d9825d6ab04a072e5db4a6a
Partial-Implements: blueprint cinder-objects

Update create_volume API to use versionedobjects

The following patch updates create_volume API to use
volume versionedobjects.  Changes were made to be
backwards compatible with older RPC clients.  It
only includes changes to the core cinder code.
Changes in the drivers are left to each driver
maintainer to update.

Note that this patch DOES NOT try to use
object dot notation everywhere, since it would
increase the size of the patch.  Instead, it
will be done in subsequent patches.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: Ic1b0f09132f8fc500b29650abbd57f18ea8bd9dd
Partial-Implements: blueprint cinder-objects

Change-Id: Ief9c63e8bddb2b40bdef4465b9099cff33d7c3bc

Merge "CG creation should be scheduled on backend level"

Merge "Imported Translations from Zanata"

Merge "Test for object version hash changes"

Merge "Add retype logic in manage_existing for VNX"

Merge "Use oslo_config new type PortOpt for port options"

Test for object version hash changes

Use the ObjectVersionChecker fixture from oslo.versionedobjects to check
when Cinder's registered objects have a change (new remotable method,
new field, etc) that require a version bump.

Fixes some registration problems along the way:

1. CinderObject doesn't need to be registered.
2. TestObject should be registered where it's used, not globally.

Removes deps=requirements.txt from tox.ini since it's not necessary and
prevents us from pip installing oslo.versionedobjects[fixtures].

Closes-Bug: #1514926

Change-Id: Id57c56a75ea11411e9e54104165bd44b577c1485

Fix cinder objects unit test registration

The base test case was extending test code from oslo_versionedobjects
which is bad because (1) it was adding test objects from the o.vo
registry into the cinder object registry and (2) it was extending
internal private test classes from o.vo which are subject to change and
would break cinder.

This cleans up the base test case and object registration to basically
do it the same way that nova does.

It also moves the duplicate _compare() method into the base class and
fixes a bug where db obj fields that were lists were compared
incorrectly against object lists.

This will allow us to verify object version hashes using o.vo's
ObjectVersionChecker fixture in a follow on change without the
extraneous object registrations from o.vo messing with the results.

Partial-Bug: #1514926

Change-Id: Ie34675e378951cda9aa218f3181dc86767717450

Merge "Adds CORS support to Cinder"

Merge "XtremIO fix create CG from src flow"

CG driver function should not access db

Currently the following CG driver interfaces don't pass in volumes
or snapshots to the driver. As a result, drivers have to retrieve info
from db. In this patch, these interfaces are changed so that drivers
don't have to access db.

Removing the access to db from driver CG functions will be handled by
separate patches.

* create_consistencygroup
* delete_consistencygroup
* create_cgsnapshot
* delete_cgsnapshot

Change-Id: I63287fd43927fc09dad77292ecfe561917f7bda5
Closes-Bug: #1501466

Add test for snapshot filtering by project id

Cinder API already supports listing snapshots by project id. But a
test case is missing to validate this feature. Hence added that in
this patch.

https://review.openstack.org/#/c/242391/ --> adds this support on the
python-cinderclient side.

Change-Id: I70606abf2fe5eca43cd0a3d15f7b9e12bb979b3b
Co-Authored-By: wuyuting <wytdahu@gmail.com>

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia332d04fab7164036e3343bda560008450588240

Use oslo_config new type PortOpt for port options

The oslo_config library provides new type PortOpt to validate the
range of port now.
ref: https://github.com/openstack/oslo.config/blob/2.6.0/oslo_config/cfg.py#L1114

DocImpact
Change-Id: I9a3e4d13feef67b4a43936c6099b822e4f1f6a57
Closes-Bug: #1514702

Merge "Removal of deprecated NPIV option in Storwize"

CG creation should be scheduled on backend level

Currently, cinder scheduler schedules the CG creation
on pool level, that means if there are multiple volume
types in one CG if each volume type is associated with a
different pool (those pools under same backend), you can't
create the CG successfully.

According to the design of CG's, it should be scheduled on
backend level to support the case mentioned above.

DocImpact
UpgradeImpact
Change-Id: I335dbdd1d2b1146543148ccce8d52162804369f4
Closes-Bug: #1496655

Removal of deprecated NPIV option in Storwize

The storwize_svc_npiv_compatibility_mode option was deprecated and
set to be removed during the M release. This patch removes the
option, the associated code, and the test cases for the associated
code. This patch also removes the unused import versionutils.

Closes-Bug:1514585
Change-Id: Ib91dae38e28cd0ff1994fd8efe7c3eb4ee2c3d39

Merge "Update cinder-manage man to match current options"

Merge "VMware: Relocate volume only during no disk space"

Merge "Change nfs to NFS in the help strings of nfs.py"

OpenStack typo

Change Openstack to OpenStack as
per standard

Change-Id: I1ecdbdf529a7c12c0a72869f95984db1fe4e2023

Merge "Update the devref for volume migration"

Merge "3PAR drivers volume size conversion is incorrect"

Merge "Port cinder.utils.monkey_patch() to Python 3"

Change nfs to NFS in the help strings of nfs.py

The correct short form of Network File System is NFS and not nfs.

Change-Id: I14d839ff67e13accffc8d5f683fd0e92ea0da589

Merge "Port cinder.hacking to Python 3"

Port zfssa driver to Python 3

* Replace base64.encodestring() with
  oslo_serialization.base64.encode_as_text() to accept Unicode as
  input (encoded to UTF-8). On Python 3, the function decodes base64
  from ASCII to get Unicode.
* tests-py3.txt: add cinder.tests.unit.test_zfssa

Partial-Implements: blueprint cinder-python3
Change-Id: I29a1a752d4cad5796fba1f21fe88238cb4414717

Port vzstorage to Python 3

* vzstorage: replace a/b with a//b to use integer division on
  Python 3.
* fix os.path.exists mock: only override return for path /fake
  (shares config)
* tests-py3.txt: add cinder.tests.unit.test_vzstorage

Note: remove also spaces in parameters in two functions calls to
respect the PEP 8.

Partial-Implements: blueprint cinder-python3
Change-Id: I7cee7009d8bc87cd0294e90cb2967f4560276994

Port cinder.utils.monkey_patch() to Python 3

On Python 3, unbound methods are regular functions: use pass
inspect.isfunction to inspect.getmembers().

tox.ini: add test_utils to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: I4fe9936792a43aff301010780e86244bdf2d05de

Merge "Fix UsedLimitsController's authorizer to soft"

Merge "Case sensitivity problem in cinder scheduler"

Merge "Use Service object instead of DB API directly"

Merge "Add reno for release notes management"

XtremIO fix create CG from src flow

Fix a bug during volume creation with CG,
    that prevented the volume from being added to the CG on the array.
Query array snapshots names for CG snapshot before copying them
    to a new volume.
Add unittest for create_cg_from_src.

liberty-backport-potential

Change-Id: Ieb76cc3e039e4c5495d00a8703c79930bc8b4df1
Closes-Bug: #1512682

Merge "Update register_opts hacking check to allow tuples"

Merge "Docstring fix in scheduler-stats"

Merge "Don't use default=None for config options"

Merge "Add protocol to help of glance_api_servers option"

Don't use default=None for config options

In the config module default=None is set as the default value,
so it isn't necessary to set it again when doing config options.

Change-Id: I09989ab679d249a9f7dea6af5d53c14dd1726e09
Closes-Bug: #1323975

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ifa7a8f2610f20afd7416adae8c32ddaa47e55262

Merge "Port vmware datastore to Python 3"

Merge "Fix delete quota of subprojects"

Merge "Using extra-specs in cloned vols for Nimble driver"

Merge "Port test_tintri to Python 3"

Merge "NetApp: Cleanup if E-Series volume create fails"

3PAR drivers volume size conversion is incorrect

The 3PAR drivers conversion of the volume size to gibibytes (GiBs) is
incorrect, resulting in slightly smaller volumes than expected. The
drivers were assuming the input was gigabytes (GBs) when in fact the
input was gibibytes (GiBs) as documented by the cinder API.

Change-Id: I5c86f506790723195f8f9433c9e5eedddd53a4ab
Closes-bug: 1513158

Port vmware datastore to Python 3

* _filter_datastores(): replace filter() with list comprehension
  to get a list on Python 3.
* tox.ini: add test_vmware_datastore to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: Ide4e4adf012e155b99b528ddde937df1a48a079b

Use Service object instead of DB API directly

In cmd.manage and volume.api we had code accessing DB API directly.
This should be done through Service versioned object instead and this
commit fixes that.

Change-Id: I7c65323279b86c37fce7ffeb2b2626508842edfb
Closes-Bug: 1513806

Merge "Brocade driver add_zone optimization"

Docstring fix in scheduler-stats

Docstring fixes in scheduler-stats

Change-Id: I0044c5c35a35eb99d2b9549065c401b0f1ccbd28
Closes-Bug: #1506706

Merge "SMBFS: Fix retrieving total allocated size"

Add LC_ALL=C to lvcreate, lvextend and pvresize

In various locales decimal mark is considered to be ',' instead of '.'.
This creates a problem when Cinder executes lvcreate, lvextend or
pvresize because it always passes numerals in 1.00g form and these
commands expect 1,00g when started with LC_NUMERIC set to one of such
locales. This commit adds LC_ALL=C env variable to all executions of
lvcreate, lvextends and pvresize and updates rootwrap's volume.filters
accordingly to make sure that parameters are interpreted in a correct
way.

Depends-On: Ie25194997b94664ec14a0f94d09c167f4fad3b4d
Change-Id: Ice7ae67f649f75cbbf2702f5f732d489ebe08aa8
Closes-Bug: 1488433

Port cinder.hacking to Python 3

Fix the N325 check on Python 3: the AST changed between Python 2 and
Python 3 for try/except.

tox.ini: Add cinder.tests.unit.test_hacking to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: I7c7d1c5e52f525ade14b13ecf2dec1681997da22

Port test_tintri to Python 3

* Set configuration.nfs_oversub_ratio, otherwise tests
  fail with TypeError on comparison between mock.Mock and int.
* tox.ini: add test_tintri to Python 3.4.

Change-Id: Ie2b5215795481bdfb11116876d83ef777a10c224
Partial-Implements: blueprint cinder-python3

Add reno for release notes management

Change-Id: Id4d6604d9775c34e9a8e911ec6e7afd02d56ef47

Merge "Execute mount.nfs check with absolute path"