Add guidelines for release notes to devref

Starting from this cycle (and stable Liberty) we're using reno for
release notes. This commit adds guidelines on when a release note is
required to be added.

Change-Id: If5aa6ab8317ec2f4295d899a45f80f11504d2a2c

Merge "Add os-win to requirements.txt"

Merge "Move get_by_id to CinderObject"

Merge "Updated from global requirements"

Merge "Deprecate *_multipath_enabled flag for IBM drivers"

Merge "Fix debug output for cinder-volume-usage-audit"

Merge "LeftHand: Remove self.db assignment"

Merge "Fix swap_volume for case without migration"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I52a378f56c3713678da0bf101b6c19d679cf98cd

Updated from global requirements

Change-Id: I494d2985735ed5ca5bc6ac3799c3650f70e95f5c

Merge "Remove db access from XIV/DS8K CG functions"

LeftHand: Remove self.db assignment

DB access was removed in a previous patch when it was no longer
needed at the driver level. The self.db assignment was overlooked
and not removed, even though it is no longer being used.

Change-Id: Ic96c0ae96e78d3d2a0e2b99b7e1ca9461a7e7b27

Merge "fast8: Skip git rm'd files"

Deprecate *_multipath_enabled flag for IBM drivers

Deprecate the *_multipath_enabled from the FlashSystem and
Storwize/SVC driver. When enabled, this flag was intended to create
a single mapping between the compute node and the storage device for
FC connections. However, all available storage WWNNs were still being
mapped to the compute node, and instead enabling this flag was
causing a terminate_connection to not cleanup all LUN mappings
(because Nova did not know of all the target_wwns that were actually
mapped). This can be seen by enabling the flag, connecting a volume,
disconnecting the volume and observing the stray LUN mappings under
'/dev/disk/by-path'.

Currently we do not have a way to limit the storage WWNNs which are
mapped during a FC connection, so we will ignore the config to fix
this broken behavior, and then remove the config next release.

DocImpact

Change-Id: I0019c1e0c0dbb0cd48a7f389376480e7fa1b1e07
Closes-Bug: #1516778

Fix debug output for cinder-volume-usage-audit

Fixes variables not being included in log output.

Change-Id: Ic403166b88b1ba549fe7a7b0cd95d7cbb7a0de4c

Move get_by_id to CinderObject

Currently each Versioned Object needs to implement its own get_by_id,
with this patch they don't need anymore, since it will be included in
the base class CinderObject and it will work for all the objects.

This will help for other things like having a refresh method or
conditional updates in the objects.

Related-Bug: #1490944
Related-Bug: #1238093
Related-Bug: #1490946
Related-Bug: #1469659
Change-Id: I355dc8eaefed93003533ee083f74acd1315f057e

Merge "Manage existing: fix volume object saving"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia8bb154c21a0a68c6a81671bbf79aca3fbaaa696

Merge "Remove .mailmap file"

Merge "VNX: Fix metadata get overriden issue"

fast8: Skip git rm'd files

Don't print error messages trying to diff files
that have been removed via git rm.

Change-Id: Ia0945541208fd7a8362843587f797506000479fc

Merge "Remove db access from 3PAR and LH cg functions"

Manage existing: fix volume object saving

This needs an update to work with volume objects.

Currently, manage existing can fail here.

Change-Id: I9197220be201cbbb1cd8266ebb58b57641fc216f
Closes-Bug: #1518050

Fix swap_volume for case without migration

Fix swap_volume so that even when a volume-migration does not
occur, the volumes don't get stuck in "attaching" and "detaching".
Previously the swap_volume was changed in
https://review.openstack.org/#/c/101932 and
https://review.openstack.org/#/c/101933 to move the final
attach and detach logic to Cinder, however those changes only fix
the migration path.  This change calls Cinder's "attach" and "detach"
for the non-migration path to update the volumes' states.

Change-Id: I242c2c7c4a7197bbce04d0b3d75688f989ea1fd5
Closes-Bug: #1489744

Remove .mailmap file

.mailmap file seems to be terribly outdated, most of the lines are
comming from initial fork out of Nova. This commit removes the file.

Change-Id: Id6ca3e3d8d10612c450b3b6b3639edc1e9e52b31

Merge "ScaleIO driver: update_migrated_volume"

Merge "Additional VAG support for SolidFire"

Merge "Update CONTRIBUTING.md to CONTRIBUTING.rst"

Remove db access from 3PAR and LH cg functions

The HP 3PAR and HP LeftHand drivers no longer need to access the db in
order to grab snapshots and volumes for the following functions:
* delete_consistencygroup
* create_cgsnapshot
* delete_cgsnapshot

This patch removes all db access at the driver level for both 3PAR and
LeftHand drivers.

Change-Id: I2e29366573f53cf6e61939381bde5d04f188f42d

Merge "Refactor HP LeftHand driver to now be HPE"

Additional VAG support for SolidFire

This patch removes volumes from volume access groups, and potentially volume
access groups, when a connection is terminated. When the previously added
'sf_enable_vag' option is enabled and a volume connection is terminated, if the
volume was part of a VAG then the volume is removed from the VAG. If the volume
is the only remaining volume in the VAG then the VAG is also removed.

Change-Id: Ib508a67f012f6f186abba0d381ab104edc163fa9

Merge "Added VAG support to SolidFire"

Merge "Imported Translations from Zanata"

Merge "Bad exception clauses order"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I7d7b265fb128a884494b8e36da54154ad07f9441

VNX: Fix metadata get overriden issue

Cinder is using 'metadata' or 'volume_metadata' to return
volume metadata since versionedobjects is not fully merged,
so VNX could not get the correct existing
metadata, only append VNX specific metadata so existing
metadata get overridden.
In this fix, VNX will first try 'volume_metadata' if not exists,
try 'metadata' when getting metadata.

Change-Id: I1215883a6076e9b15b1ced19aa40aae43c66a00c
Closes-bug: 1516903

Merge "Update extend_volume API to use versionedobjects"

Merge "Check specific driver enabled in create_backup"

Added VAG support to SolidFire

This patch adds VAG support to the SolidFire driver.
This includes a new config option 'sf_enable_vag'.
The driver creates a new VAG based on initiator name during
connection initialization.

By default VAG support is disabled. When enabled, the driver uses both
CHAP and VAG authentication.

DocImpact
Added configuration option sf_enable_vag.

Change-Id: I4ade805640646173c27bc6d969a211189f6301fb

Refactor HP LeftHand driver to now be HPE

This patch refactors the HP LeftHand driver to be
HPE LeftHand.

This is being done because the company responsible for
this driver is now Hewlett Packard Enterprise (HPE).

The driver is now located in the cinder/volume/drivers/hpe
folder.

DocImpact
Implements: blueprint rebrand-hp-lefthand-driver
Change-Id: I42eb5b3a51d547e45338a4964f31e0aca2ce43d8

Remove db access from XIV/DS8K CG functions

The XIV/DS8K driver no longer needs to access the db in order to
grab snapshots and volumes for the following functions:
* delete_consistencygroup
* create_cgsnapshot
* delete_cgsnapshot

Change-Id: I3762577c7c797e3f677cc4516b747990dfabfa4e

Merge "Imported Translations from Zanata"

Bad exception clauses order

A superclass exception (error) is being handled before
a sub class exception(SSLError) which is making the latter
exception clause unreachable. Corrected the order of these
exception clauses.

Trivial Fix
Change-Id: I82e6f4984b095f50cdd7ffccd9af60ce75d41f7f

Merge "get_all_snapshots: Fix log message typo"

Merge "Port HP 3PAR driver to Python 3"

Merge "Modify test_hpe3par to support random hash"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ib32f17a460cc8169ce318c87a8e3cff1580a101d

Merge "Support initialization state in Backup Manager"

Check specific driver enabled in create_backup

Backend is already known so don’t need to use the default backend name
to check if the driver is initialized.

Change-Id: I797c75ca0eff574e3eb20dfedc8d5b64ca06a06a
Closes-Bug: #1515900

Merge "Imported Translations from Zanata"

Merge "Updated from global requirements"

get_all_snapshots: Fix log message typo

snaphsots -> snapshots

Change-Id: I1d6fb77251f8106670cb1674e0f99314a84134ad

Merge "Downstream Fix for Genconfig"

Updated from global requirements

Change-Id: I559009cdaa90cecb91e3a919701a58c46683ae94

Port HP 3PAR driver to Python 3

* Use oslo_serialization.base64.encode_as_text() to get Unicode on
  Python 3.
* Replace sys.maxint with sys.maxsize, sys.maxint was removed in
  Python 3.
* test_hpe3par: use list(set()) to get FCWWNs is the right order. On
  Python 3, the hash function is randomized by default.
* test_hpe3par: fix client getWsApiVersion() to return a valid
  version. Before, the comparison between mock.Mock and int raised a
  TypeError.
* hpe_3par_common: set version to 3.0.2
* hpe_3par_iscsi: set version to 3.0.1
* tox.ini: add test_hpe3par to Python 3.4

Partial-Implements: blueprint cinder-python3
Change-Id: I2bed171c0db93b8ea83127a69a63c3bb2317b10b

Modify test_hpe3par to support random hash

On Python 3, or on Python 2 with -R command line option, the hash
function is now randomized for security. Changes:

* Rename CommentMatcher to Comment and simplify it.
* Generalize the usage of Comment.

Change-Id: I0233bab571aee3c034f067e6c28e6b38dc017db9

Merge "3PAR Fix find_existing_vluns"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9baf13fc1f048c5d3f613a25be93b09cde3d600f

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia43cf62b457aa69760dc79e3c8bb6acfeee1deca

Merge "Remove the HP CLIQ proxy driver"

Merge "NetApp: E-Series fix deletion of missing volume"

Remove the HP CLIQ proxy driver

This patch removes the deprecated HP Lefthand
CLIQ/SSH based driver.  It also refactors the proxy
class, which was nothing but a wrapper for the 2
drivers.   The LeftHand driver is now entirely based
off of the REST client.

Implements: blueprint deprecate-hp-lefthand-cliq
DocImpact

Change-Id: I12d8bb7b7dcac8ae40796d9d169825265c634a33

Merge "Correct assertDictMatch argument order"

Merge "NetApp: Fix issue with updating E-Series password"

Downstream Fix for Genconfig

This patch adds the opts.py file to the tree as a fix for deployers
that package cinder. The opts.py file is no longer being deleted right
away by generate_sample.sh after the cinder.sample.conf is being
generated.

This patch also introduces a pep8 check to make sure that the opts.py
file is up to date, so that it will catch when new opts get added to
Cinder without the opts.py being updated.

To support the ability to keep and check the opts file a number
of changes were needed in the check_uptodate.sh script as well as
the generate_sample.sh script:
    - check_uptodate now takes --checkopts instead of --checkonly
      When checkopts is used the opts.py file is generated using the
      current code and the generated file is compared to the existing
      file.  The check fails if there are differences.
    - generate_sample now has the --nosamplefile option.
      When this option is used, only the opts.py file is generated.
      The oslo-config-generator code is skipped so no sample file
      is created.
    - generate_sample also has some coding style consistency changes.
    - Added the 'genopts' option to tox so users can generate
      a fresh opts.py without a sample file when necessary.

Closes-Bug: 1501820
Co-Author: Jay Bryant <jsbryant@us.ibm.com>

Change-Id: I1f5494ebb19d5f4e8c651cbeef0acad07ad96829

Merge "add "unreleased" release notes page"

Merge "Add test for snapshot filtering by project id"

Merge "Imported Translations from Zanata"

Correct assertDictMatch argument order

Patch to fix the order of the arguments in assertDictMatch to
(expected, observed) in instances where it was in the
wrong order.

Closes-Bug: #1259292

Change-Id: I969d780ea06190ba5362106ee2b8efa1ee43927c

3PAR Fix find_existing_vluns

When 3PAR iSCSI driver is configured for multipath, with multiple
ip addresses in hp3par_iscsi_ips, find_existing_vluns fails to return
more than 1 vlun.  The problem with this is that every time
initialize_connection is called, the driver will not find the vlun it expects
to be there, and then it will create a new one.

This patch removes the break inside of find_existing_vluns, so that it
returns the entire list, not just the first vlun.

Change-Id: I0861745717cf9045e10a030dc25fab419f7b1f58
Closes-Bug: #1515033

Merge "Add LC_ALL=C to lvcreate, lvextend and pvresize"

Merge "Refactor HP 3PAR drivers to now be HPE"

Merge "Port zfssa driver to Python 3"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia11e9eca9fbc4dd75f61b84a4a95c2d07500347f

Merge "Update retype API to use versionedobjects"

Merge "Update get/delete_volume API to use versionedobjects"

Merge "py3: Fix error handling in prophetstor driver"

Merge "Updated from global requirements"

Merge "Port vzstorage to Python 3"

py3: Fix error handling in prophetstor driver

* Port prophetstor driver to Python 3
* Replace "except exception as e:" with "except Exception as e:"
  to handle "Fexvisor failed to join the volume ..." and "Fexvisor
  failed to remove the volume ..." errors. Here, lower case
  "exception" is the cinder.exception module, not an exception class.
  On Python 3, "except" requires exception classes.
* tests-py3.txt: add cinder.tests.unit.test_prophetstor_dpl

Partial-Implements: blueprint cinder-python3
Change-Id: I0447b62cc0afe5a10ecbc888dfb6608b69f977d2

Updated from global requirements

Change-Id: I7aa9545451d910681f114e856e8ab82e898b9f20

Refactor HP 3PAR drivers to now be HPE

This patch refactors the HP 3PAR FC and iSCSI drivers to be
HPE 3PAR FC and HPE 3PAR iSCI.

This is being done because the company responsible for the
HP 3PAR FC and iSCSI drivers is now called Hewlett Packard
Enterprise (HPE).

The drivers are now located in the cinder/volume/drivers/hpe
folder.

DocImpact
Implements: blueprint rebrand-hp-3par-driver
Change-Id: I529429e00ef5e1b7263d40d9d50ed8ac8535d34a

Merge "OpenStack typo"

Merge "Update create_volume API to use versionedobjects"

Merge "CG driver function should not access db"

Merge "NetApp: Fix issue with E-Series volume expand"

add "unreleased" release notes page

We need a release notes page to show notes for unreleased versions by
scanning the "current" branch. This ensures that notes files cannot be
merged if they break the releasenotes job.

Change-Id: Ie1277428a3053d183df73bac882adc8aa0ac1079

Add os-win to requirements.txt

A common library abstracting Windows specific operations has been
created in order to remove duplicated code among OpenStack projects,
also being easier to maintain.

This patch adds os-win to global requirements so that the Windows
drivers may use it.

Change-Id: I796f8849dec1c46b99595c096b1c4b10b5a0221f
Partially-implements: blueprint windows-os-win

Update extend_volume API to use versionedobjects

The following patch updates extend_volume API to use
volume versionedobjects.  Changes were made to be
backwards compatible with older RPC clients.  It only
includes changes to the core cinder code.  Changes in
the drivers are left to each driver maintainer to
update.

Note that this patch DOES NOT try to use object dot
notation everywhere, since it would increase the
size of the patch.  Instead, it will be done in
subsequent patches.

Change-Id: I4192b35f8f3e2cd51b94db10b44727f23592ea86
Partial-Implements: blueprint cinder-objects

Update retype API to use versionedobjects

The following patch updates retype API to use volume
versionedobjects.  Changes were made to be backwards
compatible with older RPC clients.  It only includes
changes to the core cinder code.  Changes in the
drivers are left to each driver maintainer to update.

Note that this patch DOES NOT try to use object dot
notation everywhere, since it would increase the
size of the patch.  Instead, it will be done in
subsequent patches.

Change-Id: Ie79abf085349b496930fb75a76f299e65587ba6d
Partial-Implements: blueprint cinder-objects

Update get/delete_volume API to use versionedobjects

The following patch updates get_volume and delete_volume
API to use volume versionedobjects.  Changes were made to
be backwards compatible with older RPC clients. It only
includes changes to the core cinder code.  Changes in the
drivers are left to each driver maintainer to update.

Note that this patch DOES NOT try to use
object dot notation everywhere, since it would
increase the size of the patch.  Instead, it
will be done in subsequent patches.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Co-Authored-By: Szymon Wroblewski <szymon.wroblewski@intel.com>
Change-Id: Ifb36726f8372e21d1d9825d6ab04a072e5db4a6a
Partial-Implements: blueprint cinder-objects

Update create_volume API to use versionedobjects

The following patch updates create_volume API to use
volume versionedobjects.  Changes were made to be
backwards compatible with older RPC clients.  It
only includes changes to the core cinder code.
Changes in the drivers are left to each driver
maintainer to update.

Note that this patch DOES NOT try to use
object dot notation everywhere, since it would
increase the size of the patch.  Instead, it
will be done in subsequent patches.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: Ic1b0f09132f8fc500b29650abbd57f18ea8bd9dd
Partial-Implements: blueprint cinder-objects

Change-Id: Ief9c63e8bddb2b40bdef4465b9099cff33d7c3bc

Merge "CG creation should be scheduled on backend level"

Merge "Imported Translations from Zanata"

Merge "Test for object version hash changes"

Merge "Add retype logic in manage_existing for VNX"

Merge "Use oslo_config new type PortOpt for port options"

Test for object version hash changes

Use the ObjectVersionChecker fixture from oslo.versionedobjects to check
when Cinder's registered objects have a change (new remotable method,
new field, etc) that require a version bump.

Fixes some registration problems along the way:

1. CinderObject doesn't need to be registered.
2. TestObject should be registered where it's used, not globally.

Removes deps=requirements.txt from tox.ini since it's not necessary and
prevents us from pip installing oslo.versionedobjects[fixtures].

Closes-Bug: #1514926

Change-Id: Id57c56a75ea11411e9e54104165bd44b577c1485

Fix cinder objects unit test registration

The base test case was extending test code from oslo_versionedobjects
which is bad because (1) it was adding test objects from the o.vo
registry into the cinder object registry and (2) it was extending
internal private test classes from o.vo which are subject to change and
would break cinder.

This cleans up the base test case and object registration to basically
do it the same way that nova does.

It also moves the duplicate _compare() method into the base class and
fixes a bug where db obj fields that were lists were compared
incorrectly against object lists.

This will allow us to verify object version hashes using o.vo's
ObjectVersionChecker fixture in a follow on change without the
extraneous object registrations from o.vo messing with the results.

Partial-Bug: #1514926

Change-Id: Ie34675e378951cda9aa218f3181dc86767717450

Merge "Adds CORS support to Cinder"