RBD: Make snapshot_delete more robust

Since there is no equivalent of a force-snapshot-delete,
the normal snapshot-delete should be more robust to
also handle backend errors. In case the backend does not have
the image snapshot anymore, log an info message and succeed the
operation.

Change-Id: I7fe0878dbc07053ac78272b6998513fafa1c36e8
Closes-Bug: #1415905
Related-Bug: #1361926

Merge "Fix ScaleIO driver provisioning key"

Merge "VMware: Validate extra spec opt vmware:clone_type"

Merge "Remove kombu as a dependency for Cinder"

Merge "Port xio driver to Python 3"

Merge "Port key manager to Python 3"

VMware: Validate extra spec opt vmware:clone_type

This patch validates the value of extra spec option 'vmware:clone_type'.
It raises an exception if the value is invalid.

Change-Id: Idab59a090184e1ea1446e9e9ed18c753d5c803cc
Closes-Bug: #1288254

Merge "Remove stubs and add resource cleanup"

Merge "Declare multiattach is True in RBD driver"

Port key manager to Python 3

* Replace text.decode('hex') with binascii.unhexlify(text)
* test_barbican: base64 string is a bytes string
* tests-py3.txt: add keymgr tests

Partial-Implements: blueprint cinder-python3
Change-Id: Icc19fa354603857b259458b858e27c5bdd600360

Merge "Don't build two tox envs for pep8(-constraints)"

Merge "Add check_uptodate.sh --checkopts to "pep8""

Merge "Fix metadata retrieval in GPFS driver"

Merge "VMware: Skip unsupported datastore types"

Merge "Move oslo-incubator's scheduler module to cinder"

Merge "Port IBM storewize_svc driver to Python 3"

Merge "CG API should return volume type IDs"

Merge "Fix the bug of OSError when convert image"

Move oslo-incubator's scheduler module to cinder

oslo-incubator is ending its life and we should move remaining
dependencies from there to cinder namespace. This commit does so with
openstack.common.scheduler. Apart from that tests from oslo-incubator
repository are added.

Change-Id: I10d88c120c9c847826986483065f5493e91f89d6
Closes-Bug: 1519337

Remove stubs and add resource cleanup

This patch adds cleanup resource and removes stubs in test_admin_actions.py.

Change-Id: I08df6c26b4c7cb17c12248a8cf1f5ed647e5fa17

Merge "XtremIO fix attach readonly bug"

VMware: Skip unsupported datastore types

vCenter supports different types of datastores such as
VMFS, NFS etc. Currently the VMDK driver supports only
vSAN, VMFS and NFS datastores for storing volume vmdks.
This patch adds a check to skip unsupported datastore
types during volume creation.

Closes-bug: #1519316
Change-Id: I314abbe0de09bb304859c72b27054784eeef9044

Port IBM storewize_svc driver to Python 3

Change default preferred node in
StorwizeSVCDriver.initialize_connection(). For fiber channel without
multipath, pick the first node from the list of sorted nodes, to have
a determinist preferred node. The list of nodes is created indirectly
using list(set(nodes)) which doesn't have a determinist order. On
Python 3, the hash function is randomized, and so list(set()) has an
unknown order.

A similar change was done for volume throttling in the change
Icf7141f772397c7ac08f0f1e21ad74cb86a06351 to port the code
to Python 3.

Other changes:

* Use assertSetEqual() in test_storwize_svc to compare
  initiator_target_map, because conn_wwpns has a random order on
  Python 3.
* StorwizeSVCDriver._check_volume_copy_ops(): replace dict.items()
  with list(dict.items()) to iterate on items. On Python 3,
  dict.items() now returns a view instead of a copy. The loop
  modifies the dictionary and a dict must not be modified while
  iterating on it, we really need a copy of items.
* StorwizeHelpers: replace a/b with a//b to use integer division on
  Python 3.
* tests-py3.txt: add cinder.tests.unit.test_storwize_svc

Partial-Implements: blueprint cinder-python3
Change-Id: I534a85928816d6cce921545e1820311aedd1b884

Declare multiattach is True in RBD driver

An RBD volume can be attached to multi instances, however,
this feature is not declared in RBD driver. As a result,
if a user create a multi-attached volume using RBD as
backend, they will be failed.

In this commit, we declared multiattach is True in RBD
driver.

Change-Id: I70c2c0528d9c00629f9cf34d79262a5bf4750e34
Closes-Bug: #1519227

XtremIO fix attach readonly bug

* Remove the access_mode from connection_info and let the manager decide
on the access mode.
* add a test to make sure access_mode won't be added in the future

liberty-backport-potential

Change-Id: I1584b27ff0c14e54f1d1efb2310d25454995c50a
Closes-Bug: 1516365

CG API should return volume type IDs

The create method of consistency group API requires a list of
volume type ids; volumes belonging to only these types can be added
to the consistency group. The get method of the consistency group API
does not, however, return the volume type id information.

Horizon needs this value for its "Add volumes to consistency group"
panel so that it can filter the "available volumes" list to only
show volumes that match the volume type associated with the consistency
group.

This was fixed by propagating the volume type id information in
the api layer (this information is stored in the db, it just wasn't
being propagated).

APIImpact
The get method of the consistency group API now returns the volume
type ids information.

DocImpact
The screenshots in the admin guide (see
http://docs.openstack.org/admin-guide-cloud/blockstorage-consistency-groups.html)
should be updated to show this new field.

Change-Id: Icc3206c67227af38a7bf89ea0145942f750b506b
Closes-Bug: #1489957

Merge "Retry on database deadlock on service_update method"

Merge "Add guidelines for release notes to devref"

Merge "Imported Translations from Zanata"

Fix the bug of OSError when convert image

When I try to convert a image use image_utils.convert_image() method,
an error occurred like this :
'''
OSError: [Errno 2] No such file or directory:
'sheepdog:10.133.17.61:7000:volume-a0a70f9b-a50e-4369-885f-c41a894c9fe5'
'''
The reason is that in some cluster storage systems, like
ceph/sheepdog, QEMU can access an image directly via their private
protocol, and there’s no need to map an image as a block device on
the host. In this case, the qemu-img convert command may like:

    #qemu-img convert -O raw sheepdog:Ip:port:image_name temp_file
    #qemu-img convert -O raw rbd:pool_name/image_name temp_file

The source path may be 'sheepdog:Ip:port:image_name' or
'rbd:pool_name/image_name', it doesn't exist in OS. So, when it runs
the os.stat(source) in image_utils.convert_image(source,dest,out_format)
method, an OSError would be raised.

We can use qemu_img_info method instead to resolve this problem, because
the 'qemu-img info' command can always get the image size info which has
support qemu-img tool. Here we capture a ValueError just in case, but it
only need to give a warning message, because the image has been successfully
converted.

Change-Id: I5fd1e51840972a67053b85a76f8e001fa8148ad7
Closes-Bug: #1514442

Merge "Eager load columns in volume_get_active_by_window"

Merge "Port EMC VMAX to Python 3"

Don't build two tox envs for pep8(-constraints)

Currently, "tox -e pep8" builds two tox envs:
a "pep8" env, and then a "venv" env for genopts.

This is rather wasteful -- reuse the pep8 env
instead.

Change-Id: I8ba3d4e541f279e5bc62dba2b1caaac447fee7e3

Merge "Port EMC VNX CLI to Python 3"

Add guidelines for release notes to devref

Starting from this cycle (and stable Liberty) we're using reno for
release notes. This commit adds guidelines on when a release note is
required to be added.

Change-Id: If5aa6ab8317ec2f4295d899a45f80f11504d2a2c

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I7feabf414e93055d353072bf865009547416969f

Merge "Add os-win to requirements.txt"

Merge "Move get_by_id to CinderObject"

Merge "Updated from global requirements"

Merge "Deprecate *_multipath_enabled flag for IBM drivers"

Merge "Fix debug output for cinder-volume-usage-audit"

Merge "LeftHand: Remove self.db assignment"

Merge "Fix swap_volume for case without migration"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I52a378f56c3713678da0bf101b6c19d679cf98cd

Updated from global requirements

Change-Id: I494d2985735ed5ca5bc6ac3799c3650f70e95f5c

Eager load columns in volume_get_active_by_window

All other volume-related methods in db.sqlalchemy.api are eager loading
volume_metadata, volume_admin_metadata (if admin), volume_type,
volume_attachment and consistencygroup. volume_get_active_by_window
wasn't, causing fails because of SQLAlchemy Session being closed when
trying to lazy load volume_metadata. This commit adds missing
options(joinedload()) to this query.

Change-Id: I33ec89d7f1f43aae6010aaa6e12951b7c522b8f0
Closes-Bug: 1517763
Related-Bug: 1501838

Merge "Remove db access from XIV/DS8K CG functions"

LeftHand: Remove self.db assignment

DB access was removed in a previous patch when it was no longer
needed at the driver level. The self.db assignment was overlooked
and not removed, even though it is no longer being used.

Change-Id: Ic96c0ae96e78d3d2a0e2b99b7e1ca9461a7e7b27

Merge "fast8: Skip git rm'd files"

Deprecate *_multipath_enabled flag for IBM drivers

Deprecate the *_multipath_enabled from the FlashSystem and
Storwize/SVC driver. When enabled, this flag was intended to create
a single mapping between the compute node and the storage device for
FC connections. However, all available storage WWNNs were still being
mapped to the compute node, and instead enabling this flag was
causing a terminate_connection to not cleanup all LUN mappings
(because Nova did not know of all the target_wwns that were actually
mapped). This can be seen by enabling the flag, connecting a volume,
disconnecting the volume and observing the stray LUN mappings under
'/dev/disk/by-path'.

Currently we do not have a way to limit the storage WWNNs which are
mapped during a FC connection, so we will ignore the config to fix
this broken behavior, and then remove the config next release.

DocImpact

Change-Id: I0019c1e0c0dbb0cd48a7f389376480e7fa1b1e07
Closes-Bug: #1516778

Fix debug output for cinder-volume-usage-audit

Fixes variables not being included in log output.

Change-Id: Ic403166b88b1ba549fe7a7b0cd95d7cbb7a0de4c

Add check_uptodate.sh --checkopts to "pep8"

2f9e416 Downstream Fix for Genconfig
  collided with
fb17ed8 Add -constraints for CI jobs

while merging and this only got added to
pep8-constraints.  It should be in "pep8" as well.

opts.py is updated here since it is out of sync,
due to this test not running.

Change-Id: I668df6be4301a052a4b47549c702a81b43abd8fc

Move get_by_id to CinderObject

Currently each Versioned Object needs to implement its own get_by_id,
with this patch they don't need anymore, since it will be included in
the base class CinderObject and it will work for all the objects.

This will help for other things like having a refresh method or
conditional updates in the objects.

Related-Bug: #1490944
Related-Bug: #1238093
Related-Bug: #1490946
Related-Bug: #1469659
Change-Id: I355dc8eaefed93003533ee083f74acd1315f057e

Merge "Manage existing: fix volume object saving"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia8bb154c21a0a68c6a81671bbf79aca3fbaaa696

Merge "Remove .mailmap file"

Merge "VNX: Fix metadata get overriden issue"

fast8: Skip git rm'd files

Don't print error messages trying to diff files
that have been removed via git rm.

Change-Id: Ia0945541208fd7a8362843587f797506000479fc

Merge "Remove db access from 3PAR and LH cg functions"

Manage existing: fix volume object saving

This needs an update to work with volume objects.

Currently, manage existing can fail here.

Change-Id: I9197220be201cbbb1cd8266ebb58b57641fc216f
Closes-Bug: #1518050

Fix swap_volume for case without migration

Fix swap_volume so that even when a volume-migration does not
occur, the volumes don't get stuck in "attaching" and "detaching".
Previously the swap_volume was changed in
https://review.openstack.org/#/c/101932 and
https://review.openstack.org/#/c/101933 to move the final
attach and detach logic to Cinder, however those changes only fix
the migration path.  This change calls Cinder's "attach" and "detach"
for the non-migration path to update the volumes' states.

Change-Id: I242c2c7c4a7197bbce04d0b3d75688f989ea1fd5
Closes-Bug: #1489744

Remove .mailmap file

.mailmap file seems to be terribly outdated, most of the lines are
comming from initial fork out of Nova. This commit removes the file.

Change-Id: Id6ca3e3d8d10612c450b3b6b3639edc1e9e52b31

Merge "ScaleIO driver: update_migrated_volume"

Merge "Additional VAG support for SolidFire"

Merge "Update CONTRIBUTING.md to CONTRIBUTING.rst"

Remove db access from 3PAR and LH cg functions

The HP 3PAR and HP LeftHand drivers no longer need to access the db in
order to grab snapshots and volumes for the following functions:
* delete_consistencygroup
* create_cgsnapshot
* delete_cgsnapshot

This patch removes all db access at the driver level for both 3PAR and
LeftHand drivers.

Change-Id: I2e29366573f53cf6e61939381bde5d04f188f42d

Merge "Refactor HP LeftHand driver to now be HPE"

Additional VAG support for SolidFire

This patch removes volumes from volume access groups, and potentially volume
access groups, when a connection is terminated. When the previously added
'sf_enable_vag' option is enabled and a volume connection is terminated, if the
volume was part of a VAG then the volume is removed from the VAG. If the volume
is the only remaining volume in the VAG then the VAG is also removed.

Change-Id: Ib508a67f012f6f186abba0d381ab104edc163fa9

Merge "Added VAG support to SolidFire"

Fix metadata retrieval in GPFS driver

GPFS driver was using 'volume_metadata' to get the
volume metadata. With versionedobjects, it is to be
retrieved using 'metadata' from volume.
This patch fixes the issue. It first tries for 'volume_metadata'
in the volume object, if not present, it will try for 'metadata'
to get the metadata.

Change-Id: I97649874ab54187a469193c8cae773409e9913e6
Closes-bug: 1517404

Merge "Imported Translations from Zanata"

Merge "Bad exception clauses order"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I7d7b265fb128a884494b8e36da54154ad07f9441

VNX: Fix metadata get overriden issue

Cinder is using 'metadata' or 'volume_metadata' to return
volume metadata since versionedobjects is not fully merged,
so VNX could not get the correct existing
metadata, only append VNX specific metadata so existing
metadata get overridden.
In this fix, VNX will first try 'volume_metadata' if not exists,
try 'metadata' when getting metadata.

Change-Id: I1215883a6076e9b15b1ced19aa40aae43c66a00c
Closes-bug: 1516903

Merge "Update extend_volume API to use versionedobjects"

Merge "Check specific driver enabled in create_backup"

Added VAG support to SolidFire

This patch adds VAG support to the SolidFire driver.
This includes a new config option 'sf_enable_vag'.
The driver creates a new VAG based on initiator name during
connection initialization.

By default VAG support is disabled. When enabled, the driver uses both
CHAP and VAG authentication.

DocImpact
Added configuration option sf_enable_vag.

Change-Id: I4ade805640646173c27bc6d969a211189f6301fb

Refactor HP LeftHand driver to now be HPE

This patch refactors the HP LeftHand driver to be
HPE LeftHand.

This is being done because the company responsible for
this driver is now Hewlett Packard Enterprise (HPE).

The driver is now located in the cinder/volume/drivers/hpe
folder.

DocImpact
Implements: blueprint rebrand-hp-lefthand-driver
Change-Id: I42eb5b3a51d547e45338a4964f31e0aca2ce43d8

Remove db access from XIV/DS8K CG functions

The XIV/DS8K driver no longer needs to access the db in order to
grab snapshots and volumes for the following functions:
* delete_consistencygroup
* create_cgsnapshot
* delete_cgsnapshot

Change-Id: I3762577c7c797e3f677cc4516b747990dfabfa4e

Merge "Imported Translations from Zanata"

Bad exception clauses order

A superclass exception (error) is being handled before
a sub class exception(SSLError) which is making the latter
exception clause unreachable. Corrected the order of these
exception clauses.

Trivial Fix
Change-Id: I82e6f4984b095f50cdd7ffccd9af60ce75d41f7f

Merge "get_all_snapshots: Fix log message typo"

Merge "Port HP 3PAR driver to Python 3"

Merge "Modify test_hpe3par to support random hash"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ib32f17a460cc8169ce318c87a8e3cff1580a101d

Merge "Support initialization state in Backup Manager"

Check specific driver enabled in create_backup

Backend is already known so don’t need to use the default backend name
to check if the driver is initialized.

Change-Id: I797c75ca0eff574e3eb20dfedc8d5b64ca06a06a
Closes-Bug: #1515900

Merge "Imported Translations from Zanata"

Merge "Updated from global requirements"

get_all_snapshots: Fix log message typo

snaphsots -> snapshots

Change-Id: I1d6fb77251f8106670cb1674e0f99314a84134ad

Merge "Downstream Fix for Genconfig"

Updated from global requirements

Change-Id: I559009cdaa90cecb91e3a919701a58c46683ae94

Port HP 3PAR driver to Python 3

* Use oslo_serialization.base64.encode_as_text() to get Unicode on
  Python 3.
* Replace sys.maxint with sys.maxsize, sys.maxint was removed in
  Python 3.
* test_hpe3par: use list(set()) to get FCWWNs is the right order. On
  Python 3, the hash function is randomized by default.
* test_hpe3par: fix client getWsApiVersion() to return a valid
  version. Before, the comparison between mock.Mock and int raised a
  TypeError.
* hpe_3par_common: set version to 3.0.2
* hpe_3par_iscsi: set version to 3.0.1
* tox.ini: add test_hpe3par to Python 3.4

Partial-Implements: blueprint cinder-python3
Change-Id: I2bed171c0db93b8ea83127a69a63c3bb2317b10b

Modify test_hpe3par to support random hash

On Python 3, or on Python 2 with -R command line option, the hash
function is now randomized for security. Changes:

* Rename CommentMatcher to Comment and simplify it.
* Generalize the usage of Comment.

Change-Id: I0233bab571aee3c034f067e6c28e6b38dc017db9

Merge "3PAR Fix find_existing_vluns"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9baf13fc1f048c5d3f613a25be93b09cde3d600f

Fix ScaleIO driver provisioning key

In the ScaleIO Cinder volume driver, the parameter 'sio:provisioning'
is wrong. It should be 'sio:provisioning_type' instead. As a result of
this error, the volume is always provisioned as 'thick' even if user
wants to provision a 'thin' volume.

This patch corrects this parameter.

Closes-Bug: #1519611
Change-Id: I7c3b0256af3c30c2f375c0f9373646d3f58cd0d0

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia43cf62b457aa69760dc79e3c8bb6acfeee1deca

Merge "Remove the HP CLIQ proxy driver"

Merge "NetApp: E-Series fix deletion of missing volume"