Merge "Update Pure REST API supported version numbers in Pure driver"

Merge "Remove API races from attach and detach methods"

Merge "Storwize: Split up __init__ into separate files"

Merge "Replace use of mox with mock in test_quotas"

Remove API races from attach and detach methods

This patch uses compare-and-swap to perform atomic DB changes to remove
API races in attach and detach related methods.

Races are removes from the following methods:
- attach
- roll_detaching
- begin_detaching
- unreserve_volume
- reserve_volume

Specs: https://review.openstack.org/232599/

Implements: blueprint cinder-volume-active-active-support
Closes-Bug: #1238093
Change-Id: I646d946209e0921d1056ee89e59b82b814bf9c15

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: If78879ba8b2f4cf9b62c33c24c5f8935f07161f8

Merge "Fix volume upload failure with glance_api_version=2"

Merge "NetApp: Refactor E-Series tests"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I90ef57d11600ed766d7faad931d7fd31ab3f771f

Merge "Move retype quota checks to API"

Merge "XtremIO: fix generic glance cache with XtremIO"

Merge "Add serial number to eseries ASUP payload"

Merge "Add empty initialize_connection method to PureBaseVolumeDriver"

Merge "VNX: Fix failure in SnapCopy feature"

Merge "Port zonemanager to Python 3"

Merge "Remove downgrade migrations"

Merge "Fix python 3.x import issues with pure.py"

Storwize: Split up __init__ into separate files

This patch is one in a series of patches with the aim to
bring the storwize_svc driver in line with other san based
Cinder drivers.

Currently all the iSCSI and FC code are all together in a single
file. This patch goes into the __init__.py and splits it up into
storwize_svc_iscsi.py, storwize_svc_fc.py, and storwize_svc_common.py.
This new structure is consistent with other san based drivers.

In addition, tests were also updated to reflect the changes listed
above.

Since the driver has been split into two, we need to update how
to enable each new driver. The user now needs to set different
values for volume_driver, as shown below.

FC:volume_driver=cinder.volume.drivers.ibm.storwize_svc.storwize_svc_fc.StorwizeSVCFCDriver
iSCSI:volume_driver=cinder.volume.drivers.ibm.storwize_svc.storwize_svc_iscsi.StorwizeSVCISCSIDriver

Co-Authored By: Slade Baumann <baumann@us.ibm.com>

UpgradeImpact

DocImpact

Partially implements: blueprint refactor-storwize-driver-for-mitaka

Change-Id: I18ddde5c9280a175a4ca296e62ac839389e16c3b

Merge "Recalculate allocated value of parent project"

Merge "Fix bugs caused by porting to python3"

Merge "VMware: Add support for VVOL datastores"

Fix volume upload failure with glance_api_version=2

When the volume has additional image properties, upload-to-image
using glance API version 2 will fail with the following error.

  Failed validation u'type' in schema[u'additionalProperties']:
      {u'type': u'string'}

This is due to non core properties passed as a dict to the key
'properties'. It is valid in Image API v1, but the additional
properties must be passed just like core properties in v2.

Change-Id: Ib32c92a8be170b5f43a34e69155398dfc1a8cbcd
Closes-Bug: #1527324

Merge "Disable capabilities based on 3PAR licenses"

Fix bugs caused by porting to python3

In previous python version base64.encodestring() adds '\n'.
at the end. This is removed when we use oslo encode_as_text()
This causes a regression as we manually removed the last
character earlier. This fix removes manually deleting the
last character.

Change-Id: I746c9435e7b4ec2e8af831d46f708c152dffba4d
Closes-Bug: #1527841

Merge "Imported Translations from Zanata"

Merge "3PAR: Implement un/manage snapshot support"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ie1edf799e1fff0ae4e9eced4ac2fd6dbc583f06b

Merge "Updated from global requirements"

Disable capabilities based on 3PAR licenses

The 3PAR firmware is now reporting which licenses are enabled on the
storage array. The 3PAR drivers will now use this information to
enable/disable standard stat reporting for thin provisioning,
QoS support and replication

DocImpact

Implements: blueprint 3par-license-check
Change-Id: Ib5fb06b1c029d026f6f38fa3fdf7d62c2005c06e

Add empty initialize_connection method to PureBaseVolumeDriver

This will clean up a weird workaround needed for the unit tests…

Change-Id: Ie3db74516c74d15237617ac741d3061bd46212d2
Closes-Bug: 1527739

Merge "Preserve request id in Cinder logs"

Fix python 3.x import issues with pure.py

The older import was not compatible with python 3.x, only 2.x. A simple
fix is to adjust how we are importing the module.

Change-Id: Ic1d69c676af1adde9bd305431338c16a058fccf6
Closes-Bug: 1527755

Merge "Override osapi_volume_listen_port for test_workers"

Merge "3PAR: Implement v2 replication (unmanaged)"

Override osapi_volume_listen_port for test_workers

After removing WSGI from Cinder, following test cases hit
"socket.error: [Errno 98] Address already in use" error.

- test_workers_set_default
- test_workers_set_good_user_setting
- test_workers_set_zero_user_setting

The root cause is that these test cases try to use 8776 port,
but the port is used by c-api if the service exists.
This patch override default port number to avoid the error.

Change-Id: I8e2b505c2aff511969cd55851272b10c013aef6c
Closes-Bug: #1527566

Merge "Error handling for invalid SLO/Workload combo"

Updated from global requirements

Change-Id: I04b49cafc2094a1c916a242efc75a5db6cb84bd2

Remove downgrade migrations

According to cross project spec[1] downgrade migrations should be removed.

[1] I622f89fe63327d44f9b229d3bd9e76e15acbaa7a

Implements blueprint: no-downward-sql-migration

Change-Id: I111cdb4bba361de5da0ce7db8144965c947ada41

Merge "Imported Translations from Zanata"

Merge "Tooz locks"

3PAR: Implement un/manage snapshot support

Implements support for managing and unmanaging snapshots to
the HPE 3PAR FC and iSCSI drivers.

This patch now allows snapshots to be removed from OpenStack
management but still left on the 3PAR backend. Snapshots on
the 3PAR backend can also be managed by OpenStack.

DocImpact
Implements: blueprint 3par-manage-unmanage-snapshot
Change-Id: I7f5847cefc983726eac8b0eaa57b63ddb9078ebd

Merge "Pass volume_id in request_spec for manage_existing"

Merge "Change the format of some inconsistent docstring"

Error handling for invalid SLO/Workload combo

This fix checks the VMAX3 to see if the user inputted SLO/workload
combination is valid. If it is not, a explanatory exception is
thrown.

Closes-Bug: #1512795

Change-Id: Ic55830eef96788eff8f6ab141a60e1dcfb9971b8

3PAR: Implement v2 replication (unmanaged)

This patch implements the unmanaged side of v2 replication in the HPE
3PAR driver.

Both sync and periodic replication modes are supported. Each
replication_device entry should have a replication_mode value set
to sync|periodic.

A volume type extra_spec value of replication:mode
should also be set. If replication:mode is periodic,
replication:sync_period should be set as well. Which replication_device
entry(s) are used is determined by the value of replication:mode set for
each volume type.

cinder.conf should have the replication config group:

[3parfcrep]
hpe3par_api_url = http://10.10.10.10:8008/api/v1
hpe3par_username = user
hpe3par_password = pass
hpe3par_debug = False
san_ip = 10.10.10.10
san_login = user
san_password = pass
volume_backend_name = 3parfcrep
hpe3par_cpg = REMOTE_COPY_CPG2,REMOTE_COPY_CPG
volume_driver = cinder.volume.drivers.hpe.hpe_3par_fc.HPE3PARFCDriver
replication_device = target_device_id:eos7,
                     replication_mode:periodic,
                     cpg_map:REMOTE_COPY_CPG2:REMOTE_COPY_DEST2,
                     hpe3par_api_url:http://11.11.11.11:8008/api/v1,
                     hpe3par_username:user,
                     hpe3par_password:pass,
                     san_ip:11.11.11.11,
                     san_login:user,
                     san_password:pass

If we are working with iSCSI, the unmanaged replication device needs to
contain entries for the hpe3par_iscsi_ips as such:

[3pariscsirep]
hpe3par_api_url = https://10.10.10.10:8080/api/v1
hpe3par_username = user
hpe3par_password = pass
hpe3par_debug = False
hpe3par_iscsi_ips = 10.50.50.50,10.50.50.51
san_ip = 10.10.10.10
san_login = user
san_password = pass
volume_backend_name = 3pariscsirep
hpe3par_cpg = REMOTE_COPY_CPG2
iscsi_ip_address = 10.50.50.50
volume_driver = cinder.volume.drivers.hpe.hpe_3par_iscsi.HPE3PARISCSIDriver
replication_device = replication_mode:periodic,
                     target_device_id:eos16,
                     cpg_map:REMOTE_COPY_CPG2:REMOTE_COPY_DEST2,
                     hpe3par_api_url:https://11.11.11.11:8080/api/v1,
                     hpe3par_username:user,
                     hpe3par_password:pass,
                     san_ip:11.11.11.11,
                     san_login:user,
                     san_password:pass,
                     hpe3par_iscsi_ips:11.51.51.100 11.51.51.101,
                     iscsi_ip_address:11.51.51.100

Change-Id: I92bbe919c177e8242de8affad62f36a6edf7b0d7
Implements: blueprint hp-3par-v2-replication
DocImpact

Add serial number to eseries ASUP payload

Single field added to AutoSupport data key-value pair.
AutoSupport is a mechanism that allows NetApp backends
to report customer usage metrics.

Change-Id: I4c1dae89505767acd579e874fbe541d4617915f2

XtremIO: fix generic glance cache with XtremIO

* Identify the apropriate error for snapshot limit from the array
  and raise the right error to invalidate the cache.
* Add an optional limit to the number of snapshot taken from the
  volume representing a cached image
* Add unittest for snapshot limit

DocImpact

Change-Id: Ic15257c9409373a4883870681d1412161cd3437c
Closes-Bug: #1519843

VMware: Add support for VVOL datastores

vCenter 6.0 added support for a new type of datastore called VVOL
datastore. A VVOL datastore represents a storage container which
is a logical grouping of virtual volumes in an array that supports
VVOL. A virtual disk in a VVOL datastore corresponds to a virtual
volume in the array. Since VVOL datastores are treated like VMFS
or NFS datastores by vCenter APIs, the changes in the VMDK driver
to support VVOL datastores are minimal.

This patch adds the following changes in the VMDK driver to support
VVOL datastores:

* Add VVOL datastore type to the list of allowed datastore types

* Skip VVOL datastore while creating a volume from a preallocated
glance image because it involves replacing the data file of a
temporary virtual disk with the downloaded preallocated image
which VVOL cannot support.

Implements: blueprint vmdk-vvol-support
Change-Id: I528e4caed616dfd9bd85c7de113024bea6709fc1

Merge "Add volume_extensions:quotas:delete to policy.json"

Tooz locks

This change adds support for distributed locks, based on tooz as a part
of work required to achieve A/A HA in c-vol service.

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Implements: blueprint cinder-volume-active-active-support
Depends-On: I86fa4340f850270b197919896b7f8639c214ceed
Change-Id: I52b8d0a05a3dbedc67f3725f9ba6d009b8d1858f

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ib8491fcd274b95e8f8058b4213cf1f6e2b6ecc62

Merge "Check backup service before backup delete"

Merge "EMC VMAX - get_short_host_name not called in find_device_number"

Change the format of some inconsistent docstring

Replace all the ":return:" with ":returns:"
Replace all the ":returns " wtih ":returns:"
Replace all the ":returns :" with ":returns:"

Add the changes for ":raise" also, change ":raise" to ":raise:"

Change-Id: Ib29fbb583dc2dad5d084c44d4172d6ddfa5f7458

Preserve request id in Cinder logs

Several Cinder volume drivers make calls to get the admin context.
When the admin context is retrieved the user context and its request
ID is lost and all subsequent log entries have different request IDs.

The fix is to pass the overwrite parameter in Cinder's RequestContext
__init__ method to the parent oslo class.

Partial-Bug: #1511406

Change-Id: I8972b46f15518f22dc9bb340d7c1ba08be1fa2bc

Add volume_extensions:quotas:delete to policy.json

Aformentioned entry was missing from default policy.json file, so the
call wasn't blocked for non-admin user. It was failing on Keystone
connection and resulted in 500 HTTP error. This addition fixes the
issue.

Closes-Bug: 1526839
Change-Id: Ib26670ea60b3e9193d91183aee35cd8aaf733068

Pass volume_id in request_spec for manage_existing

In order to _set_volume_state_and_notify in scheduler.manager to work
correctly and error out volume on failure we need to pass volume_id in
the request_spec from c-api to c-sch. This commit implements that and
adds check for it in the unit tests for manage_existing flow.

Apart from that it removes unnecessary test that was setting volume to
MagicMock(return_value=None), which isn't actually testing anything
(volume() will return None, but we're never doing calls on volume
object).

Closes-Bug: 1526771
Change-Id: I93e16e281e952433870077309547e0ce09356a60

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I96a96b35d20ab2c47ab4f2163e8c99f3e38f8838

Merge "Implement refresh() for cinder objects"

Merge "Skip check whether volume is local if it's None"

Merge "Volume migration: add 'name_id' as valid skippable field"

Merge "Imported Translations from Zanata"

Merge "Sheepdog: Fix a problem about multi backend"

Replace use of mox with mock in test_quotas

This patch replaces the remaining cases of mox with mock in
test_quotas.py and test_quotas_classes.py

Change-Id: Ia417a3dcffc1ba4988853ff5768df9ee4fbcf92f
Partial-Implements: blueprint mox-to-mock-conversion

Skip check whether volume is local if it's None

When force deleting a consistency group containing volumes,
manager.py tries to extract host field to check whether the volume
is local to this cinder node before deleting the volume.

Above logic is invalid if host field of faulted volume is None.

This fix will bypass above check to allow deletion of the volume.

Change-Id: I477c80c21c0b554b69c6222fb4fb0461813ac2bb
Closes-Bug: 1524195

Merge "Implement snapshots-related features for Block Device Driver"

Merge "Add synchronization in Block Device driver"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I06c4f233036c6d019011eeded2ea767beb4cdb92

Merge "Refactor cinder.utils.is_valid_boolstr"

Implement refresh() for cinder objects

The following patch implements the refresh functionality
in cinder objects.  Instead of calling get_by_id() to get
the latest object attributes, refresh() can be called.
With this change, delete_volume() was updated to use
volume.refresh().

Change-Id: If0573f1c44c2e67c9a8cbd88dda45310a02e3272
Partial-Implements: blueprint cinder-objects

Merge "Updated from global requirements"

EMC VMAX - get_short_host_name not called in find_device_number

The get_short_host_name needs to be called in find_device_number.
There are 2 reasons for this:
1. Sometimes the full host name is contained in the
   connector['host'] object.
2. When the short host name still exceeds 38 characters,
   it must be truncated, in order to guarantee a "contains string"
   match between the host and the masking view name.

Change-Id: I9631f33eafe2cfb64388d8e19c6ed8d1e948a6fa
Closes-Bug: #1520635

Merge "Deprecated tox -downloadcache option removed"

Move retype quota checks to API

Currently the retype quota check is done in the manager, where it will
raise an exception if the check fails. This patch moves the check to the
API so that the user is given feedback before the RPC cast is made.

APIImpact
Closes-bug: #1508249

Change-Id: Iba24edd8ad824837028353b52c90742df55c9173

Implement snapshots-related features for Block Device Driver

This patch adds the create_snapshot, create_volume_from_snapshot
and delete_snapshot methods to Block Device driver.

Related blueprint: block-device-driver-minimum-features-set

Change-Id: If86dca417234ea2c58fbce4e30a1626b288de3f6

Refactor cinder.utils.is_valid_boolstr

Method is_valid_boolstr is currently doing 8 different checks against
the same variable.  This patch refactors this method to be more pythonic
by using the in operator.

Change-Id: If77c3a80a5698685aa67120bcee2e223584f5d16

Add synchronization in Block Device driver

Multiple calls can get the same device. This patch adds synchronization
to create_volume, delete_volume and create_cloned_volume to avoid race
conditions. The delete_volume method is modified to avoid code duplication
in the implementation of delete_snapshot method for snapshot in the next
patch. Also it adds update provider_location and host to mark device as
used to avoid race with other threads. It uses object notation instead
of dict notation to a volume and snapshot.

Change-Id: I0b8fb28dde367c3f34dd0b6b9d98372cfff65d45
Closes-Bug: #1335904

Recalculate allocated value of parent project

After update the child project quota, the new value should
not be accumulated to the 'allocated' value of parent
project.

So 'allocated' value should subtract the original child
project quota when it's updated.

Closes-Bug: #1525057

Change-Id: Icff845a034eb582d452b90270ca5dbce4bf1b5b6

Merge "Fix invalid cache image-volume creation"

Updated from global requirements

Change-Id: I89449c4a8a4a4e440c0bf8a6db0126f5cd15f0e6

Merge "Recognize extra fields in CinderObjectDictCompat"

Merge "Replace use of mox with mock in test_solidfire"

Merge "EMC VMAX - Fix for randomly selecting a portgroup"

Volume migration: add 'name_id' as valid skippable field

New Versioned Objects expect 'name_id' as a valid input, which
is able to change '_name_id' as well, so this patch adds
'name_id' into the fields, which are going to skip for the
creation of the target volume during migration.

Change-Id: I91e3bc05607243aef020f461a467e9ecb956544f
Closes-Bug: #1525781

Fix invalid cache image-volume creation

During the volume ref creation in clone_image_volume
we were including a _name_id attribute which is invalid
in the base olso object.  The result is silent failure
for a key error. Note that the comments for the column
in the db specifcally state "do not call directly".
The variable is also denoted as private by the _ prefix.

Fix this by just popping the "_name_id' attribute.

In addition there were a number of things that needed
some cleanup:
1. Don't iterate over list of tuples to get K/V for dict
   Just use Dict(xxxx)
2. Don't use delete dict.key
   This isn't safe, because if the key DNE you'll get a key exception
   Instead use pop which is safe if key DNE
3. Add an error message when this fails, because currently the logs
   don't give an operation a chance of knowing it failed, let alone
   an opportunity to debug it

Finally the cache volume creation is still calling the db
directly and doing a resource create as opposed to
using the new volume object create handler.  I went ahead
and converted this to use objects, however that resulted in
breaking two of the volume-->image unit tests that use cinder
as a glance backend.

I've opened bug 1525773 for those issues and added a skip
to the tests in question.

Change-Id: Ieda40c1111d4d4d69488944eb332962eb9658266
Closes-Bug: #1525452

Merge "Remove eventlet WSGI functionality"

Merge "NetApp: E-Series fix JSONDecodeError on first add"

Merge "Imported Translations from Zanata"

Merge "Storwize: add config option to control flash copy rate"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ie5fd8669db11a66c7b1fefedaad85ea3ef94bf7e

Remove eventlet WSGI functionality

This commit removes eventlet WSGI server and starts using
generic eventlet WSGI server from oslo.service library.
The change where the wsgi functionality was added to
oslo.service can be referenced here:
If8840168f10cc3561f4f01e6d456d6b4fd1de8b5.

DocImpact

Depends-on: If8840168f10cc3561f4f01e6d456d6b4fd1de8b5
Implements blueprint: reusing-wsgi-from-oslo.service
Closes-Bug: #1499658

Change-Id: Iea8af7b4a569fedc99e126524f18f98097c95a6d

Deprecated tox -downloadcache option removed

Caching is enabled by default from pip version 6.0

More info:
https://testrun.org/tox/latest/config.html#confval-downloadcache=path
https://pip.pypa.io/en/stable/reference/pip_install/#caching

Change-Id: I5376fa4891a1a1f469af36d850b4045d24590aec

Fix for showing default quotas to non-admin user

Earlier, when non-admin user wanted to get quotas for his own
projects, if there were no custom quota values set, the API
used to return zero values.

Change-Id: I753af89aa5aae5ad20abe48441df3dbd02b8e05e
Closes-Bug: 1523928

VNX: Fix failure in SnapCopy feature

Previously, user needs to enable this feature via Volume Type.
See: https://review.openstack.org/#/c/184733/

This introduces some failures for volume operations, for example:

1. Creating cloned volume or snapshot from snapcopy volume will fail.
2. Creating volume from snapshot whose source volume's volume type is
snapcopy type will fail.
3. Creating non-snapcopy volume from source volume with snapcopy type
will fail.

In order to fix above issues, Driver needs to store the base LUN info
for all volumes. When creating cloned volume or volume from snapshot
, driver extracts the base LUN info and creates snapshot mount point
according to the base LUN and then exposes as a snapcopy volume.

Example cinder command to enable snapcopy on volume:

    cinder create --source-volid <vol-id> --metadata snapcopy=True
or

    cinder create --snapshot-id <snap-id> --metadata snapcopy=True

liberty-backport-potential
DocImpact
Change-Id: I91c83ddac9bcad9c7c788d7bf82bcc4dced71751
Closes-Bug: 1514319

Merge "Retype functionality in Tintri driver"

Merge "VNX: Fix issue in deleting cg/cgsnapshot"

Merge "Use wild card for passing env variable"

Merge "Check context before returning cached value"

Merge "Add validation for volume_type of volume object"

Merge "Fix non-migration swap with error"