Merge "Use consolidated update for failover_replication"

Merge "VMware: Skip ESX hosts in maintenance mode"

Merge "3PAR Add update_migrated_volume to drivers"

Merge "Remove useless response checks in SolidFire driver"

VMware: Skip ESX hosts in maintenance mode

Volume creation will fail if the VMDK driver selects
an ESX host in maintenance mode for volume creation.
This may happen even if there are usable ESX hosts
in vCenter. This patch fixes the problem by ignoring
ESX hosts in maintenance mode during volume creation.

Closes-bug: #1492221
Change-Id: I8cb89f95d0411ea2140e3107941d4e5e04a0156d

Merge "Updated from global requirements"

Merge "DotHill driver fix create_cloned_volume parent id"

Merge "Remove deprecated options"

Merge "VMware: Fix exception messages"

Merge "Detect addition of executable files"

3PAR Add update_migrated_volume to drivers

The 3PAR drivers were missing the method
update_migrated_volume, which would then cause
all sorts of problems after a volume was migrated
into a 3PAR array.

Change-Id: Iab9b3ef1812bc7e8249c802f0c699787b0a58af6
Closes-Bug: 1492023

Updated from global requirements

Change-Id: I2db4de3ab7e39548bdc40a72dede16bd1a5c6824

Merge "3PAR Fix create_cloned_volume source volume id"

Merge "NetApp E-Series over-subscription support"

Use consolidated update for failover_replication

Right now it’s using a special built volume_updates dictionary that
contains some fields *and* a model update. We then glom all of them
together into an update dictionary for the volume model.

This change simplifies them into a single model update more in-line with
how the other volume API’s work for drivers.

It also fixes a bug where the model_update property of the volume_update
was not being applied to the db model.

Change-Id: I8ad85bf0e62099a8ea4dd471dfcb64fa057f1021
Closes-Bug: #1491587

VMware: Fix exception messages

Currently some of the exceptions defined in the VMware driver
emit unformatted error messages. This is because they are
not overriding the correct message format variable. This
patch fixes the issue by overriding the correct variable
defined in the exception super class.

Closes-Bug: #1491834
Change-Id: I1c66d60ab2ea402dd944587b3d8b6d7c293c4d85

NetApp E-Series over-subscription support

Add support to the E-Series driver for
over-subscription/overprovisioning. This allows the Cinder scheduler
to more accurately represent the remaining space on a pool when
thin provisioned Cinder volumes are in use on an E-Series backend.

Co-Authored-By: Tom Barron <tpb@dyncloud.net>
DocImpact
Partially-implements: blueprint netapp-block--over-subscription-thin-provisioning
Change-Id: I5fb8f480168b9195221412d70f187c5ddfc4f527

Merge "Fix problem of efficient volume copy for migration"

Merge "Get full volume model in Replication manager API’s"

Merge "Implement thin provisioning support for E-Series"

Merge "Generic image-volume cache"

Merge "Remove executable bits on files"

Merge "Implement manage/unmanage snapshot in Pure drivers"

Merge "Cloudbyte fix create_cloned_volume parent id"

Merge "NetApp DOT block driver over-subscription support"

Get full volume model in Replication manager API’s

Currently we pass in a dictionary of the volume properties, but not the
actual volume model. This dictionary is missing some of the properties
like ‘name’ which backends may required for volume operations.

Change-Id: Idcb7b2c8313360a77ba336f3b7534d8fa7431a41
Closes-Bug: #1491585

Fix problem of efficient volume copy for migration

After introducing commit f586043fa969b9d1dcf4933aacbf615f53691093,
new volume copy method _copy_volume_data() was added into
manager.py. Originally driver.py had this method and it was copied
into manager.py. However new _copy_volume_data() lost efficient
volume copy logic during the reimplementation.

This patch simply add efficient volume copy logic again into new
_copy_volume_data() to fix the problem.

Change-Id: I183cbd2265c1f47c9047818e1d4915c896927280
Closes-Bug: 1491538

Merge "Cleanup for SnapshotObject"

Merge "Scheduler-based over-subscription for NFS drivers"

Merge "Support efficient non-disruptive volume backup in VNX"

Generic image-volume cache

This introduces a new feature for backends to be able to use cached
glance images when creating volumes from images.

If enabled, and the cinder internal tenant is configured, it will
create a minimal sized clone of a volume the first time it is
downloaded from glance. A new db table ‘image_volume_cache’ tracks
these volumes, which are owned by the Cinder internal tenant. The
original will then be extended to full size. Any subsequent requests to
create a volume from an image will be able to do a volume clone from
the image-volume cache entry instead of downloading the image data from
glance again.

In the future we could create an entry upon creating an image from a
volume right before uploading the volume to glance. This version
however does not aim to do more than add the initial framework and
help with subsequent image downloads. There are certainly more
improvements that can be done over time on top of this.

These image-volumes are host specific, so each backend may end up with
its very own image-volume to do clones from.

The cache is limited in size by number of entries allowed and size in
gb. When creating a new entry if space is needed the last used entries
will be evicted to make room.

In the current implementation the image-volumes will be viewable by a
cloud admin in the volume list, and show up as owned by the Cinder
internal tenant. They can safely be deleted manually by an admin, this
will cause the entry to be removed from the cache. These volumes will
use quota for the internal tenant.

Cache actions will post notifications to Ceilometer. There are
notifications like ‘image_volume_cache.miss’, ‘image_volume_cache.hit’,
and ‘image_volume_cache.evict’. A change will be required to the
event_definitions.yaml to see them nicely. Until then you only need to
add a new event type 'image_volume_cache.*' and look for the ‘image_id’
and ‘host’ fields.

DocImpact: We probably want some instructions on restrictions of the
cache and how to use it. The three new config options should also be
documented somewhere: ‘image_volume_cache_enabled’,
’image_volume_cache_max_size_gb’, ‘image_volume_cache_max_size_count’

Co-Authored-By: Tomoki Sekiyama <tomoki.sekiyama@hds.com>
Implements: blueprint image-volume-cache
Change-Id: If22bbaff89251e4e82a715170a48b4040f95c09f

Implement thin provisioning support for E-Series

Implement a new extra spec, 'netapp_thin_provisioned', that will allow
users to define thin provisioned Cinder volumes on E-Series storage,
alongside pre-existing extra specs such as
'netapp_eseries_data_assurance', 'netapp_eseries_flash_reach_cache',
'netapp_raid_type', etc.

We have a followup patch, https://review.openstack.org/#/c/215801/ ,
that reports 'thin_provisioning_support=True/False' and same for
'thick_provisioning_support', in accord with the scheduler-based
over-subscription support added in Kilo.

We are not yet attempting to implement the get_capabilities()
feature just merged into Liberty
(https://review.openstack.org/#/c/201243/)
but fully intend to do so in a way that conforms with that plan of
record.

Partially-Implements: blueprint netapp-eseries-additional-extra-specs
DocImpact
Change-Id: Ia00b56e6d6a644cff81791bbd04e97f0c02b9e65

Merge "ScaleIO driver should use os-brick connector"

Merge "Earlier authority check for create volume API"

Merge "Check before add lun to QoS in Huawei driver"

Merge "Minor optimization"

Remove useless response checks in SolidFire driver

The main issue_api_request method in the SolidFire driver
has had a mechanism to check validity of response data for
some time now.  It checks the response and if there isn't
a valid result in the response it raises.

The problem is that we still have some cruft from the old
code that does local checking/verfication.  These checks
won't ever actually be called because of the exception, and
they create some confusion.

This patch just removes those useless checks and cleans up
the api_request calls a bit.

Change-Id: Ifbcda0f943bb0b9dc47aff25bbb9245ce361fc48
Closes-Bug: #1491485

Merge "Add additional SSC extra specs to E-Series driver"

Merge "Add delete_snapshot and update_snapshot rules"

Merge "Implement AutoSupport for NetApp E-Series driver"

Merge "Add support for volume groups and netapp_raid_type"

Merge "Fix backup metadata import missing fields"

Merge "Fix a merge problem in VMAX driver"

Merge "Add instructions on how to deploy API under Apache"

Merge "Sync volume versionedobject to ORM"

DotHill driver fix create_cloned_volume parent id

This patch changes how the Dothill driver finds the
parent volume id during create_cloned_volume time.
The proper place to get it is from the source volume
dict/object being passed in.

Change-Id: I7623b31d850701fe7c85eff59085197a2cd73352
Closes-Bug: 1491207

3PAR Fix create_cloned_volume source volume id

This patch fixes where we are getting the source volume id
from.  Previously we were reading the source volume id from
the destination volume object in volume['source_volid'].  There are
cases where this value doesn't exist.   We are now reading the value
from the src_vref['id'] instead.

Change-Id: I7cf3137048d4b46099077402ec76faf20bd66b83
Closes-Bug: 1491175

Cloudbyte fix create_cloned_volume parent id

The CloudByte driver is reading the parent's volume id from the
new volume's source_volid.  There are some cases when this isn't set.
The source volume object/dict is passed in, so just access the id
from there.

Change-Id: If6d3f50d11e36434e194a355e874d44f9d79f553
Closes-Bug: 1491206

Scheduler-based over-subscription for NFS drivers

Add support to the NFS drivers for over-subscription/overprovisioning.
This allows the Cinder scheduler to more accurately represent the
remaining space on a pool when thin-provisioned Cinder Volumes are in
use on an NFS backend.

DocImpact
Co-Authored-By: Clinton Knight <cknight@netapp.com>
Co-Authored-By: Mike Rooney <rooneym@netapp.com>
Implements: blueprint nfs-over-subscription-thin-provisioning

Change-Id: Ib94d5131554466709e168c18d1b8690dddd55ff0

ScaleIO driver should use os-brick connector

Currently the ScaleIO Cinder volume driver contains the connect_volume logic
inside the driver itself. This code is redundant with the code in the os-brick
connector. This patch modifies the driver to use the os-brick connector and
removes the redundant code.

Change-Id: Ic26880f133c0ce10f9a67acd6e16b0d88cb2a242
Closes-Bug: #1486315

Merge "Allow specified backend capabilities to be retrieved"

Add instructions on how to deploy API under Apache

Add new documentation with steps how to deploy Cinder API under Apache.

Implements: blueprint non-eventlet-wsgi-app

Change-Id: I25335991206a2563d266baac6730d130890777db

Sync volume versionedobject to ORM

The following patch syncs the volume object to match the
ORM.  More specifically, it adds metadata, admin_metdata,
volume_attachment, and volume_type to the volume object.
These fields are required to convert cinder internals to
use volume versionedobject.  It was originally part of
a large patch, but is broken up to make reviews more
bearable.

Change-Id: I80c1734072cb26acbe207914e812a3b169b69dfb
Partial-Implements: blueprint cinder-objects

Check before add lun to QoS in Huawei driver

Check whether the lun_id has already been
added into the QoS before we add it.

Also some very small code clean in this patch.

Closes-Bug: #1490935
Change-Id: Ie0a2e4debe229d2f5ad8c66cfd1f0bf5522e4733

Fix backup metadata import missing fields

When importing backup metadata only required fields were being imported,
and all other fields were being ignored.

This led to some serious problems when importing backups back, since
you would lose not only the original Volume ID, but also relevant parent
id information needed to restore incremental backups.

This patch fixes this by importing everything back and creating backup
records with the right ID.

Closes-Bug: #1455043
Closes-Bug: #1476416
Depends-On: Id7ab6e174c1fe85772477f03059c4f457c5c8b17
Change-Id: Ia42ba73e9078d993c63f8e16308151ad11721ea9

Merge "Service object"

Merge "Add support for file I/O volume migration"

Service object

Add versionedobjects abstraction layer to services. Distinguish time
zone aware DateTime fields. The object derives from
CinderObjectDictCompat, so it supports both object (obj.prop) and dict
(obj['prop']) syntax to access properties. Complete move to object
notation will be made in a follow up clean up patch.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: I09f593f9f9aa8befa40d989b731159b78a429071
Partial-Implements: blueprint cinder-objects

Merge "Remove the method delete_volume_admin_metadata"

Merge "Add pagination to backups"

Merge "3PAR update driver to store stats"

Merge "Enhance FC zone support for Huawei driver"

Merge "force_detach terminate_connection needs connector"

Merge "Add cinder.conf.sample to gitignore"

Merge "Add debug logging before attaching volume in driver"

Merge "Adding delete-wait-loop for CloudByte Volumes"

Merge "Reduce runtime of E-Series iSCSI tests"

Allow specified backend capabilities to be retrieved

This change adds a new admin-api extension to allow admin to
fetch specified backend capabilities.
With this extension, admin can obtain what the current deployed
backend in Cinder is able to do from the endpoint.

The extension takes "host" as an parameter.
GET http://CINDER_API_ENDPOINT/v2/TENANT_ID/capabilities/<host>

DocImpact
Implements: blueprint get-volume-type-extra-specs
Change-Id: Ie8c3a3e554983f2e0819d52cf6d2db5efe7a0983

Remove deprecated options

These options are deprecated and unused, this commit remove them.
  - iscsi_num_targets
  - iser_num_targets

Change-Id: I46597a827f33fc338a11c31434bb0d967b35b003

Add cinder.conf.sample to gitignore

Now that we have some sort of conf checking again in the
tox ini file, we should make sure we don't inadvertenly
commit a generated sample (which I've done twice now).

Change-Id: I51124971ee52a1caf48123c5c2df2759bbcc045d

Add delete_snapshot and update_snapshot rules

delete_snapshot and update_snapshot APIs from cinder/volume/api.py
are missing policy rules in default /etc/cinder/policy.json.
This change adds them.

Change-Id: Ie732fccd578a35e1f1f8bf1c59d5a55a2b4e928b
Closes-Bug: #1472003

Fix a merge problem in VMAX driver

SMI-S v8.0.3 support was added to VMAX driver, but some of the
code was merged out. This patch adds them back.

(Pulled from gate, cinder can no longer pass unit tests)

Change-Id: Ie2cd2ba12d72d27e6ea71de86911cfca83d105c0
Closes-Bug: #1487616

Don't require OpenSSL for unit tests

This allows unit tests to run w/o PyOpenSSL installed.

Closes-Bug: #1490668

Change-Id: I820875ca66d23327218cc5787ee357e78c812d7f

Add pagination to backups

Backups list/detail does not support pagination now.
Add pagination support like volume does by using marker,
limit, sort_key and sort_order.

Partial-Implements: blueprint extend-limit-implementations

DocImpact
APIImpact
Use marker, limit, etc. in list url like volume does.

(Pulled from gate, cinder can no longer pass unit tests)

Change-Id: I33dbdc34c61f78eab2a78a9cda08780068867a03

Enhance FC zone support for Huawei driver

Currently, when using FC switch, there are manual operations
necessary to enable the Huawei driver to work. This change
makes it so those manual operations are no longer required
any more. Huawei driver can choose the appropriate
FC ports and manage FC zone automatically.

(Pulled from gate, cinder can no longer pass unit tests)

Implements: blueprint huawei-driver-fc-zone-enhancement
Change-Id: Iabdbf294074f68f0f3a01860cc43a486af91d3ba

Add support for file I/O volume migration

This patch changes the generic volume migration logic to support
non-attachable volumes.  Non-attachable refers to volume drivers that do
not support attachment via the typical iSCSI or similar protocols where
a block device is made available on the host machine.  Device drivers
such as RBD make volumes available to cinder via a file handle that
proxies read() and write() calls to the Ceph cluster.

This patch improves the generic migration logic to determine whether a
migration operation can proceed with dd using block device paths or file
operations on handles returned from the os-brick connectors.

Changes to the RBD driver are included to correctly rename the target
volume during the completion phase of a successful migration.

It appears there is still some work to be done for attached in-use
volume migration for certain configurations.  Successful tests were seen
for:

  LVM to LVM (available and in-use)
  LVM to/from NFS (available and in-use)
  LVM to/from Ceph (available)
  Ceph to LVM (in-use)
  NFS to/from Ceph (available)
  Ceph to NFS (in-use)

Failures were seen (due to Nova) for the following:

  LVM to Ceph (in-use)
  NFS to Ceph (in-use)

(Pulled from gate, cinder can no longer pass unit tests)

Blueprint: generic-volume-migration
Closes-Bug: #1489335
Closes-Bug: #1489337
Change-Id: Iece2776fa751152f97b389ddab426e50c6f79bea

Add debug logging before attaching volume in driver

It'd be helpful to log the volume/instance/mount/host
information in attach_volume before calling the volume
driver to do the attachment to know we have the right
values.

Change-Id: I8e1111e900032d19d5c46bad266b79b050b40851
Related-Bug: #1205344

Detect addition of executable files

When running pep8 checks, fail if executable
files have accidentally been added.

Change-Id: Ia0efa629acf794f8e0e9b78de24b5385776c1e66

Remove executable bits on files

Unit test and driver files should not be executable.

Change-Id: I50d3f93525024f63cf983d48a0192cb273018fe9

NetApp DOT block driver over-subscription support

Add support to the NetApp Data ONTAP block drivers for over-
subscription/overprovisioning.  This allows the Cinder scheduler
to more accurately represent the remaining space on a pool when
thin-provisioned Cinder Volumes are in use on a Data ONTAP
backend.

DocImpact
Co-Authored-By: Clinton Knight <cknight@netapp.com>
Partially implements: blueprint netapp-block--over-subscription-thin-provisioning

Change-Id: Ib86512b976e6ba0364b80c536c711c779ca11136

Cleanup for SnapshotObject

Mostly switched from dictionary notation (obj['prop']) to object
notation (obj.prop).
This patch doesn't contain changes for drivers. Drivers need to be
fixed in other patch.

Partial-Implements: blueprint cinder-objects
Change-Id: I98dd519e6dc84315df6caa768ce3f5fc4274431c

Add additional SSC extra specs to E-Series driver

This patch adds support for several new extra-specs in the E-Series
driver that can be used when defining a Storage Service Catalog.

Partially-Implements blueprint netapp-eseries-additional-extra-specs
DocImpact
Change-Id: I05cd931097c9ab3f2b6cb6f6c3b8ceb111579d0a

Merge "Fix url in API response to get original"

Minor optimization

Remove the unnecessary comparison statements in manager.py.

Change-Id: If276aa78be089e75aa56310eb606ba3dccb9b9b1

Merge "Clean up line continuation in Storwize driver"

Merge "Enhance deletion efficiency when backup init host"

Merge "Add the ability to update type public status"

Merge "Validate filters in snapshot*, backup* in db.api"

Merge "get_replication_updates call to driver is wrong"

Merge "Volume status management during migration"

Adding delete-wait-loop for CloudByte Volumes

Deleting volumes in CloudByte Storage is an asynchronous process.
So, the driver needs to wait till the job/process is completed.
The driver uses the jobid in a wait loop for a configured interval
of time, till the volume deletion is completed.

Added two new config options for this operation:

"cb_confirm_volume_delete_retry_interval"
"cb_confirm_volume_delete_retries"

DocImpact

Change-Id: I8139ecfb1b49c0b69ed956e3a53b5bb895ffc1fa

Merge "Dell SC: init_volume stale volume info fix"

Merge "Efficient volume copy for generic volume migration"

Merge "Adds framework for get_capabilities() feature"

Merge "Cinder Nested Quota Driver"

Merge "Add retries to delete a volume in the RBD driver"

Merge "Update volume status AFTER terminate_connection is done"

Merge "Prevent that all backup objects are deleted"

Merge "Sheepdog: improve create and delete operation"

Merge "Sheepdog: Add class for dog command executor"