ZFSSA driver to return project 'available' space

This fix allows the iSCSI driver to return the 'available' space
property at project level instead of the pool level which is more
accurate in cases when storage is not thin provisioned.

Change-Id: I52dec5e527eab393fd464fbc7f4f910fafb67268
Closes-Bug: #1479342

Merge "Add additional SSC extra specs to E-Series driver"

Merge "Add delete_snapshot and update_snapshot rules"

Merge "Implement AutoSupport for NetApp E-Series driver"

Merge "Add support for volume groups and netapp_raid_type"

Merge "Fix backup metadata import missing fields"

Merge "Fix a merge problem in VMAX driver"

Merge "Add instructions on how to deploy API under Apache"

Merge "Sync volume versionedobject to ORM"

Merge "Allow specified backend capabilities to be retrieved"

Add instructions on how to deploy API under Apache

Add new documentation with steps how to deploy Cinder API under Apache.

Implements: blueprint non-eventlet-wsgi-app

Change-Id: I25335991206a2563d266baac6730d130890777db

Sync volume versionedobject to ORM

The following patch syncs the volume object to match the
ORM.  More specifically, it adds metadata, admin_metdata,
volume_attachment, and volume_type to the volume object.
These fields are required to convert cinder internals to
use volume versionedobject.  It was originally part of
a large patch, but is broken up to make reviews more
bearable.

Change-Id: I80c1734072cb26acbe207914e812a3b169b69dfb
Partial-Implements: blueprint cinder-objects

Fix backup metadata import missing fields

When importing backup metadata only required fields were being imported,
and all other fields were being ignored.

This led to some serious problems when importing backups back, since
you would lose not only the original Volume ID, but also relevant parent
id information needed to restore incremental backups.

This patch fixes this by importing everything back and creating backup
records with the right ID.

Closes-Bug: #1455043
Closes-Bug: #1476416
Depends-On: Id7ab6e174c1fe85772477f03059c4f457c5c8b17
Change-Id: Ia42ba73e9078d993c63f8e16308151ad11721ea9

Merge "Service object"

Merge "Add support for file I/O volume migration"

Service object

Add versionedobjects abstraction layer to services. Distinguish time
zone aware DateTime fields. The object derives from
CinderObjectDictCompat, so it supports both object (obj.prop) and dict
(obj['prop']) syntax to access properties. Complete move to object
notation will be made in a follow up clean up patch.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: I09f593f9f9aa8befa40d989b731159b78a429071
Partial-Implements: blueprint cinder-objects

Merge "Remove the method delete_volume_admin_metadata"

Merge "Add pagination to backups"

Merge "3PAR update driver to store stats"

Merge "Enhance FC zone support for Huawei driver"

Merge "force_detach terminate_connection needs connector"

Merge "Add cinder.conf.sample to gitignore"

Merge "Add debug logging before attaching volume in driver"

Merge "Adding delete-wait-loop for CloudByte Volumes"

Merge "Reduce runtime of E-Series iSCSI tests"

Allow specified backend capabilities to be retrieved

This change adds a new admin-api extension to allow admin to
fetch specified backend capabilities.
With this extension, admin can obtain what the current deployed
backend in Cinder is able to do from the endpoint.

The extension takes "host" as an parameter.
GET http://CINDER_API_ENDPOINT/v2/TENANT_ID/capabilities/<host>

DocImpact
Implements: blueprint get-volume-type-extra-specs
Change-Id: Ie8c3a3e554983f2e0819d52cf6d2db5efe7a0983

Add cinder.conf.sample to gitignore

Now that we have some sort of conf checking again in the
tox ini file, we should make sure we don't inadvertenly
commit a generated sample (which I've done twice now).

Change-Id: I51124971ee52a1caf48123c5c2df2759bbcc045d

Add delete_snapshot and update_snapshot rules

delete_snapshot and update_snapshot APIs from cinder/volume/api.py
are missing policy rules in default /etc/cinder/policy.json.
This change adds them.

Change-Id: Ie732fccd578a35e1f1f8bf1c59d5a55a2b4e928b
Closes-Bug: #1472003

Fix a merge problem in VMAX driver

SMI-S v8.0.3 support was added to VMAX driver, but some of the
code was merged out. This patch adds them back.

(Pulled from gate, cinder can no longer pass unit tests)

Change-Id: Ie2cd2ba12d72d27e6ea71de86911cfca83d105c0
Closes-Bug: #1487616

Don't require OpenSSL for unit tests

This allows unit tests to run w/o PyOpenSSL installed.

Closes-Bug: #1490668

Change-Id: I820875ca66d23327218cc5787ee357e78c812d7f

Add pagination to backups

Backups list/detail does not support pagination now.
Add pagination support like volume does by using marker,
limit, sort_key and sort_order.

Partial-Implements: blueprint extend-limit-implementations

DocImpact
APIImpact
Use marker, limit, etc. in list url like volume does.

(Pulled from gate, cinder can no longer pass unit tests)

Change-Id: I33dbdc34c61f78eab2a78a9cda08780068867a03

Enhance FC zone support for Huawei driver

Currently, when using FC switch, there are manual operations
necessary to enable the Huawei driver to work. This change
makes it so those manual operations are no longer required
any more. Huawei driver can choose the appropriate
FC ports and manage FC zone automatically.

(Pulled from gate, cinder can no longer pass unit tests)

Implements: blueprint huawei-driver-fc-zone-enhancement
Change-Id: Iabdbf294074f68f0f3a01860cc43a486af91d3ba

Add support for file I/O volume migration

This patch changes the generic volume migration logic to support
non-attachable volumes.  Non-attachable refers to volume drivers that do
not support attachment via the typical iSCSI or similar protocols where
a block device is made available on the host machine.  Device drivers
such as RBD make volumes available to cinder via a file handle that
proxies read() and write() calls to the Ceph cluster.

This patch improves the generic migration logic to determine whether a
migration operation can proceed with dd using block device paths or file
operations on handles returned from the os-brick connectors.

Changes to the RBD driver are included to correctly rename the target
volume during the completion phase of a successful migration.

It appears there is still some work to be done for attached in-use
volume migration for certain configurations.  Successful tests were seen
for:

  LVM to LVM (available and in-use)
  LVM to/from NFS (available and in-use)
  LVM to/from Ceph (available)
  Ceph to LVM (in-use)
  NFS to/from Ceph (available)
  Ceph to NFS (in-use)

Failures were seen (due to Nova) for the following:

  LVM to Ceph (in-use)
  NFS to Ceph (in-use)

(Pulled from gate, cinder can no longer pass unit tests)

Blueprint: generic-volume-migration
Closes-Bug: #1489335
Closes-Bug: #1489337
Change-Id: Iece2776fa751152f97b389ddab426e50c6f79bea

Add debug logging before attaching volume in driver

It'd be helpful to log the volume/instance/mount/host
information in attach_volume before calling the volume
driver to do the attachment to know we have the right
values.

Change-Id: I8e1111e900032d19d5c46bad266b79b050b40851
Related-Bug: #1205344

Add additional SSC extra specs to E-Series driver

This patch adds support for several new extra-specs in the E-Series
driver that can be used when defining a Storage Service Catalog.

Partially-Implements blueprint netapp-eseries-additional-extra-specs
DocImpact
Change-Id: I05cd931097c9ab3f2b6cb6f6c3b8ceb111579d0a

Merge "Fix url in API response to get original"

Merge "Clean up line continuation in Storwize driver"

Merge "Enhance deletion efficiency when backup init host"

Merge "Add the ability to update type public status"

Merge "Validate filters in snapshot*, backup* in db.api"

Merge "get_replication_updates call to driver is wrong"

Merge "Volume status management during migration"

Adding delete-wait-loop for CloudByte Volumes

Deleting volumes in CloudByte Storage is an asynchronous process.
So, the driver needs to wait till the job/process is completed.
The driver uses the jobid in a wait loop for a configured interval
of time, till the volume deletion is completed.

Added two new config options for this operation:

"cb_confirm_volume_delete_retry_interval"
"cb_confirm_volume_delete_retries"

DocImpact

Change-Id: I8139ecfb1b49c0b69ed956e3a53b5bb895ffc1fa

Merge "Dell SC: init_volume stale volume info fix"

Merge "Efficient volume copy for generic volume migration"

Merge "Adds framework for get_capabilities() feature"

Merge "Cinder Nested Quota Driver"

Merge "Add retries to delete a volume in the RBD driver"

Merge "Update volume status AFTER terminate_connection is done"

Merge "Prevent that all backup objects are deleted"

Merge "Sheepdog: improve create and delete operation"

Merge "Sheepdog: Add class for dog command executor"

Merge "Allow CG without snapshot to be deleted"

Merge "Local cache feature of Oracle ZFSSA drivers"

Merge "Add manage/unmanage volume support for Nimble"

Merge "LeftHand: Adding Consistency Group Support"

Merge "Imported Translations from Transifex"

Merge "Rework Scality SOFS driver to use RemoteFS class"

get_replication_updates call to driver is wrong

The call to driver.get_replication_updates in manager.py
omitted the context argument from the call.

This fixes that by adding the context argument to the call.

Change-Id: I1e59e4a7e64fee8f26ac27a3eb79683d7bccdce4
Closes-Bug: #1489931

Merge "Skip intermittent VMDK tests"

Merge "Fix volume copy for 'virtual' volumes in DotHill"

Fix url in API response to get original

This changes the url in the API response to get the original value of
redirection if the header 'X-Forwarded-Host' exists.

Change-Id: I10877522db5df66d14c01487de6297f1336cecaf
Closes-Bug: 1488373

Efficient volume copy for generic volume migration

Currently Cinder uses dd command for data copy of volume migration,
but the copy always copy full blocks even if the source data contains
many null and zero blocks. The dd command has an option conv=sparse
to skip null or zero blocks for more efficient data copy.

However, if the destination volume is not zero cleared beforehand,
we should copy full block from source to dest volume to cleanup dest
volume in order to avoid security issue.
If the volume pre-initilization(zero cleared) is ensured beforehand,
we can skip copy of null and zero blocks to destination volume by
using sparse copy.

In order to use this option properly, we have to check
sparse_copy_volume capability for destination backend driver via
RPC API before volume copy.

This patch also adds sparse_copy_volume capability flag into volume
stats of LVM and NFS drivers to enable efficient copy for these
backends.

Implements: blueprint efficient-volume-copy-for-cinder-assisted-migration
Change-Id: Ic343860d37276907724fce3a9c0f7c9d034c4aaa

Merge "Add unit test for backup get_all"

Merge "Incremental backup improvements for L"

Volume status management during migration

This patch proposes a new implementation for the status and
the migration_status for volumes.

* The initial migration_status is None, meaning no migration has been
done; Migration_status 'error' means the previous migration failed.
Migration_status 'success' means the previous migration succeeded.

* If the key 'lock_volume' is set to True from the request, the volume
status should be set to 'maintenance' during migration and goes
back to its original status after migration. Otherwise, if the
key 'lock_volume' is set to False, the volume status will remain the
same as its original status. The default value for lock_volume is
False and it applies to the available volume.

* From the REST's perspectives, all the create, update and delete
actions are not allowed if the volume is in 'maintenance', because
it means the volume is out of service. If it is not in maintenance
mode, the migration can be interrupted if other requests are
issued, e.g. attach. For the termination of migration, another
patch will target to resolve it.

DocImpact
APIImpact The key 'lock_volume' has been added into the API,
telling the volume to change the status to 'maintenance' or not.
The migration_status has been added into results returned
from volume list command, if the request is from an admin.

Change-Id: Ia86421f2d6fce61dcfeb073f8e7b9c9dde517373
Partial-implements: blueprint migration-improvement

Merge "Extend unit tests for backup get_all"

Clean up line continuation in Storwize driver

There are multiple places in the Storwize driver where '\' is used
for line  continuation. This patch replaces '\' with '()' to make
the code consistent.

Change-Id: Ic64f0562f1e25e499c4fecd366998e31e8ebee7a

LeftHand: Adding Consistency Group Support

Adds support for Consistency Groups to the HP LeftHand driver

create_consistencygroup_from_src will not be implemented until
the newest version of the LeftHand API is released

Implements: blueprint hp-lefthand-add-consistency-groups
Change-Id: Id86e86f9bee4e5ce80d739a586037c989e73e379

3PAR update driver to store stats

The BaseVD class declares _stats in the constructor and
some drivers seem to be storing their stats from get_volume_stats
in there.   This patch updates the 3PAR drivers to do the same
as most.

Change-Id: Ia1bc73089cff1f2c04c4782ef9fbaf130e57d02b

Skip intermittent VMDK tests

The test 'test_create_backing_from_stream_optimized_file' is failing
intermittently in the gate, which causes delays in the review process of
other patches.  Given the proximity to feature freeze, I think it's
appropriate to temporarily disable these tests until a proper solution
can be found.

Change-Id: I056b64ad09bb4eb921638e2a664eda2c97daa42d
Partial-Bug: #1488690

Rework Scality SOFS driver to use RemoteFS class

This change is big but the logic is simple. The previous version of
this driver reimplemented most of what is now in the RemoteFS base
class. SOFS stands for Scale Out FileSystem and is based on FUSE, so
it's only natural to leverage the RemoteFS class.

Change-Id: I26935061e860a477f98a61a935e67281a3a6f48e

Adds framework for get_capabilities() feature

This patch adds a base framework of capabilities reporting
feature. The get_capabilities RPC API returns dictionary
which is consisted of two parts.

First part includes static backend capabilities which are
obtained by get_volume_stats(). Second part is properties
which includes parameters correspond to extra specs.
This properties part is consisted of cinder standard
capabilities and vendor unique properties. These properties
are created via these two methods.

* _init_standard_capabilities()
* _init_vendor_properties()

Since _init_standard_capabilities() only exposes cinder
standard capabilities into the properties dictionary,
each backend driver needs to expose their own properties
by overriding _init_vendor_properties().

ex. capabilities
{
   'host_name': 'block1',
   'volume_backend_name': 'lvm',
   'pool_name': 'pool',
   'driver_version': '2.0.0',
   'storage_protocol': 'iSCSI',
   'properties:' {
        'thin_provisioning': {
            'title': 'Thin Provisioning',
            'description': 'Sets thin provisioning.',
            'type': 'boolean'},
        'compression': {
            'title': 'Compression',
            'description': 'Enables compression.',
            'type': 'boolean'},
        'qos': {
            'title': 'QoS',
            'description': 'Enables QoS.',
            'type': 'boolean'},
        'replication': {
            'title': 'Replication',
            'description': 'Enables replication.',
            'type': 'boolean'},
        'vendor:compression_type': {
            'title': 'Compression type',
            'description': 'Specifies compression type.',
            'type': 'string',
            'enum': ["lossy", "lossless", "special"]},
        'vendor:minIOPS': {
            'title': 'Minimum IOPS QoS',
            'description': 'Sets minimum IOPS if QoS is enabled.',
            'type': 'integer',
            'minimum': 10,
            'default': 100},
   }
}

DocImpact
Implements: blueprint get-volume-type-extra-specs
Change-Id: I7a019f0296511bfda5b373e508071853d85e2376

Implement AutoSupport for NetApp E-Series driver

This patchset implements ASUP support for the NetApp
E-Series driver.

Implements blueprint netapp-e-series-asup
Change-Id: Idd371b99d519e280e9c82844172056c29814fd1b

Add retries to delete a volume in the RBD driver

This patch adds retries to delete a volume. After N tries of a
volume deletion failed we raise VolumeIsBusy exception.

Change-Id: I9499be0c5985f9e8a3e55d1c9add01ad5cd11789

Add support for volume groups and netapp_raid_type

This patch removes a filter constraint on pool information that limited the
pools that would be returned to the scheduler based on the raid type for
the DDP feature of the E-Series platform. Now that pools may have different
RAID types, we return that as an unqualified extra-spec netapp_raid_type.

This patch also resolves a defect with the reporting of E-Series
extra-specs that was introduced with the removal of the cache functionality.

DocImpact
Partially-Implements blueprint netapp-eseries-additional-extra-specs
Change-Id: I2656c3282270a5ec5256cc12767a09138c4a5371

Merge "Port test_nfs to Python 3"

Dell SC: init_volume stale volume info fix

In init_volume the volume information becomes stale after the volume
is mapped to a server.  The volume should be updated before being sent
to unmap.

The unmap function was testing for the volume being active.  This
should not be required.  It is unlikely an inactive volume will have
mappings but not impossible.  This check has been removed.

Removed LOG.error from _find_mapping_profiles as the API returning
an error is fine if the volume is inactive.  Plus we were not failing
on it.  The LOG.debug is sufficient.

Change-Id: I3ff8447360cea134e1008fa8db5cd912aa5effd3

Validate filters in snapshot*, backup* in db.api

In db.sqlalchemy.api methods filters passed from c-api are applied
directly to the DB query. From all snapshot_get_all* methods filter
validation was done only for snapshot_get_all method. Backup methods
are missing the validation completely. This is causing an exception
about unknown DB column and returns 500 HTTP error when calling API
with an incorrect filter from an admin context (without admin context
filters are validated on an c-api level). This commit adds such
validation to snapshot_get_by_host, snapshot_get_all_by_project and
backup_get_all* methods to prevent such failures. Regression unit tests
are also added.

APIImpact
Closes-Bug: 1469678
Change-Id: I3a9dc6a430f2a149073592487437721a39f0afc5

Merge "Implement function to manage/unmanage snapshots"

Fix volume copy for 'virtual' volumes in DotHill

Dot Hill volumes allocated from virtual storage pools require
different handling than volumes allocated from vdisks when
cloning volumes or snapshots.

This change ensures that the correct API calls are used based on
the dothill_backend_type property declared in the cinder.conf.

Change-Id: If2ac15d1d6426948ff439815e85411fbbb95215b
Closes-Bug: #1489303
Co-Authored-By: Chris Maio <chris.maio@dothill.com>
Co-Authored-By: Lakshman <lakshminarayanat@vedams.com>

Merge "Remove unused dependency discover."

Merge "adds user_id to check_is_admin"

Merge "Replace urllib.unquote with urllib.parse.unquote"

Merge "Update NetApp Drivers to use netapp_lib"

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I1a5b97ef7e7a80044a74529ac61d4a6091b25d96

Merge "Add Cinder API wsgi application"

Merge "Nested Quota Driver: Get Project Hierarchy"

Merge "Filter out extra-specs from type get for non-admin"

Merge "Parameter osapi_max_limit is always used by default"

Merge "Add pagination to snapshots"

Reduce runtime of E-Series iSCSI tests

This patch improves the runtime of the connectivity-related tests
by mocking out network activity where it is expected to timeout.

Change-Id: I61029b7a4057c789e329b390b17bdab80f3085a9

Cinder Nested Quota Driver

Cinder Nested Quota Driver patch adds hierarchical support. Quota
API's now can also handle hierarchical projects.

For the first pass only a user with admin role in a parent project
will be able to update and delete its children quotas.

Even after these changes are made, the existing DbQuotaDriver
functionalities will remain unchanged. The same driver will be able to
handle flat projects as well as hierarchical projects.

Co-Authored-By: Erickson Santos <erickson@lsd.ufcg.edu.br>
Change-Id: Ie669d7d74d40c0ff1f1e54f673e7f3ae96b3b950
Implements: bp cinder-nested-quota-driver

Add manage/unmanage volume support for Nimble

This patch adds support for volume manage/unmanage for a Nimble
ISCSI driver. It uses an additional field 'agent-type' on the
backend for distinguishing volumes managed by the Nimble driver.
While managing an existing volume it sets the agent-type to
Openstack and while unmanaging sets it back to None.

Since this field was not used in the earlier versions, in order
to be backward compatible, during the initialization of the driver,
the 'agent-type' is updated to Openstack for all the existing
Nimble volumes.

Implements: blueprint nimble-add-volume-manage-unmanage-support
Change-Id: Ia960f2a2911288409977324cfc287c216b60b589

Merge "TemporaryImages to inspect image before conversion"

Merge "Dont eager load volume type specs on volume list"

Merge "Cleaning up CONF.register_opts() in compute/__init__.py"

Local cache feature of Oracle ZFSSA drivers

The feature enables ZFSSA drivers to create and reuse cache volumes
on ZFSSA backends. It takes advantage of ZFSSA snapshot and clone,
which can be created almost instantly from an existing volume.

Cache volumes will be removed if it has no clone. Custom schemas
and WebDAV properties are used to store cache volumes' properties.

DocImpact
Change-Id: I06b21a3f760abf540246971c00d923eda8fe57e3
Implements: blueprint oracle-zfssa-local-cache

Merge "Fix backup list all_tenants=0 filtering for admin"

Merge "Fix nimble storage volume stats reporting"