Remove the method delete_volume_admin_metadata

This method is no longer used. This patch proposes
to delete it and some related policies.

Closes-Bug: #1485435
Change-Id: I78f4f545f4a9f2088269925b48db123b901c4f96

Merge "Update devref unit tests doc"

Merge "Make migration's volume source deletion async"

Merge "Refactor to remove duplicate code"

Merge "Remove duplicate keys from dictionary"

Merge "Corrects the order of AssertEquals params in Quobyte tests"

Merge "Test whether sample config generation works"

Merge "Adds manage/unmanage methods for HNAS drivers."

Merge "Tests: Fix zfssa TestRestClientURL.test_request"

Corrects the order of AssertEquals params in Quobyte tests

Closes-Bug: 1486566

Change-Id: I29bd0ea93d0c432da97d761d7955336a80fff2de

Merge "Dell SC: Fix error causing missed log message"

Merge "Configure space reservation on NetApp Data ONTAP"

Merge "Register the volume_opts config options in remotefs.py"

Merge "LeftHand driver is ignoring reserved_percentage"

Remove duplicate keys from dictionary

There are several places where duplicate keys are added in the dictionary.

Remove all such occurrences throughout the code.

Change-Id: Ib1e6cccb82fdfcde9e3080afca7bebdb61d6f5ad
Closes-Bug: #1485846

Merge "Revert "mark oslo.vmware as optional dependency""

LeftHand driver is ignoring reserved_percentage

The LH driver was hard coding the reserved_percentage parameter to 0.
The LeftHand driver should be reading this value from the cinder
configuration file as it's used in the capacity filter for calculating
capacities.

DocImpact

Change-Id: Ib76c191f75300f9607811727b0f08ed09deb06c0
Closes-Bug: 1486267

Update devref unit tests doc

Simple update for our painfully out of date devref docs.

Just a short refresh on unit_tests, there's a lot that could
and probably should be added there, but this change just gets
rid of the obsolete references to Nose and adds info regarding
tox and how to use it.

Change-Id: Ib1ff174ee9ccb8ecb258558d77202062204dfec3

Tests: Fix zfssa TestRestClientURL.test_request

This test can currently fail with mismatched parameters
to urlopen.  Just ensure that urlopen is called so
that this works across all environments/versions.

Closes-Bug: #1486245

Change-Id: Icec5d208a979ba62b9dfef2b499a00bacec841d3

Merge "Add volume migration support for Huawei driver"

Test whether sample config generation works

Adds --checkonly to tools/config/check_uptodate.sh.

This allows verifying that a configuration file was
generated.

We have had a number of issues introduced which
have caused config file generation to fail since we
removed the sample config file check in the gate.
This does not add back checks to ensure that the file
has been updated, it only checks to ensure that it is
still possible to update the sample file.

Change-Id: I2e0e376fbdec5a1bb584c6739231649e1d0f5d8e

Merge "Adapt SnapshotController to view builder"

Revert "mark oslo.vmware as optional dependency"

This reverts commit e67adc385ce6997249fbf70e9402264f758fc6f4.

Adding optional dependency tracking would be nice,
but Cinder is not yet in a place to do this.

- Cinder supports tox 1.6 (minversion in tox.ini)
- This functionality does not work on 1.6, requires 1.7.  Tox
  fails to build a test environment if using tox 1.6.
- We have decided we can't move to tox 1.7 for now.
  ( https://review.openstack.org/#/c/211614/ )

This reverts commit 478e8e970e54aaf3a034dc6347605c1b18291d0d.
- Need to remove oslo.vmware from test-requirements.txt now, as
well.

Closes-Bug: #1484035

Change-Id: Icff52508ff1cd67e8c17964c840d3a5cdcfbbce3

Register the volume_opts config options in remotefs.py

With commit bc23e0bf415defb1956c9864ac33390bb4cc2017 a new
volume_opts configuration option list was added into
cinder/volume/drivers/remotefs.py.  This new list, however,
was never registered.  When an options list is not registered
genconfig cannot figure out the right place to put the config
options and will fail to generate the sample file.

To resolve this, the patch simply registers the new options
list in remotefs.py.  Once the list is registered we are,
once again, able to generate the sample file.

Change-Id: Ic2bb95d7e2296d893f8acc5b3119f0be6a4b5c74

Configure space reservation on NetApp Data ONTAP

This patchset allows configuring Cinder volumes on NetApp Data ONTAP
backends to be thick or thin provisioned.

DocImpact
Implements: blueprint netapp-thin-provisioned-luns

Change-Id: I1a2679c72ca0fb56edd0c9e39d361408022380e3

Merge "GlusterFS backup driver"

Dell SC: Fix error causing missed log message

Extremely trivial fix. An extra comma at the end of a
logging line actually made it into a statement that
doesn't perform logging. This patch removes the extra
comma so that the message gets logged as expected.

Change-Id: I032d5cdd54e3ed8924115744671d8ef9231e62c0

Make migration's volume source deletion async

Currently source volume deletion on a volume migration (and therefore on
retype with migration as well) is synchronous and that has 2 problems:

1. If the deletion takes more than rpc_response_timeout then when
performed on in-use volumes it will fail.

2. If the deletion fails then the volume will be left in the back-end
and Cinder will no longer have a reference of that volume in the DB.

This patch makes source volume deletion asynchronous resolving both
issues.

Closes-Bug: #1483155
Closes-Bug: #1483157
Change-Id: I55c3d86660f90044a56b8609bb5774d4f5481227

Merge "3PAR: Adding Consistency Group Support"

Merge "Remove unused function volume_type_encryption_get"

Merge "Correct comment to be consistent with code"

Adds manage/unmanage methods for HNAS drivers.

Implements the support for the manage and unmanage features in HDS
HNAS drivers (NFS and ISCSI).

Implements: blueprint hnas-manage-unmanage
Change-Id: Ic222b8009a064824775aafb8713b4ddde38678f6

Merge "Cleanup for cinder tests with ConsistencyGroups"

Merge "Implement Clone CG in Pure Volume Drivers"

Merge "Add delete/update_volume_metadata policy rules"

Merge "Fix backup init_host volume cleanup"

Merge "VMware: Bump driver version"

3PAR: Adding Consistency Group Support

Adds support for Consistency Groups to the HP 3PAR driver

Implements: blueprint hp-3par-add-consistency-groups
Change-Id: I31e74b55db0f9b813a9295378271715df4b839f4

Remove unused function volume_type_encryption_get

This change removes the aforementioned function, which isn't used in
the existing code.

Change-Id: Iadac34d34c6824d4b2fc5e4db139ff563833f222

Refactor to remove duplicate code

This change reuses the get_volume_type_encryption function for the
implementation of the is_encrypted function.

Change-Id: Ie6434016840c20229b3a32b676aa8fc994f9362b

Correct comment to be consistent with code

The volume_encryption_metadata_get function returns more than just
the encryption key id. This change generalizes the comment to refer
to all the metadata that is returned.

Change-Id: I3f154930cec5f065011b40026d3dbdb3a8a2f07d

Merge "Allow 0 length name"

Merge "VMware: Change inventory folder hierarchy"

Merge "Port NetApp DATAONTAP blocks drivers to ABC model"

Merge "Fix 033 add encryption unique key migration"

Merge "Use min and max on IntOpt option types"

Allow 0 length name

There are currently cases where nova for example
creates volumes with a name of zero length.  We
can't just change that and break compatability.

This patch just modifes the wsgi module to allow
min length of zero again.

Change-Id: I829a8b4d6773d1c646d07cccb36994370e1dbce9
Closes-Bug: #1485198

Add volume migration support for Huawei driver

If the target host and the original volume are on the same array,
then Huawei driver will do the migration now instead of having
it done by the general migration process.

Change-Id: Ife8fca765402e95778079fb0166b3abf9684d134
Implements: blueprint huawei-storage-volume-migration-support

Cleanup for cinder tests with ConsistencyGroups

Switch cinder tests to use ConsistencyGroup objects instead of directly
calls to db. Additionally switch over from dict to object notation.

Drivers tests need to be fixed in other patch.

Partial-Implements: blueprint cinder-objects
Change-Id: Ib3d4c791e095d89e7bc5e5e9a6b26e8433517ffb

Merge "Enhance PureISCSIDriver multipath support"

Merge "Over subscription for HP 3PAR drivers"

VMware: Change inventory folder hierarchy

In vCenter inventory, volumes are organized under the folder:
<datacenter_vm_folder>/<volume_folder>, where <volume_folder>
is the value of driver config option 'vmware_volume_folder'.
Due to this organization certain project-specific maintenance
tasks (using vSphere client) might be difficult for vCenter
admin. For example, the admin may need to migrate the volumes
of a particular project from one vCenter datastore to another.

This patch changes the folder hierarchy to:
  <datacenter_vm_folder>/OpenStack/Project
                               (<project_id>)/<volume_folder>
for better organization.

DocImpact
  Modified default value of config option
  'vmware_volume_folder' and updated its description.

Closes-Bug: #1485550
Change-Id: I37a3bd00efaa3b4a0bbcb22cbe9fff3f4fb80456

Adapt SnapshotController to view builder

Snapshots were not using the view builder to translate responses, unlike
other resources like volumes and backups.

This patch moves snapshots to use the view builder like the rest.

Change-Id: Iec6873aedcf126f00c81fd016acfc8db9a5e512c

Merge "Tintri snapshot id"

Merge "VMware: Deprecate vCenter version less than 5.1"

Merge "Dell Eqlx: Use generic option ssh_timeout"

Merge "Enhance unit tests for zfssa drivers"

Merge "Fix HNAS iSCSI 32 targets limitation error"

Merge "Add support '--all-tenants' for cinder backup-list"

Merge "Add volume type support to Datera"

Use min and max on IntOpt option types

Latest version of oslo.config support the ability to set valid
range on IntOpt option values.  This path makes use of that feature
for a number of options with well known minimum and maximum values.

Change-Id: Ie4b081bdaa373c9dedf7dd0c9884553ffb42b61c

Merge "Return volume name from backup_restore"

Merge "Make X-IO volume driver wait for delete volume to complete"

Over subscription for HP 3PAR drivers

Add support for over subscription in the HP 3PAR drivers.
Also, fixed the reporting of capacity related stats at the pool
level in the unit tests.

DocImpact

Change-Id: I182c67d864c6094e738c20436e42e4fa2d876613
Implements: blueprint over-subscription-3par

Merge "Small clean up in volume object"

Merge "Reduced file size to prevent timeout"

Merge "Validate string, integer limit for input parameter"

Merge "Remove RetypeVD class, fix NFS driver retype"

Merge "Updated from global requirements"

Tintri snapshot id

Tintri driver to associate cinder snapshot id to tintri id and
store in cinder snapshot provider_id.

Bump up driver version for this change.

Cinder snapshot name and volume id are stored in tintri snapshot.

Closes-Bug: #1468949
Co-Authored-By: apoorvad apps.desh@gmail.com
Co-Authored-By: opencompute xuchenx@gmail.com
Change-Id: I41e174d361491c3976b037a4aa16a085afbc93e5

Merge "On Volume list only retrieve needed data from DB"

Add volume type support to Datera

This allows created volumes to have a volume type specified with them.

Implements: blueprint datera-extra-spec-support
Implements: blueprint datera-qos-support
Change-Id: I217d75deecbbf2282125703c296dc524174c4660

Implement Clone CG in Pure Volume Drivers

This adds support for the consisgroup-create-from-src method specifying
a source consistency group.

The driver will create a new Purity Protection Group, take a temporary
snapshot of the source Protection Group, create new volumes from the
consistent snapshot, and then add these new volumes into the newly
created protection group.

Implements: blueprint pure-clone-cg
Change-Id: I3446c4a86027f1f50ada673ddb1f3b13b5e8f6cc

Merge "Don't use context.elevated to get volume"

Merge "Validate name and description string"

Merge "Update SolidFire driver to pass newer flake8"

Merge "3PAR: Adding performance metrics to volume status"

Merge "Switch Pure volume drivers to use Snapshot Objects"

Dell Eqlx: Use generic option ssh_timeout

Deprecated the driver specific option eqlx_cli_timeout
in favor of generic option ssh_conn_timeout.

Config parameter eqlx_cli_timeout parameter will be
removed in M release

Closes Bug: #1484284

Change-Id: Ib0ec5fdd6d8b7c61312721b2a5901bd7380f29a8

Make X-IO volume driver wait for delete volume to complete

Add a check to make sure the volume has been deleted from
the backend storage before returning from delete_volume.

Change-Id: Icc662de476fcb21ff2f7ca6aa69e46c434214d7e
Closes-Bug: #1482044

Reduced file size to prevent timeout

We currently have a test system that appears to be I/O constrained
and is hitting timeouts. Rather than mocking out the file copy, we
decided to reduce the file size in order to avoid timeouts. This way
we are not changing the way these test cases work, but we are reducing
the time required to run each test case. This patch will help improve
check and gate performance as well.

Change-Id: I04cf9d6dbdaebb8944a38ffa34d1e2e1b27e2552
Closes-bug: 1480361

Merge "Handle missing temp volume and snapshot during cleanup"

Merge "GPFS volume encryption-at-rest support"

Update SolidFire driver to pass newer flake8

Just an easy update of some things that newer versions of
flake8 complains about.

I've updated my env to flake8 2.1.0, and figured might as
well fix these up rather ignore them.  pep8 is 1.5.6 and pyflakes
is at 0.8.1

Change-Id: I6d22fe95b67acddcece283e6dca6fe980904bfed

Merge "Enable cinder-manage to remove services"

Merge "Fix Python 3 issues in Windows tests"

Merge "Prevent creating encrypted volume with image"

3PAR: Adding performance metrics to volume status

If one storage backend has high load while another has lower load,
when a user/admin creates a volume, the current evaluator/scheduler
may place the volume on the backend with higher load. In many cases,
the evaluator/scheduler should place that volume on the backend
with the lowest load for load balancing purposes. In general, for load
balancing virtual volume placement, an evaluator/scheduler needs
access to performance metrics (e.g. IOPS throughput, bandwidth,
latency, IO size) to measure load, but Cinder drivers don't generally
report those metrics.

Although these performance metrics are available from the 3PAR CLI,
they are currently inaccesible in the evaluator/scheduler. The
proposed changes add these metrics to the volume status report and
thus make them accesible by the evaluator/scheduler.

In cinder/volume/drivers/san/hp/hp_3par_common.py, uses the 3PAR
client method HP3parClient.getCPGStatData to get performance metrics,
and adds new fields in the output of HP3PARCommon.get_volume_stats
corresponding to the performance metrics: IOPS throughput, bandwidth,
latency, io_size, queue_length, and avg_busy_perc. These metrics are
taken by averaging samples taken once per day for the last week.

In cinder/tests/unit/test_hp3par.py, adds unit tests in
TestHP3PARFCDriver.test_get_volume_stats and in
TestHP3PARISCSIDriver.test_get_volume_stats.

Closes-bug: #1482741

Change-Id: If9e7b5ffd100489af6537f7dab970d89a6d70851

Merge "Fix missing parameters in driver CG interface"

Merge "Add multipath support to 3PAR iSCSI driver"

Merge "Set default policy for "volume:get""

Don't use context.elevated to get volume

Original Problem:
=================
Since the metadata(readonly and attached_mode) is stored in admin metadata,
normal user need `run context.elevated` to retrieves admin metadata.
The above way will bring a side effect. Normal user can also get
any volume which the user shouldn't access when the user knows the UUID.

Solution:
=========
Use context instead of context.elevated to get volume.
And add admin metadata to it.
Based on cinder-meetup-summer-2015 conclusion, we use the solution.
The solution will need extra database connection.

Change-Id: I06f21e7578b65a59c0fe4d3afe0e882ed73c4725
Closes-Bug: #1477625

Enable cinder-manage to remove services

These changes are to enable cinder-manage to remove old services
from the database like nova does. All that is being added is the remove
method to manage.py and tests to cover this new method in test_cmd.py.
The command will remove the binary from the list of running services
in the db that can be viewed via "cinder-manage service list". NOTE:
Active and restarted services will re-populate the DB with their current
status automatically.

To use this new command, the user types "cinder-manage service remove
<binary> <host>" and the service will be removed.

DocImpact

Change-Id: I3bcec824d3c5f65fdd187459428025993a2010a0
Implements-blueprint: add-cinder-service-removal

VMware: Bump driver version

In Liberty we added support for volume placement in specific
vCenter clusters. This patch bumps the driver minor version
to reflect this.

Change-Id: Ic19dbb4cab77db95cca2f5fa7cea10b8bba3a497

Fix backup init_host volume cleanup

Backup service manager init_host method cleans up leftover volumes from
interrupted backup and restore operations.  As the code is currently
written, it only does this for volumes with attachments.

This commit runs the volume cleanup for volumes in backing-up or restoring
state even when they do not have attachments.

Closes-bug: 1482548
Change-Id: I753c72b7adcdf57745deafaad7de616eb6243aa9

VMware: Deprecate vCenter version less than 5.1

Log a warning if the vCenter server version is less than 5.1.
The plan is to enforce the version in M release.

DocImpact
Running Cinder with a VMware vCenter version less than 5.1 is
deprecated. The minimum required version of vCenter server will
be raised to 5.1 in the 8.0.0 release.

Change-Id: I38f520cace67ddcaf067787683ac47f50a6c0b3f

Merge "VNX driver needs extra params for create cg from src"

Merge "LVM Thin Provisioning auto-detect"

Updated from global requirements

Change-Id: I2e23700feb4dbba88f2de48624a401ac1c087463

Small clean up in volume object

This call of __init__() is unnecessary.

Change-Id: I1513d4c392ef773d990a3b3f339fe87622a8c5b5