Add https options and minor code changes

Adds https options x_verify_certificate and x_verify_certificate_path
in DotHill and rebranded drivers.

Minor cosmetic changes like replacing 'realstor' with 'virtual'
and 'wbi' with 'api'. Adding default value for 'x_backend_type'
and 'x_api_protocol' options. Minor code optimization for
finding array iSCSI addresses.

Here 'x' stands for dothill or hpmsa or lenovo.

DocImpact
Change-Id: I7a5924bbd56053aee6d652842b48e913c54ae7dd
Closes-Bug: #1486160
Co-Authored-By: Lakshman <lakshminarayanat@vedams.com>
Co-Authored-By: Chris Maio <chris.maio@dothill.com>

Merge "Avoid returning volume metadata in DotHill driver"

Merge "Return multiple iSCSI portals in VNX Cinder driver"

Merge "Fix _LI() to _LW() in LOG.warning message"

Merge "Update deprecated version of novaclient"

Merge "Add SolidFire svip to config options"

Merge "Switch to the oslo_utils.fileutils"

Merge "RemoteFS: Fix doc for locked_volume_id_operation"

Fix _LI() to _LW() in LOG.warning message

Closes-Bug: #1477535
Change-Id: If33cc839d6d3ac5b479cfeaabc50405c9274f7cb

Merge "Parse out SolidFire account from api response"

Merge "Rename free_virtual in capacity filter"

Merge "Dell SC: Better exception handling in init_conn"

Add SolidFire svip to config options

The SolidFire driver uses a simple method of gathering
the Storage Virtual IP, it just queries the Cluster and
asks for the SVIP. This is great almost all the time,
BUT it doesn't take into consideration that the deployer
may be using VLAN's and accessing the cluster from multiple
clouds, or multiple networks.

This patch just adds a config option to specify an SVIP
if the admin has configured VLANs in their environment and
on their cluster.  The default behavior is to still use the
global SVIP.

Change-Id: I10b784f903cd8d16580110f01d338a3ad867eada
Closes-Bug: #1487194

Return multiple iSCSI portals in VNX Cinder driver

Return multiple iSCSI portals (using keys target_portals, target_iqns
and target_luns) in VNX Cinder driver whether the multipath option
is used or not. A single portal is continuously being returned in
target_portal, target_iqn and target_lun for drivers other than
libvirt driver.

Change-Id: Ibfd989d10a65a3b87647f3d7a4ff3596d822eec9
Closes-Bug: #1482017

Avoid returning volume metadata in DotHill driver

DotHill driver returns volume metadata on create volume.
It is not needed and causing CI failures.

Change-Id: Idbe16fcff60ed0c3cfa1f4ba66ca549c6dd9a1d8
Closes-Bug: #1487165
Co-Authored-By: Lakshman <lakshminarayanat@vedams.com>

Updated from global requirements

Change-Id: I7614637649ed8f31862a240cb1be71529a501248

Merge "Adds the random option to cinder retry function"

Switch to the oslo_utils.fileutils

fileutils is graduated in the oslo.utils library.
Use the open function from builtins instead of fileutils.file_open.
Change the test_backup_volume (test_scality module) and
test_restore_backup (test_scality, test_volume) functions to use
mock library instead of mox.

Implements: blueprint graduate-fileutils[1]
[1] https://blueprints.launchpad.net/oslo-incubator/+spec/graduate-fileutils

Change-Id: I7abf0273bf2b90c72f51ebf4896808eaabb91969

Merge "Update devref unit tests doc"

Merge "Make migration's volume source deletion async"

Merge "Refactor to remove duplicate code"

Merge "Remove duplicate keys from dictionary"

Merge "Corrects the order of AssertEquals params in Quobyte tests"

Parse out SolidFire account from api response

In the SolidFire create-cache account routine we broke the response
check and are trying to use the entire api response as if it were an
account object.

This patch just pulls the actual account object out of the response
instead of using the entire API response.

Change-Id: Ief2d9ae494475f5ba3688c521e11d51a244b5c28
Closes-Bug: #1486744

Merge "Test whether sample config generation works"

Dell SC: Better exception handling in init_conn

Now re-raising VolumeBackendAPIExceptions in initialize_connection.
And logging any other exceptions as VolumeBackendAPIException.  This
preserves the actual failure in the logs.

Also updated the version history.

Change-Id: Ib2421a9b701445e14095bea2415d7bbfaf54854c

Merge "Adds manage/unmanage methods for HNAS drivers."

Merge "Tests: Fix zfssa TestRestClientURL.test_request"

Corrects the order of AssertEquals params in Quobyte tests

Closes-Bug: 1486566

Change-Id: I29bd0ea93d0c432da97d761d7955336a80fff2de

Adds the random option to cinder retry function

The current retry functionality in Cinder, always uses fixed
numbers to define the time to wait before performing the next
attempts. This behaviour can make the retries of multiple
requisitions to collide in each attempt as they will wait the
same amount of time and try to use the same resource together
again.

This patch changes the behaviour of cinder.utils.retry() to
receive a parameter that allows the function to implement
randomly generated wait intervals.

Change-Id: If746434e4a19895d649529e9e9f267410a1a1c48
Closes-bug: 1486142

Merge "Dell SC: Fix error causing missed log message"

Merge "Configure space reservation on NetApp Data ONTAP"

Merge "Register the volume_opts config options in remotefs.py"

Merge "LeftHand driver is ignoring reserved_percentage"

Remove duplicate keys from dictionary

There are several places where duplicate keys are added in the dictionary.

Remove all such occurrences throughout the code.

Change-Id: Ib1e6cccb82fdfcde9e3080afca7bebdb61d6f5ad
Closes-Bug: #1485846

Merge "Revert "mark oslo.vmware as optional dependency""

LeftHand driver is ignoring reserved_percentage

The LH driver was hard coding the reserved_percentage parameter to 0.
The LeftHand driver should be reading this value from the cinder
configuration file as it's used in the capacity filter for calculating
capacities.

DocImpact

Change-Id: Ib76c191f75300f9607811727b0f08ed09deb06c0
Closes-Bug: 1486267

Update devref unit tests doc

Simple update for our painfully out of date devref docs.

Just a short refresh on unit_tests, there's a lot that could
and probably should be added there, but this change just gets
rid of the obsolete references to Nose and adds info regarding
tox and how to use it.

Change-Id: Ib1ff174ee9ccb8ecb258558d77202062204dfec3

Tests: Fix zfssa TestRestClientURL.test_request

This test can currently fail with mismatched parameters
to urlopen.  Just ensure that urlopen is called so
that this works across all environments/versions.

Closes-Bug: #1486245

Change-Id: Icec5d208a979ba62b9dfef2b499a00bacec841d3

Merge "Add volume migration support for Huawei driver"

Test whether sample config generation works

Adds --checkonly to tools/config/check_uptodate.sh.

This allows verifying that a configuration file was
generated.

We have had a number of issues introduced which
have caused config file generation to fail since we
removed the sample config file check in the gate.
This does not add back checks to ensure that the file
has been updated, it only checks to ensure that it is
still possible to update the sample file.

Change-Id: I2e0e376fbdec5a1bb584c6739231649e1d0f5d8e

Merge "Adapt SnapshotController to view builder"

Revert "mark oslo.vmware as optional dependency"

This reverts commit e67adc385ce6997249fbf70e9402264f758fc6f4.

Adding optional dependency tracking would be nice,
but Cinder is not yet in a place to do this.

- Cinder supports tox 1.6 (minversion in tox.ini)
- This functionality does not work on 1.6, requires 1.7.  Tox
  fails to build a test environment if using tox 1.6.
- We have decided we can't move to tox 1.7 for now.
  ( https://review.openstack.org/#/c/211614/ )

This reverts commit 478e8e970e54aaf3a034dc6347605c1b18291d0d.
- Need to remove oslo.vmware from test-requirements.txt now, as
well.

Closes-Bug: #1484035

Change-Id: Icff52508ff1cd67e8c17964c840d3a5cdcfbbce3

Register the volume_opts config options in remotefs.py

With commit bc23e0bf415defb1956c9864ac33390bb4cc2017 a new
volume_opts configuration option list was added into
cinder/volume/drivers/remotefs.py.  This new list, however,
was never registered.  When an options list is not registered
genconfig cannot figure out the right place to put the config
options and will fail to generate the sample file.

To resolve this, the patch simply registers the new options
list in remotefs.py.  Once the list is registered we are,
once again, able to generate the sample file.

Change-Id: Ic2bb95d7e2296d893f8acc5b3119f0be6a4b5c74

Configure space reservation on NetApp Data ONTAP

This patchset allows configuring Cinder volumes on NetApp Data ONTAP
backends to be thick or thin provisioned.

DocImpact
Implements: blueprint netapp-thin-provisioned-luns

Change-Id: I1a2679c72ca0fb56edd0c9e39d361408022380e3

Merge "GlusterFS backup driver"

Dell SC: Fix error causing missed log message

Extremely trivial fix. An extra comma at the end of a
logging line actually made it into a statement that
doesn't perform logging. This patch removes the extra
comma so that the message gets logged as expected.

Change-Id: I032d5cdd54e3ed8924115744671d8ef9231e62c0

Rename free_virtual in capacity filter

Capacity filter uses free_virtual capacity to filter out a host if
thin provisioning is enabled and over-subscription ratio is less
than or equal to max_oversubscription_ratio. The current formula
for free_virtual is not calculating the real free virtual capacity.
Rather it computes "adjusted" free virtual capacity which is the
current free capacity (after taking into account of reserved space)
we can over-subscribe. This patch adds necessary documentation and
renames free_virtual to adjusted_free_virtual to clarify this.

Change-Id: I4c2b32ade09583497cf670f6504b8e929e961293

Make migration's volume source deletion async

Currently source volume deletion on a volume migration (and therefore on
retype with migration as well) is synchronous and that has 2 problems:

1. If the deletion takes more than rpc_response_timeout then when
performed on in-use volumes it will fail.

2. If the deletion fails then the volume will be left in the back-end
and Cinder will no longer have a reference of that volume in the DB.

This patch makes source volume deletion asynchronous resolving both
issues.

Closes-Bug: #1483155
Closes-Bug: #1483157
Change-Id: I55c3d86660f90044a56b8609bb5774d4f5481227

Merge "3PAR: Adding Consistency Group Support"

Merge "Remove unused function volume_type_encryption_get"

Merge "Correct comment to be consistent with code"

Adds manage/unmanage methods for HNAS drivers.

Implements the support for the manage and unmanage features in HDS
HNAS drivers (NFS and ISCSI).

Implements: blueprint hnas-manage-unmanage
Change-Id: Ic222b8009a064824775aafb8713b4ddde38678f6

Update deprecated version of novaclient

Update novaclient v1.1 to v2
because warning messages are shown as below when executing run_test.sh:

UserWarning: Module novaclient.v1_1 is deprecated
(taken as a basis for novaclient.v2).
The preferable way to get client class or object
you can find in novaclient.client module.

Change-Id: I26602aceadac9a43d4fbaa14791bf6756eef9874
Partial-Bug: #1482873

Merge "Cleanup for cinder tests with ConsistencyGroups"

Merge "Implement Clone CG in Pure Volume Drivers"

Merge "Add delete/update_volume_metadata policy rules"

Merge "Fix backup init_host volume cleanup"

Merge "VMware: Bump driver version"

3PAR: Adding Consistency Group Support

Adds support for Consistency Groups to the HP 3PAR driver

Implements: blueprint hp-3par-add-consistency-groups
Change-Id: I31e74b55db0f9b813a9295378271715df4b839f4

Remove unused function volume_type_encryption_get

This change removes the aforementioned function, which isn't used in
the existing code.

Change-Id: Iadac34d34c6824d4b2fc5e4db139ff563833f222

Refactor to remove duplicate code

This change reuses the get_volume_type_encryption function for the
implementation of the is_encrypted function.

Change-Id: Ie6434016840c20229b3a32b676aa8fc994f9362b

Correct comment to be consistent with code

The volume_encryption_metadata_get function returns more than just
the encryption key id. This change generalizes the comment to refer
to all the metadata that is returned.

Change-Id: I3f154930cec5f065011b40026d3dbdb3a8a2f07d

Merge "Allow 0 length name"

Merge "VMware: Change inventory folder hierarchy"

Merge "Port NetApp DATAONTAP blocks drivers to ABC model"

Merge "Fix 033 add encryption unique key migration"

Merge "Use min and max on IntOpt option types"

Allow 0 length name

There are currently cases where nova for example
creates volumes with a name of zero length.  We
can't just change that and break compatability.

This patch just modifes the wsgi module to allow
min length of zero again.

Change-Id: I829a8b4d6773d1c646d07cccb36994370e1dbce9
Closes-Bug: #1485198

Add volume migration support for Huawei driver

If the target host and the original volume are on the same array,
then Huawei driver will do the migration now instead of having
it done by the general migration process.

Change-Id: Ife8fca765402e95778079fb0166b3abf9684d134
Implements: blueprint huawei-storage-volume-migration-support

Cleanup for cinder tests with ConsistencyGroups

Switch cinder tests to use ConsistencyGroup objects instead of directly
calls to db. Additionally switch over from dict to object notation.

Drivers tests need to be fixed in other patch.

Partial-Implements: blueprint cinder-objects
Change-Id: Ib3d4c791e095d89e7bc5e5e9a6b26e8433517ffb

Merge "Enhance PureISCSIDriver multipath support"

Merge "Over subscription for HP 3PAR drivers"

VMware: Change inventory folder hierarchy

In vCenter inventory, volumes are organized under the folder:
<datacenter_vm_folder>/<volume_folder>, where <volume_folder>
is the value of driver config option 'vmware_volume_folder'.
Due to this organization certain project-specific maintenance
tasks (using vSphere client) might be difficult for vCenter
admin. For example, the admin may need to migrate the volumes
of a particular project from one vCenter datastore to another.

This patch changes the folder hierarchy to:
  <datacenter_vm_folder>/OpenStack/Project
                               (<project_id>)/<volume_folder>
for better organization.

DocImpact
  Modified default value of config option
  'vmware_volume_folder' and updated its description.

Closes-Bug: #1485550
Change-Id: I37a3bd00efaa3b4a0bbcb22cbe9fff3f4fb80456

Adapt SnapshotController to view builder

Snapshots were not using the view builder to translate responses, unlike
other resources like volumes and backups.

This patch moves snapshots to use the view builder like the rest.

Change-Id: Iec6873aedcf126f00c81fd016acfc8db9a5e512c

Merge "Tintri snapshot id"

Merge "VMware: Deprecate vCenter version less than 5.1"

Merge "Dell Eqlx: Use generic option ssh_timeout"

Merge "Enhance unit tests for zfssa drivers"

Merge "Fix HNAS iSCSI 32 targets limitation error"

Merge "Add support '--all-tenants' for cinder backup-list"

Merge "Add volume type support to Datera"

Use min and max on IntOpt option types

Latest version of oslo.config support the ability to set valid
range on IntOpt option values.  This path makes use of that feature
for a number of options with well known minimum and maximum values.

Change-Id: Ie4b081bdaa373c9dedf7dd0c9884553ffb42b61c

Merge "Return volume name from backup_restore"

Merge "Make X-IO volume driver wait for delete volume to complete"

Over subscription for HP 3PAR drivers

Add support for over subscription in the HP 3PAR drivers.
Also, fixed the reporting of capacity related stats at the pool
level in the unit tests.

DocImpact

Change-Id: I182c67d864c6094e738c20436e42e4fa2d876613
Implements: blueprint over-subscription-3par

Merge "Small clean up in volume object"

Merge "Reduced file size to prevent timeout"

Merge "Validate string, integer limit for input parameter"

Merge "Remove RetypeVD class, fix NFS driver retype"

Merge "Updated from global requirements"

Tintri snapshot id

Tintri driver to associate cinder snapshot id to tintri id and
store in cinder snapshot provider_id.

Bump up driver version for this change.

Cinder snapshot name and volume id are stored in tintri snapshot.

Closes-Bug: #1468949
Co-Authored-By: apoorvad apps.desh@gmail.com
Co-Authored-By: opencompute xuchenx@gmail.com
Change-Id: I41e174d361491c3976b037a4aa16a085afbc93e5

Merge "On Volume list only retrieve needed data from DB"

Add volume type support to Datera

This allows created volumes to have a volume type specified with them.

Implements: blueprint datera-extra-spec-support
Implements: blueprint datera-qos-support
Change-Id: I217d75deecbbf2282125703c296dc524174c4660

Implement Clone CG in Pure Volume Drivers

This adds support for the consisgroup-create-from-src method specifying
a source consistency group.

The driver will create a new Purity Protection Group, take a temporary
snapshot of the source Protection Group, create new volumes from the
consistent snapshot, and then add these new volumes into the newly
created protection group.

Implements: blueprint pure-clone-cg
Change-Id: I3446c4a86027f1f50ada673ddb1f3b13b5e8f6cc

Merge "Don't use context.elevated to get volume"

Merge "Validate name and description string"

Merge "Update SolidFire driver to pass newer flake8"

Merge "3PAR: Adding performance metrics to volume status"

Merge "Switch Pure volume drivers to use Snapshot Objects"