Remove duplicate keys from dictionary

There are several places where duplicate keys are added in the dictionary.

Remove all such occurrences throughout the code.

Change-Id: Ib1e6cccb82fdfcde9e3080afca7bebdb61d6f5ad
Closes-Bug: #1485846

Merge "Remove unused function volume_type_encryption_get"

Merge "Correct comment to be consistent with code"

Merge "Cleanup for cinder tests with ConsistencyGroups"

Merge "Implement Clone CG in Pure Volume Drivers"

Merge "Add delete/update_volume_metadata policy rules"

Merge "Fix backup init_host volume cleanup"

Merge "VMware: Bump driver version"

Remove unused function volume_type_encryption_get

This change removes the aforementioned function, which isn't used in
the existing code.

Change-Id: Iadac34d34c6824d4b2fc5e4db139ff563833f222

Correct comment to be consistent with code

The volume_encryption_metadata_get function returns more than just
the encryption key id. This change generalizes the comment to refer
to all the metadata that is returned.

Change-Id: I3f154930cec5f065011b40026d3dbdb3a8a2f07d

Merge "Allow 0 length name"

Merge "VMware: Change inventory folder hierarchy"

Merge "Port NetApp DATAONTAP blocks drivers to ABC model"

Merge "Fix 033 add encryption unique key migration"

Merge "Use min and max on IntOpt option types"

Allow 0 length name

There are currently cases where nova for example
creates volumes with a name of zero length.  We
can't just change that and break compatability.

This patch just modifes the wsgi module to allow
min length of zero again.

Change-Id: I829a8b4d6773d1c646d07cccb36994370e1dbce9
Closes-Bug: #1485198

Cleanup for cinder tests with ConsistencyGroups

Switch cinder tests to use ConsistencyGroup objects instead of directly
calls to db. Additionally switch over from dict to object notation.

Drivers tests need to be fixed in other patch.

Partial-Implements: blueprint cinder-objects
Change-Id: Ib3d4c791e095d89e7bc5e5e9a6b26e8433517ffb

Merge "Enhance PureISCSIDriver multipath support"

Merge "Over subscription for HP 3PAR drivers"

VMware: Change inventory folder hierarchy

In vCenter inventory, volumes are organized under the folder:
<datacenter_vm_folder>/<volume_folder>, where <volume_folder>
is the value of driver config option 'vmware_volume_folder'.
Due to this organization certain project-specific maintenance
tasks (using vSphere client) might be difficult for vCenter
admin. For example, the admin may need to migrate the volumes
of a particular project from one vCenter datastore to another.

This patch changes the folder hierarchy to:
  <datacenter_vm_folder>/OpenStack/Project
                               (<project_id>)/<volume_folder>
for better organization.

DocImpact
  Modified default value of config option
  'vmware_volume_folder' and updated its description.

Closes-Bug: #1485550
Change-Id: I37a3bd00efaa3b4a0bbcb22cbe9fff3f4fb80456

Merge "Tintri snapshot id"

Merge "VMware: Deprecate vCenter version less than 5.1"

Merge "Dell Eqlx: Use generic option ssh_timeout"

Merge "Enhance unit tests for zfssa drivers"

Merge "Fix HNAS iSCSI 32 targets limitation error"

Merge "Add support '--all-tenants' for cinder backup-list"

Merge "Add volume type support to Datera"

Use min and max on IntOpt option types

Latest version of oslo.config support the ability to set valid
range on IntOpt option values.  This path makes use of that feature
for a number of options with well known minimum and maximum values.

Change-Id: Ie4b081bdaa373c9dedf7dd0c9884553ffb42b61c

Merge "Return volume name from backup_restore"

Merge "Make X-IO volume driver wait for delete volume to complete"

Over subscription for HP 3PAR drivers

Add support for over subscription in the HP 3PAR drivers.
Also, fixed the reporting of capacity related stats at the pool
level in the unit tests.

DocImpact

Change-Id: I182c67d864c6094e738c20436e42e4fa2d876613
Implements: blueprint over-subscription-3par

Merge "Small clean up in volume object"

Merge "Reduced file size to prevent timeout"

Merge "Validate string, integer limit for input parameter"

Merge "Remove RetypeVD class, fix NFS driver retype"

Merge "Updated from global requirements"

Tintri snapshot id

Tintri driver to associate cinder snapshot id to tintri id and
store in cinder snapshot provider_id.

Bump up driver version for this change.

Cinder snapshot name and volume id are stored in tintri snapshot.

Closes-Bug: #1468949
Co-Authored-By: apoorvad apps.desh@gmail.com
Co-Authored-By: opencompute xuchenx@gmail.com
Change-Id: I41e174d361491c3976b037a4aa16a085afbc93e5

Merge "On Volume list only retrieve needed data from DB"

Add volume type support to Datera

This allows created volumes to have a volume type specified with them.

Implements: blueprint datera-extra-spec-support
Implements: blueprint datera-qos-support
Change-Id: I217d75deecbbf2282125703c296dc524174c4660

Implement Clone CG in Pure Volume Drivers

This adds support for the consisgroup-create-from-src method specifying
a source consistency group.

The driver will create a new Purity Protection Group, take a temporary
snapshot of the source Protection Group, create new volumes from the
consistent snapshot, and then add these new volumes into the newly
created protection group.

Implements: blueprint pure-clone-cg
Change-Id: I3446c4a86027f1f50ada673ddb1f3b13b5e8f6cc

Merge "Don't use context.elevated to get volume"

Merge "Validate name and description string"

Merge "Update SolidFire driver to pass newer flake8"

Merge "3PAR: Adding performance metrics to volume status"

Merge "Switch Pure volume drivers to use Snapshot Objects"

Dell Eqlx: Use generic option ssh_timeout

Deprecated the driver specific option eqlx_cli_timeout
in favor of generic option ssh_conn_timeout.

Config parameter eqlx_cli_timeout parameter will be
removed in M release

Closes Bug: #1484284

Change-Id: Ib0ec5fdd6d8b7c61312721b2a5901bd7380f29a8

Make X-IO volume driver wait for delete volume to complete

Add a check to make sure the volume has been deleted from
the backend storage before returning from delete_volume.

Change-Id: Icc662de476fcb21ff2f7ca6aa69e46c434214d7e
Closes-Bug: #1482044

Reduced file size to prevent timeout

We currently have a test system that appears to be I/O constrained
and is hitting timeouts. Rather than mocking out the file copy, we
decided to reduce the file size in order to avoid timeouts. This way
we are not changing the way these test cases work, but we are reducing
the time required to run each test case. This patch will help improve
check and gate performance as well.

Change-Id: I04cf9d6dbdaebb8944a38ffa34d1e2e1b27e2552
Closes-bug: 1480361

Merge "Handle missing temp volume and snapshot during cleanup"

Merge "GPFS volume encryption-at-rest support"

Update SolidFire driver to pass newer flake8

Just an easy update of some things that newer versions of
flake8 complains about.

I've updated my env to flake8 2.1.0, and figured might as
well fix these up rather ignore them.  pep8 is 1.5.6 and pyflakes
is at 0.8.1

Change-Id: I6d22fe95b67acddcece283e6dca6fe980904bfed

Merge "Enable cinder-manage to remove services"

Merge "Fix Python 3 issues in Windows tests"

Merge "Prevent creating encrypted volume with image"

3PAR: Adding performance metrics to volume status

If one storage backend has high load while another has lower load,
when a user/admin creates a volume, the current evaluator/scheduler
may place the volume on the backend with higher load. In many cases,
the evaluator/scheduler should place that volume on the backend
with the lowest load for load balancing purposes. In general, for load
balancing virtual volume placement, an evaluator/scheduler needs
access to performance metrics (e.g. IOPS throughput, bandwidth,
latency, IO size) to measure load, but Cinder drivers don't generally
report those metrics.

Although these performance metrics are available from the 3PAR CLI,
they are currently inaccesible in the evaluator/scheduler. The
proposed changes add these metrics to the volume status report and
thus make them accesible by the evaluator/scheduler.

In cinder/volume/drivers/san/hp/hp_3par_common.py, uses the 3PAR
client method HP3parClient.getCPGStatData to get performance metrics,
and adds new fields in the output of HP3PARCommon.get_volume_stats
corresponding to the performance metrics: IOPS throughput, bandwidth,
latency, io_size, queue_length, and avg_busy_perc. These metrics are
taken by averaging samples taken once per day for the last week.

In cinder/tests/unit/test_hp3par.py, adds unit tests in
TestHP3PARFCDriver.test_get_volume_stats and in
TestHP3PARISCSIDriver.test_get_volume_stats.

Closes-bug: #1482741

Change-Id: If9e7b5ffd100489af6537f7dab970d89a6d70851

Merge "Fix missing parameters in driver CG interface"

Merge "Add multipath support to 3PAR iSCSI driver"

Merge "Set default policy for "volume:get""

Don't use context.elevated to get volume

Original Problem:
=================
Since the metadata(readonly and attached_mode) is stored in admin metadata,
normal user need `run context.elevated` to retrieves admin metadata.
The above way will bring a side effect. Normal user can also get
any volume which the user shouldn't access when the user knows the UUID.

Solution:
=========
Use context instead of context.elevated to get volume.
And add admin metadata to it.
Based on cinder-meetup-summer-2015 conclusion, we use the solution.
The solution will need extra database connection.

Change-Id: I06f21e7578b65a59c0fe4d3afe0e882ed73c4725
Closes-Bug: #1477625

Enable cinder-manage to remove services

These changes are to enable cinder-manage to remove old services
from the database like nova does. All that is being added is the remove
method to manage.py and tests to cover this new method in test_cmd.py.
The command will remove the binary from the list of running services
in the db that can be viewed via "cinder-manage service list". NOTE:
Active and restarted services will re-populate the DB with their current
status automatically.

To use this new command, the user types "cinder-manage service remove
<binary> <host>" and the service will be removed.

DocImpact

Change-Id: I3bcec824d3c5f65fdd187459428025993a2010a0
Implements-blueprint: add-cinder-service-removal

VMware: Bump driver version

In Liberty we added support for volume placement in specific
vCenter clusters. This patch bumps the driver minor version
to reflect this.

Change-Id: Ic19dbb4cab77db95cca2f5fa7cea10b8bba3a497

Fix backup init_host volume cleanup

Backup service manager init_host method cleans up leftover volumes from
interrupted backup and restore operations.  As the code is currently
written, it only does this for volumes with attachments.

This commit runs the volume cleanup for volumes in backing-up or restoring
state even when they do not have attachments.

Closes-bug: 1482548
Change-Id: I753c72b7adcdf57745deafaad7de616eb6243aa9

VMware: Deprecate vCenter version less than 5.1

Log a warning if the vCenter server version is less than 5.1.
The plan is to enforce the version in M release.

DocImpact
Running Cinder with a VMware vCenter version less than 5.1 is
deprecated. The minimum required version of vCenter server will
be raised to 5.1 in the 8.0.0 release.

Change-Id: I38f520cace67ddcaf067787683ac47f50a6c0b3f

Merge "VNX driver needs extra params for create cg from src"

Merge "LVM Thin Provisioning auto-detect"

Updated from global requirements

Change-Id: I2e23700feb4dbba88f2de48624a401ac1c087463

Small clean up in volume object

This call of __init__() is unnecessary.

Change-Id: I1513d4c392ef773d990a3b3f339fe87622a8c5b5

On Volume list only retrieve needed data from DB

Currently when there is no limit set on a volume list query we retrieve
all volumes and then limit them locally using osapi_max_limit.  Similar
thing happens when we are using the marker for next pages, we get all
volumes from that marker until the last volume and then limit it
locally.

We should be limiting it on the DB side so we only retrieve the data we
are actually going to return to the API caller.

This patch always limits the data retrieved from the DB and for the
offset to keep working as it was before we need to do the offset on the
DB side as well.

For reference some tests were performed:

On a deployment with 60,000 volumes, 370,000 volume_metadata items and
240,000 volume_glance_metadata items in cinder db.  Before the patch
this will use nearly 10G memory.  With the patch we will just use about
500M.

Co-Authored-By: wangxiyuan <wangxiyuan@huawei.com>
Closes-bug:#1483165i
Change-Id: Ie903e546074fe118299e8e1acfb9c88c8a10d78c

Merge "Remove unused fake objects in vmdk test module"

Merge "VMware: Set virtual disk UUID to volume ID"

Merge "VMware: Add volume ID in vCenter's volume config"

Merge "Add objects.register_all() to cinder-all command"

Return volume name from backup_restore

Currently volume id and backup id are returned, the change is
to return volume_name also, which is consistent in style with
cinder backup-create.

The related change in python-cinderclient is
https://review.openstack.org/#/c/199846/

APIImpact
It will return additional info "volume_name": volume name when
restoring backup.

Change-Id: I9f5d8ded993fcf1d351d4c65b6806929693b15d6
Closes-Bug: #1472493

Merge "Use Requests HTTP library and URL safe names"

Merge "Don't return Exception when volume is detached"

Switch Pure volume drivers to use Snapshot Objects

Some consistency group operations require looking up snapshot objects
and returning them. Now that we have Snapshot objects we should be using
those.

Change-Id: Ib4ff7fa3f7d768abb33e3b9436f7e64a3cd81f4c
Closes-Bug: #1458126

Merge "Clean up volume_types logging"

Don't return Exception when volume is detached

This patch changes the way we handle volume detach
attempts when the attachment_id is already detached
and/or when the volume has no attachments.  We now
handle this the same way we do with deleting volumes
that don't exist.  We return success.

This patch also takes care to make sure we safely reset
the volume status to what it should be depending on if
there are other attachments.  If the attachment_id is
passed in and that attachment is detached, but there are
other attachments, we want to make sure that the volume is
left in an in-use state, not available.

Change-Id: I11b7c45bb6570ce11e13e487cf1136ca2551036b
Closes-Bug: #1484194
Related-Bug: #1476806

Merge "Fix RestURL to storage backend in Huawei driver"

Merge "Attach snapshot - driver only"

Merge "Add oslo.vmware into test-requirements"

Use Requests HTTP library and URL safe names

Use Requests HTTP library instead of urllib, and also use URL safe
resource names to communicate to the DotHill array.

Change-Id: If20bca9f375269cf652ef367c1b70eb061f57337
Closes-Bug: #1461718
Co-Authored-By: Lakshman <lakshminarayanat@vedams.com>

Remove RetypeVD class, fix NFS driver retype

retype() only exists in the deprecated VolumeDriver() class
and not BaseVD.  This means that drivers inheriting from *VD
hit attribute errors when trying to call driver.retype().

The thinking here is that RetypeVD isn't really necessary,
since all drivers must implement some version of the retype
method (even if it's a no-op with just a standard return code).

Therefore, just rely on this being in the base driver class(es)
rather than making it a separate abc class.

Closes-Bug: #1478987
Related-Bug: #1471807

Change-Id: Ie0c6f23caf68080a05a10cc7ad245878a057fb02

Fix Python 3 issues in Windows tests

* Replace __builtin__ with six.moves.builtins
* tox.ini: add the following tests to Python 3.4

  - cinder.tests.unit.windows.test_smbfs
  - cinder.tests.unit.windows.test_vhdutils
  - cinder.tests.unit.windows.test_windows
  - cinder.tests.unit.windows.test_windows_remotefs
  - cinder.tests.unit.windows.test_windows_utils

This change requires the Python 3 fixes in os-brick.

Blueprint cinder-python3
Change-Id: I1ffa65745923459e993e81d8a95a39e19c1bd1e4

Add objects.register_all() to cinder-all command

In cmd/all.py registration of objects was missing. This caused running
cinder-all command to raise exceptions about unknown objects. Following
commit fixes this problem.

Closes-Bug: 1484533
Change-Id: Id7686bc801aaea30c1f7f24209044311656fa4cd

GPFS volume encryption-at-rest support

This patch extends the capability of gpfs driver to support volume encryption
at rest using GPFS Native Encryption feature (https://ibm.biz/BdXPBm).

This includes:
1. Verification of configured gpfs backend to support encryption at rest.
2. Driver exposes gpfs_encryption_rest capability via volume type convention.

Usage - Cloud admin creates a volume type "encrypted" with extra-specs
  gpfs_encryption_rest=True
Every volume created using type "encrypted", the volumes will be encrypted
at rest.

DocImpact

Needs an update in gpfs driver documentation, as this patch introduces
encrypted backend support.

Change-Id: I83949ca51668834ecbce52e90527cf06f95bd001
Implements: blueprint gpfs-volume-encryption-rest

VMware: Set virtual disk UUID to volume ID

The symlinks in /dev/disk/by-id/ (in a Linux guest OS running in VMware
ESX based Nova instance) use UUID of virtual disk as the SCSI device ID
when disk.EnableUUID is set to True in the virtual machine configuration
file. This patch sets the UUID of virtual disk corresponding to a Cinder
volume (at the time of volume creation) to volume ID so that end-users
(of Nova instance) can identify the device corresponding to an attached
volume in the guest using /dev/disk/by-id symlink.

For example, given a Cinder volume with ID = xyz, user can identify the
device corresponding to the volume in instance's guest using the symlink
/dev/disk/by-id/scsi-xyz provided disk.EnableUUID is set to True in the
instance's virtual machine configuration file (in ESX).

Note: If the UUID of the virtual disk corresponding to a volume is unset
at the time of volume creation, a random UUID will be used.

Closes-Bug: #1475738
Change-Id: I8f9d210083010b25833a7b108ae135417c72fd09

Merge "Update snap-quota to unlimited in Nimble driver"

Add oslo.vmware into test-requirements

run_tests.sh is currently broken due to the commit that made
installing oslo.vmware optional: e67adc385ce6997249fbf70e9402264f758fc6f4

There are test cases that require oslo.vmware and the change made in the
commit for tox doesn't cover the case where run_tests.sh is used.  Without
including oslo.vmware in the test-requirements file there are a number of
test cases that fail without the library installed.

This patch resolves the issue by move oslo.vmware over to the
test-requirements file.

Change-Id: I2ffd21a23552e39bdb220c4aaa0c5e372c52f7ce

Add multipath support to 3PAR iSCSI driver

Adds multipath support to the 3PAR iSCSI driver.

target portals, iqns and luns will be returned if multipath
is being used.

Also adds a new function 3par common that allows finding
of all existing VLUNs.

Implements: blueprint 3par-iscsi-multipath-support
Change-Id: I6b17cc9057eaf726b6a31921fd8a141c5a430d52

Merge "Add unit test cases for the capacity scheduler"

LVM Thin Provisioning auto-detect

Add the ability to set lvm_type=auto, which will
enable thin provisioning if the system supports it,
and the configured volume group either:
a) has a pool LV with the expected name or
b) has no LVs

This, along with thin-provisioning accounting, will
give a path to move toward thin LVM as the default.

DocImpact: new value 'auto' for option 'lvm_type'

Partial-Bug: #1472803

Change-Id: Idfc1cd749bfd7aec659ab8e80629cc506cd9797a

Fix HNAS iSCSI 32 targets limitation error

When attaching more than 32 targets to an HNAS iSCSI backend, the
storage returns an error as there's a limitation on the number of
volumes that can be attached to a target. This patch fixes the
problem and creates new targets as needed.

Closes-Bug: #1479072
Change-Id: Id29259024b003a65cc80dfe63cac1c2d26f36059

Remove unused fake objects in vmdk test module

Patch to remove unused fake objects in the vmdk unit
test module.

Change-Id: I15f4ed1c028bc01558a2f5bf39d9fb294afd52bf

VMware: Add volume ID in vCenter's volume config

HP data protector's backup of vCenter inventory is failing
for 'in-use' Cinder volumes because the vmdk is attached
to two VMs (Nova instance and the backing VM corresponding
to Cinder volume). The solution is to skip the backing VM
during data protector's backup.

This patch adds key 'cinder.volume.id' with value set to
volume UUID in volume's vCenter config file so that other
vCenter solutions can uniquely identify Cinder volumes.

Closes-Bug: #1484012
Change-Id: I08a5f1a39def14f164ab3ca08a480310ce0b79ca

Merge "Fix argument order for assertEqual in tests"

Merge "Corrected order of parameters in docstring"

Enhance PureISCSIDriver multipath support

Add in support for alternative iSCSI portal information. We can also
return our whole list of connected ports for multipathing. This allows
us to not do any iSCSI discovery in the driver code since all portals
will be tried now in the connector code.

Change-Id: Iff18d1038aac3f9a234224c4dce5343dfae5e8c5
Implements: blueprint pure-iscsi-improved-multipath

Add unit test cases for the capacity scheduler

Add unit tests for the capacity weigher for cases where the host
has 'infinite' or 'unknown' capacities.

Note that while the new test cases follow the correct parameter
ordering for assertEqual, the other test cases will be fixed
in a separate patch.

Change-Id: I5ab20443563c253b561f328aedca4fd2f62b8d47

Fix argument order for assertEqual in tests

Some tests incorrectly use the order assertEqual(observed, expected)
instead of the correct order, assertEqual(expected, observed). This
patch corrects this issue.

Change-Id: I4683b80451d3e4576443c4472a01460b24633d04
Closes-Bug: #1259292