Remove duplicate keys from dictionary

There are few places where duplicate keys are added in the dictionary.
Removed all such occurrences throughout the code.

TrivialFix

Change-Id: I5db553d4d9f161b513520c87b6ad17b7ca6a0782

Merge "Make rpc_client method private for VolumeCommands"

Merge "Allow c-vol backends to start when some backends fail to load"

Merge "Fix use of wrong storage pools for NetApp Drivers"

Merge "Replace soft_delete in volume_type_access_remove"

Merge "Ignore Forbidden error on quotas-get for nested projects"

Allow c-vol backends to start when some backends fail to load

Currently, if a c-vol backend fails to load due to an error in
the module startup process (like a volume driver's __init__ or
dependency import failure), the c-vol process halts completely.

Instead, catch that backend failure, log it, and allow other
backends in enabled_backends to still start up and run.

Note that this is not applicable for failures that allow
drivers to load and remain "uninitialized" -- this is for
failures that occur prior to that point.

Closes-Bug: #1497413

Change-Id: If183b9e3d21777cddf713c2dc88dc80ae7cfe01d

Fix use of wrong storage pools for NetApp Drivers

When using NetApp drivers, all available flexvols on
a datastore are being reported to the Cinder Scheduler
as available storage pools. This allows Cinder volumes
to be created on flexvols not designated for OpenStack.

This commit fixes the problem by delimiting which pools are
eligible for provisioning via a configuration parameter
'netapp_pool_name_search_pattern'. This allows
the Cinder drivers to operate against a restricted
set of storage containers.

DocImpact
Co-Authored-By: Rushil Chugh <rushil@netapp.com>
Co-Authored-By: Michael Price <michael.price@netapp.com>
Closes-Bug: #1493399
Change-Id: I7b6f2205470ecbbcb165889db19e1168117dd0b2

Merge "Change ignore-errors to ignore_errors"

Merge "Fix way of getting LUN id in Huawei driver"

Merge "Fix MITM vulnerability for Brocade FC SAN lookup"

Merge "NetApp volume/snapshot delete performance fix"

Make rpc_client method private for VolumeCommands

"rpc_client" is not sub-command and should not be in the help for
'cinder-manage volume' command.

Change-Id: Ie94554b3fade09e32269c96fcb4a7d2b91062119
Closes-Bug: #1498136

Ignore Forbidden error on quotas-get for nested projects

Keystone API v2 requires admin permissions for project_get method.
We ignore Forbidden exception for non-admin users.

Change-Id: Ia0a17a9377219d3bf92dbbfd6e88077209a22a95
Closes-Bug: #1491495

Change ignore-errors to ignore_errors

Needed for coverage 4.0

Change-Id: I2775006f79929f2e64a58f84c384e0587ff5ad24

NetApp volume/snapshot delete performance fix

cDOT NFS NetApp drivers back cinder volumes with array-side files and
use array-side cloning techniques when creating snapshots and when
creating volumes from glance images.  Customers have experienced
performance issues on the array when deleting many of these in
in quick succession, especially for large volumes.

This commit addresses these performance issues by overriding parent
class volume and snapshot delete methods, which use OS "rm" command to
delete volume backing files, with methods that use DOT API to delete
these files, and which invoke the optimized file deletion engine
available in DOT 8.3.

Closes-bug: 1497258
Change-Id: I44428d0840f6584f93ca214a2a607869b345554c

Replace soft_delete in volume_type_access_remove

This commit replaces oslo.db's soft_delete used in
volume_type_access_remove in db.api with a simple update setting
deleted column to True.

As deleted column is boolean it is represented in the DB by TINYINT,
which max value is 127. This introduces problems when removing records
with id higher than that, because soft_delete sets deleted column to the
value of id. This commit fixes the issue and adds unit tests for such
case.

Change-Id: I484e66125b5a29f490c070696b336be4a2693b3e
Closes-Bug: 1496747

Merge "Updated from global requirements"

Fix way of getting LUN id in Huawei driver

Get the LUN id first from the volume['provider_location'],
and only if volume['provider_location'] is None, query the
backend to get the LUN id.

Also change function name "mapping_hostgroup_and_lungroup"
to "do_mapping".

Closes-Bug: #1482030
Change-Id: Ie94ea2284c572e842a64f962cc10b1a2b8145d3c

Merge "Remove the unnecassary volume_api.get(context, volume_id)"

Merge "Enable certificate verification during image copy"

Merge "Correctly report multiattach in Pure drivers"

Dynamically create cinder.conf.sample

As it stands, the opts.py file that is passed into
oslo-config-generator isn't being generated dynamically
and the old way of generating the cinder.conf.sample is
dependent on oslo-incubator which Cinder is trying to
move away from. oslo-config-generator works differently
than oslo-incubator so a number of changes had to be made
in order to make this switch.

This patch adds the config directory to Cinder and in it
are two files:

    -generate_cinder_opts.py that will take the
     results of a grep command to create the opts.py
     file to be passed into oslo-config-generator.

    -cinder.conf which is the new configuration for
     oslo-config-generator. The file is inside the config
     directory to be consistent with other projects.

Some changes were made to the generate_sample.sh file in
order to give the base directories and target directories
to the generate_cinder_opts.py program.

tox.ini was edited to remove the checkonly option because
all that needs to happen in check_uptodate.sh is a check to
ensure that the cinder.conf.sample is actually being
generated with no issues.

All options were removed from the check_uptodate.sh
because they were unnecessary given the new, more simple
way of generating the cinder.conf.sample.

setup.cfg was also edited in order to add information
oslo-config-generator needs to run.

Co-Authored By: Jay Bryant <jsbryant@us.ibm.com>
Co-Authored By: Jacob Gregor <jgregor@us.ibm.com>

Change-Id: I643dbe5675ae9280e204f691781e617266f570d5
Closes-Bug: 1473768
Closes-Bug: 1437904
Closes-Bug: 1381563

Updated from global requirements

Change-Id: I0dbe12dc8517e72a4bf00e811ca68fb07dc822c8

Fix MITM vulnerability for Brocade FC SAN lookup

Refactor the Brocade FC SAN lookup service implementation to use
common SSH utilities which already avoid MITM vulnerabilities.
This is a follow-up to https://review.openstack.org/#/c/138526/
which reverted an incomplete fix for the MITM issues for Brocade.

Change-Id: I2d87b55f56f08208f0da11cac40682d51da5b536
Closes-Bug: #1391311

Merge "Imported Translations from Zanata"

Merge "NetApp: Fix volume extend with E-Series"

Merge "Fix netapp_enable_multiattach default for E-Series"

Merge "Attaching enhancement for EMC VNX driver"

Merge "Fix cinder-all binary"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I438ad26c586f382ab669bea9fa2556ea0a40c189

Merge "Fix issue of volume after host-assisted migration"

Fix cinder-all binary

1. Add rpc.init for cinder-api service
2. Add multi-backend support for cinder-volume service

Closes-Bug: #1496154
Change-Id: I91626bd74fc224302e131c5235030a02431a04c1

Merge "Check for None on service's updated_at"

Merge "Extra specs may not be in volume types"

Merge "Fix QoS keys not being available to scheduler"

NetApp: Fix volume extend with E-Series

Thin provisioned volumes were being converted to thick provisioned
volumes by extend_volume. When thin provisioning support was added,
the extend_volume method was not updated to use the correct API
for performing the capacity expansion operation.

This patch changes the volume extension strategy when a volume is
thin provisioned to use the correct API. With a thick provisioned
volume, a clone will be created with the new capacity, and the old
volume removed, but a thin provisioned volume's capacity can simply
be expanded directly, because that is merely the capacity that the user
sees, as opposed to the backend provisioned capacity.

Closes-Bug: 1493874
Change-Id: Iec25f29381d5fba3409d1de83bf6816ae1a9ac22

Fix netapp_enable_multiattach default for E-Series

The E-Series driver erroneously changed the netapp_enable_multiattach
option to default to True. This option should default to False to
ensure backwards-compatibility with upgrades.

DocImpact
Closes-Bug: #1491580
Change-Id: Iafb4d80bd83c2de0a5b77178206c7f3028ac6554

Check for None on service's updated_at

We weren't checking if service's updated_at is None when passing it to
timeutils.normalize_time which caused an exception. This commit adds
the check to cinder-manage and cinder-api (services and hosts). Also
regression unit tests are added.

Change-Id: Ia6ee28dc2cd20cece1e21d07692f47e3858d707d
Closes-Bug: 1495938

Fix issue of volume after host-assisted migration

In host-assisted migration, Cinder framework currently doesn't
update name_id and provider_location when the driver doesn't provide
name_id or provider_location in update_migrated_volume

This changes previous Cinder behavior which will update name_id and
provider_location anyway. Any operation against this volume will not
be successful; for example, volume deletion cannot delete it's
underlying LUN.

This fix will update name_id and provider_location if driver doesn't
return them.

Closes-Bug: #1487952
Change-Id: Ice72fc792f0ea8909c027e6df99cff9bbeef5e48

Merge "Tests: Split VolumeTestCase into separate classes"

Merge "Snapmirror targets should not be reported as pools"

Merge "Change check method for 'all_tenants'"

Merge "Create CG needs extra specs"

Attaching enhancement for EMC VNX driver

Remove the lun list command after adding the lun into a storage
group. This could improve the performance of initialize connection.

Change-Id: Id49725f50cd0e7600feb2ffc98a5b1ef14bc531c
Closes-Bug: #1495806

Merge "Local img-cache files ignored for image transfers"

Tests: Split VolumeTestCase into separate classes

Organize the large VolumeTestCase class into a few
subclasses.

Change-Id: I1538445533bc6c14668177443cbc8f676731896d

Merge "Fix NetApp clone from glance failure"

Local img-cache files ignored for image transfers

The cDOT NFS driver will only attempt to use the local img-cache-*
files if the copy offload path is defined in the cinder.conf file.
This should be attempted regardless of copy-offload's configuration.

Change-Id: I29e19da7c1e083e9c76cbcea1f397deefe30b016
Closes-Bug: #1490641

Snapmirror targets should not be reported as pools

Snapmirror targets that were being reported to the Cinder
scheduler as available pools are now no longer reported as such.

Change-Id: I04faa9d7c448b91e66192770b09db84df78a8ae1
Closes-Bug: #1468004

Change check method for 'all_tenants'

Replaced with calls to get_bool_param from utils,
so it supports any boolean value like the rest of the API methods.

APIImpact: The API will also allow to pass 'yes', 'no', 'y', 'n'
as valid boolean strings in addition.

Change-Id: I397b0dfb688e0e6278eac75978df28bf6f99d0a9
Closes-Bug: #1494130

Enable certificate verification during image copy

The VMDK driver config options 'vmware_ca_file' and 'vmware_insecure'
are ignored while copying sparse or preallocated vmdk images to vCenter
datastores for volume creation. Therefore, the vCenter certificate is
not verified during image copy.

This patch sets appropriate parameters in the oslo.vmware API (for
copying images) call to enable vCenter certificate verification.

Closes-bug: #1493331
Change-Id: I04f6a6def9867a573258b0d37693b1824e415838

Merge "Fix volume lookups in SolidFire template caching"

Fix NetApp clone from glance failure

When glance and cinder are backed by the same NetApp DOT flexvol
container, exposed as an NFS share, a direct clone is attempted
of the backing files rather than a copy.  With the advent of
kilo 2015.1.1, this clone operation fails with the message:
"Image cloning unsuccessful ... need more than 2 values to unpack."

The issue here is that the clone path code is calling the parent
nfs class _is_share_eligible() method to see if there is enough
space on the destination flexvol and this method calls _get_capacity_info()
expecting a three-tuple to be returned.  However, commit
e52f304313efc695f7dd89c222041bffd53c131a deliberately changed the return
values of _get_capacity_info() within the NetApp drivers to return
a 2-tuple, based on API calls to obtain capacity information from
the NetApp storage arrays. That commit missed that this method
would also be invoked by the parent nfs class _is_share_eligible()
method, which expects a different signature.

The fix in this commit is to replace the call to the parent
_is_share_eligible() method with a more appropriate NetApp class
specific _share_has_space_for_clone() method.  This new method
uses the NetApp version of _get_capacity_info to get space information
from the arrays via NetApp apis and expects a 2-tuple to be returned
from this method.

Change-Id: Ib0c69e5ea7b32d17930fe0bdcdb9357fd4e4a244
Closes-bug: 1490845

Merge "Fix usage of novaclient"

Merge "Remove driver.set_execute()"

Merge "Storwize: Fix format string"

Merge "Fix order of arguments in assertEqual"

Storwize: Fix format string

String accidentally used %{count}s instead of %(count)s.

Change-Id: Ibe54927f4847f947f3a3053150ee3593e04595ee

Fix usage of novaclient

We should use 'client interface' for initialization of novaclient
instead of direct import of some specific client.

Change-Id: I51254e20151fe1d6771897e64a8d0bdf2d674d03
Closes-Bug: #1493576

Merge "Check for empty attributes on SF volume"

Check for empty attributes on SF volume

This should not happen, but; we should be more strict
about our dict reading/checking and always make sure
the key item actually comes back and exists.

In the case of volume['attributes'] we were always
assuming this to be present which should be "ok", but
it's better to verify if rather than assuming, so this
patch adds a simple verification step before trying to
fetch on volume['attributes'].

Change-Id: I37a134a735aaf043aed1230d57fe458bb3a60240
Closes-Bug: #1495247

Merge "Add consistency group tests to test_volume_rpcapi"

Merge "Remove empty rules from policies for API access"

Merge "Huawei: fix multi REST-URLs bug"

Merge "Don't rely on provider_id for resource deletion"

Merge "Retrieve volume in update_migrated_volume"

Merge "Fix Pure get pgroup volume snapshot name"

Fix volume lookups in SolidFire template caching

There's a number of issues with the SolidFire template caching
code.  There are a number of metadata items that aren't consistent
between Glance API V1 and V2, there's also some problems with how
the code is dealing with it's internal volume and just flat out
wrong account checking.

This patch focuses mainly on fixing up the account and volumeID
issues.  The _do_clone method currently expects to find the src
volume under the same account as the dest volume.  That's fine
for most cases, but doesn't work for either the SolidFire template
caching, or for the use of generic image caching in Cinder.

We fix that easily by modifying the _get_sf_volume call to have an
option to search all active volumes on the Cluster instead of just
those for a specified account.  For now we only change the clone
methods, as they're the only case where we fall into the case of
cross-ownership of volumes in the same context.

The other issue is around the cleanup/delete in the case of a
failed template-volume create.  In this case we were passing in
the Cinder UUID to a direct SolidFire API delete cmd, which
is wrong.  The direct call for the SolidFire API call requires
that the actual SolidFire ID be used.  So we leverage the modified
_get_sf_volume call here as well.

Another issue that was introduced was the introduction of
a connector object to the intialize_connection call.  We
got around this once already by just passing in a fake
connector that was actually a string.  That was fine, but
the initialize_connection routine also now checks the connector
for multi_attach, so it fails the _get call on a string.  We
fix that by just building a dict and using that instead of
a fake string.

Finally, the method of relying on the Glance metadata virt size
has been problematic, it's not set by default, it's not accurate
and it's a bit inefficient.  There have been a number of issues
with this method of size determination, so we'll dump that and
just leverage the image_utils methods directly.

Change-Id: Icfd6668389049d3d5686acdb832847aa2d2fce52
Closes-Bug: #1494830
Closes-Bug: #1494927

Don't rely on provider_id for resource deletion

Provider_id info isn't necessarily reliable when dealing
with failure cases.  There are a number of cases where the
info in the Cinder database may not be updated.

This change uses the old delete routines instead of trying
to use the provider_id info.  There are ways to do both,
however it's probably not that beneficial for now.

Change-Id: Idbfd98b19f3c7f1b231ed26a2cc6c98aa2899e2a
Closes-Bug: #1494597

Merge "Lenovo driver fix access to common opts"

Merge "HPMSA fix access to common options"

Merge "Dothill fix options access"

Merge "LeftHand Add update_migrated_volume to drivers"

Fix Pure get pgroup volume snapshot name

When creating a volume from a consistency group snapshot we have to go
look up the volume level snapshot from the group. Previously we could
just directly get to the cgsnapshot model from the snapshot. After we
switched to using the snapshot objects however we cannot do that (at
least not until we have cgsnapshot objects too).

As an interim solution we did a query to the REST API on the array to
just list all of the snapshots. Unfortunately that doesn’t work on all
versions of the Purity REST API. To have a more usable solution we need
to do a db lookup to get the pgsnapshot.

It’s not ideal, and will be removed ASAP, but for now we need to at
least not regress in functionality.

Change-Id: I73a4ad5883bf33ce282b5a49aa8acba66ffcb84f
Closes-Bug: #1494934

Merge "LVM: add the exception handling to volume copy"

Merge "Hacking log format arg check"

Merge "Add ConsistencyGroup object entries to linstack.py"

Merge "VMware: Fix invalid product name"

Merge "Fixed missing log variable types"

Dothill fix options access

This patch fixes invalid access to the options that live
in the dothill_common.  They were recently renamed from
common_opt to common_opts, but the drivers weren't updated.

Change-Id: Iff411239a079f76c874b7b11f01a21f5f7d9f12e
Partial-Bug: 1494877

HPMSA fix access to common options

This patch fixes access to the options defined in
hpmsa_common.  They were recently renamed from common_opt
to common_opts, but the drivers weren't updated.

Change-Id: I381e61c8e44454f29bc6ff6f1a5a82bbc8ab9436
Partial-Bug: 1494877

Lenovo driver fix access to common opts

This patch fixes access to the lenovo_common options.
They were recently renamed from common_opt to common_opts,
but the drivers weren't updated.

Change-Id: I63583394d58cb8fc791787df35ed04d30113fafe
Partial-Bug: 1494877

Merge "Use version convert methods from oslo.utils"

Merge "Add migrate_volume to BaseVD"

Merge "backup init_host cleanup exception handling"

Fixed missing log variable types

There were several cases of log messages that were missing
string formatting types. This patch adds the missing types.

Change-Id: If4336dafeb455cc1edd958219b1ffdd50bb2ca05
Closes-Bug: #1494574

VMware: Fix invalid product name

The VMDK driver configuration uses invalid product name "VC"
instead of "vCenter". This patch replaces "VC" with "vCenter"
in help messages and code documentation. This change is
consistent with the rest of driver documentation.

DocImpact
  Replaced "VC" with "vCenter" in driver config option help
  messages

Closes-Bug: #1494636
Change-Id: I0b93d2e25d68ea05a694e04dcf6717065f315c16

Retrieve volume in update_migrated_volume

When transferring db volume module through RPC call, it becomes
dict objects during RPC call. The attributes/properties
of the type can't be used.
As a result, to get volume['name'] raises KeyError.

The issue is fixed by retrieving volume from db.
Using volume version object will fix everything but it is
too late in Liberty. To keep code consistency, db.get_volume
is used in the fix.

Change-Id: I5ac7f083d5b4b7490347069728eb4b938c20885c
Closes-bug: 1491210

Merge "Fix typos in comments"

Merge "Swap the decorator order for PureFCDriver methods"

Merge "Add ScaleIO Cinder driver commands"

Merge "SolidFire provider_id for snapshots on init"

Merge "Fix block_device driver to behave as documented"

Swap the decorator order for PureFCDriver methods

Right now the debug trace decorator is logging the decorator method from
the FCZM helper and not the actual driver methods its supposed to be.

Change-Id: If658393e5e9d1b3e068fc7a200998e8033ada48f
Closes-Bug: #1494459

Add ScaleIO Cinder driver commands

ScaleIO Cinder driver commands are currently missing from
Cinder's rootwrap filters. Since we are not using os-brick's
rootwrap filters in Liberty, these missing commands need to be
added to Cinder's rootwrap filters.

Change-Id: Ia466a722a17730fa2104fa9a4b1898c6373d10ec
Closes-Bug: #1479530

SolidFire provider_id for snapshots on init

We've added the provider_id field to the database for both
volumes and snapshots.  This however couldn't be used because
there was no upgrade/migration path included for backends to
populate these fields (ie upgrade from K to L).

This patch fixes the provider_id columns for snapshots and volumes
both, and updates these fields on backend init.  This fixes the
issue of not being able to "rely" on the database entries, and it
also fixes some issues with inefficiencies in how we were deleting
resources.

Now we can just use the provider_id info from the reference passed
in on the delete calls.

Change-Id: I9de02e9d12aa23ddf4e1fbb1e0efab2c1805fdb1
Closes-Bug: #bug/1491489

LeftHand Add update_migrated_volume to drivers

The LeftHand drivers were missing the method
update_migrated_volume, which was causing the volume IDs
to no longer be accurate after a volume was migrated into
a LeftHand array.

Change-Id: I3718edc68c750856313557aebd212f64f7edc389
Closes-Bug: 1493546

Merge "ZFSSA driver to return project 'available' space"

Huawei: fix multi REST-URLs bug

Huawei driver now supports multi REST-URLs, which means users can
write more than one REST-URLs in the config file(seperated by ";")
and driver can choose the usable one to set up a connection(see
function "login" in rest_client.py of Huawei driver).

But if the chosen REST-URL has some failures, Huawei driver can
not change to another REST-URL automatically.

To resolve this, rewrite the "call" function in rest_client.py of
Huawei driver. If REST command failed to send, driver will do a
"login" process to set up another connection, and send the failed
command to a new REST-URL again.

And change REST command timeout to 52s, change login timeout to 4s,
to avoid long time waiting for failure.

Change-Id: I50701b19896941db2a57984bd26a06ab7d2a7b4b
Closes-Bug: #1486326