Make X-IO volume driver wait for delete volume to complete

Add a check to make sure the volume has been deleted from
the backend storage before returning from delete_volume.

Change-Id: Icc662de476fcb21ff2f7ca6aa69e46c434214d7e
Closes-Bug: #1482044

Merge "Updated from global requirements"

Merge "Add discard to connection properties"

Merge "Remove StorPool Driver"

Merge "RBD: use user-configured value for chunk size"

Merge "Validate 'is_public' when creating volume type"

Merge "Remove bad tests for the VMAX driver"

Merge "Tests: Fix os.path.exists mock (emc_vnxdirect)"

Updated from global requirements

Change-Id: I25a1f5b137358c4d53c0d26c5d56a8f38c626eb8

Merge "Remove incorrect URLs from jenkins.rst"

Merge "Fixing notify message of manage_existing flow"

Merge "Fix volume limit exceeded exception"

Merge "Port Tintri driver to ABC driver model"

Merge "Fix Python 3 issues in Hitachi HNAS tests"

Merge "Port remotefs driver to Python 3"

Merge "Change default of option volume_driver to LVMVolumeDriver"

Merge "Port IBM driver to Python 3"

Merge "VNX driver needs to return snapshot objects"

Validate 'is_public' when creating volume type

is_public should be checked when creating volume type, otherwise DBError
will be raised in cinder-api, and the user will receive a 500 Internal
server error.

Change-Id: Id0695fbb05613f3655a7af5b5ab10e08ed5e606b
Closes-bug: #1479170

Remove StorPool Driver

CI has been disabled since July 31st due to false failure reports, and
no sign from the maintainers to fix things.

Change-Id: Ife07a5f5933274a04f88967abfc02e57ebea576c

Ignore InsecureReq warning in SolidFire Driver

The python requests package logs the use of Insecure as
a warning.  Currently the use of http vs https is a
configurable option, and for those that use http, the
log files include a Warning message for every single
request to the SolidFire Cluster.

In our case we're explicitly providing the
option to use http instead of https, so we can safely
ignore this message and remove it from the logs.

Change-Id: I746b5f7d7351ef594bf0004ec76458fc1a633031

Merge "Add connector object to create_export"

Merge "Snap copy feature for EMC VNX Cinder driver"

Remove bad tests for the VMAX driver

There are a few tests for the VMAX driver that are causing lots of
unit test failures on various patches. I think the reason is several
tests are using the config file with the same name which is created
during setup and deleted at cleanup. When concurrency is > 1, one test
could have deleted the file while another test is trying to read from
it. So the unit tests need to be re-designed to isolate the impact on
each other. This will be worked on. For the short term, I want to
remove the bad tests to reduce the number of unit test failures on
other patches.

Change-Id: Icd0ecf5ed184a81350e25ef0c8df3c3d400def98

Merge "VMware: Remove unused constants"

Merge "Fix list comparison for empty list"

Merge "GlusterFS: Using 'fallocate' instead of 'dd'"

Merge "Remove unit test migration logging"

Remove incorrect URLs from jenkins.rst

Remove URLs from jenkins.rst which is no longer exist
and fix incorrect URLs.

Change-Id: I7418dbe35518987de96fa31bcedb85a5d92cdc2e
Closes-Bug: #1480012

Merge "Fix lvm manage existing volume"

Fix list comparison for empty list

Replaced boolean expression with 'not fields' in "_filter" method.
Also updated unit test cases which calls "_filter" method with
expected value of fields in restore methods.

The unit test "test_restore_vol_meta" was failing for empty list
because after updating the volume metadata, container was passed
to the "_restore_vol_meta" method where "metadata" is expected.
So fixed this unit test by passing the expected value to the
"_restore_vol_meta" method.

Closes-Bug: 1482619
Change-Id: I95c3a390b0b75c0514a3d63699367081440bf414

Snap copy feature for EMC VNX Cinder driver

Currently in VNX Cinder driver, a full-copy will be performed
when creating a volume from snapshot or volume and it is
time-consuming. This patch is going to address this issue by
providing an alternative way which is performing a snap-copy
when creating a volume from snapshot or volume. This can
accelerate the proccess a lot. And if the user wants to perform
a full-copy on the snap-copy volume, migration or retype can be
triggered on it. And we implement update_migrated_volume to
support migration and retype on the snap-copy volume.

DocImpact
Change-Id: I134a2d2274b1e3b85ea08cbf5e034f47d98e97db
Closes-Bug: #1457274

Merge "Add entry create and cast tasks to manage workflow"

Merge "Fix wrong exception usage in cinder exception classes"

Tests: Fix os.path.exists mock (emc_vnxdirect)

Use mock rather than assigning to os.path.exists,
since this may cause later tests to break.

Change-Id: I028aee93c92d5fafb4da018925d20db18c962eed

Add connector object to create_export

This patch adds the connector object as a parameter
to all driver create_export calls.  This will enable
drivers to actually use create_export method for doing
what they are now doing inside of initialize_connection.

Change-Id: Ia13897a3704080fc5da71e6c8445f308d474f64a
Implements: blueprint add-create-export-connector

Remove unit test migration logging

DB migration unit tests output a bunch of 'Loading script'
messages that are of little to no value. This patch raises
the default migrations module logging level to WARNING to
prevent these debug messages from cluttering the output.

Change-Id: Ib1bb5a0efc791a41f2d4cb1ea0e6eba4658097a8
Co-Authored-By: John Griffith <john.griffith@solidfire.com>

Merge "Sync scheduler module from oslo-incubator"

Fix wrong exception usage in cinder exception classes

We need to use message instead of msg_fmt if we want to pass a message
format to Base CinderException.

Closes-Bug: #1482128
Change-Id: Ib3d29e5f23a6eb2cbd3aed191d9d042dfc3022e0

Merge "Fix PEP476 & format message of Oracle ZFSSA drivers"

Sync scheduler module from oslo-incubator

The scheduler and scheduler.weights modules have not been
updated since early in the Icehouse release cycle.  This
patch brings the version in Cinder up to date with what is in
oslo-incubator.

Current HEAD in OSLO:
---------------------
commit 20d7dc57819a70abdff967299542068946d75ac1
Date:   Wed Jul 29 03:49:46 2015 +0000
    Updated from global requirements

    Change-Id: Iba0e4f9545fc9ba82f080a0fec672761dcfeaeec

Patches included with sync by file:
---------------------
base_filter.py
 - 2fbf5065 - Remove oslo.log code and clean up versionutils API
 - 5d40e143 - Remove code that moved to oslo.i18n
 - 2af88ece - Use _LI instead of _ for info message translation
 - 4a47188e - Allow filters to only run once per request if their data is static
 - fcf517d7 - Update oslo log messages with translation domains
 - cae33101 - Stop looping all filters if no objects return
 base_handler.py
 - 6fa29aee - Trivial: Make vertical white space after license header consistent
 - 35660dac7 - Enable hacking H401 test
 - 5dcc43b1 - Break out common functionality for filters and weights
base_weight.py
 - 825cb870 - Upgrade to hacking 0.10
 - a2fa4878 - Fix common.scheduler.base_weight.BaseWeigher to be Python3 compat
 - e47bc70e - Normalize Scheduler Weights

 Note: Key changes were made that impact cinder:
   (1) The weigher base class changed the name of _weight_mulitipler() to
       weight_multiplier() which impacted cinder/scheduler/weights/capacity.py
       and cinder/scheduler/weights/volume_number.py.
   (2) Application of the weight multiplier was moved from the weigher to the
       handler and normalization of the weights prior to applying the weight
       multiplier was added.  This impacted cinder weigher test cases which
       were checking for non-normalized weights.
   (3) The normalization does not support the use of infinite weights which
       are used by the cinder capacity weigher.  When an infinite value is
       used, it is not known what the other weights will be, so this adds an
       override to CapacityWeigher for the weigh_objects() method that wraps
       the parent method to use the returned complete set of weights to
       replace any infinite weights with values that are much larger than
       the largest non-infinite weight.

Change-Id: Iad9bb431f0876e4957598c0ac0d3c8d7f67199fc

VNX driver needs to return snapshot objects

Use snapshot objects instead of snapshot dictionaries of
create_cgsnapshot and delete_cgsnapshot.

Change-Id: I0794e1c30a1ef8f0a4bdf82c6cb850ae4415d164
Partially-Closes-Bug: #1458125

Merge "Add multiple pools support to VMAX driver"

Merge "RemoteFS: Fix the offline snapshot delete operation"

Merge "Add bandit for security static analysis testing"

Merge "Refactor api.v2.volumes unit tests"

Merge "Set driver version in Sheepdog driver"

Merge "Updated from global requirements"

Merge "Dell SC: Add check of current value on retype"

VMware: Remove unused constants

This patch removes unused constants in the volumeops module
of vmdk driver. These became unused after integration with
oslo.vmware.

Change-Id: Ib223b09b4ef833b2bd1e23ae54627790dc37073d

Fix volume limit exceeded exception

The VolumeLimitExceeded exception contains the wrong limit when
the number of volumes exceeds the quota corresponding to a volume
type. It always contains the limit of quota 'volumes'. This patch
fixes the limit in both exception and log message. It also adds
the quota name to exception and log message for better clarity.

Change-Id: I3e2d4fa00fe49f64b2153930e901fccd8015483e
Closes-Bug: #1481182

Refactor api.v2.volumes unit tests

This patch refactors api.v2.volumes unit tests to use helper
methods added in commit I7c4225de5d32ecd0ad78fc7c0ff847a8bee7b7da.
It also fixes the order of assertEquals in refactored tests.

Partial-Bug: #1277104
Change-Id: I5b5aa9baea07fd46a52bb6c15897949a42748847

Merge "Add SmartX support for Huawei driver"

Dell SC: Add check of current value on retype

The recently merged retype code for the Dell Storage
Center driver does not check if the new Storage Profile
value is different than the currently set value. While
this is mostly harmless since there isn't a lot of overhead
to setting the Storage Profile to its existing value, it
is still extra overhead and API calls that need to be
performed to complete the operation.

This adds a simple check to compare the current value against
the requested value to decide whether or not to perform the
retype operation. We only support retyping of the Storage
Profile, so if they are the same, just return true to
prevent a migration from happening.

Change-Id: I2d16b4129170cc8ecedfd3674b609badb27b9095

Merge "Port NetApp NFS drivers to use ABC driver model"

Updated from global requirements

Change-Id: I0566ed07f359a0b993009a9dd08a01f16fc1b312

Merge "Over subscription for HP LeftHand iSCSI driver"

Fix PEP476 & format message of Oracle ZFSSA drivers

* Handles the PEP 476 by opting out certificate verification.
* Fix debug format messages in restclient.py

Change-Id: Iaf9e546f0aed6b57fe9c2bf43aa2ce003a05ddf8
Closes-Bug: #1460156

Merge "Clone CG"

Merge "Fix order of arguments in assertEqual"

Merge "Fix status comparison for attached volume backup"

Add SmartX support for Huawei driver

This patch aims to add SmartX features for Huawei driver,
including SmartQos, SmartTier, SmartPartition and SmartCache.

Co-Authored-By: Bob-OpenStack liuxinguo@huawei.com
Change-Id: I4bc8b227ff0b24847b8c8b30174d23b4e6d51af1
Implements: blueprint support-smartx-for-huawei-volume-driver

Fix order of arguments in assertEqual

Some tests used incorrect order assertEqual(observed, expected).
The correct order expected by testtools is
assertEqual(expected, observed).

This patch does not cover v1 api tests and vendor unit tets.

Change-Id: Icb0636143cfc48d5189bcb0faa6e643f68c32f5e
Partial-Bug: #1259292

Merge "NetApp ESeries: fix delete of non-existent volume"

Merge "Fix get default quota values for subprojects"

Add multiple pools support to VMAX driver

This patch adds multiple pools support to the VMAX driver.

Also changed \ to () in a few places.

implements blueprint emc-vmax-multiple-pools

Change-Id: Iae0c658c808168fa5279b8dbcc6734632a98642d

Fix status comparison for attached volume backup

1) When do backup for an attached volume, its previous_status should be
'in-use' instead of 'in_use'.
2) Added more assertions in corresponding unittest case for this function
to make sure it enter this if-block. Previous test case was passed even
with the incorrect status.

Change-Id: I80385aa593aea5d749409bf591e5a3c5f8ed478f
Closes-Bug: #1480734

Merge "Add mock cases for IBM FlashSystem"

Merge "Updated from global requirements"

Merge "Set VERSION on the Nimble driver."

Updated from global requirements

Change-Id: I28ca73bbf23d2a29fb58af4ce9975f0707d2639d

Merge "VMware: Fix protocol in backend stats"

Merge "Fix multi-line docstrings to meet hacking rules"

RBD: use user-configured value for chunk size

This patch allows a user to override the default chunk size in
cinder.conf.  When the driver is initialized, the default configuration
values in CONF are merged with the user-provided overrides into
self.configuration.  In most cases, self.configuration is used unless
the original default value is needed.  In this case, CONF was mistakenly
used when self.configuration was intended, which has the effect of
preventing the user from overriding the default chunk size by ignoring
the provided value.

Related-Bug: #1477706
Change-Id: I66a99950b7c4080de932be7ddac2f1595b9d59f4

Over subscription for HP LeftHand iSCSI driver

Add support for over subscription in the HP LeftHand iSCSI driver.

DocImpact

Change-Id: Ibaef68264edd8019a4afd72fea4d8f002254adbb
Implements: blueprint over-subscription-lefthand

Merge "Use prefix for SolidFire template account"

Merge "sqlalchemy exception kills FixedIntervalLoopingCall thread"

Merge "RBD: use user-configured value for max_clone_depth"

Merge "Remove deprecated SimpleScheduler"

Merge "Fix error message in cinder/api/v2/volumes.py"

Merge "Fix concurrent attaches on HNAS iSCSI driver"

Merge "Add I/T mapping check for IBM FlashSystem"

Merge "Posix backup driver"

Merge "Add iSCSI multipath support for Huawei driver"

Use prefix for SolidFire template account

The SolidFire template account was not using the
account_prefix setting when the account was created.

This means that if a deployment is configured to use
the prefix, that calls to make the actual clone will fail
because the clone routine prepends the prefix from the
config settings on every lookup.

This patch just adds the same account adjustment that
we use in our regular account creation routines.

Change-Id: I4d3c22f96c9ca90192b88f1802997c8680b81483
Closes-Bug: #1479897

Fix multi-line docstrings to meet hacking rules

According to the PEP8(H405), multi-line docstring summaries
should be separated by an empty line.

Change-Id: I5cd8a9064dcefc504e85946ecdf1f56f10145d35
Closes-bug: #1407162

sqlalchemy exception kills FixedIntervalLoopingCall thread

Transient DB errors should not kill the thread for FixedIntervalLoopingCall.
This was noticed and fixed for the DBError case in Bug#1466991, but the
exception from sqlalchemy is not handled. Basically, self.model_disconnected
should be set to True, but the looping thread should carry on regardless of
the error.

Change-Id: I4bf04392269a2c33b77166b6c7408b38e1bc992d
Closes-Bug: #1478971

Merge "Fix exception on uploading a volume to image with glance v2 API"

Merge "Move update_migrated_volume() to BaseVD"

VMware: Fix protocol in backend stats

The VMDK driver reports the protocol as 'LSI Logic SCSI' in
backend stats. This patch changes the protocol to 'vmdk'
which is in sync with driver support matrix at:
https://wiki.openstack.org/wiki/CinderSupportMatrix

Change-Id: I8f9255088ce3d25a6b0d7f38dcbabfd15082ff32
Closes-Bug: #1479693

Fix error message in cinder/api/v2/volumes.py

Minor fix.

Change-Id: I1269e271581cc523368b3e59fe4b8ced4febf9de
Closes-Bug: #1479598

Fix concurrent attaches on HNAS iSCSI driver

It might happen that multiple cinder nodes/backends are trying to add
volumes to the same target. In this situation, the driver can get an
error trying to add a volume to a hlun just taken by other instance.
This patch fix this avoiding concurrency using mutual exclusion and adds
retries to the failed attempts to cover scenarios where multiple cinder
hosts are used.

Closes-bug: #1475007
Change-Id: Ie2d3b286eecbf0299ac0c0e32d3e098bb5d11e4f

Merge "LVM: Support efficient data copy for LVM driver"

Merge "Windows iSCSI: Add CHAP authentication support"

Merge "Add deactivate step to extend_lv"

GlusterFS: Using 'fallocate' instead of 'dd'

As 'fallocate' preallocates space to a volume, we can use it to
create raw formatted volume instead of 'dd' command.

This patch also introduces a new configuration parameter
'nas_volume_prov_type', which can be set to either 'thin' or 'thick'.

DocImpact
Co-Authored-By: Deepak C Shetty <deepakcs@redhat.com>
Change-Id: If9691b7b9fcb90254d8c108f633aeea4ed4f956d

Fixing notify message of manage_existing flow

Use manage_existing.end instead of create.end to send notify
when process of managing existing is finished.

Change-Id: If3a56eb0ddba045851f6790230a8d35fb1a0b11a
Closes-Bug: #1478758

Clone CG

This patch modifies the existing "create CG from source" API
to take an existing CG as a source, in addition to a CG snapshot.

APIImpact
DocImpact
implements blueprint clone-cg

Change-Id: Ieabc190a5d9a08e2c84e42140192e6ee3dac9433

Fix get default quota values for subprojects

When getting the default quota value for a project, the DBQuotaDriver
is just checking if the default_quota_class CONF is set to True.
But this conf should not be considered when getting default quota
values for subprojects.

Previously, when we asked for the default quota values of a
subproject, the default quota values of the root project was returned.

Co-Authored-By: Vilobh Meshram <vilobhmm@yahoo-inc.com>
Change-Id: Ib88bafca915dfd387086c353c25b2af037e6d50f
Closes-bug: #1478651

Merge "Updated from global requirements"