Merge "Remove unit test migration logging"

Merge "Fix lvm manage existing volume"

Merge "Add entry create and cast tasks to manage workflow"

Merge "Fix wrong exception usage in cinder exception classes"

Remove unit test migration logging

DB migration unit tests output a bunch of 'Loading script'
messages that are of little to no value. This patch raises
the default migrations module logging level to WARNING to
prevent these debug messages from cluttering the output.

Change-Id: Ib1bb5a0efc791a41f2d4cb1ea0e6eba4658097a8
Co-Authored-By: John Griffith <john.griffith@solidfire.com>

Merge "Sync scheduler module from oslo-incubator"

Fix wrong exception usage in cinder exception classes

We need to use message instead of msg_fmt if we want to pass a message
format to Base CinderException.

Closes-Bug: #1482128
Change-Id: Ib3d29e5f23a6eb2cbd3aed191d9d042dfc3022e0

Merge "Fix PEP476 & format message of Oracle ZFSSA drivers"

Sync scheduler module from oslo-incubator

The scheduler and scheduler.weights modules have not been
updated since early in the Icehouse release cycle.  This
patch brings the version in Cinder up to date with what is in
oslo-incubator.

Current HEAD in OSLO:
---------------------
commit 20d7dc57819a70abdff967299542068946d75ac1
Date:   Wed Jul 29 03:49:46 2015 +0000
    Updated from global requirements

    Change-Id: Iba0e4f9545fc9ba82f080a0fec672761dcfeaeec

Patches included with sync by file:
---------------------
base_filter.py
 - 2fbf5065 - Remove oslo.log code and clean up versionutils API
 - 5d40e143 - Remove code that moved to oslo.i18n
 - 2af88ece - Use _LI instead of _ for info message translation
 - 4a47188e - Allow filters to only run once per request if their data is static
 - fcf517d7 - Update oslo log messages with translation domains
 - cae33101 - Stop looping all filters if no objects return
 base_handler.py
 - 6fa29aee - Trivial: Make vertical white space after license header consistent
 - 35660dac7 - Enable hacking H401 test
 - 5dcc43b1 - Break out common functionality for filters and weights
base_weight.py
 - 825cb870 - Upgrade to hacking 0.10
 - a2fa4878 - Fix common.scheduler.base_weight.BaseWeigher to be Python3 compat
 - e47bc70e - Normalize Scheduler Weights

 Note: Key changes were made that impact cinder:
   (1) The weigher base class changed the name of _weight_mulitipler() to
       weight_multiplier() which impacted cinder/scheduler/weights/capacity.py
       and cinder/scheduler/weights/volume_number.py.
   (2) Application of the weight multiplier was moved from the weigher to the
       handler and normalization of the weights prior to applying the weight
       multiplier was added.  This impacted cinder weigher test cases which
       were checking for non-normalized weights.
   (3) The normalization does not support the use of infinite weights which
       are used by the cinder capacity weigher.  When an infinite value is
       used, it is not known what the other weights will be, so this adds an
       override to CapacityWeigher for the weigh_objects() method that wraps
       the parent method to use the returned complete set of weights to
       replace any infinite weights with values that are much larger than
       the largest non-infinite weight.

Change-Id: Iad9bb431f0876e4957598c0ac0d3c8d7f67199fc

Merge "Add multiple pools support to VMAX driver"

Merge "RemoteFS: Fix the offline snapshot delete operation"

Merge "Add bandit for security static analysis testing"

Merge "Refactor api.v2.volumes unit tests"

Merge "Set driver version in Sheepdog driver"

Merge "Updated from global requirements"

Merge "Dell SC: Add check of current value on retype"

Refactor api.v2.volumes unit tests

This patch refactors api.v2.volumes unit tests to use helper
methods added in commit I7c4225de5d32ecd0ad78fc7c0ff847a8bee7b7da.
It also fixes the order of assertEquals in refactored tests.

Partial-Bug: #1277104
Change-Id: I5b5aa9baea07fd46a52bb6c15897949a42748847

Merge "Add SmartX support for Huawei driver"

Dell SC: Add check of current value on retype

The recently merged retype code for the Dell Storage
Center driver does not check if the new Storage Profile
value is different than the currently set value. While
this is mostly harmless since there isn't a lot of overhead
to setting the Storage Profile to its existing value, it
is still extra overhead and API calls that need to be
performed to complete the operation.

This adds a simple check to compare the current value against
the requested value to decide whether or not to perform the
retype operation. We only support retyping of the Storage
Profile, so if they are the same, just return true to
prevent a migration from happening.

Change-Id: I2d16b4129170cc8ecedfd3674b609badb27b9095

Merge "Port NetApp NFS drivers to use ABC driver model"

Updated from global requirements

Change-Id: I0566ed07f359a0b993009a9dd08a01f16fc1b312

Merge "Over subscription for HP LeftHand iSCSI driver"

Fix PEP476 & format message of Oracle ZFSSA drivers

* Handles the PEP 476 by opting out certificate verification.
* Fix debug format messages in restclient.py

Change-Id: Iaf9e546f0aed6b57fe9c2bf43aa2ce003a05ddf8
Closes-Bug: #1460156

Merge "Clone CG"

Merge "Fix order of arguments in assertEqual"

Merge "Fix status comparison for attached volume backup"

Add SmartX support for Huawei driver

This patch aims to add SmartX features for Huawei driver,
including SmartQos, SmartTier, SmartPartition and SmartCache.

Co-Authored-By: Bob-OpenStack liuxinguo@huawei.com
Change-Id: I4bc8b227ff0b24847b8c8b30174d23b4e6d51af1
Implements: blueprint support-smartx-for-huawei-volume-driver

Fix order of arguments in assertEqual

Some tests used incorrect order assertEqual(observed, expected).
The correct order expected by testtools is
assertEqual(expected, observed).

This patch does not cover v1 api tests and vendor unit tets.

Change-Id: Icb0636143cfc48d5189bcb0faa6e643f68c32f5e
Partial-Bug: #1259292

Merge "NetApp ESeries: fix delete of non-existent volume"

Merge "Fix get default quota values for subprojects"

Add multiple pools support to VMAX driver

This patch adds multiple pools support to the VMAX driver.

Also changed \ to () in a few places.

implements blueprint emc-vmax-multiple-pools

Change-Id: Iae0c658c808168fa5279b8dbcc6734632a98642d

Fix status comparison for attached volume backup

1) When do backup for an attached volume, its previous_status should be
'in-use' instead of 'in_use'.
2) Added more assertions in corresponding unittest case for this function
to make sure it enter this if-block. Previous test case was passed even
with the incorrect status.

Change-Id: I80385aa593aea5d749409bf591e5a3c5f8ed478f
Closes-Bug: #1480734

Merge "Add mock cases for IBM FlashSystem"

Merge "Updated from global requirements"

Merge "Set VERSION on the Nimble driver."

Updated from global requirements

Change-Id: I28ca73bbf23d2a29fb58af4ce9975f0707d2639d

Merge "VMware: Fix protocol in backend stats"

Merge "Fix multi-line docstrings to meet hacking rules"

Over subscription for HP LeftHand iSCSI driver

Add support for over subscription in the HP LeftHand iSCSI driver.

DocImpact

Change-Id: Ibaef68264edd8019a4afd72fea4d8f002254adbb
Implements: blueprint over-subscription-lefthand

Merge "Use prefix for SolidFire template account"

Merge "sqlalchemy exception kills FixedIntervalLoopingCall thread"

Merge "RBD: use user-configured value for max_clone_depth"

Merge "Remove deprecated SimpleScheduler"

Merge "Fix error message in cinder/api/v2/volumes.py"

Merge "Fix concurrent attaches on HNAS iSCSI driver"

Merge "Add I/T mapping check for IBM FlashSystem"

Merge "Posix backup driver"

Merge "Add iSCSI multipath support for Huawei driver"

Use prefix for SolidFire template account

The SolidFire template account was not using the
account_prefix setting when the account was created.

This means that if a deployment is configured to use
the prefix, that calls to make the actual clone will fail
because the clone routine prepends the prefix from the
config settings on every lookup.

This patch just adds the same account adjustment that
we use in our regular account creation routines.

Change-Id: I4d3c22f96c9ca90192b88f1802997c8680b81483
Closes-Bug: #1479897

Fix multi-line docstrings to meet hacking rules

According to the PEP8(H405), multi-line docstring summaries
should be separated by an empty line.

Change-Id: I5cd8a9064dcefc504e85946ecdf1f56f10145d35
Closes-bug: #1407162

sqlalchemy exception kills FixedIntervalLoopingCall thread

Transient DB errors should not kill the thread for FixedIntervalLoopingCall.
This was noticed and fixed for the DBError case in Bug#1466991, but the
exception from sqlalchemy is not handled. Basically, self.model_disconnected
should be set to True, but the looping thread should carry on regardless of
the error.

Change-Id: I4bf04392269a2c33b77166b6c7408b38e1bc992d
Closes-Bug: #1478971

Merge "Fix exception on uploading a volume to image with glance v2 API"

Merge "Move update_migrated_volume() to BaseVD"

VMware: Fix protocol in backend stats

The VMDK driver reports the protocol as 'LSI Logic SCSI' in
backend stats. This patch changes the protocol to 'vmdk'
which is in sync with driver support matrix at:
https://wiki.openstack.org/wiki/CinderSupportMatrix

Change-Id: I8f9255088ce3d25a6b0d7f38dcbabfd15082ff32
Closes-Bug: #1479693

Fix error message in cinder/api/v2/volumes.py

Minor fix.

Change-Id: I1269e271581cc523368b3e59fe4b8ced4febf9de
Closes-Bug: #1479598

Fix concurrent attaches on HNAS iSCSI driver

It might happen that multiple cinder nodes/backends are trying to add
volumes to the same target. In this situation, the driver can get an
error trying to add a volume to a hlun just taken by other instance.
This patch fix this avoiding concurrency using mutual exclusion and adds
retries to the failed attempts to cover scenarios where multiple cinder
hosts are used.

Closes-bug: #1475007
Change-Id: Ie2d3b286eecbf0299ac0c0e32d3e098bb5d11e4f

Merge "LVM: Support efficient data copy for LVM driver"

Merge "Windows iSCSI: Add CHAP authentication support"

Merge "Add deactivate step to extend_lv"

Clone CG

This patch modifies the existing "create CG from source" API
to take an existing CG as a source, in addition to a CG snapshot.

APIImpact
DocImpact
implements blueprint clone-cg

Change-Id: Ieabc190a5d9a08e2c84e42140192e6ee3dac9433

Fix get default quota values for subprojects

When getting the default quota value for a project, the DBQuotaDriver
is just checking if the default_quota_class CONF is set to True.
But this conf should not be considered when getting default quota
values for subprojects.

Previously, when we asked for the default quota values of a
subproject, the default quota values of the root project was returned.

Co-Authored-By: Vilobh Meshram <vilobhmm@yahoo-inc.com>
Change-Id: Ib88bafca915dfd387086c353c25b2af037e6d50f
Closes-bug: #1478651

Merge "Updated from global requirements"

Merge "Adding NFS support to the GPFS Driver"

Add deactivate step to extend_lv

Extending a linear LVM volume that has a snapshot requires
that the LV be deactivated explicitly prior to extending.

This adds a deactivate_lv method and calls it prior to
issuing the extend call. If auto_activation_volume_list
is not defined lvm.conf, then volumes will be reactivated
automatically after the extend.  If auto_activation_volume_list
is defined, then volumes that should be automatically
reactivated should be added to the auto_activation_volume_list
or they won't be activated automatically.
NOTE: This doesn't apply to thin provisioned LVs as they don't
require the deactivation step.

DocImpact: When a user extends LVM Volumes with a snapshot, the
volumes will be deactivated.  Their re-activation is automatic,
unless auto_activation_volume_list is defined in lvm.conf.
See lvm.conf for more info.  Thin provisioned LVM Volumes
will not be deactivated as they don't require it.

Co-Authored-By: John Griffith <john.griffith8@gmail.com>
Change-Id: If746625cfe658c3528525dc7f4bf869f1c9704dc
Closes-Bug: #1470558

Fix exception on uploading a volume to image with glance v2 API

This fixes an exception on uploading a volume to image when
the glance v2 api is enabled. Also, this adds the unit tests
for updating metadata and data both with glance API v1 and v2.

Change-Id: Id70eff82837c0af1f033a2bb749ef367cd9e32fb
Closes-bug: #1478737

Set VERSION on the Nimble driver.

The Nimble driver does not set the VERSION variable
causing its version to be logged as N/A. This patch
updates that variable so that the correct version
number is reflected in the log.

Change-Id: I922257cf79e1a65247fd5384fa1fa746660efae3
Closes-Bug: #1476859

Merge "Remove deprecated config options for Liberty"

Log which service is down

This changes the message "Manager for service cinder-volume
is reporting problems..." to
"Manager for service cinder-volume myhost@backend1 is
reporting problems..."

This makes it more clear in the log file which backend this
message is referring to.

Change-Id: I62172080084a01c0324ffb6ab8a0e4af2b47fb85

Move update_migrated_volume() to BaseVD

The update_migrated_volume() function on volume/manager.py
calls the update_migrated_volume() from the driver. If the
driver does not implement the function, the manager falls
back (by catching the NotImplementedError exception) and
implements a default behavior, not renaming the volume.  If
the driver does not have the function implemented, the
migration will fail as in this case, an AttributeError
exception can be raised.

We fix this by implementing the method
update_migrate_volume() in the BaseVD driver so all drivers
now throw the proper exception.

Change-Id: I9f3cbdc5ae1cdcbf8fe61168abf35b985d4182c6
Closes-Bug: #1471807

Posix backup driver

Add Posix backup driver. Supports simple nas too.

Co-Authored-By: Bharat Kumar Kobagana <bharat.kobagana@redhat.com>
Partially Implements: blueprint nfs-backup
Change-Id: I99383aa23b6dda217c8df6b33561111a8823b452

Merge "Port StorwizeSVCDriver to use ABCMeta driver model"

Merge "EMC VMAX Modify CG"

Add mock cases for IBM FlashSystem

This patch adds the mock method into create_volume for the IBM
FlashSystem unittest code.

* Case for create_volume with mocked empty return value
* Case for create_volume with mocked error message for storage backend

Closes-Bug: #1477820
Change-Id: Ic96551b19ccde18943279f979b952d8eea45f1f7

Merge "Fix cleanup_temp_volume_snapshots for missing vol"

Merge "Port XIVDS8K Driver to use ABCMeta driver model"

Merge "XtremIO support for iscsi discovery auth"

Merge "Fix doc string definitions"

Merge "Add extra spec capability for Nimble Cinder Driver"

Remove deprecated config options for Liberty

num_iscsi_scan_tries and backup_service have been deprecated for at
least two releases or longer.

Change-Id: I4c99e0aa06fd6ff8fc38dda29e8132e0edd69257
UpgradeImpact: removed num_iscsi_scan_tries and backup_service conf opts

RBD: use user-configured value for max_clone_depth

This patch allows the user to override the default max-clone-depth in
cinder.conf.  Without this, the driver will ignore the user setting and
always use the default.

Change-Id: Ia8e6068bcf60d36063ff54c7038c03ef03126273
Closes-Bug: #1477706

Updated from global requirements

Change-Id: Ia3bdd4ce754751f4373886ecb8dbe81cf488cee1

Merge "Add multiple pools support for Huawei driver"

Merge "Remove resource lock operation for HBSD"

Fix lvm manage existing volume

When trying to manage command to a volume that is already managed by
Cinder, the operation does not fail and you will end up in an unexpected
state. The operation will succeed, the backend storage will be renamed,
and there will be two Cinder volumes in the available state with only
one of them being valid.

This change adds volume check on driver level (since we don't know
source-name, source-id or anything else used as ref for volume, each
driver should be responsible for figuring out what to do with specified
volume ref). Check method looking for possible existing volume in db
to avoid managing already managed volume.

Change-Id: I0d8d7a3cb2afce90529cd1142b413aca9ac69d4c
Partial-Bug: #1364550

Add entry create and cast tasks to manage workflow

This change adds manage existing api task in flow. The task
is used in the volume api to provide full value task flow for
manage existing process. All errors occurred during manage
flow set volume to 'error' state.

Entry creating moved from volume api to EntryCreateTask. Also
added ManageCastTask to provide manage process to scheduler.

Related-Bug: #1364550
Change-Id: I12a4311953c1c86d584b5bf2fe2888e5b5127d43

Fix cleanup_temp_volume_snapshots for missing vol

The cleanup_temp_volume_snapshots method raises an exception that
causes the backup service to exit if there is a backup without a
corresponding volume.

This commit catches these exceptions so that the backup service is
not prevented from starting in this circumstance.

Change-Id: Ia1aac2fe78048df5fce595d5de181cb4930ea78d
Closes-bug: 1478599

Merge "NetApp E-Series: Add debug tracing"

Merge "Add volume_attachment to volume usage notifications"

Adding NFS support to the GPFS Driver

This change helps create cinder volumes on a GPFS cluster,
when the cinder services are not running directly on one of
the GPFS nodes.

The NFS export created on GPFS cluster will be locally mounted
on a node running the cinder service. The cinder volume service
will communicate with GPFS nodes over SSH to execute CLIs remotely.

This change also ports the GPFSDriver to ABC driver model.

Implements : blueprint ibm-gpfs-nfs-support

DocImpact

Needs an update in gpfs driver documentation, as this patch
adds an NFS based access for GPFS cinder driver.

Change-Id: I40e5098482d48552170c34e74be0c9e2f544fef5

Remove deprecated SimpleScheduler

This has been deprecated for three releases now. It's time! By default
it was already having Cinder use the FilterScheduler with certain
weighers and filters to continue the chance behavior, so definitely not
scary!

Closes-Bug: #1478446
UpgradeImpact: Deprecated SimpleScheduler removed
Change-Id: I10f63bb189b7c894dcc6dccc857cf22698cc5f95

Fix doc string definitions

Changed """" at start of docstring to """
and changed ''' to """ in docstrings.

Docstring standards are here -
https://www.python.org/dev/peps/pep-0008/#documentation-strings

Closes-Bug: #1466802
Change-Id: I7d03643845b0542deb52aed59edc1543827436ba

Port StorwizeSVCDriver to use ABCMeta driver model

Use new ABCMeta driver model for StorwizeSVCDriver driver.
Also add empty function unmanage for ManageableVD.

Partially-implements: blueprint abc-driver-update

Change-Id: Ib92342186908a4e148fcb341b38de012047e8c22

Merge "typos(?) in create_snapshots_in_db"

Add extra spec capability for Nimble Cinder Driver

Supported Extra Specs are

1. Performance Policy Name
nimble:perfpol-name = <Performance Policy Name>

2. Encryption
nimble:encryption = "yes"

Implements: blueprint nimble-add-extra-specs-support

Change-Id: I45a18b189746b778f10eecbf669be7943828e28b

Merge "Refactoring of manager's create_volume flow"

Merge "Remove unused arguments from c-vol's create_volume"

XtremIO support for iscsi discovery auth

- Discover existing Initiator Groups (a grouping object for initiators)
  from connection information.
- add unit tests for better code coverage.
- handle 'system is busy' array error.

Change-Id: Ia5df488ed0996fb6fb1b77016772e82323ac1f92
Partial-Implements: blueprint emc-xtremio-updates

Add bandit for security static analysis testing

This change adds a basic bandit config for Cinder. It can be invoked
by running the tox environment for bandit;
    tox -e bandit

This is intended as a starting point for using bandit with Cinder
and it should be revisited to improve the testing as more is learned
about the specific needs of the Cinder code base.

Tox is configured to only show results for high and medium severity
results.

https://wiki.openstack.org/wiki/Security/Projects/Bandit

Change-Id: I0247e0ccaed6faacacb2b8d2f8b141a8edc704af

typos(?) in create_snapshots_in_db

Other variables are used in line 783 (snap) and 784 (snapshot)
of cinder.volume.api.

Since it looks typo, I fix it.

Change-Id: I3f1aa3b71166e882c751362792fbf90477ecbd38
Closes-Bug: #1478236

Add multiple pools support for Huawei driver

Pool aware scheduler support was introduced in Juno.
This patch proposes to add multiple pools support
for Huawei driver.

Co-Authored-By: Bob-OpenStack liuxinguo@huawei.com
Change-Id: Ibe3b2a123ea5c700d2c2f66d262a8161c5d3e129
Implements: blueprint huawei-storage-multiple-pools-support