typos(?) in create_snapshots_in_db

Other variables are used in line 783 (snap) and 784 (snapshot)
of cinder.volume.api.

Since it looks typo, I fix it.

Change-Id: I3f1aa3b71166e882c751362792fbf90477ecbd38
Closes-Bug: #1478236

Merge "Dell SC: Fix legacy bug, init_conn bug and REST API bug."

Merge "XtremIO volume driver consistency group support"

Merge "Don’t log warnings in Pure initialize_connection"

Merge "Remove unused serialize_args method"

Merge "Graceful shutdown WSGI/RPC server"

Merge "Remove simple scheduler which is deprecated since Juno"

Merge "VMware:Replace vCenter calls with oslo.vmware calls"

Updated from global requirements

Change-Id: I9f0773836a392b3a51490dc7cbf334f18407f009

Merge "Implement retype for Pure drivers"

Merge "Revert "Remove X-IO volume driver""

Merge "Add Cinder internal tenant support"

Merge "Remove logging statements from migrations"

Merge "Dell SC: Add support for driver retype"

Merge "Removing OpenvStorage for no CI"

Merge "Raise BadRequest for invalid replication status"

Merge "Fix getting wwpn information in infortrend driver for DS4000"

Merge "Fix properties extracting from image with glance api v2"

Remove simple scheduler which is deprecated since Juno

Chance and Simple scheduler functionality can be archived using
FilterScheduler, config details is described here:
http://docs.openstack.org/developer/cinder/api/cinder.scheduler.simple.html
The implementation has been deprecated in Juno,so we can remove
it safely now.

DocImpact

Change-Id: I92b302ea0404a35328bd7a36739c3e7846898392

Merge "Remove "volume:services" rule from policy.json"

Merge "Move volume.api test to correct location"

Implement retype for Pure drivers

Currently retyping on the same backend requires a migration to occur
due to using the default implementation of retype on the base volume
driver.

Volumes on the Pure arrays do not have any differentiation
between volume types Cinder may be using. Because of this we can
implement a retype method that will be used whenever changing
types on the same backend that essentially does nothing except return.

Change-Id: Ibf4c57166fe5742cc7e079c4422f7efd2b6dce79
Closes-Bug: 1477780

Merge "Filter cgsnapshots data on the DB side"

Dell SC: Add support for driver retype

Previously there was no need to support retype by the driver
since any kind of retyping would require migration. With the
addition of the ability to set specific Storage Profiles to
use by commit Icf76fceca5a0ae20bb08b276b0c41ef6cdb31087 we
now have something the driver can handle to optimize the
retyping operation.

This adds handling for changes in the selected Storage Profile
if the backend stays the same. Any other retype changes will
return failure, resulting in it falling back to full volume
migration.

Change-Id: I18c55e0392e18d1686546ba17cb99b53b7b50566

Merge "Rename filename from il8n.rst to i18n.rst"

XtremIO volume driver consistency group support

- Adding consistency group support using XtremIO REST API V2.
- Implements all OpenStack CG volume driver interfaces using XtremIO CG
  capabilities.

Partial-Implements: blueprint emc-xtremio-updates
Change-Id: I2ddf629b0c97a849a2c95ca4a8b7a4dd4adccbec

Add Cinder internal tenant support

This adds two new config options as well as a
helper method to get a RequestContext for the
Cinder internal tenant.

The current implementation will not create a
request context that can be used for calls to
other services, it is (as the name implies) only
for internal Cinder operations.

DocImpact: This adds new config steps that should
be covered in the Cinder docs including the new config
options: 'cinder_internal_tenant_project_id' and
'cinder_internal_tenant_user_id'

Implements: blueprint cinder-internal-tenant
Change-Id: I0c3263e71cf1a275a4538c35ebe1c7d750bb16e6

Merge "Add drivers list generator"

Merge "Prevent missing Purity hosts from raising errors"

Merge "Backups: allow name to be specified during restore"

Merge "Non-disruptive backup"

VMware:Replace vCenter calls with oslo.vmware calls

Currently we call vCenter APIs to find storage policy
associated with a volume. There are methods defined
in oslo.vmware to query storage policies. This patch
replaces vCenter API calls with oslo.vmware method
calls.

Change-Id: I54e18e50e8423de51c43a277e701ddc9a9aef6da

Merge "Add unit tests for cinder.api.v2.volumes"

Merge "VMware: Create volume backing in specific clusters"

Rename filename from il8n.rst to i18n.rst

Internationalization's abbreviation is i18n.
This patch renames l to one.

Closes-Bug: #1477393

Change-Id: Ia7f236bd6eae3bf8613f7589916905a811c68e65

Merge "Dell SC: Fix Consistency Group issues"

Merge "Tests: test_volume mock conversion"

Merge "Fix restore point if backup base is diff-format in ceph"

Merge "Add CHAP support for Huawei driver"

Merge "DRBD: Define a separate prefix for snapshots"

Merge "DRBD: Rename a constant to a better name"

Non-disruptive backup

This patch adds support for non-disruptive backup for
volumes in 'in-use' status as follows:

Adds a force flag in create backup API when backing up
an 'in-use' volume.

For the default implementation in volume/driver.py:
* Create a temporary volume from the original volume
* Backup the temporary volume
* Clean up the temporary volume

For the LVM driver:
* Create a temporary snapshot
* Obtain local_path for the temporary snapshot
* Backup the temporary snapshot
* Cleanup the temporary snapshot

Attach snapshot will be implemented in another patch.

Partial-implements blueprint non-disruptive-backup
Change-Id: I915c279b526e7268d68ab18ce01200ae22deabdd

DRBD: Rename a constant to a better name

As requested in a Icb7347d55dc5b22720269405b6d2b4053c2ad819 review
(https://review.openstack.org/#/c/178573/19..20/cinder/volume/drivers/drbdmanagedrv.py)
constants should consist of uppercase letters only.

Change-Id: I2826fa091b9b7c092c5d436e0a3888cdfa6173a2

Dell SC: Fix legacy bug, init_conn bug and REST API bug.

If Dell iSCSI ports are in legacy mode rather than virtual port
mode initialize_connection would fail to return connection information.

If initialize_connection was called more than once for the same
connection it would attempt to map the volumes again and fail. It should
instead just return the connection information and not try to map the
volumes again.

The Dell REST API 2.2 and later changed the format of the payload
filter.  We need to support either format.

Finally consistency group support is only supported in Dell REST API
2.1 or later.  If the version is 2.0 we raise NotImplemented.

Change-Id: Ie798c49a591abb510bd947fc89c26de18f0f3c87
Closes-Bug: #1476786
Closes-Bug: #1476794
Closes-Bug: #1476797

Dell SC: Fix Consistency Group issues

The Dell Storage Center driver was not honoring the consisgroup_id
in the volume object in volume creation. Updated create_volume,
create_cloned_volume and create_volume_from_snapshot to honor this
value.

The driver was also not checking that volumes were initialized prior
to snapshotting a consistency group. The Dell backend does not
actually create the volumes until there is data or the volumes are
mapped to a server.

On create_volume_from_snapshot the driver was not checking for
cgsnapshot_id before snapshot_id.

Changed from calling the db to update snapshots to retrieving
the SnapshotList() object.

In addition some tests were not checking results. Fixed that.

Change-Id: I896f7438c0b98003aa345ca1c3841aba8835cc2a
Closes-Bug: #1474062
Closes-Bug: #1474105
Closes-Bug: #1475016

Add drivers list generator

It is useful to have a maintained (in source control) list
of drivers that exist in Cinder. It could be used in docs
and unit tests to check method impl on backend drivers.

This change add tool for generate list of drivers based on
existing BaseVD class in class hierarchy of volume drivers.

Output example:
Drivers: ['cinder.volume.drivers.lvm.LVMVolumeDriver',
          'cinder.volume.drivers.rbd.RBDDriver',
         ...]

Implements: blueprint drivers-list-generator
Change-Id: I0e10906873e659e09a6e34531a0c932495d7c399

Add CHAP support for Huawei driver

CHAP authentication for iSCSI has already been
implemented in multiple drivers. The patch aims to
add this feature to Huawei driver.

Change-Id: Idb267cbf8cc237878eeb7e1f381a3440699b1342
Implements: blueprint huawei-storage-add-chap-support

Move volume.api test to correct location

Test test_create_volume_with_consistencygroup_invalid_type in
tests.unit.api.v2.test_volumes is verifying consistency group
logic in cinder.volumes.api. This patch moves this test to
tests.unit.test_volume.py.

Change-Id: I0027f03fd084fd490c43e6a957f84a57de7523a6

Remove logging statements from migrations

One of the things that I believe is causing problems with the move to
ostestr and concurrency in unit test run is the copious amounts of
logging that is coming from the db migrations.  In most cases much of
this logging doesn't really seem all that useful, a debug or info log
stating a migration failed, followed by a raise which should generate
a stack trace with the error anyway, seems we could easily do without
this.

Also the "performing migration xxxx/completing migration xxxx" doesn't
seem overly helpful either.  Keep in mind that the migration engine
does some amount of logging anyway.

In addition, catching the exceptions and logging them isn't overly
beneficial or needed either.  When calling migrate from cinder-manage
if one of the migrations raises an exception that will be propogated
up to cinder-manage and displayed.  In other words all of the info is
already available, so there's no need to put it here.

Finally, if you take a look in general most migrations in other
projects don't LOG every thing for the same reasons.

So this patch removes logging statement from the migrations themeselves.

Change-Id: I285df7061c79c79e217cccb2fe387437c20ff746

DRBD: Define a separate prefix for snapshots

As snapshots and volumes are done via one namespace (DRBD resources),
having distinct names helps during debugging - it's easy to see which
type of Cinder element is.

Change-Id: I4080651c8ac471f1de93ab2b63a6cec46d583bce

Prevent missing Purity hosts from raising errors

Occasionally a Purity host can be deleted out from underneath Cinder.
When this happens if cinder is attempting to disconnect a volume from
that host we should treat it as a ‘success’ since if the host is gone,
it is disconnected already (as far as Purity is concerned).

To prevent one cause of this, the disconnect method will now be locked
with the connect ones so that can’t delete a host we intend to re-use.

Change-Id: Iba82c93f9e101709cf5532225068474688187b29
Closes-bug: #1472710

Revert "Remove X-IO volume driver"

This reverts commit 45e6482998478c953edd6973c2d8304efb910bdc.

Change-Id: I9b53fae7ab7462e3f6f90fdf573f9324a26e0f7c

Merge "Remove obsolete API from documentation"

Merge "Refactor Huawei Volume driver"

Filter cgsnapshots data on the DB side

It filters cgsnapshots data on the DB side to improve performance.

Change-Id: I399ddec9d21345bf0496a293059963363c7c8cbe
Partial-Implements: blueprint data-filtering-on-the-db-side

Merge "Remove lio_initiator_iqns config option"

Merge "Add white list support for target ports in VNX driver"

Refactor Huawei Volume driver

This patch attempts to refactor Huawei volume driver in liberty.
We add a base driver to implement the basic functions.
The sub-class will inherit from the base driver according to different
storages.

The following changes were made in this refactor:
1. Abstract a base class named HuaweiBaseDriver to make Huawei driver more
universal. You can find it in the huawei_driver.py.
2. Put all static variables into the constants.py.
3. Rename rest_common.py to rest_client.py. rest_client.py stores the
relevant methods implemented for Huawei driver.
4. Migrate some public methods from rest_client.py to huawei_utils.py,
such as parse_xml_file(), _get_volume_type() and so on.
5. This refactor only involves structural adjustment and does not involve
functional changes.

Change-Id: I768889e2577a4d975397218eb31e89b42e08e04f
Implements: blueprint refactor-huawei-volume-driver

Graceful shutdown WSGI/RPC server

Change-ID I80487f559302b0e88953835ffb4a3bfe2a347501 introduces
oslo.service into Cinder. The graceful shutdown of RPC server
was introduced via merging of oslo.service.
Actual fix was introduced by https://review.openstack.org/#/c/190175/
into oslo.service.

The oslo.service fix provides this facility through it's wait()
method, so we need to call it in Cinder Service wait() method
which gets called when graceful shutdown is requested by sending
the process SIGTERM.

Change-Id: Iea877e062272103ea48583b5638dec6174e99de0
Closes-Bug: 1464822

Backups: allow name to be specified during restore

This commit adds the ability to specify a `name` attribute during backup
restore. This will create a volume with the specified name during
restore, instead of the default pattern of the form
`restore-backup-<id>`. In case volume id is specified the `name`
attribute is ignored.

DocImpact
APIImpact
Implements: blueprint backup-restore-display-name
Change-Id: I23730834058d88e30be62624ada3b24cdaeaa6f3
Signed-off-by: Abhishek Lekshmanan <abhishek.lekshmanan@gmail.com>

Merge "Fix getting out-of-date volume operation state issue for VNX"

Merge "Support SMI-S provider v8.0.3 in VMAX driver"

Merge "Fix 3PAR driver handling of existing VLUNs"

Merge "scality: add export and name keys to os-initialize_connection info"

Merge "Handle volume not found on zfssa volume delete"

Fix 3PAR driver handling of existing VLUNs

Changes the 3PAR FC and iSCSI drivers to check for existing
VLUNs by taking into consideration both the volume and the host
when querying the backend.

Also pulled out some common code from the FC and iSCSI driver
to reduce duplicate code relating to the finding of existing
VLUNs.

Closes-Bug: #1475064
Change-Id: Id8fbdb5ae79274fb3d074f674df39f56db06f34d

Don’t log warnings in Pure initialize_connection

This method can (and is) called multiple times for the same initiator
and volume combination. Our code handles that case correctly but will
log a warning which is misleading since it is perfectly ok.

Change-Id: Ibc7bafbcd6ecd114626330d608908c955ef8abe6

scality: add export and name keys to os-initialize_connection info

Nova is standardizing on some of the common code for file system type
volume drivers in blueprint consolidate-libvirt-fs-volume-drivers and
expects the 'export' and 'name' keys to be in connection_info['data']
returned from the os-initialize_connection Cinder API.

The Scality volume driver wasn't providing these keys so those are added
here.

Related Nova change: I7db834956c67383e63be2fe2c465118e00273e4b

Closes-Bug: #1475419

Change-Id: I73938c51ac147dca5cf39765768f4ac078bf5e63

Merge "Report capability of multiattach for FlashSystem"

Merge "Raise HTTP exception for backup not found"

Remove "volume:services" rule from policy.json

The rule "volume:services": "rule:admin_api" does not seem to be used.
The cinder/api/contrib/services.py is using "volume_extension:services".
This change deletes "volume:services" rule from policy.json.

Change-Id: Id1d23e44c5b7e8361e21c8568ff67f0012e5c097
Closes-Bug: #1471990

Merge "Dell SC: Add support for ManageableVD"

Report capability of multiattach for FlashSystem

This patch enables the multiattach capability reporting in
_update_volume_stats. This will allow nova to attach and detach
a volume to multiple virtual machine instances.

Change-Id: Ie66850c954168612dd1c17c14e75cd64c0c6d1e7
Implements: blueprint ibm-flashsystem-multiattach

Handle volume not found on zfssa volume delete

The zfssa driver doesn't handle cases where a volume may not
exist on the backend when a delete call is sent.  The result
is a stack-trace in the logs, sometimes a crash of the service
and an inability to clean up volumes from Cinder's perspective.

This patch doesn't address the root cause of the issue, but
it does handle the case more gracefully by catching the
exception, logging an error and returning.

This way the volume can be cleaned up on the Cinder side and
the operator still has an indication that something went wrong.
This is a common pattern for most of the drivers in Cinder.

Change-Id: I09725b29effb79450d010949527bd54329919f52
Closes-Bug: #1472412

Raise BadRequest for invalid replication status

Raise HTTPBadRequest instead of HTTPNotFound while creating
a volume from an existing source replica with invalid replication
status 'disabled'.

APIImpact

Change-Id: If7ac01a9452dca0446088189b658340da538c427
Closes-Bug: #1471694

Add unit tests for cinder.api.v2.volumes

Add units tests to increase coverage for
cinder.api.v2.volumes.VolumeController.create.

Change-Id: I7c4225de5d32ecd0ad78fc7c0ff847a8bee7b7da

Raise HTTP exception for backup not found

If backup cannot be found while resetting its status, Cinder
exception (BackupNotFound) is raised instead of HTTP exception.
This patch handles the BackupNotFound exception and raises
HTTPNotFound exception.

APIImpact
HTTPNotFound exception (404) is raised instead of BackupNotFound
if backup cannot be found during backup reset-status.

Change-Id: I5a41c71a83c05d09c6d1e2e506adca6cfbe3e890
Closes-Bug: #1474748

Merge "VMEM v6000: Fix export verify routines"

Merge "Cleanup unused method fake_get_target"

Merge "Remove useless logging from unit tests"

Merge "Preserve mock side_effect’s in test_pure"

Removing OpenvStorage for no CI

It has been over a month since the CI maintainer was communicated via
third party mailing list, and the CI is still not reporting.

Change-Id: I25e125d76beb27da10a8ac617c70db357fcef57c
UpgradeImpact: OpenvStorage driver removed

Remove unused serialize_args method

In cinder/objects/base.py there is a method called serialize_args that
is unused.  It looks like a leftover from when we didn't use Versioned
Object Serializer.

This patch removes this method.

Change-Id: I3e0ad4e6c037def7d5aa56e7f0552453618d164d

Merge "Add support for force-delete backups"

Merge "Add ability to override OpenStack privileged user auth url"

Merge "StorPool: clean up the last uses of str.format()"

Merge "Fix saving tz aware datetimes in Versioned Objects"

Remove obsolete API from documentation

Cinder doesn't support EC2 API and doesn't contain cinder.api.ec2
module.
Also references to cinder.api.openstack.auth and cinder.api.cloud were
removed too.

Change-Id: I30f71cf541d93d3ab68780328e2dea6ebd326b63

Tests: test_volume mock conversion

The goal here is to try to drive down complexity in
our tests.  Note that this file is massive and this
will be a gradual effort, not something that will
be completed in one patchset.

osprofiler is mocked out in all unit tests now, so
remove that from here.

Make a first pass at converting these tests over to
mock and strengthen the assertions for calling methods
that were previously mocked with stubs.

Remove a bunch of "fake" methods, using mock instead.

Switch to mock decorators for some tests where it
makes the code easier to follow.  This helps because
it separates test setup from the test itself more
clearly.

Change-Id: Ifdf2980d183cf83c88848a20519403648427a644

Fix restore point if backup base is diff-format in ceph

In Ceph when backup base is diff-format and use this backup
to restore volumes not rbd, need to find out the correct restore
point.

This is fixed in cinder/backup/drivers/ceph.py _diff_restore_allowed.

Before the change: when backup is diff-format, and destination volume
is not rbd, the function returns restore_point as None. As a result,
backup restore uses wrong image/snapshot to do restore.

With the change, we always get the right restore point, regardless
of the kind of restore we'll do differential or not.

Change-Id: I006c05d246f59fc6aff597543bedc68589d37576
Closes-Bug: #1472088

Add white list support for target ports in VNX driver

Currently, VNX cinder driver registers host initiator to all
configured iSCSI/FC ports on array and chooses ports from
all available ports to return in initialize_connection.

By introducing a new driver option io_port_list:
1. driver will only register initiator to ports in io_port_list
2. driver will only return ports in io_port_list from initialize_connection

Change-Id: Ie64eceb73bc0d70076033a29295c3efc57f34db4
Closes-Bug: 1470003

Merge "Removing archaic references"

Merge "Storwize_svc_npiv_compatibility_mode default value change"

Merge "Fix HBSD horcm driver with oslo.concurrency 2.1.0"

Preserve mock side_effect’s in test_pure

The helper method to test if exceptions are propagated or handled would
unset the mock objects side_effect value when its done. This overrides
the original value making the mock not behave as expected as soon as it
is passed into assert_error_propagates.

This changes the helper to store the original side effect and then put
it back once we are done making it throw an exception.

Change-Id: I71900071a1c050913b7283aa743a17c24da1a6b9
Closes-Bug: #1474130

Merge "Updated from global requirements"

Merge "cinder list fails with 'name' sort key"

Merge "NetApp ONTAP: Add debug tracing"

StorPool: clean up the last uses of str.format()

Replace three logging uses of str.format() with parameters passed
directly to LOG.error(), simplifying them in the process by
avoiding the need to call six.text_type() ourselves.

Replace the remaining use with string concatenation.

Suggested by: Sean McGinnis in review 188725
Change-Id: Ie53c394d7f31fa1dccfa4ed5c4b514539c77aa05

Removing archaic references

This document was originally imported from Nova. Removing some of the
old references to Quickstart and Hypervisors.

http://docs.openstack.org/developer/cinder/devref/development.environment.html
has a dangling link to a ../quickstart document (removed long ago.)

Change-Id: If70f4cb45034e78304cd8c5c5d5deccb692d19e7
Closes-bug: #1225822