Merge "Remove un-used import at test_volume_transfer.py"

Merge "Adds FC and ISCSI Cinder drivers for DotHill Storage Arrays."

Merge "Allow provisioning to reach max oversubscription"

Deprecate the HPLeftHandISCSIDriver CLIQ driver

This patch adds a deprecation message to the HPLeftHandISCSIDriver CLIQ
driver with the plan of removing it in the 2016.1 release. The
HPLeftHandISCSIDriver REST based driver should be used instead.

Change-Id: I9eb1fc71d7be4848f116e0585964af97cae210b5

Allow provisioning to reach max oversubscription

Currently if provisioned ratio is equal to max_over_subscription_ratio,
the capacity filter does not allow any more thin provisioning. This patch
makes a change so that thin provisioning is allowed if provisioned ratio
is equal to max_over_subscription_ratio; it will only stop provisioning
if provisioned ratio is greater than max_over_subscription_ratio.

Change-Id: Ibf13ef97472b80a1b59ffd4389a4ed2eacf67205
Partial-Bug: #1458976

Adds FC and ISCSI Cinder drivers for DotHill Storage Arrays.

DocImpact
Implements: blueprint dothill-fc-cinder-driver
Implements: blueprint dothill-iscsi-cinder-driver

Change-Id: I6a852ee6f1df29606aca5fe6fe3c5ef427359b5c

Merge "Bump SolidFire version number"

Merge "Dell SC: update_volume_stats could use uninitialized vars"

Bump SolidFire version number

Should have bumped version in this commit:
    Ia67b2b9e3c0bf3b0b1f991e958f8eac13830f9cc

Forgot, so do it now.

Change-Id: If3ef470c8d5c3b2c178d8f7f7ad6bed1df68fef9

Merge "Disable backup progress notifications for unit tests"

Dell SC: update_volume_stats could use uninitialized vars

In _update_volume_stats in dell_storagecenter_common.py totalcapacitygb
and freespacegb are not necessarily initialized in the LOG.debug call.
Changed to data['total_capacity_gb'] and data['free_capacity_gb'].

Also initialized to total_capacity_gb and free_capacity_gb dict entries
to 'unavailable' which allowed the removal of two conditionals in the
same function.

Change-Id: Ib699e0d1cf67645298628aa96656888193843509
Closes-Bug: #1461230

Merge "Fix assertRaisesRegexp deprecation warnings in UT"

Merge "Switch get_all_snapshots to use objects"

Disable backup progress notifications for unit tests

We have code somewhere which is firing backup createprogress
notifications into the notifier, which causes random unit
test failures.

Until we determine exactly why this happening, attempt to
avoid this problem in the gate by disabling these notifications.

Related-Bug: #1412513

Change-Id: I50b7946562e757ee26cb68b17b4a5ffcd5f3fabd

Merge "Refactor PureISCSIDriver into base and iSCSI classes."

Merge "EMC VMAX Manage/Unmanage Volume"

Fix assertRaisesRegexp deprecation warnings in UT

This commit changes assertRaisesRegexp occurrences to
assertRaisesRegex to fix deprecation warnings.

Change-Id: I22fb6224057716f734a8ac69da72ccdb9b464289
Closes-Bug: 1461171

Refactor PureISCSIDriver into base and iSCSI classes.

This adds in a new class called PureBaseVolumeDriver that contains
all of the generic shared methods that utilize the management REST API.

The PureISCSIDriver now inherits from the base driver and implements
the functionality required for iSCSI hosts/initiators.

As part of this we’ve cleaned up some of the logging where it would
previously have hard coded the drivers class name in it, and moved some
static non-class helper methods into the base class.

These changes will ease future work to add additional drivers or split
them into separate files.

Implements: blueprint pure-base-driver
Change-Id: Iaf3979e5cccc150d09ca00daa3d9c3471f9795a0

Merge "Use SolidFire snapshots for Cinder snapshots"

Merge "Fix volume creation from image with allowed_direct_url_schemes"

Merge "Add chap support to CloudByte cinder driver"

Merge "NetApp FC driver shims missing manage/unmanage"

Fix cinder concurrency issues on rtstool

Since there's no synchronized access to configfs in rtslib it can happen
that rtstool or rtslib access an element that no longer exists because
it has been removed just in the middle of a loop by another Cinder
request.

This results in quite a different number of exceptions:
- .dump()
- KeyError
- IOError
- RTSLibError on storage_object

This patch synchronizes access to all rtstool calls that access or
modify configfs using utils.synchronized decorator.

Change-Id: I341a10da54ab01be68a0cae843f35e5c841c6d81
Closes-Bug: #1460692

Use SolidFire snapshots for Cinder snapshots

This patch just replaces the use of clones on the SolidFire
backend for SolidFire Snapshot objects.  This isn't necessarily
an issue, but it is important necessary to do things like
consistency group snaps.

Note, that we have to keep compatability for things like
create_from_snapshot where the system may have clones that
were used for snapshots prior to updating the driver.

While we're here, we also removed the logging calls in the test
which shouldn't really be there, as well as the overly chatty
debug messages like "entering/leaving".  More cleanup work
can be done to logs but should be in their own patch.

Change-Id: Ia67b2b9e3c0bf3b0b1f991e958f8eac13830f9cc

Switch get_all_snapshots to use objects

The following patch switches direct db calls in
volume/api.py get_all_snapshots to use SnapshotList
instead.

Partial-Implements: blueprint cinder-objects
Change-Id: Ifdccc81a087f9797fcfbf098d3ecea3875ad7bd9

Merge "Add volume ID to fake volumes in Gluster tests"

Merge "Notification with volume and snapshot metadata"

Merge "VMware: insecure option should be exposed"

Notification with volume and snapshot metadata

Now notify message to ceilometer do not contain volume
metadata/glance_metadata and snapshot metadata, which are
useful to bill and enrich resource information in ceilometer.

This feature will add the metadata/glance_metadata of volume
and metadata of snapshot to notification usage info.

Change-Id: I04097be9f2da1d6bc45a2d5770bcd543a3f41887
Implements: blueprint notification-with-volume-and-snapshot-metadata

Merge "Create iSCSI lio portals with right IPs and port"

Merge "Fix capacity filter to allow oversubscription"

Add volume ID to fake volumes in Gluster tests

This adds the volume ID field to the fake volume objects
in the GlusterFS tests.  Turning up concurrency exposes some
issues where access of this field is attempted but doesn't
exist.

Parital-Bug: #1459854

Change-Id: I0edb4fc7f2d6d4a3c23f395b4c2a611c0e954425

Fix capacity filter to allow oversubscription

Currently the capacity filter does not allow oversubscrition
if the free physical capacity is less than the new volume size.
This was based on the assumption that a new thinly provisioned
volume will be consumed right away. This assumption does not
allow us to take full advantage of thin provisioning.

The fix is to allow oversubscription if thin provisioning is
supported and max_over_subscription_ratio is greater than or
equal to 1. The free physical capacity will not be used to
compare with the new volume size for a backend that supports
oversubscription in thin provisioning. The oversubscription
ratio and virtual free capacity will still be used to decide
whether a backend can be chosen for thin provisioning.

Closes-Bug: #1458976
Change-Id: I4c8904445654db839c25ded420915f83c3756f94

Merge "Fix response when querying host detail by host name"

Merge "Fix expression-not-assigned pylint issues"

EMC VMAX Manage/Unmanage Volume

This patch adds support for manage/unmanage volume in
the VMAX driver.

implements blueprint emc-vmax-manage-unmanage
Change-Id: If944108526e75c34dccb1d4a071131feb4cd33e4

Add chap support to CloudByte cinder driver

CloudByte iSCSI cinder driver currently does not support
iSCSI CHAP security setting. This opens a security vulnerability
whereby any host machine can mount a CloudByte iSCSI volumes
created via OpenStack.

This patch adds CHAP authentication support for the CloudByte iSCSI
cinder driver.

Admin has to manually add the auth group and chap username/password in
CloudByte storage. Driver uses the first user found in auth group.

DocImpact
Change-Id: I2c4c8320c7471e5cf2e2e242dbe1729c8974bf28
Implements: blueprint add-chap-authentication-support-to-cloudbyte-cinder-driver

Merge "Stop using deprecated timeutils.isotime()"

Merge "Fix wrong response with version details"

Merge "Create consistgroup from cgsnapshot support in VNX driver"

Remove un-used import at test_volume_transfer.py

There is an un-used import 'cinder.volume' at
ciner/tests/unit/api/contrib/test_volume_transfer.py.
Remove it, meanwhile there is using 'cinder.transfer.API'
at line #548 and line #581, so make the import consistent
by changed 'from cinder import transfer' to 'import cinder.transfer'.

Change-Id: I989c7b0a07e5e2836e41c0c922975f0c25b9ccdb
Closes-Bug: #1459497

Merge "Updating cmd/manage.py get_arg_string() argument parser and adding unit test"

Merge "Add standard QoS spec support to cDOT drivers"

NetApp FC driver shims missing manage/unmanage

The NetApp FC drivers' passthrough shim layers are missing the
manage/unmanage methods, causing the manage/unmanage functions
to fail.  The necessary functionality is already present in
the underlying library layer, so the trivial fix is to add the
functions to the passthrough layers. This patch also adds a
unit test to ensure the four block storage driver interfaces
remain in sync.

Change-Id: I0fa7e16b23e5148f82a8b51bf4380f4384c35759
Closes-Bug: #1444517

Updating cmd/manage.py get_arg_string() argument parser and adding unit test

Looks like get_arg_string() would improperly chop off the first two characters
of an argument that was passed in with one dash.  For example,
passing '-option foo' would return 'tion foo' instead of 'option foo'.

Change-Id: Ib9aee601711b22c5243aca35f5c6196f494d23a9
Closes-Bug: #1459453

Merge "Display NOTIFICATIONS on assert failure"

Fix expression-not-assigned pylint issues

Fixed expression-not-assigned (warning code W0106: Expression "%s" is
assigned to nothing) pylint issues in cinder project.

Closes-Bug: 1459538
Change-Id: Ibb16bde9ff0e3ebc3f1b595ea402d27938b5cf32

Add standard QoS spec support to cDOT drivers

This commit adds support for standard cinder QoS specs to
NetApp cDOT drivers, alongside our pre-existing support for
externally provisioned QoS policy groups via qualified
extra specs.

Implements-blueprint: add-qos-spec-support

Change-Id: I4bd123020d00866a346ad02919ac1d82f7236134

Merge "Avoid LUN ID collisions in NetApp iSCSI drivers"

Avoid LUN ID collisions in NetApp iSCSI drivers

Previously, the logic to calculate the LUN ID only considered a single attached
host. Because multiple hosts can be attached to a LUN, the logic needs to
consider multiple hosts. This patchset proposes to choose non-conflicting
LUN IDs across the whole array. This patch first checks for an empty LUN ID
across the array. If it doesn't find one, then it looks for the least used
LUN ID across the whole array.
The value of MAX_LUNS_PER_HOST has been changed here as the range function
iterates from 0 to n-1 LUN IDs. With Eseries backend, a maximum of 256 LUN_IDS
are supported, thus a value of 256 MAX_LUNS_PER_HOST is required.

Closes-bug: 1433825
Closes-bug: 1457995
Change-Id: I033368c12c90d7fbbaf81b065f1a1c8c5975006a

VMware: insecure option should be exposed

Commit Ida730db66b154a4d445f7a91bccb9ca5b5a26f5e introduced
certificate verification but did not expose the option to turn
on/off verification using the insecure boolean of oslo.vmware.

DocImpact

Change-Id: I834c9fb407c8790dab14db0308f7e7f1d551669e
Closes-Bug: #1451633

Merge "Dell SC driver honoring folder name after volume creation."

Create iSCSI lio portals with right IPs and port

Currently lioadm helper creates portals with fixed IP addresses 0.0.0.0
and ::0 and also uses fixed standard port 3260 instead of using store
configuration (iscsi_ip_address, iscsi_secondary_ip_addresses,
iscsi_port) from the configuration as it should.

This could lead to problems if a different port was defined in the
configuration as the target would be available only on 3260 and other
services would look for it at configured port.

With this fix we now create the right portals with the right port.

Since now we pass list of ips and port to helpers cxt helper has also
been updated to use these parameters instead of going directly to the
configuration.

Change-Id: I77e8865b1f015a9fa155f2b4552a5d9c27f5e122
Closes-Bug: #1425875

Create consistgroup from cgsnapshot support in VNX driver

Changed VNX Cinder driver to support creating a consistency group from
a consistency group snapshot and refactored the migration lun code for
reusing the code in create cg from cgsnapshot feature.

Change-Id: Id8f35b3e427262faf8c29506dfdc166403aca6db
Implements: blueprint create-cg-from-cg-snapshot-vnx

Stop using deprecated timeutils.isotime()

oslo_utils.timeutils.isotime() has been deprecated, stop using it, see:

  http://docs.openstack.org/developer/oslo.utils/api/timeutils.html#oslo_utils.timeutils.isotime

Change-Id: I0176f498db89a3a10c2474e4ae5c4b0929c65ece

Fix response when querying host detail by host name

When querying host detail by host name like
'wanghao-devstack-snapshot@lvmdriver-1'
returned by host list command, cinder returns
incorrect result in 'total' block.
"resource": {
        "volume_count": "0",
        "total_volume_gb": "0",
        "total_snapshot_gb": "0",
        "project": "(total)",
        "host": "wanghao-devstack-snapshot@lvmdriver-1",
        "snapshot_count": "0"
        }
This issue is caused by 'volume_data_get_for_host'
in sqlalchemy. This has nothing to do with multibackend,
this is due to the introduction of pool support for single
backend.
Fix this by querying volume filter by host or host name
like 'host#%' in volume_data_get_for_host.

Change-Id: I751a474677d50e552d87fe06fadfed45e3c1ddab
Closes-Bug: #1429787

Fix wrong response with version details

Now,Version details for API v2 were being reported as v1.

This patch fixed this bug.

Change-Id: I9698b33210e7d2f89f8a717d0ad2ada3edb4c391
Closes-bug:#1458850

Merge "Leverage dict comprehension in PEP-0274"

Merge "Targets test refactoring"

Merge "Address 0x712d8e0e error in VNX Cinder Driver"

Merge "Add missing '-o' CLI option to VNX Cinder Driver"

Merge "Brocade driver not parsing zone data correctly"

Merge "Don't use dict.iterkeys()"

Display NOTIFICATIONS on assert failure

From time to time we have itermitent errors regarding the
fake_notifier.NOTIFICATIONS count.

This patch does two things to try to find out which notifications are
being fired unexpectedly:
- Make sure that fake_notifier is reset in cleanup regardless of
  exception raised by shutil.rmtree
- Display fake_notifier.NOTIFICATIONS whenever count assertion fails.

Related-Bug: #1412513
Change-Id: I07370636d8b30098dcb2a70ef1985c2f5aee81be

Merge "Validate name and description for volume type"

Brocade driver not parsing zone data correctly

There is an error in the parsing of zone information
in the Brocade zone manager driver. This patch ensures
the zone information is correctly parsed.

Closes-Bug: 1456996
Change-Id: I6477164af0a60997be295587e506b37d7e019bcf

Merge "Use nfs_oversub_ratio when reporting pool capacity"

Don't use dict.iterkeys()

Replace list(dict.iterkeys()) with list(dict). The call to iterkeys() is
useless and the iterkeys() method of dictionaries was removed in
Python 3

Change-Id: I16733643d4b92fe8134eec2549bbd679fe75fb9c

Merge "Add ability for drivers to copy data preserving sparseness"

Address 0x712d8e0e error in VNX Cinder Driver

In original implementation, 0x712d8e0e error is not considered.
Thus, some snapshot creation and volume extending operations may fail
when the system is in a transition state.

This patch is to add some waiting and retry logic when 0x712d8e0e error
comes out so that the system is more error-tolerant.

Change-Id: I615e49693ada7cf25fd2d2fa224f76c6f20cf630
Closes-Bug: #1443338

Leverage dict comprehension in PEP-0274

PEP-0274 introduced dict comprehensions to replace dict constructor
with a sqeuence of key-pairs[1], these are benefits:
  First, it makes the code look neater.
  Second, it gains a micro-optimization.

Cinder dropped python 2.6 support in Kilo, we can leverage this now.
Note: This commit doesn't handle dict constructor with kwargs.
This commit also adds a hacking rule.

[1]http://legacy.python.org/dev/peps/pep-0274/

Change-Id: Ie65796438160b1aa1f47c8519fb9943e81bff3e9

Merge "Leave sqlalchemy convert to boolean to the DB SQL type to use."

Merge "Check volume_backend in retype"

Add missing '-o' CLI option to VNX Cinder Driver

In some NaviSecCLI command, if -o is not given, the command may prompt
some message and ask for 'y' or 'n' for confirmation in some special
scenario, which is not working for Cinder.

This patch is to add the missing '-o' option to avoid these failures.

Change-Id: Ia665f6a20703218065aa4cf65b766def3daee290
Closes-Bug: #1453654

Validate name and description for volume type

If you pass name parameter with long string of more than
255 characters to type-create and type-update api, then
it returns 500 error code.

Added a check in _create() and _update() methods of 'types_manage'
extension to validate string limit and returned 400 if limit exceeds.

Closes-Bug: 1450388
Change-Id: I68c607df90a3dfeae7a841a1dddee5416fa42d13

Leave sqlalchemy convert to boolean to the DB SQL type to use.

Closes-Bug: #1457033

Change-Id: I969a4d60aa156ccfff09a58c3a448b5a9619e71f

Merge "Fix a problem with FAST support in VMAX driver"

Merge "Remove HDS HUS iSCSI driver"

Add ability for drivers to copy data preserving sparseness

Drivers can set self._sparse_copy_volume_data to opt in
to copying data in a way that preserves sparseness.

This is likely to be desired elsewhere, but currently this
patch only enables it for the NFS driver and provides a
method for other drivers to opt in, in case there are
unexpected issues in some drivers.

On the NFS driver, this prevents volume migration from
changing a volume file from sparse to fully allocated.

Change-Id: Ib74b2fb4015b805d33de42dfe60c8a97cc970b84
Closes-Bug: #1455595

Remove HDS HUS iSCSI driver

Removes HDS HUS iSCSI driver as it's deprecated and will not be maintained anymore.

DocImpact

The documentation about HDS HUS iSCSI driver should be removed.

Change-Id: If30c3e183f8216a6a1406dfc8041a37b88132ac0

Updated from global requirements

Change-Id: I6f3a3aee9af7752d2a2372d8177133925157dfb5

Merge "VMware: Handle concurrent inventory folder create"

Merge "Remove unused context parameter"

Merge "Fix tiny typo: compatability => compatibility"

Merge "LVM: Support efficient data copy using "dd" for create_cloned_volume"

Merge "Replace suds test dependency with suds-jurko"

Merge "Cinder os-force_detach api returns 500"

Merge "LVM: Pass volume size in MiB to copy_volume() during volume migration"

Merge "Switch to oslo_versionedobjects"

Merge "Remove use of deprecated LOG.warn"

Merge "Fix incorrect reraising of exceptions"

Use nfs_oversub_ratio when reporting pool capacity

Currently NetApp NFS drivers do not make use of the nfs_oversub_ratio
configuration parameter to enable OpenStack administrators to report
anything other than the most conservative capacity and usage information
up to the scheduler

This commit:
  *  modifies the NetApp drivers to use the nfs_oversub_ratio as
     documented.
  *  uses direct API with filers to gather capacity information rather
     than stat and du commands
  *  brings our reporting of reserved percentage in line with the way
     the scheduler actually makes use of this statistic
  *  simplifies and cleans up the way we gather and report pool statistics

Note that this fix addresses an in-the-field bug report from juno
and is intended to be the basis for backported fixes.

In kilo, a more general approach to overprovisioning using
     max_oversubscription_ratio
was introduced via commit 3548a4bc9edbb26b248b5af5ecc2145f2c6f7481.
In this newer approach, the scheduler computes "virtual" free space
rather than the driver reporting "apparent" free space.

This fix to bring NetApp NFS drivers into conformity with the generic
NFS driver is not intended as a substitute for introducing support
in our drivers for the newer approach to overprovisioning.  Rather,
it is a bug-fix for an existing failure to honor the nfs_oversub_ratio.

DocImpact
Co-Authored-By: Dustin Schoenbrun <dustin.schoenbrun@netapp.com>
Closes-bug: 1449620
Change-Id: Ic7b606b88f063b9ed6df62fd1fb7248922496326

LVM: Pass volume size in MiB to copy_volume() during volume migration

Currently migrate_volume() in lvm.py does not pass volume size in
MiB but passes volume size in GiB to copy_volume(). The size argument
of copy_volume() requires MiB value. As a result, if the volume size
is 1GiB, copy_volume() copies only 1MiB head of 1GiB volume to the
destination volume, and then the volume data is corrupted.
This patch fixes to pass volume size in MiB.

Closes-bug: #1454835
Change-Id: I8e06195dc3625ef07bc9858d844541e37a231b73

Merge "Fix overwrite of params in SF image cache update"

LVM: Support efficient data copy using "dd" for create_cloned_volume

The create_cloned_volume uses dd command for data copy, but the
copy always copy full blocks even if the source data contains
many null or zero blocks. When we use thin provisioned LVM,
blocks are not pre-allocated, so unused region returns zero.
If we copy full block for destination volume, unnecessary blocks
will be allocated and the usage will be 100%.

The dd command has conv=sparse option in order to copy data more
efficiently. This patch enables conv=sparse option as an argument
of dd command for create_cloned_volume when we use thin provisioned
LVM.

[NOTE]
This patch only enables conv=sparse parameter of dd command for
create_cloned_volume() path of LVM driver. There are some places
using dd in Cinder, but we should carefully consider to apply
this parameter for other places because misuse of this parameter
causes security issues or data corruptions. Also we DO NOT use this
parameter for volume wiping case because the volume is not cleared
at all.

Here are some results for this option.

- Without conv=sparse option
  LV            VG    Attr       LSize   Pool     Origin Data%
  vg1-pool      vg1   twi-a-tz--   3.80g                  31.45
  volume-clone  vg1   Vwi-a-tz--   1.00g vg1-pool        100.00
  volume-source vg1   Vwi-a-tz--   1.00g vg1-pool         19.53

- With conv=sparse option
  LV            VG    Attr       LSize   Pool     Origin Data%
  vg1-pool      vg1   twi-a-tz--   3.80g                  10.28
  volume-clone  vg1   Vwi-a-tz--   1.00g vg1-pool         19.53
  volume-source vg1   Vwi-a-tz--   1.00g vg1-pool         19.53

Change-Id: I743f823ca38529b12301a89308d1d406aa3fa45f
Closes-bug: #1224671

Fix a problem with FAST support in VMAX driver

The VMAX driver doesn't distinguish between storage groups for
masking views (used for attachment) and storage groups for volumes
under FAST policy. This causes problems during attach volume.
This patch fixed the problem.

Change-Id: Ibb086f336e78c23e4907562d39f460eae3004bca
Closes-Bug: #1435069

Remove use of deprecated LOG.warn

LOG.warn is deprecated and LOG.warning should be used.

This patch fixes up instances of LOG.warn usage and adds a
hacking check to make sure it doesn't creep back in.

See Logger.warning note here for background:
https://docs.python.org/3/library/logging.html

Also cleaned up some remaining instances where logging was
preformatting strings rather than passing in formatting
arguments to the logger to handle.

Change-Id: Id2e6cba489d8509601820b5aed83652f71be2bdc

Fix incorrect reraising of exceptions

There are several places in the code where exception handling raises
the exception variable rather than just calling raise. This results
in the traceback being incorrect.

Had considered adding a hacking check for this, but that becomes a
little tricky. There are valid places where "raise ex" is used that
would prevent a simple check.

Change-Id: Ib2bd745c7ef600c514a94c3fd638d15d17a623a2

Switch to oslo_versionedobjects

oslo_versionedobjects was not made available until very
late in the Kilo cycle (i.e. near the end of kilo-3).
In order to make progress on cinder objects, a fork of
nova objects was made, so that proper trial and testing
could be done. The following patch makes the switch to
use oslo_versionedobjects.

Implements: blueprint cinder-objects
Change-Id: I883f387c8247e8d79da82016a624cef2180cde88

Merge "Add patch for consistency group update in ProphetStor driver"