Port NetApp NFS drivers to use ABC driver model

NetApp NFS drivers inherit from NfsDriver, which in turn
inherits from RemoteFSDriver.  Now that RemoteFSDriver and
NfsDriver have been ported to the ABC driver model, we have ported
the NetApp NFS drivers as well.

Change-Id: I785d0bb282589cab9efee60ab7900e09d54bb7e0
Partially-implements: blueprint abc-driver-update

Merge "Fix saving tz aware datetimes in Versioned Objects"

Merge "Removing archaic references"

Merge "Storwize_svc_npiv_compatibility_mode default value change"

Merge "Fix HBSD horcm driver with oslo.concurrency 2.1.0"

Merge "Updated from global requirements"

Merge "cinder list fails with 'name' sort key"

Merge "NetApp ONTAP: Add debug tracing"

Removing archaic references

This document was originally imported from Nova. Removing some of the
old references to Quickstart and Hypervisors.

http://docs.openstack.org/developer/cinder/devref/development.environment.html
has a dangling link to a ../quickstart document (removed long ago.)

Change-Id: If70f4cb45034e78304cd8c5c5d5deccb692d19e7
Closes-bug: #1225822

Merge "Remove unused parameter in PureFCDriver _connect"

Merge "set/unset volume image metadata"

cinder list fails with 'name' sort key

Change sort key from `name` to `display_name` if the key, `name` exists.

Change-Id: I9e285c7de2e860b251f881ab82d8d2d93e1191d2
Closes-Bug: #1404020

Storwize_svc_npiv_compatibility_mode default value change

IBM cinder config item storwize_svc_npiv_compatibility_mode
should always be set to True. Mark it as deprecated and remove
it in M release.

Closes-Bug: 1471749

Change-Id: I2de183b2a86e034d7939e7aa39ee2672320c9add

Remove unused parameter in PureFCDriver _connect

The ‘initiator_data’ parameter is unused and can safely be removed.

Change-Id: I6b9c8b7b87a75fc15400d141c8b16c5f9a364953
Closes-Bug: #1473822

Merge "Fix not implemented wording in update_migrated_volume"

Updated from global requirements

Change-Id: I4549af0e48c9b43b18ec9dafb8abff394d9d2fa7

Fix saving tz aware datetimes in Versioned Objects

Currently we cannot save date fields in Versioned Objects because they
are timezone aware and our database is not.

If we look at our objects definition, we are not giving any value to
tzinfo_aware argument, so it takes DateTime default value (True).

In our sqlalchemy model definitions we are defining our datetime fields
as Column(DateTime) which will take sqlalchemy default: class
sqlalchemy.types.DateTime(timezone=False)

In most cases we are accessing those fields directly through the DB
methods, so we don't see the problem, but if we were to modify any of
those fields using versioned object, for example scheduled_at, and then
save the object we'll get an exception:

 File ".../sqlalchemy/sql/type_api.py", line 278, in compare_values
 return x == y
 TypeError: can't compare offset-naive and offset-aware datetimes

Because we are trying to save a timezone aware date to a timezone
unaware DB field.

Following Dan's advice we create a specific cinder_obj_get_changes,
instead of overwriting obj_get_changes, that returns all datefields as
timezone naive UTC datetimes ready for saving.

Change-Id: Ie7b0249e3f6850e7c70d23fc53cfaf27fe04afbb
Closes-Bug: #1469120

Merge "Improve 3PAR driver VLUN creation and deletion"

Merge "Remove hacking check N327"

set/unset volume image metadata

This patch implements:
- Create, delete, update APIs for modifying volume image metadata.
- Refactoring in the volume API to accommodate both user and
  image metadata.
- All of the necessary testcases needed for the changes.

DocImpact
APIImpact
Partially implements: bp support-modify-volume-image-metadata
Change-Id: I22792ef7bd49c763d7c130aa8cac9abc3fff2d4c

Merge "Fix NetApp cDOT driver use of Glance locations"

Fix not implemented wording in update_migrated_volume

It was recommended in review https://review.openstack.org/#/c/180873
that the message sent to the NotImplementedError exception be reworded.
The recommendation was made late in the review process and was not
corrected.  This patch implements the recommendation.

Change-Id: I1b0356c7b9d7e493c8501ce388ca4bc855b1e517

Improve 3PAR driver VLUN creation and deletion

This patch improves the creation and deletion logic for VLUNs
for the 3PAR drivers. The changes will help to prevent VLUNs
from being left behind after volume detaches. It also prevents
extra VLUNs being created when initialize_connection is called
multiple times for the same volume and host.

Closes-Bug: #1469816
Change-Id: I497564cb4bd661252570eb2e69962f7d5f3c07da

Remove hacking check N327

With mock 1.1.0+, mock will fail when nonexistent
methods are called, so this check is no longer
necessary.

Related-Bug: #1473454

Change-Id: I9cb8b4a5eab78e51728aa8f83668f5979c0b9be1

Fix tests failing in gate

gate-cinder-python27 gate-cinder-python34 is reporting failures where it
wasn't before. This is all due to new mock version 1.1.0.  This patch
fixed the tests to pass the gate.

Some of these errors are actual errors in our test code, while other are
changes to Mock syntax.

Closes-Bug: #1473454
Change-Id: If8eabfeacacc221e92dfece9f4937875bd70751e

Merge "Add missing argument to delete_keys method"

Merge "Set encrypted key in connection_info during initialize"

Merge "GlusterFS: support extending a volume that has snapshots"

Merge "Storwize Driver zone removing"

Merge "Nested Quota: Set default values to subproject"

Merge "Validate outermost request body element name consistently"

Set encrypted key in connection_info during initialize

There are encrypted volume tests in Tempest which are passing
in the ceph job but the encryption providers in nova (luks and
cryptsetup) are not actually being called in nova because the
'encrypted' key isn't being set in connection_info for the Rbd
volume driver, and nova is keying off that value to determine
if it needs to run it's encryption providers.

So the tests are passing in the ceph job but it's a total false
positive and the API should actually fail - either the cinder
API to create the encrypted volumes if the Rbd volume driver in
Cinder doesn't support encryption, or the volume attach call in
nova if it can't encrypt the connected volume, either way the
test should fail until that support is baked into nova.

I'm not aware of any kind of 'supports_encryption' or 'encryptable'
capability flag for cinder volume drivers, but that might be
needed for the volume create API to fail if trying to create a
volume from an encrypted volume type where the volume driver
itself doesn't support encryption - but maybe it's only a nova
problem since nova has the encryption providers.

This is fixed generically in the VolumeManager's
initialize_connection method where we check for the encrypted
flag being set in the volume driver method and if not, the
manager sets it based on the volume.encryption_key_id value.
We do this globally since there are other volume drivers besides
rbd that aren't setting the encrypted key in connection_info,
but we test rbd in the gate via the ceph job so most of the
bug tracking is around validation of the ceph job.

Related Nova change: I8efc2628b09d4e9e59831353daa080b20e17ccde

Depends-On: I8548d41095513b9e669f773e3f35353e9228ead9

DocImpact: Attaching 'encrypted' RBD volumes to a Nova server
           instance created from the libvirt virt driver will fail
           since RBD volume encryption is not currently supported in
           Nova's libvirt driver.

Closes-Bug: #1440227
Related-Bug: #1463525

Change-Id: I03f8cae05cc117e14f7482115de685fc9f3fa54a

Nested Quota: Set default values to subproject

In case of hierarchical projects set the default value
(for resources who have the resource flag set) for a
sub-project to zero. This patch adds this functionality for
hierarchical projects, while keeping the functionality
intact for non-hierarchical project. At the top level,
project resources will get the default values as imposed
by the "default" class settings.

Co-Authored-By: Erickson Santos <erickson@lsd.ufcg.edu.br>
Change-Id: I3b357464d5e5e0aa065506ac1e9d908e87f45c63
Partially-Implements: bp cinder-nested-quota-driver

Fix NetApp cDOT driver use of Glance locations

As of Kilo, Glance returns a list of locations associated with an
image, but the NetApp cDOT driver only operated on the first one.
In addition, Glance has started enforcing a schema on the metadata
that can be added to images stored in the file glance_store. This
change modifies the cDOT driver to iterate through the list of
locations, using the correct schema-compliant fields, and uses the
first one with a valid IP address for our backend for optimizing
the copy of images into Cinder volumes.

Co-authored-by: Tom Barron <tbarron@dyncloud.net>
Closes-Bug: #1461116

Change-Id: Ia788aea5110b74833c6a0594f26c9727e06fd87e

Merge "Scality SOFS: enhance how the remoteFS mount is detected"

Merge "Add tracing facility for drivers"

Merge "Fix missing pool name in consistency group"

Merge "Correct overquota error message"

Merge "Validate maximum limit for quota"

Merge "RemoteFS: Reporting configured reserved_percentage in _update_volume_stats"

Merge "Dell SC: Add support for consistency groups"

Merge "Port NetApp E-Series iSCSI driver to ABC model"

Merge "Port huawei driver to Python 3"

Merge "Fix error message in Pure driver with correct text"

Fix missing pool name in consistency group

This patch makes sure that the entire host is used
in the consistency group host entry.  Previously,
whatever host entry was in the database was being
overwritten by the volume manager's self.host entry,
which doesn't contain a pool.

Change-Id: Ib377429f9cb442b5aaeb2338dd36b6e33f49a41c
Closes-Bug: 1472344

Merge "Return 404 if volume type encryption is not found"

NetApp ONTAP: Add debug tracing

Add debug tracing to the NetApp ONTAP drivers using the
utils.trace_method and utils.trace_api decorators. This
is enabled in the driver via the 'trace_flags' configuration
option.

Change-Id: I7a50b06af28d9dfee83ac44e0ba9dd8233151e2f

Add tracing facility for drivers

It is useful for engineering to be able to see the API traffic
to and from the storage controllers, as well as to see the
progression of method calls through the driver.

This work will add a simple config option to enable various
debug tracing types to be written to the debug log at runtime.
Use of the decorator has been added to NetApp drivers.

Drivers can make use of this facility by adding the
@cinder.utils.trace_method decorator to any method
calls they would like to allow tracing for or use trace_flags
for any other developer targeted debug logs. The trace_method
decorator can easily be added to every function of a class by
using the cinder.utils.TraceWrapperMetaclass or
cinder.utils.TraceWrapperWithABCMetaclass metaclasses. It is
advised to use the added decorators as the outer most decorator
for a function in order to avoid side-effects with other
decorators.

The @cinder.utils.trace_api method should be used to log
requests to storage backends by wrapping a method that
has the request as an argument and returns the response.

For example:
@six.add_metaclass(cinder.utils.TraceWrapperMetaclass)
class MyClass(object):
    pass

DocImpact
Change-Id: Ib9b9d3f40a272bb9c7ebccd1dc63df68a555eac5

Fix error message in Pure driver with correct text

The error message was specifically mentioning the PureISCSIDriver but
now there is a PureFCDriver which could call the error message. This
change gets the name of the driver and uses that to ensure
the error message refers to the correct driver.

Closes-Bug: #1469523
Change-Id: Ib724073ea352dadfbe7ddcf4ee4ceedd5d2c7c41

Merge "Notify the transfer volume action in cinder"

Notify the transfer volume action in cinder

Now when we transfer a volume, there is not corresponding action
notification that is sent to ceilometer. Include the actions of create,
accept and delete.

The bp that this patch implements, proposes adding those action to enrich
the notification in cinder.

Notify is added in Create, Accept, and Delete actions.

Change-Id: I9d71c55d103cc501f60585b64902d364af21d4d9
Implements:  blueprint notify-the-transfer-volume-action-in-cinder

Merge "Avoid race condition at snapshot deletion stage"

Storwize Driver zone removing

Storwize driver may remove zone even when the zone is still in use
by an attached volume. To fix this issue, we need only report initiator
and target map when there are no volumes attached.

Closes-Bug: 1468913

Change-Id: I075b8d37d4d312ae6d812b41bb3732f20987a72d

Merge "Remove duplicate volume.filters entry"

Dell SC: Add support for consistency groups

Added support for consistency groups. Associated tests added to
test_dellsc.py and test_dellscapi.py. create_consistency_group_from_src
is not implemented in this patch.

Minor change to iscsi driver inheritance.

Change-Id: I485329883ba35b341f1b3e79897e5fe6680de1f3
Implements: blueprint dell-add-consistency-groups

Merge "Validate bool value using strutils.bool_from_string method"

Merge "Add unit tests for the capacity filter"

Merge "Remove X-IO volume driver"

Merge "Separate FlashSystem FC and iSCSI common code"

Merge "Port hitachi driver to Python 3"

Remove duplicate volume.filters entry

mv has already been added by gpfs driver

Change-Id: I1cac9088e377b4cf8a44a5a25174ea68cbe900d4

Merge "Port test_db_api to Python 3"

Merge "Mock socket.gethostbyaddr in test_v7000_fcp"

Merge "Do not allow to modify access for public volume type"

Merge "smbfs: fix invalid check for smbfs_used_ratio correctness"

Merge "Use right oslo.service entry points"

Merge "Update expected error message from lvs"

Port NetApp E-Series iSCSI driver to ABC model

This commit modifies the NetApp E-Series volume driver to the
new ABC driver model.  The corresponding FibreChannel driver
already uses that model since it was recently implemented and
was written with an appropriate ABC class signature in the first
place.  A corresponding class signature is now used for iSCSI.

This commit also modifies a couple doc strings to match the
corresponding FibreChannel driver.

Change-Id: I624efd6e511f15d34fff1d97a0848c2610185e17
Partially-implements: blueprint abc-driver-update

Merge "Fixed misspelling in solidfire.py"

Separate FlashSystem FC and iSCSI common code

The patch is mainly to split original FC driver code into common
code and FC driver for IBM FlashSystem. iSCSI driver merged in L-1
has been inherited from original FC driver for common functions
already.

In this patch,
* Separate FC driver into new driver and common code.
* Modify iSCSI driver to inherite the common code.
* Common function _get_node_data in iSCSI driver is moved into
common code.
* Add locks in initialize_connection and terminate_connection
for iSCSI driver.
* Remove flashsystem_multipath_enabled to use Cinder iSCSI
multipath support.

Implements: blueprint ibm-flashsystem-split-fc
Change-Id: I166a14e3eef370a22f4c0a675d451a3a4a6989f1

Merge "Fix Python 3 issues in cmd"

Update expected error message from lvs

drivers/lvm.py uses _volume_not_present() to avoid deleting a snapshot
when it does not exist in the lvm backend. This functions uses brick/
local_dev/lvm.py get_lv_info() which expects "not found" as error message.

Since LVM2 2.102.112, The error message returned by lvs changed
From:
    One or more specified logical volume(s) not found
To:
    Failed to find logical volume \"%s/%s\"

Change-Id: I032a916666918b07d00983a42f10dd8efc17ee8b
Closes-Bug: #1470218

Merge "Switch to oslo.reports"

Merge "Fix block eventlet threads on rbd calls"

Fix HBSD horcm driver with oslo.concurrency 2.1.0

The oslo.concurrency 2.1.0 has replaced locks and replaced with fasteners which
means that locking stuff has moved to a generic 3rd party lib. This lib uses
the variable "path" instead of "fname".

Closes-bug: #1470112
Change-Id: I8b844c827c940a01da9cd97d8f69b3a7e42f706c

Merge "Revert First version of Cinder driver for Quobyte"

Remove X-IO volume driver

CI hasn't been reporting for almost a month and the maintainer hasn't
been responsive on the third party mailing list.

Change-Id: Ia99f7ec11f2dd31d458a34ec35200c0d644e5d90

Merge "Implement the update_migrated_volume for the drivers"

Merge "Port image/glance.py to Python 3"

Merge "Updated from global requirements"

Implement the update_migrated_volume for the drivers

This patch implements update_migrated_volume for LVM, Storwize
and updates Dell, StorPool and Infortrend drivers accordingly. It
makes sure that after a successful volume migration, the cinder
volume name(id) is the same as the backend volume name(id). Other
back-end drivers can take this patch as a reference to implement
update_migrated_volume.

PS: Not applicable to multi-attached volumes, since we need to wait
until the multi-attach lands in Nova.

This patch also adds a unit test for the StorPool driver's
update_migrated_volume() implementation.

Co-Authored-By: Peter Penchev <openstack-dev@storpool.com>
Change-Id: I69707340ddf2b55286ff0d84319529b2f502cefa
Partial-Bug: #1450649

Avoid race condition at snapshot deletion stage

Snapshot`s list method can raise SnapshotNotFound exception.
It happens because of race condition:
1. List method gets all snapshots from DB.
2. At the same time one of the snapshots is being deleted from DB.
3. List method gets snapshot metadata from DB and checks
   that snapshot exists in DB and raises the exception.

This patchset changes behaviour of getting snapshot metadata from DB.
Code now gets metadata from db_snapshot object that was queried
by joined query from DB instead of second query for each snapshot
for metadata.

And I removed checking of snapshot existence for getting
metadata for private method because all public methods already have
such decorator. Using second decorator will slow public method.

Change-Id: I7f743638d9be4c01e18315a3459aecd2b3e9fd87
Closes-Bug: #1462453

Fix Python 3 issues in cmd

* Replace filter() with a list-comprehension using if to get a list on
  Python 3.
* Get the mock module from the stdlib unittest module on Python 3.3 and
  newer, or fallback to the third-party mock module.
* Replace __builtin__ with six.moves.builtins.
* tox.ini: add the following tests for Python 3.4

  - cinder.tests.unit.test_api
  - cinder.tests.unit.test_cmd

Blueprint cinder-python3
Change-Id: Iea516ae598e8eebfc1087663a9b3e0a00d0633d3

Port image/glance.py to Python 3

* Fix usage of six.reraise(): new_exc is the exception value, not the
  exception type
* Replace __builtin__ with six.moves.builtins.
* test_extracting_v2_boot_properties(): set config.glance_num_retries to
  fix the test on Python 3 (comparison between mock and int now raises
  a TypeError on Python 3).
* TestGlanceSerializer: use dictionaries with only one key to have a
  reliable output even if the hash is randomized (hash randomization is
  now enabled by default in Python 3).
* tox.ini: add cinder.tests.unit.image.test_glance to Python 3.4.

Blueprint cinder-python3
Change-Id: I33cd02e1b0666d7b5999b2fdaf469dc59fff1866

Switch to oslo.reports

The Guru Meditation Reports has graduated from oslo-incubator, Cinder
should switch to use oslo.reports to keep the code base clean.

NOTE: this should be merged after the requirements has been synchronized.

Change-Id: Ic91a0c5eed09ecdec93e707e901f4bcc55980f72
Closes-Bug: 1469575

Validate maximum limit for quota

Currently, when updating quota using limit larger than 0x7FFFFFFF,
there will be a DBError. The maximum limit needs to be validated.
And the maximum value is defined by SQL integer type INT, which
is a general value:
http://dev.mysql.com/doc/refman/5.0/en/integer-types.html
http://www.postgresql.org/docs/9.1/static/datatype-numeric.html

Change-Id: I3b4bd3badb84224bd8196c4fdd523c68310809de
Closes-bug: #1433052

Merge "Fix backup.rpcapi to pass object backup"

Updated from global requirements

Change-Id: Ifc6a27522a5f47306f909a7de651291a96befe54

Merge "Replace missed basestring by six for python3 compatability"

Merge "Fix timeout issue in EMC VNX driver unit test"

Merge "Fix typo in solidfire driver option"

Merge "Fix Python 3 issues in targets unit tests"

Fix block eventlet threads on rbd calls

Commit Ibaf43858d60e1320c339f2523b5c09c7f7c7f91e caused new problem with
cross thread communication. According to Python documentation, code can
lead to a deadlock if the spawned thread directly or indirectly attempts
to import a module. python-rados spawns new thread to connect to
cluster. So I removed new spawning new thread to connect to rados. All
long-running operations calls whith python-rbd are still implemented in
native Python threads to block eventlet loop.

Change-Id: Ic9971254102914080383b63cd2807e36213dd6eb
Closes-Bug: #1401335

RemoteFS: Reporting configured reserved_percentage in _update_volume_stats

In remotefs, reserved_percentage will be always reported up to the
scheduler as 0, irrespective of the value of cfg.reserved_percentage.

This patch modifies the code to use reserved_percentage configuration
parameter while updating status.

Closes-Bug: #1458640
Change-Id: I53917835b79797417aca7b1b3c794c84b6143ab5

GlusterFS: support extending a volume that has snapshots

GlusterFS driver currently prevents extending a volume that has
snapshots. This patch enables this feature to GlusterFS driver.

Closes-Bug: #1470148
Change-Id: I763b1a84f32277f3efab2382ad144768bee59aa6

Port dothill to Python 3

* Replace urllib2 with six.moves.urllib
* On Python 3, encode string to UTF-8 to hash it using MD5
* On Python 3, decode base64 from ASCII to get Unicode
* Replace "pattern in exc" with "pattern in exc.args"
* test_initialize_connection(): fix get_active_iscsi_target_portals()
  mock. Use the return_value attribute to return a dictionary, instead
  of returning a single IP address.
* tox.ini: add cinder.tests.unit.test_dothill to Python 3.4

Blueprint cinder-python3
Change-Id: Ib20bca813c2352eae447c374ded75c6dafb2e18d

Fix backup.rpcapi to pass object backup

Transfer object backup instead of backup.id in
rpcapi.import_record().

Change-Id: Ie535c48d3987971f0541cdb1594363a4decd4d1c
Closes-Bug: #1470355

Fix typo in solidfire driver option

As reported by Ed Balduf, the description of sf_account_prefix
had a simple typo in it, which this patch fixes.

Change-Id: Ib3864de0bdae6763810f3a5a40789ac1e5b0bbff
Co-Authored-By: Ed Balduf <ed.balduf@solidfire.com>

Mock socket.gethostbyaddr in test_v7000_fcp

Currently test_v7000_fcp doesn't mock socket.gethostbyaddr and
hardcodes expected response to be google-public-dns-a.google.com
(as it is querying for 8.8.8.8 as IP). This introduces dependency on
external DNS lookup to pass unit tests and causes problems with
running tests behind a proxy.

This commit mocks socket.gethostbyaddr in the problematic test.

Change-Id: I3a0288d8e51c832a72e16e23af5adbee990f9e20
Closes-Bug: 1470113

Replace missed basestring by six for python3 compatability

Basestring has been replaced by six.string_types in cinder except
the ones in the file v7000_common.py.

Change-Id: I43c0f4cd2e2a990df8d0cceea2f04ee33afe2104
Closes-Bug: #1470315