Support iSER driver within the ISCSITarget flow

Currently the iSER driver is supported over TGT only,
and there are a couple of iSER classes that inherits
from iSCSI classes, but most of their functionality is
the same as the iSCSI classes. This code duplication caused
instability in the iSER driver code, when new features or
changes are added to the iSCSI driver flow.

Main changes:
  1. Added a new parameter to volume/driver.py in order to
     set the iSCSI protocol type to 'iscsi' or 'iser', with default
     to 'iscsi'.
  2. Configured TGT VOLUME_CONF and VOLUME_CONF_WITH_CHAP_AUTH
     with the new iSCSI protocol parameter.
  3. Added support for RDMA (using iSER) to cinder-rtstool.
  4. Set "driver_volume_type" to "iscsi" or "iser" value, according
     to the new parameter value.
  5. Added unit tests for the new iSER flow.
  6. Added deprecation alert to ISERTgtAdm.

DocImpact

Implements: blueprint support-iscsi-driver

Change-Id: Ie2c021e7fd37e7221f99b3311e4792c958045431

Merge "Remove useless and unused request_utils"

Merge "Adds unit tests for HNAS backend"

Merge "Add retry to lvm snapshot create"

Merge "Fetch_to_volume_format calls copy_volume using wrong parameter"

Merge "Fix configratuion of rally jobs"

Adds unit tests for HNAS backend

HNAS drivers only have unit tests for the driver classes. The backend class
used to interface with the array didn't had unit tests.

Change-Id: I1f27533bf6890f033602abdcde33bb42e49c2851

Merge "HP 3PAR modules have bad log messages"

Merge "TgtAdm: Fix _recreate_backing_lun logging"

Fix configratuion of rally jobs

* Reduce requested resources by rally job
* Remove nested snapshot benchmark cause seems like it has some
  issues not related to cinder

Change-Id: Id38cc0670f081b352e7db2b63e47e156ed277382

Merge "Updated from global requirements"

Merge "Changed pvs separator from ':' to '|' to support names with ':'."

Merge "Fix the eqlx driver to retry on ssh timeout"

Updated from global requirements

Change-Id: I77d92824c867cabfe505f169e1a224ac805d650f

Merge "Revert "Create SolidFire Template account on init""

Merge "Add provisioned_capacity"

TgtAdm: Fix _recreate_backing_lun logging

If the execute of tgtadm new fails, the exception
thrown skips over the debugging output.

Ensure the output from the command is always
printed.

Change-Id: I9772c0f725cd6a19d4af8acae814a046e6cfdd17

Revert "Create SolidFire Template account on init"

This reverts commit a36100bd34a22ddc3b620947809a41d328b1e949.

Change-Id: I86f6af5ad18f3236a3f7c5db70acdf2f292ae3b5

HP 3PAR modules have bad log messages

Some log messages are incorrectly formatted. Specifically, those
messages that take multiple variables. In this case, each variable
needs to be assigned a unique placeholder.

This defect was recently introduced when all log messages where
updated to use "," instead of "%" (see
Change-Id: I23d53d66fda47981ed8f20b618b2ced8ef6e0682),
which allowed translations to be ignored if not required by current
log levels.

Change-Id: Ic3439ba24c61579457dee206064bed2465ae4b6b
Closes-Bug: #1411370

Remove useless and unused request_utils

This code is not used and has never been used by Cinder, let's remove
it as it is safe to do so. It's not imported anywhere.

Change-Id: I963caebb304d2211755164a082fc600a9570dd1e

Create SolidFire Template account on init

The standard flow in the SolidFire volume is to create
accounts dynamically as needed based on project id.
Unfortunately the clone_image method "forgot" about this
detail and calls the private clone_volume method without
a valid account resulting in an AccountNotFound
Exception.

The clone_image method is enabled using a specific account
provided via the configuration file.  Rather than worry
about dynamic account creation on clone_image call, this
patch just makes it part of the init phase.  We check to
see if template caching is enabled and if it is, just
go ahead and check/create the account on startup.

Closes-Bug: #1414760

Change-Id: I62f3f7aff958c097ae662d21b2c0f55a8d08f784

Fetch_to_volume_format calls copy_volume using wrong parameter

When creating a volume from an image, if qemu-img is not installed,
fetch_to_volume_format will call volume_utils.copy_volume to copy
image to volume. Copy_volume need the size of image in megabyte,
but fetch_to_volume_format call it using size in bytes.

Change-Id: Ia3b0f9168235a977a12232e27a5755ad11ec18f5
Closes-Bug: #1414867

Changed pvs separator from ':' to '|' to support names with ':'.

get_all_physical_volumes() runs:

pvs --noheadings --unit=g -o vg_name,name,size,free
    --separator : --nosuffix

Which can produce a variable number of fields if the 'name'
incorporates ':', as in the following:

cinder-volumes-array-lun-0:/dev/disk/by-path/ip-10.8.77.11:3260-
    iscsi-iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eb1b
    540000000053c487b0-lun-0:931.01:931.01

Change-Id: Ia5442af2a06a004ff1af58ce08b816506b369f22
Closes-Bug: 1414076

Merge "Remove unnecessary method: _ensure_iscsi_targets() in tgt.py"

Merge "Raise correct exception when validate_connector failed"

Merge "Move 3 Fujitsu ETERNUS DX related file"

Merge "Use uuidutils from oslo.utils"

Raise correct exception when validate_connector failed

Cinder volume manager uses validate_connector() method to verify if required
information is in connector when handling initialize_connection() request.
validate_connector() is actually a pure input validation method, basically
checking if 'initiator' or 'wwpns' is in connector if storage protocol is
iSCSI or FC.  However, when required information is missing, currently drivers
raises either VolumeBackendAPIException or VolumeDriverException, which would
then bubble up to API and then to user (Nova) as InternalServerError.

This change adds a new exception - InvalidConnectorException, that drivers
should raise when connector is found not valid.  With that, Cinder API would
raise BadRequest instead to user, suggesting things are missing in request.

Change-Id: I4f04f5d0c558404836a2bd270f7f22f3f2d4f314
Closes-bug: #1409580

Add provisioned_capacity

This change is needed by the over subscription patch:
https://review.openstack.org/#/c/142171/

This patch makes the following change:
Add 'provisioned_capacity' to Cinder base driver, Cinder reference
driver (LVM), and scheduler host_manager.

provisioned_capacity is the apparent allocated space indicating how
much capacity has been provisioned.

Example: User A created 2x10G volumes in Cinder from backend A, and
user B created 3x10G volumes from backend A directly, without using
Cinder. Assume those are all the volumes provisioned on backend A.
The total provisioned_capacity will be 50G and that is what the driver
should be reporting.

Change-Id: I26035a8b591309a922efa517e50c68eb57ef6d2d
Partial-Implements: blueprint over-subscription-in-thin-provisioning

Merge "Update tests for Quobyte Cinder drv from mox->mock."

Merge "Fix _usage_from_snapshot in volume.utils"

Merge "Raise correct exception if deleting of LIO iSCSI target is failed"

Move 3 Fujitsu ETERNUS DX related file

Since there are three volume driver files relating to
Fujitsu ETERNUS DX in cinder.volume.drivers,
I make 'fujitsu' directory at cinder.volume.drivers
and I move these files to the directory.

Closes-Bug: #1402349

Change-Id: I449346fa86940113f5b9e7a7108338b45e981053

Add retry to lvm snapshot create

We have some occasional issues with snapshot-create
failing for what looks to be conflicts with udev.  It
looks like this problem is a status conflict between LVM
cache and udev, and in most cases the best way to get
around this is to retry the command a few times until
the cache and udev are back in sync.

This patch uses the newly added retry decorator and
for now we're just adding it to the snapshot create
call.  We're using the default values for interval and
retry count but we can certainly adjust this as needed.

Change-Id: Ic884b829591361da979fde968f5710237b34565f
Closes-Bug: #1335905

Merge "Add a generic retry decorator to cinder/utils"

Merge "Fixes a small issue in find_autodoc_modules.sh"

Add a generic retry decorator to cinder/utils

Retries are something that we use in a number of
places, and could probably use in a few more.  Rather
than continue writing custom retry code or silly loops
let's add a generic retry decorator class that can be
initialized and used as needed.

This patch leverages the retrying library that's already
in OpenStack Requirements and used in other places.  We
just add a wrapper around it for some logging and add
a bit of error handling incase somebody sets retries to 0

Co-Authored-By: Josh Harlow <harlowja@yahoo-inc.com>
Change-Id: I629373d3c75be591ccde5608c8c85f2debd47447

Use uuidutils from oslo.utils

Change-Id: I6313ad1d3da1a8e9efeab5d4f336e6f43f7a9857

Merge "Remove usage of taskflow 'utils.misc' module"

Remove unnecessary method: _ensure_iscsi_targets() in tgt.py

This method is unnecessary in tgt.py after Target Object is
introduced at change-id I43190d1dac33748fe55fa00f260f32ab209be656.

Change-Id: I33a56db72535c7ea9bf6ddf43fbdd6eff923c9f3

Raise correct exception if deleting of LIO iSCSI target is failed

When using LVM driver and LIO target, terminate_connection in LIO
target raises ISCSITargetAttachFailed if deleting of iSCSI target
is failed.

This should raise ISCSITargetDetachFailed.

Closes-Bug: #1414207
Change-Id: I98060d5a0bcd720df15434305ab8d3e31bdb1a43

Merge "Fix HNAS driver confusing error message (iSCSI driver)"

Merge "Remove argparse from requirements"

Merge "Move oslo.serialization to oslo_serialization namespace"

Merge "Cleanup unused DB APIs, part I"

Merge "Fix bug in rbd driver: the cloned volume size is wrong"

Merge "Add retrying lib from global requirements"

Cleanup unused DB APIs, part I

There are unused DB APIs, some of them were leftovers of other features
removal, some are purely added without being used.  This change removes
these unused DB APIs.

Note that there are some DB APIs only used by unit tests, in other words
they are used in unit tests where they are not the unit of code being
tested. Those will be cleaned up in follow-up patch(es).

Change-Id: I456e64445dc8a258fdcc3c1b309f59f8adcc23e3

Remove argparse from requirements

Since Cinder does not support Python 2.6 anymore and that argparse is
native in Python >=2.7, no need to pip install it.

Change-Id: I1701a3f6584c5fc827387b185d7182d3011062ca

Merge "VMware:Fix error creating vCenter inventory folder"

Update tests for Quobyte Cinder drv from mox->mock.

Removes mox framework from Quobyte Cinder Driver tests, replacing
it by mock framework code.

blueprint: qb-driver-mox2mock

Change-Id: I12d10b555269cf1da97c80b233412ebbc363bd42

Fixes a small issue in find_autodoc_modules.sh

When generating docs, the modules listed under api all seem to be
missing the first letter after "cinder." at the beginning.

Change-Id: I924e55642350d3bb813ebab7cb978915fdd8b964
Closes-bug: #1408828

Merge "HP 3PAR modules do not follow coding guidelines"

Fix the eqlx driver to retry on ssh timeout

When the ssh session is timing out, the driver
should make attempts to retry based on the value
in eqlx_cli_max_retries. Instead it was raising
the exception and bailing out on a single attempt.

Fixed the driver to raise a different exception
so the ssh sessions can be retried.

Added unit tests to ensure the max retries
happen

Also fixed the actual attempts made in the message

Change-Id: I9bda46f9ef63eec436a381da3c96c09ce77c31ef
Closes-Bug: #1412940

Add retrying lib from global requirements

Submitted a retry decorator and it was pointed out that
the retrying library was already in global-requirements,
it would probably be good to leverage this and use it rather
than roll our own, so let's add it to our version of requirements
and then we can look at whether using a decorator or just
leveraging the lib is the right way to go.

Change-Id: Ieea042e5cd65b7c7bfa803996f60856fcae054bf

Remove usage of taskflow 'utils.misc' module

The failure type at its old location in an internal
utils directory of taskflow is deprecated (in general
usage of taskflow utils code should be restricted/not
done) and it has been moved to a public location of
taskflow.types (which is ok to use and is not
deprecated).

This change updates to use the better and more supported
module/code location instead.

Change-Id: I8b8c6e98c934fbf1341b8f1c907ecd385405a3c1

Move oslo.serialization to oslo_serialization namespace

This is the fifth in a series of changes to move to using
the new oslo_<library> namespace that is being used for
oslo libraries.

There is currently a shim in place that is allowing the old
oslo.<library> imports to work, but we need to be prepared for
when the shims go away.  Thus, we need patches like this one to
move to the new namespace.

This patch also updates our hacking check to ensure that no instances
of oslo.utils sneak back in.

Change-Id: Ida0f9512a816d45ec5cae4dc4da4dbc923a67cf4
Partial-bug: 1409733

HP 3PAR modules do not follow coding guidelines

Should use "," instead of "%" in logging messages, and
the use of "\" to continue lines should be avoided.

Change-Id: I23d53d66fda47981ed8f20b618b2ced8ef6e0682
Closes-Bug: #1411370

Merge "Ensure lazy translation is disabled properly"

Merge "Fix cinder-manage shell ipython"

Merge "Improve debug logging of Dell Storage Center driver"

Merge "Shrink down customized logging listener"

Merge "Move oslo.utils to oslo_utils namespace"

Improve debug logging of Dell Storage Center driver

Adding debug message and expanding some existing log statements
to make debugging and auditing easier. Some interesting calls
were not being logged while others had logging that was missing
some relevant arguments.

Change-Id: Iad5ceb9305aa5b03f429a8f624eb7f51d0ca6814

Fix _usage_from_snapshot in volume.utils

Now in this function we trying to get snapshot_ref.volume for
collecting 'availability_zone'. It's invalid because snapshot_ref
in this function is __dict__. In this patchset there is fix for
it.

Change-Id: I4cb86c0efd7520904fdf2288048d07cc40ed3a13
Closes-bug: #1390064

VMware:Fix error creating vCenter inventory folder

Creating vCenter inventory folder for grouping volumes will
fail with AttributeError if the vCenter's datacenter doesn't
have any child folder under vmFolder (inventory folder for
grouping virtual machines). This patch fixes it.

Change-Id: I0454a6c6a8c1dd49b0e369887883e2b45a778885
Closes-Bug: #1413537

Merge "Updated from global requirements"

Fix cinder-manage shell ipython

IPython current stable version is 2.3.1, and the code
in cinder-manage is only work for IPython < 0.11. The
patch make it work for IPython 2.3.1.

Change-Id: I1555744fbf80771455ebd9f9095e8f9ddc7d16e7
Closes-Bug: #1413485

Shrink down customized logging listener

Most of the code for this has been moved into taskflow
upstream; so now we should be able to override a single
*cinder-specific* method and retain the same functionality
that previously existed but in a more shareable manner (for
example glance will be using similar code).

Change-Id: I848897ed006147305f9a2c5e1e6a5ecbf598c128

Prevent deleting volumes in a consistency group

Currently you have to destroy the consistency group if you want to
delete these volumes. In the Kilo release, we'll have the ability to
remove a volume from a consistency group, which then can be deleted.

Closes-Bug: #1413427
Change-Id: Ice8ab88a89e447a08c3ce71c7698dd5fcf02d1e9

Fix bug in rbd driver: the cloned volume size is wrong

The cloned volume size is wrong when the size is different
from source volume. This is because rbd driver doesn't
resize the volume when clone has completed.

Change-Id: If953441b2c24dee46bd64e6d4b8f4d3ab116f0fa
Closes-Bug: #1412317

Merge "DRBD: remove a wrong comma, it creates a tuple"

Merge "Fix the iSER legacy usage in the new targets flow"

Fix HNAS driver confusing error message (iSCSI driver)

The error message shown when the parser finds a parser error
says, 'file not found' which causes confusion on the user when
he/she needs to debug the real cause of the problem. This patch fixes
this by testing first if the file exist and then throwing a proper error
message.

Also corrects an error when appending the config_file_name to the message on
the NFS driver and fixes LOG messages according to oslo.i18n guidelines.

Closes-Bug: #1403986
Change-Id: Ib6e613796eede751215db54696b353431caaafd1

Updated from global requirements

Change-Id: I1859c16eb9bf00bdffe64a7f64aae575a1b916ae

Ensure lazy translation is disabled properly

Commit 894f20d9cf57b36ccf9a675c6b2b070d56c9b297 changed the way that
enable_lazy() is being configured in cinder's test cases.  The changes
were required to remove the use of _lazy from the oslo's i18n library.
_lazy was removed from i18n and the code that was accessing the internal
variable broke.  The commit referenced above made changes to remove
the use of _lazy.

The commit, however, changed the behavior of the test cases to only
enable_lazy without disabling it, which diverges from the original
behavior.

This commit uses the new oslo.i18n ToggleLazy fixture (added in 1.3.0).

Closes-bug: 1408099
Change-Id: If9530b2bb8f0f511ccff4527ea9f2d13f7103bdb

Merge "DRBD: Log an error if libraries can't be loaded"

DRBD: remove a wrong comma, it creates a tuple

Change-Id: I8a1152b9f173171be7611ed600ade1033791a5bf

Merge "Add policy_dirs conf fixture"

Move oslo.utils to oslo_utils namespace

This is the fourth in a series of changes to move to using
the new oslo_<library> namespace that is being used for
oslo libraries.

There is currently a shim in place that is allowing the old
oslo.<library> imports to work, but we need to be prepared for
when the shims go away.  Thus, we need patches like this one to
move to the new namespace.

This patch also updates our hacking check to ensure that no instances
of oslo.utils sneak back in.

Change-Id: I19c331a9b54c5f42c278577ecc59fe1b65e61af0

Merge "Make test_create_delete_snapshot more robust"

Merge "Move oslo.config to oslo_config namespace"

Make test_create_delete_snapshot more robust

This patch does two things to improve this test, and
help debug issues with it failing.

- Add additional checks for contents of the first two
  expected notifications.
- Assert the length of the notifications list after checking
  its contents so that if it contains unexpected items, we can
  see what they are.  This should help with the current gate
  failures.

Change-Id: Ib92247389fb3be6d65a658880fd47e634f1da8d1
Related-Bug: #1412513

Add policy_dirs conf fixture

Unit tests that call into the policy enforcer from openstack
common will try to load files from the default directory of
'policy.d'.

Set the policy_dirs option to [] for unit tests since tests
are not trying to use policy from a directory like this, and
this will prevent test failures.

Change-Id: I7645179aeab3713a5addfccb0bb44a28e8fc4e87
Closes-Bug: #1412526

DRBD: Log an error if libraries can't be loaded

Having a meaningful error message is better than a backtrace.

Change-Id: I0631228228db06efdedd65a44a286824b34e0b1a

Merge "Verify the instance's existance in the VMAX driver"

Fix the iSER legacy usage in the new targets flow

The iSER driver flow, after setting volume_driver to LVMISERDriver,
is broken in the new driver - target model in the master,
due to a mismatch in the target prefixes and a lack of iSER target
initialization, with the correct parameters.

In order to fix this:
  1. The function initialize_connection, that sets the iSER required
     parameters, was added to cinder/volume/targets/iser.py (and overrides the
     new connection initialization in cinder/volume/targets/tgt.py).
  2. The iSER and iSCSI prefixes equalized, due to the removal of brick/iscsi
     with the different default prefix for ISERTgtAdm (and for stability).

Closes-Bug:#1411470

Change-Id: Ie4b9b85b47e9da20a1de1e10415766413cd01f04

Move oslo.config to oslo_config namespace

This is the third in a series of changes to move to using
the new oslo_<library> namespace that is being used for
oslo libraries.

There is currently a shim in place that is allowing the old
oslo.<library> imports to work, but we need to be prepared for
when the shims go away.  Thus, we need patches like this one to
move to the new namespace.

This patch also updates our hacking check to ensure that no instances
of oslo.config sneak back in.

Change-Id: I45d24c4330f7c23fc5ad0a0527f1840d09710512

Merge "TgtAdm: Don't change CHAP username/password on live migration"

Merge "Add support for manage/unmanage volume commands to PureISCSIDriver"

Merge "Fixed server name being retained after detach in LeftHand"

Merge "Scality: Lock around SOFS mount to avoid a race"

Merge "Create proxy volume driver"

Merge "Capitalize the first letter in log messages."

Add support for manage/unmanage volume commands to PureISCSIDriver

This change adds implementations of the required methods to make
manage and unmanage commands work with the PureISCSIDriver. You can now
call them and specify a volume name of an existing non-cinder volume on
the array and it will rename the volume accordingly to allow cinder to
manage it. When a volume is unmanaged it is renamed with a “-unmanaged”
suffix and left on the array.

Implements: blueprint pure-iscsi-manage-volume
Change-Id: I2fa63ba50a367fd06a2ede7768eb338bf6a1ee4e

Merge "Set 'driver_volume_type' to 'gpfs'"

Merge "Switch the PureISCSIDriver over to using the purestorage pypi module."

Merge "Implement clone_image caching on SolidFire"

Merge "Fix bug in sheepdog driver: the wrong volume size"

Scality: Lock around SOFS mount to avoid a race

Both cinder-volume and cinder-backup could want to mount the
SOFS at the same time (during init).

Related-Bug: #1410341
Change-Id: I75faa6eb283bc7c1f655cf5b051bed025af3d701