Manage/unmanage impl for NetApp ONTAP iscsi driver

This patch implements manage and unmanage support for NetApp's
cmode and 7mode iscsi drivers. The input required for manage call
is either source-id or source-name or both.

Implements: Blueprint cdot-iscsi-manage-unmanage
Implements: Blueprint 7mode-iscsi-manage-unmanage

Change-Id: Ifdc700122b98a2fb6cbd53d913d72391d7e92b54

Merge "Dell sc driver iscsi multipath enhancement"

Dell sc driver iscsi multipath enhancement

Added support for the connector's multipath boolean.  If this is
set the initialize_connection function returns arrays of all the
IQNs, LUNs and portals associated with the mapping of the volume
to the server.  If this is not set the standard return of a lone
IQN, LUN and portal is implemented.

Minor change to find_volume.  If a volume name or instance isn't
set then it will not be sent as a payload filter to the Dell
Storage Center array.

Additional Unit Tests to support the changes.

Change-Id: I2f7404c76c71f5bf6d06496ab5aa4617ba80615b
Implements: blueprint dell-sc-driver-iscsi-multipath-enhancement

Merge "Fix return value inconsistency in VNX Driver"

Fix comments style according to the Hacking Rules

According to the PEP8(E265) there should be at least
one space before block comment.

Change-Id: Ic51f80210becc375b30f0f4e9eeb54995775c817
Partial-Bug: #1407162

Merge "Snapshot of bootable volume goes in error state"

Fix return value inconsistency in VNX Driver

When iscsi_initiators option for EMC Cinder Driver has no value,
a dict object is returned by find_available_iscsi_targets() in
EMC Cinder Driver while a list is expected. Thus an
initialize_connection() will fail due to the inconsistency.

This patch is to fix this inconsistency in the driver.

Change-Id: I094340cc60da4a8b423233983a1d00784bbbb8ea
Closes-Bug: 1422563

Merge "Fixed typo"

Merge "quobyte: remove dependency to xattr"

Merge "Pool-aware scheduler support in EMC VNX Cinder driver"

Merge "Fix extraneous comma that breaks docbook generation"

Fixed typo

There were spelling mistakes in couple comment sections in the code.

Change-Id: I05d419bdf6402032fe1bc3b90c51cfd8381c3741

Pool-aware scheduler support in EMC VNX Cinder driver

Changed EMC VNX driver to report pools information in
update_volume_stats and removed the original pool selection
logic in VNX driver.
Besides, deprecated the VNX driver defined extra spec key
"storagetype:pool", since "pool_name" key is introduced by
the pool-aware scheduler feature to specify which pool to
place the volume.

Change-Id: Idd2b0008a3844ad9db72768e6016c63e7e4c5e98
Implements: blueprint pool-aware-cinder-scheduler-vnx

Merge "Tests: Remove randomness from NFS mount tests"

Merge "Tests: Remove TestWSGIService.test_reset_pool_size_to_default"

Fix extraneous comma that breaks docbook generation

There is a stray comma in the middle of the help section that changes
the string to a tuple, causing docbook to fail with:

   td.text = "(%s) %s" % (type(option).__name__, option.help.strip())
AttributeError: 'tuple' object has no attribute 'strip'

Change-Id: I8f03801fe5463548e3bba1b13e0370fd30ac9927

Merge "Sync policy module from oslo-incubator"

Merge "Dell Storage Center: Add retries to API calls"

Sync policy module from oslo-incubator

The policy module has not had a sync since back in
November.  There have been a number of changes that
should be pulled into Kilo.

Current HEAD in OSLO:
---------------------
commit 9bf01f9d98487cb13e3d95ad2a580fe8fc6f2479
Date:  Fri Feb 13 14:18:58 2015 -0500
Switch from oslo.config to oslo_config

Changes merged with this patch:
---------------------
2aacb111 Change oslo.config to oslo_config
2fbf5065 Remove oslo.log code and clean up versionutils API
262279b1 switch to oslo_serialization
07e9b32a Improving docstrings for policy API
e67f5cd0 Merge "Don't log missing policy.d as a warning"
99d991ce Merge "Fixed a problem with neutron http policy check"
b19af080 Don't log missing policy.d as a warning
2324c775 Add rule overwrite flag to Enforcer class
6166a960 Fixed a problem with neutron http policy check

Closes-bug: 1288178
Change-Id: I6987029b9c15f3d35fa591014859f5f96c98f3a3

Merge "Remove useless requirement on wsgiref"

Dell Storage Center: Add retries to API calls

In heavily loaded networks we have seen some cases
of temporary ConnectionErrors when making REST API
calls. There are usually successful calls just prior
and immediately after these failures, so it appears
to be a transient condition.

This patch utilizes the recently merged retry decorator
to add some retry handling to the REST API calls when
this condition is encountered.

With a test script looping through repeatedly running
CI against this first patch I was able to validate
that it addresses the issue. Out of 20 runs, a full
2/3 of the tests passed showing that the retry was
used. These test runs would have failed without the
retry.

The output from these test runs can be viewed here:

http://oslogs.compellent.com/?C=N;O=D

Pertinent results are dell-sc-iscsi-1554792015-12*

Once merged we should be able to enable full third
party CI testing with some expectation of reliable
results.

Closes-Bug: 1422742
Change-Id: I1279a7696068aee534498bb18f4f6b4fbb7a33d5

Merge "Fixes total_capacity_gb value in CloudByte driver."

Add support for chiscsi iscsi helper

The chiscsi target works as a drop in replacement for IET/TGT with
minor configuration differences. This patch implements support for
this as the 'cxtadm' iscsi_helper.
Certification results :  https://bugs.launchpad.net/cinder/+bug/1417499

DocImpact

Implements: blueprint chiscsi-iscsi-helper

Change-Id: Ib8e94f532cd07fea44aaeeac266e7f6750bf00c1

Remove useless requirement on wsgiref

Change-Id: I5f89eb4e3b2b3207ec5e92d35d7e3e3487376677

Snapshot of bootable volume goes in error state

If volume is not created from image, no glance
metadata would be available for that volume/snapshot
in volume glance metadata table. So simply catch
GlanceMetadataNotFound and do nothing.

Closes-Bug: #1413880
Change-Id: Ic3267d422912f94e966412859e2b8bddeddfb75f

Merge "EMC VNX Cinder Driver iSCSI multipath enhancement"

Merge "Tests: Don't require binding to port 4444"

Merge "Remove optional parameter from lun mapping call"

Merge "Sync periodic_task module from oslo-incubator"

Merge "Provided requirements are meant to be immutable"

Merge "Fix Scality SRB driver security concerns"

Merge "Split volume driver into ABC classes"

Sync periodic_task module from oslo-incubator

We have a need in Cinder to now be able to dynamically
add periodic tasks.  This sync brings in new functionality
that supports that.

Current HEAD in OSLO:
---------------------
commit 03143669d2c996f7c20d2d75f6c67827d2db216a
Date:   Tue Feb 10 11:59:45 2015 -0500
Update policy.py status in MAINTAINERS

Changes merged with this patch:
---------------------
2aacb111 Change oslo.config to oslo_config
2fbf5065 Remove oslo.log code and clean up versionutils API
fbd77a7b Allow overriding name for periodic tasks
9896e0e1 Separate add_periodic_task from the metaclass __init__

Change-Id: If39ce7baddd6ad5325afcd504bab8ac305da939d

Merge "EMC VMAX driver Kilo update"

Tests: Don't require binding to port 4444

If some other process is listening on port 4444,
test_server_pool_waitall will fail with:

RuntimeError: Could not bind to 127.0.0.1:4444 after
trying for 30 seconds

This test doesn't require use of this specific port,
so let it pick an unused port to avoid this failure.

Closes-Bug: #1421759

Change-Id: I7e6d6f574cd2bbb2fa067001bba4b09b5204a5e1

Tests: Remove TestWSGIService.test_reset_pool_size_to_default

This test invokes Cinder WSGIService.Service() and asserts
against values that are only manipulated in wsgi.Server(),
which WSGIService is based on.

We also have TestWSGIServer.test_reset_pool_size_to_default
which does the same thing for wsgi.Server().

Remove this test since it duplicates the TestWSGIServer test
and tests code which is an additional layer of abstraction
(cinder.WSGIService) away from the class that the code belongs
to (wsgi.Server).

Change-Id: I68d6f479da26e75618bfa773c84273501926ab07

Tests: Remove randomness from NFS mount tests

No real reason for this to be randomized... just
set the number of attempts to 3 for simplicity /
reproducibility.

Change-Id: I0f11a157359f8905105194059c1ea68ce9f1860c

Merge "Add dedup provisioning to 3PAR drivers"

Refactoring for export functions in Target object

Currently, export functions such as create_export() are implemented
in individual Target code, but most of them are same and these are
common features in each target.
This patch moves these methods to parent ISCSITarget class to
commonalize and each Target simply inherit these methods from parent
class. As a result of this change, LioAdm can inherit ISCSITarget
class directly instead of inheriting TgtAdm class.
This simplifies dependency of targets and improves maintainability.

By refactoring these methods, this patch also fixes following issues.

(a) Fix bug #1410566
After transitioning to the new driver and target model, iscsi_targets
is not added to the table during create_export() phase.
However, remove_export() in LIO Target is still reffering empty
iscsi_targets table. This causes NotFound exception and remove_export()
skips to do remove_iscsi_target().
As a result, iscsi target is not removed and the target continues to
grab the volume(logical volume) as an in-use status.
This patch fix the problem.

(b) Re-export a volume with CHAP
Current Tgt Target recreate iscsi target without CHAP during
ensure_export() even if the volume is exported with CHAP previously.
This patch changes this bahaviour to recreate iscsi target using
previous CHAP which is stored in volume file on state_path dir.

Closes-Bug: 1410566
Change-Id: Iea3d94e35a4ced4dafc1b61e2df6b075cf200577

Merge "Add iSCSI SCST Target support to cinder"

Add iSCSI SCST Target support to cinder

Currently cinder supports tgt,lio targets.
We are adding SCST Target support in cinder.

Change-Id: I449143d125808d28758f3d438d7d1476a544c38b
Implements: blueprint scst-iscsi-backend-support

EMC VMAX driver Kilo update

This patch updated the VMAX driver for the Kilo release.
Main changes in this patch include the following:
* Support for consistency group.
* Support for VMAX V3.

Implements: blueprint emc-vmax-driver-kilo-update
Change-Id: I749d5f3071cd78e8ab14f3fd1711faeda7e33b77

Fix Scality SRB driver security concerns

LP #1414531 raised 2 issues :
1)A potential arbitrary code execution if the Cinder Linux user
has write access to /etc/cinder/cinder.conf
2)An overall concern/question about the usage of the command
'sudo sh -c' throughout the srb driver

This patch fixes 1) with proper configuration validation and
2) with usage of cinder-rootwrap.

Closes-Bug: 1414531
Change-Id: Idddb9633af3a45d65bbfa0146a14575e2984f6bd

Fixes total_capacity_gb value in CloudByte driver.

CloudByte storage returns total capacity value in two formats. One is
numeric and the other is alphanumeric.

Previously data['total_capacity_gb'] was referring the alphanumeric value
& now it is referring to the correct numeric value.

In addition, changes were made to test_cloudbyte.py to unit test
free_capacity_gb and total_capacity_gb.

Closes-Bug: 1420746

Change-Id: I601c2a78c1727bc815771ca26aea928fa2887d09

EMC VNX Cinder Driver iSCSI multipath enhancement

This commit is to be consistent with the iSCSI multipath
ehancement in Cinder and Nova:
* Return multiple portals and iqns when multipath=True is
  specified in the connector info
* Return one portal and iqn when multipath=False is specified
  in the connector info

Change-Id: I47376ad6ac38e84569d92d62d3d8daa1359d797d
Implements: blueprint emc-vnx-driver-iscsi-multipath-enhancement

Add dedup provisioning to 3PAR drivers

3PAR now supports thin duplication provisioning. This review is for
adding the dedup provisioning support to the 3PAR provisioning extra
specs type as well as supporting volume retype between provisioning
types (thin<->dedup, full<->dedup).

The OpenStack Configuration Reference Guide will need to updated
to include dedup as a valid hp3par:provisioning value. A note
should also be added that this feature requires SSD disks and
3PAR firmware version 3.2.1 MU1 or greater.

DocImpact
Implements: blueprint 3par-dedup

Change-Id: I6ebad3682d5d53a9b1a6329d666a1d7fb06eba0a

Provided requirements are meant to be immutable

Since provided values are not meant to change (and
this statement is useless) we should not try to
perform an update() on the provided values (the update
is a no-op anyway, so might as well get rid of it).

Change-Id: I18699fc64391445436537854a5e3723f4e89e961

Merge "Don't fail target_delete if target doesn't exist"

Remove optional parameter from lun mapping call

Remove optional parameter from lun mapping call as it's
unneeded and creates an issue in case of HA-cluster

Change-Id: Ifbe2896fd74e514d66256ff0190db25bfcc9fa6b

Merge "Mock out the wait routine in the VMAX driver"

quobyte: remove dependency to xattr

The Quobyte driver introduced an new dependency to xattr
python binding. This driver is the only consumer of xattr.

Instead of introducing new dependencies call getfattr binary
as already done in the quobyte nova volume driver.

Closes-Bug: 1420332
Co-Authored-By: Marc Koderer <marc@koderer.com>
Change-Id: I83f97310313cf7a603996ae64327002cdf0ad5fc
Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Don't fail target_delete if target doesn't exist

There are cases seen in the Gate where a target delete is
called and an exception is raised because the target does
not exist. In the cinder target driver code we raise this
as an ISCSITargetRemoveFailed exception, but if we're asking
to delete the target and the target doesn't exist we can
probably safely move along.

This patch adds a check for this specific case and logs a warning
and continues rather than failing.  We also add a unit test to
check this case.

Change-Id: I7021cafc9ee48bb8ad54433e4482ff1d61e865ae
Closes-Bug: #1420010

Merge "Fix detach volume from host problem in VMAX driver"

Merge "Remove custom lazy loading"

Remove custom lazy loading

We are using stevedore for database migration backend loading

Closes-Bug: #1420321
Change-Id: I281d631f9fd72d9d6938ffd2945fbeea8099dff5

Split volume driver into ABC classes

Use ABCmeta classes to define feature sets of drivers.
As interim solution the VolumeDriver class stays mainly unchanged to
ensure that all drivers work and can be migrated stepwise by the
driver maintainer.

Co-Authored-By: Mike Perez <thingee@gmail.com>
Implements: blueprint abc-volume-drivers
Change-Id: I558ded19368aaa7ce4be029fa16f63e6e188097a

Merge "New Cinder volume driver for openvstorage"

Merge "fix typo in config.py"

Mock out the wait routine in the VMAX driver

This patch mocks out the wait routine in the VMAX driver.

Change-Id: I9c503395dd03a4fe41604578adfce7ea2709c301

Limit ram and disk used by ceph backup tests

The test_discard_bytes test in
cinder/tests/test_backup_ceph.py uses a lot of
ram and disk space since it tests the ceph driver with
the default chunk size of 128Mi. This patch lowers it
to use 1024 bytes instead.

Closes-bug: #1417293

Change-Id: I387650bc5ffe57ad8a4cacd1fca5d039fec38eed

Merge "Make storwize debug log more readable"

Fix detach volume from host problem in VMAX driver

The VMAX driver unmaps a volume from a host without checking
the host info in the connector, resulting the wrong host to be
detached. This patch looks up the host info before detach and
fixes the problem.

Closes-Bug: #1382641
Change-Id: I68f053b34cc68cdb4f3a9e622faa47a260abd53a

fix typo in config.py

Change help texts and messages from GigaByte/Gigabyte(s) to correct
spelling gigabyte(s).

Change-Id: I6b9d80dad619a9f02cef10d2a303c30b6c4572fb
Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Merge "Dell Storage Center Unit Test Updates for Kilo"

Merge "Update hacking ignore list"

Merge "Add extra library oslo.concurrency to oslo.config.generator.rc"

Merge "Drop deprecated namespace for oslo.rootwrap"

Update hacking ignore list

H305 and H307 were removed from the ignore list in commit e0dae50dc.

F481 was removed from the ignore list in commit 30e15ec4a.

Change-Id: Ib6a6be6d20838d852d247d7469efb26b2d0f3121

VMware: Delay string interpolation in log messages

As per OpenStack developer guidelines, string interpolation
should be delayed to be handled by the logging code. This
patch fixes violations of this guideline in the VMDK driver.

Change-Id: Ie449402b080debb186c3664a818c35e18b514382

VMware: Integrate VMDK driver with oslo.vmware

The common code between various VMware drivers was moved to
oslo.vmware library during Icehouse release. The VMDK driver
should be updated to use this library. Changes are mostly
replacing import statements and removing redundant modules
and corresponding test cases.

Summary of changes:
* Replace api with oslo.vmware.api
* Replace vim with oslo.vmware.vim
* Replace pbm with oslo.vmware.pbm
* Replace io_util with oslo.vmware.image_transfer
* Replace vmware_images with oslo.vmware.image_transfer
* Replace read_write_util with oslo.vmware.rw_handles
* Remove error_util and use oslo.vmware.exceptions
* Move VMDK driver specific exceptions to a new module
  'exceptions'
* Replace PBM WSDL files with the corresponding files in
  oslo.vmware
* Replace PBM related methods in volumeops with the
  corresponding ones in oslo.vmware.pbm

Implements: blueprint vmdk-oslo.vmware
Change-Id: Ib484fabffb8ef1a56051d7e1bed5218b633306bb

Merge "Enhance iSCSI multipath support"

Merge "Revert "Implement Huawei SDSHypervisor driver""

Merge "Add debug message for lvremove after udev settle"

Merge "Updated from global requirements"

Merge "FlashSystem Code Cleanup"

Merge "Create SolidFire Template account on init"

Merge "Fix argument order in assertEqual: tests/test_nfs.py"

Merge "Make PureISCSIDriver iSCSI port discovery more flexible"

Merge "Enable use of an /etc/cinder/lvm.conf file"

Enhance iSCSI multipath support

Currently, nova-compute and brick support multipath for iSCSI volume
data path. It depends on response to targets discovery of the main
iSCSI portal, expecting multiple portal addresses to be contained.

However, some arrays only respond to discovery with a single portal
address, even if secondary portals are available. In this case,
the connector cannot know secondary portals and corresponding
iSCSI target IQN, so cannot establish multiple sessions for
the target(s). To enable the connector to login to secondary portals,
cinder should tell all the portal addresses and corresponding
target iqns/luns.

With this patch initialize_connection API will return connection_info
with multiple portal addresses/iqns/luns when multipath=True is
specified in the connector info. For example:

  {"driver_volume_type": "iscsi",
   "data": {"target_portals": ["10.0.2.15:3260", "10.0.3.15:3260"],
            "target_iqns": ["iqn.2010-10.org.example:target-01",
                            "iqn.2010-10.org.example:target-02"],
            "target_luns": [1, 2],
            ...}}

This also modify brick/iscsi/connector.py to make the parameter
recognized and to login to every target.

In addition, this adds an config option
'iscsi_secondary_ip_addresses' to specify a list of secondary
portal addresses for LVM iSCSI Driver.

Change-Id: I2a650c8ae70189b738937eaea7e5cd28f896257c
Implements: blueprint iscsi-multipath-enhancement

Dell Storage Center Unit Test Updates for Kilo

Expanded our unit test coverage: test_dellscapi.py.
This tests our api module.  We've also added some
minor driver fixes found by unit and other testing.
Some logging statements have been updated.
All changes are in the dell storage center driver
and unit test files.

Change-Id: Ie12f1f0f82cb4b4d95edeb9c7f3e73caacce1a7f
Implements: blueprint dell-sc-unittests-update-kilo

Updated from global requirements

Change-Id: I97eb25f01f3079245ede66887f43622b22d9accc

Merge "Update eqlx driver help text"

Merge "Support over subscription in thin provisioning"

Update eqlx driver help text

Adds a more descriptive help text to the allowed and default values.

Continuation of work started by James King in:
https://review.openstack.org/#/c/144656

Change-Id: I95de8c93bf6a6ff318d6e726488ebae371ee55bf
Closes-Bug: 1380686

Add extra library oslo.concurrency to oslo.config.generator.rc

We used extra library oslo.concurrency in Cinder, and oslo.concurrency
provides configuration options, we need include these options in sample
config file. This commit handles that.
Change-Id: I534539b7e87a3f5dc36722395cbe241a10b2d75e

Merge "Change oslo.* to oslo_*"

Merge "RemoteFS: Use nas_ip and nas_share_path options"

Merge "Add retry for tgtadm update when tgt exists"

Merge "Lefthand driver fails to attach a cloned volume"

Merge "Purge deleted rows"

Support over subscription in thin provisioning

This patch adds support for over subscription in thin provisioning.
The following changes are proposed:

* A configuration option "max_over_subscription_ratio" will be
  introduced.
* Driver reports the following capacities and ratios:
  * provisioned_capacity
  * max_over_subscription_ratio
    * Driver can use the newly added configuration option to report
      this ratio or it can decide what ratio to report itself.
      The value of this ratio is depending on driver implementation
      and will be reported together with other capabilities and
      capacities by the driver.
  * reserved_percentage
    * Note: This is an existing parameter reported by the driver.
    * Currently it is measured against the free capacity. In this
      patch, it will be changed to measure against the total
      capacity in the filter scheduler.
* Driver also reports the following capabilities:
  * thin_provisioning_support (True or False)
  * thick_provisioning_support (True or False)
* Scheduler will use the above new capabilities reported by the
  driver to make decisions when choosing a backend.

For more details, please see Cinder spec:
https://review.openstack.org/#/c/129342/12/specs/kilo/
over-subscription-in-thin-provisioning.rst

Implements: blueprint over-subscription-in-thin-provisioning
Change-Id: I176a691a4e25bbdc7c4d598628acf2543b2c7ac6

Merge "Fixes the EQL driver CI tests AttributeError"

Change oslo.* to oslo_*

Change oslo.db to oslo_db
Change oslo.config to olso_config
Change oslo.rootwrap to oslo_rootwrap

The oslo libraries are moving away from namespace packages.

Partial-bug: 1409733

Change-Id: I3429282afa2db4c0b3aa630eb3a0eaece04405ed

Lefthand driver fails to attach a cloned volume

The provider location was not being populated for cloned volumes.
This patch is updating the provider location for cloned volumes
resulting in successful volume attachments.

Change-Id: I86ef7935ed7233377aa4745dc4b45fcab5703f0a
Closes-Bug: 1418201

Merge "Remove the solaris volume driver"

Purge deleted rows

Adds the ability to clean up rows that are already marked as
deleted of a certain specified age. Age is calculated as timedelta
from now() in days, which are given at command line

DocImpact
Change-Id: Ia50ab0dc4aa1547a5a6a2430f7941aab194e4baf
Implements: blueprint database-purge

Make PureISCSIDriver iSCSI port discovery more flexible

While searching for reachable iSCSI ports on the target flash array it
might fail the discovery command. If this happens on driver setup it
will throw an exception from attempting to use fields on an
uninitialized class variable. This fixes the log message and adds a
retry to the method to make this more flexible with network timeouts.

Closes-Bug: 1417730
Change-Id: I99ffb8de4dd5a421442df1bf745808505775480a

Merge "EMC VNX Cinder Driver Update"

EMC VNX Cinder Driver Update

VNX Direct Driver was contributed in Icehouse and updated in Juno.
This commit is to continuously improve the driver with the
following enhancements in Kilo:

* Performance improvement, especially the synchronized operations
initiatlize_connetion and terminate_connection.
* LUN Number Threshold Support
* Initiator Auto Deregistration
* Force Deleting LUN in Storage Groups
* Code refactor to enhance the robustness

Change-Id: Id263a5d0405ba942582ce06beed09b436b80ff3c
Implements: blueprint emc-vnx-direct-driver-kilo-update