Fix Datera driver export call

A previous commit 3fabed9d64696a204263fd7e00b65115a8ecce87 broke the
export call for the Datera driver. This allows the information to
correctly be accessed again.

Change-Id: I4775700e7a416bf5ebcb5e39f604b270e27f284d
Closes-Bug: #1466967

Merge "Revert "Disable backup progress notifications for unit tests""

Merge "Update version for Liberty"

Merge "VMware: Remove unused methods"

Merge "Remove the hardcoded concurrency limit for ostestr"

Merge "Dell SC Removed _find_domain and associated tests"

Merge "Ceph driver support retries on rados_connect_timeout"

Remove the hardcoded concurrency limit for ostestr

ostestr by default uses concurrency = ncpu.

This caused all sorts of things to blow up in Cinder
when one got over 6 cpus.  Since the initial merge a
patch has landed that appears to fix the issues, and
we now run reliably at 8 and even 12 cpus.

This patch removes the hard coded concurrency=6 setting
from tox.ini

Change-Id: I483e53acaf1bb71deeba20d6c81184112cbcb046

Revert "Disable backup progress notifications for unit tests"

This reverts commit e5f6ed69e0031900f97da185b5363ebd3dd60c0c.

This was an attempted workaround for the notifier issue.
It's not needed now that the fake notifier has been fixed,
so restore the default behavior.

Also remove conf imports which were added in commit d9b9ac
to fix commit e5f6ed.

Related-Bug: #1412513

Change-Id: Id0d547e3c2faa8c1a0555e28cdb2e9d83956c1ac

Merge "Backup object"

Merge "Storwize: remove the useless method check_copy_ok"

Merge "Port LeftHand driver to use ABCMeta driver model"

Merge "rbd driver in cinder does not manage glance images multi-location"

Merge "Tests: Make fake_notifier per-instance"

Merge "Adds FC and ISCSI Cinder drivers for HPMSA Storage Arrays"

Tests: Make fake_notifier per-instance

Tests have been failing because multiple threads modify the
same global NOTIFICATIONS list.  Move the notification storage
to be per-test instance, which is what the tests assume.

This has been broken for a while, but made more obvious by
recent changes to parallelize tests.

Also remove all the extra reset calls we added to work around
this problem over time.

Co-authored-by: Gorka Eguileor <geguileo@redhat.com>
Change-Id: Ib5a67c097ef548dc346751ad51b61fdceaf8e3a8
Partial-Bug: #1259463
Closes-Bug: #1412513

Port LeftHand driver to use ABCMeta driver model

Use new ABCMeta driver model for LeftHand driver.
Implements: blueprint abc-driver-update

Change-Id: I4acd1cd711b8718340abd08fdabacb2e4b713b73

Merge "Disable profiler for unit tests"

Disable profiler for unit tests

osprofiler should not run for unit tests.  This makes stack
traces harder to debug, and generally complicates things, with
no benefit.

The backup tests were already doing this, so port that
method to the base Cinder test class.

Closes-Bug: #1394785
Closes-Bug: #1447400

Change-Id: Ifcaaf365aaab24c6fa2a6eca58f546860124f1fc

Use a hard-coded project_id in racy cinder.tests.unit.test_volume tests

Since concurrent unit test runs have been turned on with ostestr there
are races with the notifications causing the assertions in
test_volume.py tests to fail.

A few attempts have been made at writing an elastic-recheck query to
identify the failures but they are too generic, e.g. querying for
"fake_notifier.NOTIFICATIONS" or "MismatchError 0 != ", which could hit
on anything that fails with those, e.g. anything that uses
"self.assertEqual(0, " in the code could hit that kind of query - and we
want to avoid those types of queries running against changes in the
check queue since they could mask legitimate test failures.

So we add something unique in these tests to identify them from other
test failures in Cinder by using a hard-coded uuid for the project_id so
that if we have an assertion failure with notifications, the
notification payload is dumped (due to commit
4bbe1c87e26150c62e1dc8a2a5b8979896c1ddd9) and we can query on the
assertion failure plus the hard-coded project_id used only in these
tests.

Related-Bug: #1412513

Change-Id: I57f597a1bb2fdfeb24c17ac9020cc96f1ebf3fdd

Merge "Add missing Jinja2 to requirements.txt"

VMware: Remove unused methods

Patch to remove unused datastore selection methods in vmdk module.

Change-Id: I96f651081a5f0f5747e0bb1fb49028422fd4a4f9

Merge "Sync 'report' from oslo-incubator"

Backup object

This patch adds VersionedObjects abstraction layer to volume backups.
The object derives from CinderObjectDictCompat, so it supports both
object (obj.prop) and dict (obj['prop']) syntax to access properties.
Complete move to object notation will be made in a follow up clean up
patch.

Co-Authored-By: Grzegorz Grasza <grzegorz.grasza@intel.com>
Change-Id: Icff37261b367463b71a1268be16f9c97f595bf0c
Partial-Implements: blueprint cinder-objects

Add missing Jinja2 to requirements.txt

Recently merged commit I5bbdc0f97db9b0ebd7b48e50ab7869e2ca33aead got in
a dependency on Jinja2 library without adding it to requirements.txt.
The gate was running fine, because Nova already has it in it's
requirements. Problem uncovers when we install DevStack with
--use-venv=True option.

Change-Id: If053c4724d9d0264e0f3b27a995a2b619cf6f515
Closes-Bug: 1466361

Storwize: remove the useless method check_copy_ok

The method check_copy_ok still remains after the code refactor.
However, it is never used. This patch proposes to remove it.

Change-Id: I7cb8611fe242300d28d90520ec3c2867385f9fec
Closes-Bug: #1466321

Merge "ScaleIO: Fix broken format string"

Update version for Liberty

Update the version for Liberty, switching from date-based versioning
to pre-versioning using SemVer. See
http://lists.openstack.org/pipermail/openstack-dev/2015-May/065211.html
and
http://lists.openstack.org/pipermail/openstack-dev/2015-June/067082.html
for details.

Change-Id: I6a35fa0dda798fad93b804d00a46af80f08d475c

Merge "Fix namespace issue in generate_sample.sh"

ScaleIO: Fix broken format string

Closes-Bug: #1466219

Change-Id: I0ce2eeb2ad85e6c36adf5505ef662efdf5b14f30

Sync 'report' from oslo-incubator

Needed to fix guru meditation report for Windows.
We landed an outdated 'report' module recently.

Add report.[generators,models,views] to
openstack-common.conf.

Oslo source: c4c7dd28 Updated from global requirements

Closes-Bug: #1286528

Change-Id: Ib33542718176241663c0e61605acbf4e941e2ca9

Merge "Replace basestring with six.string_types"

Merge "LVM add multiattach flag capability"

Merge "Switch to oslo.policy 0.3.0"

Ceph driver support retries on rados_connect_timeout

Added retry feature when connection to Ceph cluster failed. This patch
introduces new config options rados_connection_retries and
rados_connection_interval to configure retries due to
the rados_connect_timeout.

DocImpact
Change-Id: Ice65fc40e9bd94805700f64397caf856982fa320
Closes-Bug: #1462970

Dell SC Removed _find_domain and associated tests

Dell StorageCenterApi._find_domain was ununsed and so removed. The
associated tests were also removed.

In addition some other tests mocked _find_domains but called the mock
mock_find_domain.  Changed that to mock_find_domains.

Change-Id: Ieee96064bbc74eae8a8c961ade5c8dfb9615eb1a

Merge "Add volume drivers for Infortrend Storage"

Merge "Refactor API create_volume flow"

Merge "Tintri driver to manage existing backend storage objects"

Merge "Add config option to set max_volume_size_limit"

LVM add multiattach flag capability

This patch adds reporting of the multiattach capability
in the lvm driver.   Currently the Cinder scheduler does filtering
on hosts at create time for the --allow-multiattach option being
passed into the create request from the client.   In order for someone
to be able to create an LVM volume that can do multiattach, the LVM
driver needs to report the capability.

This patch's purpose is to allow LVM volumes to be multiattachable
for the folks working on the Nova patches to get Nova to do multiattach.
Without this patch, they can't do end to end testing.

Change-Id: I91942569a12d7c7637c7d9ffb8bbff0daeaf6a97

Merge "Adds FC and ISCSI Cinder drivers for Lenovo Storage Arrays"

Add volume drivers for Infortrend Storage

Infortrend implement ISCSI and FC volume drivers for
EonStor DS product.
It manages storage by Infortrend CLI tool.

common_cli.py implements the basic Cinder Driver API.
infortrend_fc_cli.py and infortrend_iscsi_cli.py use them to
provide FC and iSCSI specific support.

Support features:
- Volume Create/Delete
- Volume Attach/Detach
- Snapshot Create/Delete
- Create Volume from Snapshot
- Get Volume Stats
- Copy Image to Volume
- Copy Volume to Image
- Clone Volume
- Extend Volume

Change-Id: I830c5a48a5fb85707f02396b4634825e27455e8a
Implements: blueprint infortrend-iscsi-fc-volume-driver

Merge "Port remote_fs driver to use new driver model"

Updated from global requirements

Change-Id: I66c535760b7948ab0b6f7a7da3a0c5f5debaa75c

Merge "Volume driver for HP XP storage"

Adds FC and ISCSI Cinder drivers for Lenovo Storage Arrays

These drivers depend upon DotHill Cinder drivers.
Using inheritance, we are able to reuse a lot of
DotHill cinder drivers source code.

Change-Id: Ica8631d6954898dbd90a71cc78625bb2aa3b5632
Co-Authored-By: Gauvain Pocentek<gauvain.pocentek@objectif-libre.com>
Implements: blueprint lenovo-fc-iscsi-cinder-driver

Adds FC and ISCSI Cinder drivers for HPMSA Storage Arrays

These drivers depend upon DotHill Cinder drivers.
Using inheritance, we are able to reuse a lot of
DotHill cinder drivers source code.

Implements: blueprint hp-msa-fc-iscsi-cinder-driver
Co-Authored-By: Gauvain Pocentek<gauvain.pocentek@objectif-libre.com>
Change-Id: I21184872d1eb3838adc47fe9027de12a1702465d

Merge "Fix broken export commands on block_device driver"

Replace basestring with six.string_types

basestring type is gone in Python 3, use six.string_types to make Cinder code
compatible with Python 3.

This patch was generated by the basestring operation of the sixer tool:
https://pypi.python.org/pypi/sixer

Blueprint cinder-python3
Change-Id: Ie1aedf1cbb9d3e54a996321cd586b875e69ac85a

Merge "Replace dit.itervalues() with dict.values()"

Merge "Rewrite code merging two dictionaries"

Merge "Update SolidFire to use target driver model"

Fix broken export commands on block_device driver

When I implemented the new target driver code the
methods used for LVM were copy pasted:
 commit 9651f547147188645942466602c92cce06666483

I screwed this up because the block_device driver
doesn't use LVM at all.

This patch sets it back the way it should be and just
uses the local dev file of the whole disk.

Change-Id: Ife88d5597df27dcd668a9a361bebccbc840ca2d4
Closes-Bug: #1465819

Switch to oslo.policy 0.3.0

Use graduated oslo.policy instead of sync with oslo-incubator code.

Co-Authored-By: Ivan Kolodyazhny <e0ne@e0ne.info>
Change-Id: Ibb295830ac6abde9317c2549f75c1780ac454125
Closes-Bug: #1421863
Partial-Bug: #1458945

Add config option to set max_volume_size_limit

There is a need to limit maximum size of a volume to levels
that the storage infrastructure can handle.
Setting a maximum limit on size of a volume also prevents
a tenant from creating large volumes that have not been tested
and certified to satisfy SLA objectives.

This feature allows admin to set volume size limit for a tenant.
Get default value for volume size limit via config.
The defaults will either come from the default values
set in the quota configuration option or via cinder.conf
if the user has configured default values for quotas there.

The per_volume_size_limit defaults to -1["No Limit"] always
unless changed in cinder.conf by admin

Change-Id: Ieb5c087ca7a33d22342470ea790a0c979a6244ea
Implements: blueprint cinder-quota-define-per-volume

Move DRBD tests into tests/unit

We've reorganized since the original driver code was
written, move this into the right directory.

Change-Id: I88b970e2726191c8cd795c5ddbb64784a465db65

Merge "Introduce Guru Meditation Reports into Cinder"

Merge "Use correct rtslib namespace for newer versions"

Merge "Pass proxy environment variables to tox"

Merge "Replace xrange() with six.moves.range()"

Merge "Fix Python 3 issues in utils"

Merge "Drop L suffix from long integers"

Merge "Re-add DRBD driver"

Merge "Adds FC and ISCSI Cinder drivers for DotHill Storage Arrays"

Volume driver for HP XP storage

Volume driver for HP XP storage, along with unit tests. The driver
imports the hp_xp_horcm_fc class, which is available separately to
HP XP customers.

Implements: blueprint hpxp-storage-driver

Change-Id: Ic28c7f3fc5d61e9c2304dca60e416b5e94b990db
Signed-off-by: Kazumasa Nomura <kazumasa.nomura.rx@hitachi.com>

Replace xrange() with six.moves.range()

Add "from six.moves import range" to replace the builtin range()
function with six.moves.range() to always create an iterator, instead of
creating a temporary list.

Replace "xrange" with "range".

Don't add the import for ranges of 1024 items or less.

Blueprint cinder-python3
Change-Id: If618b4e810e444f7eb6592bb2398805e9d14d548

Drop L suffix from long integers

Replace 123L with 123 to make Cinder code compatible with Python 3.

This patch was generated by the long operation of the sixer tool:
https://pypi.python.org/pypi/sixer

Manual changes:

* hp_3par_common: bump version

Blueprint cinder-python3
Change-Id: I3086d3e3d9c3ede358313bdd43d1eee9cfdafe15

Pass proxy environment variables to tox

When a development environment is under a proxy, tox fails even if
environment variables of the proxy are set.

This patch fixes this problem by passing (upper case and lower case)
http_proxy, https_proxy and no_proxy from environment to tox.

See: commit 2d02ebb775ec44a14e325c56d4a901c5705fbb94

Change-Id: Ib7964fd5ea4fb8398cdb4cd94a70fe7fae49f973

Re-add DRBD driver

This reverts commit 37eef0b3d4d786d4b2b1a7e48f3e2339506e85e2.

We hope to have a -infra CI running by June 12th, to get included
in Liberty.

Change-Id: Icb7347d55dc5b22720269405b6d2b4053c2ad819

Refactor API create_volume flow

This commit refactors the code to be more compliant with DRY rule.
I've also changed some comments to be more readable and correct.

Partial-Implements: blueprint taskflow-refactoring
Change-Id: I0345c07ac490b6bd738c0fdac0b621bb9156f899

Merge "Get rid of oslo-incubator copy of middleware"

Merge "Targets tests: Clean up long lines"

Merge "SQL scripts should not manage transactions"

Introduce Guru Meditation Reports into Cinder

This commit integrates functionality from the
`openstack.common.report` module into Cinder.
This enables Cinder services to receive SIGUSR1
and print a Guru Meditation Report to stderr.
The required modules were added to
'openstack-common.conf' as well.

It is essentially a copy from implementation of
nova side.

Change-Id: I5bbdc0f97db9b0ebd7b48e50ab7869e2ca33aead
Implements: blueprint guru-meditation-report

Adds FC and ISCSI Cinder drivers for DotHill Storage Arrays

DocImpact
Implements: blueprint dothill-fc-cinder-driver
Implements: blueprint dothill-iscsi-cinder-driver

Co-Authored-By: Gauvain Pocentek<gauvain.pocentek@objectif-libre.com>
Co-Authored-By: Walter A. Boring IV<walter.boring@hp.com>
Change-Id: Iaf70ade96d4ad4234cc7e88277ed7b52cf458c2a

Get rid of oslo-incubator copy of middleware

We have already moved away from openstack/common/middleware modules
to the oslo_middlware library. Let us cleanup the remaining files
here.

Change-Id: I701b08a28884eb56d12f2829483fe94aa8d2fd1d

Merge "Get StringIO from six for Python 3 compatibility"

Merge "Remove WritableLogger wrapper"

Merge "Update 3PAR user config help strings"

Merge "Replace dict(obj.iteritems() with dict(obj)"

Merge "Replace dict.iteritems() with dict.items()"

Merge "Use six.reraise() for Python 3 compatibility"

Merge "Remove pretty_tox and use ostestr"

SQL scripts should not manage transactions

This bug was fixed a while back, but the migration added for
multi-attach reintroduced it for its sqlite_downgrade file.

This patch removes it.

blueprint enable-mysql-connector

Change-Id: Iaec8713bf5cf36bcc97afbca8dd025cda9c2238d
Closes-Bug: 1368391

Targets tests: Clean up long lines

Clean up long lines in unit tests, mostly by
using a variable for volume UUID and shortening
unnecessarily long CHAP credentials.

This is not intended to be complete, just
a good start that greatly reduces #noqa and
improves readability.

Change-Id: Iddc26a5722731d76e6d9e4b0ff493ed806bf148d

Update 3PAR user config help strings

The 3PAR drivers no longer requires a user to have the 'super'
access role. This patch simply updates the help strings for the
3PAR username and password to reflect that an 'edit' role will
be sufficient.

DocImpact

Change-Id: I9b546953d06072dd614f92542b77e3a1a96f2eb5

Disallow backing files when uploading volumes to image

Volumes with a header referencing a backing file can leak
file data into the destination image when uploading a
volume to an image.

Halt the upload process if the volume data references a
backing file to prevent this.

Closes-Bug: #1415087
Change-Id: Iab9718794e7f7e8444015712cfa08c46848ebf78

Remove WritableLogger wrapper

With Eventlet 0.17.2, we can directly pass the logger
instance. This allows us to deprecate/remove the WritableLogger
class from oslo.log.

Change-Id: Ib7d193435584fc3631740058ed34b4df4ab23ad6
Closes-Bug: #1440773

Get StringIO from six for Python 3 compatibility

Get StringIO and cStringIO classes and modules from the six module to
make cinder compatible with Python 2 and Python 3.

This patch was generated by the stringio operation of the sixer tool
version 0.4:
https://pypi.python.org/pypi/sixer

Blueprint cinder-python3
Change-Id: Ia8a58f83a504f2d2930bf5a0dc2cbaa482c29784

Fix Python 3 issues in utils

* Replace string.split(key_file, ',') with key_file.split(','):
  the string.split() function was removed in Python 3, use the
  str.split() method instead
* Fix conf_fixture: import backup_enable_progress_timer and
  backup_swift_enable_progress_timer options. This change is required
  to run tests using testtools (it's now possible yet to run tests on
  Python 3 using testr).
* hash_file(): use b'' (bytes) for the sentinel, not '' (unicode), when
  reading the input binary file
* test_hash_file() requires a binary file (bytes), not a text file
  (unicode)
* Get the builtin open() function from six.moves.builtins instead of
  getting it from __builtin__ to mock the open() function. The
  __builtin__ module was renamed to builtins in Python 3.
* sanitize_hostname(): on Python 3, decode back the hostname from Latin1
  to work on a native string (Unicode)
* replace reduce() with six.moves.reduce(): the Python 2 builtin
  reduce() function was moved to the functools module in Python 3
* convert_version_to_str(): fix integer division, use a//b, not a/b
* convert_version_to_str(): replace reduce() with ''.join() with map(str)

Blueprint cinder-python3
Change-Id: If7b8f50c6a8b0a5044c2c7108b2b0293dddafff3

Merge "Wait until service thread is done on service stop"

Update SolidFire to use target driver model

A while back we broke the inheritance chain of transport and backend
by moving the target drivers outside of the drivers.

This means you can instantiate and use any target (data transport)
method that your device supports without requiring a separate
driver (again, if your device can support it).  This was
particularly important for the LVM ref driver and the 5 iSCSI
options that go with it.

This patch converts the SolidFire driver to use the same model.  For
the most part it's pretty simple:
* Create an internal class for the target driver
* Instantiate the target driver that you want to use
* wrap the old transport calls that come to the driver to call
  the new target driver objects

This exposed some issues with the abc work that was being done.
There are a number of items that are marked as required but are
really only necessary for LVM based drivers.  So this also
creates a san/3'rd party iSCSI subclass as well that has the
more appropriate abc settings for such devices.

Change-Id: I02ceaac58d0e4176ccad423763ae0101cfb8446b

Merge "3PAR enable multiattach capability reporting"

Merge "Use six to fix imports on Python 3"

Merge "Add cinder volume driver for Blockbridge EPS"

Wait until service thread is done on service stop

In order to be able to perform graceful shutdown of services, we need
to wait for all the current service threads to finish before exiting
from the service process.

Oslo.service provides this facility through it's wait() method, so we
need to call it in Cinder Service stop() method which gets called when
graceful shutdown is requested by sending the process SIGINT or SIGTERM.

Partial-Bug: 1464822
Change-Id: I972b80251cebe353f9d89ff4e05db8d029ef5e73

Merge "Add secondary account capability to SolidFire"

Merge "Volume manager should set filter_function and goodness_function"

Add cinder volume driver for Blockbridge EPS

This initial commit includes support for the minimum required volume
operations:

- Volume Create/Delete
- Volume Attach/Detach
- Snapshot Create/Delete
- Create Volume from Snapshot
- Get Volume Stats
- Copy Image to Volume
- Copy Volume to Image
- Clone Volume
- Extend Volume

For more details about our storage backend, please see the blueprint.

blueprint blockbridge-eps-driver
Change-Id: I99c95243bec708c6519cb69c4cb68085ad698c83