Merge "Add finish_volume_migration to volume object"

Merge "Imported Translations from Zanata"

Merge "NetApp eseries: report max_over_subscription_ratio correctly"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9fac5927f89f28c399b9870e029b7baf27eceb8f

Merge "Remote unused iscsi_targets table"

Updated from global requirements

Change-Id: Ia5570e89fd81f9cf4cae08628fda829c500e62e0

Merge "Python 3: Replace reduce and xrange with six.moves"

Merge "Huawei: Add manage/unmanage volume support"

Merge "Infrastructure to use the DRBD transport for NOVA"

Merge "EMC VMAX - Extend Volume for VMAX3"

Merge "ITRI DISCO cinder driver"

Remote unused iscsi_targets table

iscsi_targets table, ORM class IscsiTarget, and db methods are not
currently being used, so we can drop them.

Closes-Bug: #1534808
Change-Id: I5bd0013f8fbcce18c844a1b051c3d385176f7e5b

ITRI DISCO cinder driver

    This commit adds a Cinder volume driver for ITRI DISCO product.
    The DISCO driver supports the following features:
    * Volume Create/Delete
    * Volume Attach/Detach
    * Snapshot Create/Delete
    * Create Volume from Snapshot
    * Get Volume Stats
    * Copy Image to Volume
    * Copy Volume to Image
    * Clone Volume
    * Extend volume

    Implements: blueprint disco-driver-cinder

This patchset also includes the unit tests.

New config options for the cinder driver were also added.
related nova patchset : https://review.openstack.org/253353
related os_brick patchset : https://review.openstack.org/253352

DocImpact
Change-Id: I0168af34364343246a2855bdbd4a9f5ed5b05438

NetApp eseries: report max_over_subscription_ratio correctly

The scheduler is looking for a key named
"max_over_subscription_ratio".

Closes-Bug: #1534240

Change-Id: I12f7a6ae8592bc8bc3b7fe70b2ff9cc947dc57d3

Merge "Base iSCSI initiator validation"

Python 3: Replace reduce and xrange with six.moves

1. Builtin function 'reduce' in Python 2 has been moved to standard
library module in Python 3 [1]. To make code compatible, replaced
reduce(expr) with six.moves.reduce(expr).
2. xrange is renamed to range in Python 3, replaced it with
six.moves.range
3. Added __bool__() method in FeatureState class to make it python 3
compatible because Python 3 calls the __bool__() method instead of
__nonzero__ when evaluating an instance in a boolean context.
4. Added this test case to tests-py3.txt.

[1] http://python3porting.com/stdlib.html#moved-builtins

Closes-Bug: 1530249
Change-Id: I376cd643b9f58358a3e147532dafe77a7325a114

Infrastructure to use the DRBD transport for NOVA

Our DRBD block storage driver for Cinder can be used to make
Nova directly connect to the DRBD 9 storage servers, instead
of needing an iSCSI hop.

Please see
  http://drbd.linbit.com/users-guide-9.0/s-openstack-transport-protocol.html
for more details.

Change-Id: Ie26f10302cd8ce3fd06bc52dd4f431ead5a03c24
Implements: blueprint drbd-transport

Merge "Fix ChunkedBackupDriver _create_container"

Merge "LeftHand: Implement v2 replication (managed)"

Base iSCSI initiator validation

Validate that iSCSI initiator is string

Change-Id: I2309c70e1d937b1897a0e4f85a9255a9abe15169
Closes-Bug: #1534199

Fix ChunkedBackupDriver _create_container

Current _create_container method in ChunkedBackupDriver is not behaving
as expected.

According to update_container_name docstring the method should return
None if the container name that comes in to the driver is to be used,
but code was using backup_default_container instead.

Also, if None is returned by update_container_name the logging will
report that it will be using None instead of the name that it will be
really using.

If update_container_name returns the same value we already have in the
DB, driver will unnecessarily update the DB.

This patch fixes all this.

Change-Id: I2aeac37f5533b6bf0c10dd6bfe45224a25f39ea6
Closes-Bug: #1534182

Merge "Enable trim/discard in SolidFire's driver"

Merge "Allow host and instance_uuid at attach"

Merge "Handling Invalid argument iflag=direct in dd"

Merge "Dell SC: Adding logging to httpclient"

Huawei: Add manage/unmanage volume support

Add manage/unmanage volume support for Huawei
drivers. Also implement the required
manage_existing_get_size function.

DocImpact
Implements: blueprint huawei-support-manage-volume
Change-Id: I964d49b9979b710bca445c2d209099dcea64d3da

Merge "Report discard support for Dell SC connections"

Dell SC: Adding logging to httpclient

Added url and payload logging to REST calls in the
HttpClient class of the Dell Storage Center Cinder
driver.

Change-Id: Iedf915a8678698721e05a938712339e7715b333e

LeftHand: Implement v2 replication (managed)

This patch implements the managed side of v2 replication in the HPE
LeftHand driver.

At this time, only periodic mode is supported with LeftHand arrays.

extra_spec value 'replication:sync_period' will specify the sync period
for the volume type. If it is not provided, it will be defaulted to 1800
seconds, or 30 minutes. 'replication:retention_count' determines how
many snapshots will be kept on the primary system. The maximum is 50,
and if the value is not specified, it defaults to 5.
'replication:remote_retention_count' determines how many snapshots will
be kept on the secondary system. The maximum is 50, and if the value is
not specified, it defaults to 5.

cinder.conf should have the replication config group (lefthandrep)
and at least one other target group (lefthand) as such:

[lefthand]
hpelefthand_api_url = https://10.10.10.10:8081/lhos
hpelefthand_username = user
hpelefthand_password = pass
hpelefthand_clustername = mgm-cluster-name-1
volume_backend_name = lefthand
volume_driver = cinder.volume.drivers.hpe.hpe_lefthand_iscsi.\
                HPELeftHandISCSIDriver

[lefthandrep]
hpelefthand_api_url = https://11.11.11.11:8081/lhos
hpelefthand_username = user
hpelefthand_password = pass
hpelefthand_clustername = mgm-cluster-name-2
volume_backend_name = lefthandrep
volume_driver = cinder.volume.drivers.hpe.hpe_lefthand_iscsi.\
                HPELeftHandISCSIDriver
replication_device = managed_backend_name:alex-devstack@lefthand#lefthand,
                     target_device_id:lh-id,
                     hpelefthand_api_url:https://10.10.10.10:8081/lhos,
                     hpelefthand_username:user,
                     hpelefthand_password:pass,
                     hpelefthand_clustername:mgm-cluster-name-1

Change-Id: I97959e78b71042642a9f36fc2cd8a4ad3c73f135
Implements: blueprint hp-lefthand-v2-replication
DocImpact

Enable trim/discard in SolidFire's driver

Pretty straight forward change to set a flag in the connection info
returned from initialize_connection. This change will work pending
upcoming Nova code reviews, as trim/discard support has been supported
by SolidFire since its inception.

Followed the Cinder Liberty spec titled
'cinder-backend-report-discard' for this change.

Change-Id: I667bb27cf4be7cfe7d403c9603c40bf20db9491e

Merge "Re-add Nexenta drivers"

Merge "Execute mount.nfs check as root"

Re-add Nexenta drivers

Drivers were removed due to lack of CI.

Refactored iSCSI to use single target/tg with multiple zvols.
Migrated unit tests to use mock.
Added releasenotes.

DocImpact
Implements: blueprint nexentastor-4-cinder-drivers
Change-Id: I2ff4c79573322a9c0cd473a9d413e1fcdbe55ee0

Merge "3PAR: Adding volume checks to manage snapshot API"

Merge "Add ConsistencyGroupStatus enum field"

Merge "Dell SC: Implements Replication V2"

Handling Invalid argument iflag=direct in dd

During volume/snapshot create/delete operations,
dd command is used to clear contents of disk.

Before invoking dd, it is checked if iflag=direct
supports dd or not by executing dd command with
iflag=direct and if=/dev/zero combination.
But this always results in invalid argument
error.

Handling for this argument is done to eliminate
unnecessary call to dd command when it is used
with iflag=direct and if=/dev/zero combination
to check if this argument supports dd or not.

Closes-Bug: #1270362

Change-Id: Ic6dd029ca1a339076e491c38ef3c69315497f189

Execute mount.nfs check as root

Currently the existence of 'mount.nfs' is checked with a
non-root user, in this case cinder. This results, for example on SUSE,
in the error:

      NfsException: mount.nfs is not installed

Because mount.nfs is located under /sbin, unprivileged users do not
have /sbin in their PATH to search for executables.
This change switches the parameter run_as_root to true, to find
the binary in privileged directories, as well.

Change-Id: Id1dcc9a7653f1317532da2eb83aa1ecbb5cf5ec8
Closes-Bug: #1510150

Report discard support for Dell SC connections

Add reporting of discard in the properties returned from
initialize_connection. Dell SC arrays support trim/discard
with no special configuration needed, so this can always
be set to true.

Change-Id: Ib0136369e230b5219b2b3994d17b6b31a9aba69f

Add ConsistencyGroupStatus enum field

This change adds a new enum and field, ConsistencyGroupStatus and
ConsistencyGroupStatusField, that will hold the constants for the
'status' field of the ConsistencyGroup object. This enum and field
are based off the base oslo.versionedobjects enum and field. This
also changes over the ConsistencyGroup object to use the new field
(and bumps the version so newer versions know to enforce
valid values). Finally, all uses of strings for comparison and
assignment to this field are changed over to use the constants
defined within the enum.

Change-Id: Icee2727f0a550541876c63b6e7340acf3de553c8
Implements:  bp cinder-object-fields

3PAR: Adding volume checks to manage snapshot API

Updated the checks in the HPE 3PAR manage snapshot API to use
the volume object for comparison. Also added new checks to
prevent un/managing of snapshots from/to volumes that have a
status of 'failed-over' for replication status.

This is a follow-up patch for:
https://review.openstack.org/#/c/253760/

Implements: blueprint 3par-manage-unmanage-snapshot
Change-Id: Ie187e67d9eec2121d6ccad5667c6d9fc73f98ce3

Merge "Wrong usage of "an" in the mesages:"

Allow host and instance_uuid at attach

This patch removes the restriction on passing both
host name and instance_uuid during os-attach call.

Change-Id: I2a66920a76d3abfd6da384d2dd963f054ce61c03
Partial-Bug: #1471278

Merge "Removes the Violin 6000 FC and iSCSI drivers"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I24be2764ad32a58fe4d1097a7a6d5976b4f7dfda

Merge "Fix tox -e fast8"

Merge "Updated from global requirements"

Merge "Replace deprecated library function os.popen() with subprocess"

Add finish_volume_migration to volume object

The following patch adds finish_volume_migration() to
the volume object, so it could be used by
migrate_volume_completion() in cinder/volume/manager.py
to properly delete the destination volume on failure.
It also optimizes the call to finish_volume_migration
by using the existing volume objects instead of
performing additional volume lookups.

Change-Id: I02ddf2afb8643e4d3c68934627ad35193e0137ef
Closes-Bug: #1520102

Fix tox -e fast8

This currently doesn't report failures.

Also restrict files tested to HEAD~1..HEAD
instead of HEAD~2..HEAD.

Change-Id: I4983db5594fc2746eb28ec87a74d5d0ba27c9aaf

Merge "Remove duplicate keys from dictionary"

Merge "Remove API races from delete methods"

Updated from global requirements

Change-Id: I32eed7e02a645b3bbce43f4c864d645e413bd2dd

Removes the Violin 6000 FC and iSCSI drivers

The 6000 series of arrays are no longer supported. They are now replaced
by the more recent 7000 series of arrays. Therefore, the 6000 drivers
are removed from here to free up the much needed CI resources.

DocImpact
Implements: blueprint vmem-remove-6000-drivers
Change-Id: I4de63edd6dbc10d2c0c2bfd935d7bc4430075105

Merge "Enable consisgroups in SolidFire driver"

Merge "Fix delete_snapshot error case in Pure driver"

Dell SC: Implements Replication V2

This patch implements cinder Replication version 2 in the
Dell Storage Center Cinder driver.

Adds the check_result function to standardize the logging of
Dell SC Rest API errors.

Updated all todos to TODOs.

Updated all exceptions to standard formatting.  (data=msg,
reason=msg, etc.)

Added support for replicating the active replay. This is
via extra spec replication:activereplay. Replication only
replicates the most current replay. Replicating the active
replay means that the destination will be as current as
possible.

Added support for replay profiles. This is via the extra
spec storagetype:replayprofiles. Currently replication profiles
are specified by the user preferences. These can now be set
by extra spec which means by volume type.

Added release note.

Change-Id: I6e4fee07deffb9e2f86c5c514a0bcf85b37d57a1
Implements: blueprint dell-sc-replication-v2

Merge "Wrong usage of "an" in the mesages: an service"

Enable consisgroups in SolidFire driver

This patch enables Consistency Group support in the SolidFire driver.
SolidFire group snapshots are what is used to provide consistent
snapshots on the backend.

A variety of helpers were used to wrap the API requests, meanwhile
other helpers were utilized to jump through the necessary hoops to
adopt the SolidFire API/group snapshots for use in consistency groups.
Because the SolidFire array does not create logical groupings of
volumes as consistency groups, there are a lot of no-ops used to
satisfy the necessary Cinder functions as specified in driver.py.
In-line comments attempt to clarify this. In short, a lot of searching
is needed to create consistency groups on the fly per request.

Change-Id: I82a8b2b6f2db4fca0c1cac892e323eae59c6b98c

Merge "Constant defined for sqlAlchemy VARCHAR & INTEGER"

Merge "Change minimum 3PAR API version for replication"

Merge "Optimize 3PAR array ID retrieval"

Merge "Add metadata aliases to Volume object"

Merge "Fix grammatical mistake in defining articles."

Replace deprecated library function os.popen() with subprocess

os.popen() is deprecated since version 2.6. Resolved with use of
subprocess module.

Change-Id: I4d0044c110c32f87ac0316a7e665e2bb9ea88813
Partial-Bug: #1529836

Merge "Scality SOFS: don't always read /proc/mounts twice"

Merge "Don’t log warnings for image cache when disabled"

Constant defined for sqlAlchemy VARCHAR & INTEGER

sqlalchemy.types.VARCHAR and sqlalchemy.types.INTEGER are defined
and used as VARCHAR_TYPE and INTEGER_TYPE respectively in
cinder/tests/unit/test_migrations.py.

Change-Id: I3ed83f270843e93d3d1f730d6eaf2320e8269743
Closes-Bug: #1528989

Merge "Remove name_id when creating volume with cache enabled"

Merge "Allow replicated volumes to be recoverable"

Merge "Re-enabled hacking checks for H105"

Change minimum 3PAR API version for replication

Currently, the primary and all secondary 3PAR arrays must have an API
version of 1.4.2 or higher and all be on the same version. This is
changed to require version 1.5.0 or higher and does not force all
arrays to be on the same version.

Change-Id: Ie6cc19f3bc4939e1ad15b64140a21bab1bc27fc7

Optimize 3PAR array ID retrieval

Currently, we are making a call to the 3PAR array every time the
common driver is initialized, which is inefficient considering the
call is already made in get_volume_stats. Instead of making the call
every time, we can pass in the driver stats to common's do_setup and
use the array ID from there.

If the stats are not yet available, we will ask the array directly for
the ID.

Change-Id: Iff065cd9debfc899b1d88475c63c7b2cb1e5e1b6

Add metadata aliases to Volume object

When writing Volume object we've renamed some fields from SQLAlchemy
model. This included volume_metadata (renamed to metadata) and
volume_admin_metadata (renamed to admin_metadata) and
volume_glance_metadata (recently added as glance_metadata). Some code
were relying on old names. As right now we're in the transitional phase
it's hard to tell if driver method will get versioned object or old
SQLAlchemy object.

To mitigate that and mimic old SQLAlchemy object behavior on versioned
object we should add properties to serve as aliases for older names.

This commit also fixes the tests for EMC VNX that were blocking the
patch. Tests were setting volume_metadata property on volume object,
which actually had no effect without this patch.

Another thing done is moving overriding __contains__ from
CinderObjectDictCompat to CinderObject class to solve MRO issue because
both of these classes were defining __contains__ method.

Change-Id: I79e24c5ad20f17bb6b21b2d47f955afde47d9794
Closes-Bug: 1529877
Related-Bug: 1516903

Merge "Add Fujitsu ETERNUS DX Volume Driver (again)"

Re-enabled hacking checks for H105

Following the upgrade to hacking version 0.10.0 the H105 issues were
ignored. There was a note left in tox.ini to clean up the H105 issues
and to re-enable the check.

Updated tox.ini to re-enable the check of H105 and fixed corresponding
pep8 issues. This way Cinder aligns rows with Nova, Neutron, Glance etc
that have H105 enabled.

Closes-Bug: 1531104
Change-Id: I2da70cbeb838f16ec8479284dda9d7c62566dace

Merge "Updated "deleted" column of volume_type_access"

Don’t log warnings for image cache when disabled

Right now we do a check for the internal tenant and log a warning before
we check to see if the cache is even turned on for that backend. We
should be only checking for the internal tenant if the image cache has
been configured for the backend.

In addition we shouldn’t log a warning for this since there is already
a warning for the internal context when we try and create it if it is
not configured correctly… to reduce the warning spam this change
switches the log message to an info level.

Change-Id: Iddc4648543d268a4b3b8d557c94c4d2876654e22
Closes-Bug: #1530964

Fix grammatical mistake in defining articles.

Wrong usage of word 'an' in defining articles, it should be
"a volume" instead of "an volume".

Change-Id: Iad4e7dcfbdcec568fc6a6f70b04d47a344f703e0

Scality SOFS: don't always read /proc/mounts twice

If the Scale Out FS is correcty mounted and found in /proc/mounts
then there's no need to read /proc/mounts again.

Change-Id: I8fa33cc80d2491d98986053f678cdf7983132bf9

Add BackupStatus enum field

This change adds a new enum and field, BackupStatus and
BackupStatusField, that will hold the constants for the 'status' field
of the Backup object. This enum and field are based off the base
oslo.versionedobjects enum and field. This also changes over the Backup
object to use the new field (and bumps the version so newer versions
know to enforce valid values). Finally, all uses of strings for
comparison and assignment to this field are changed over to use the
constants defined within the enum.

Change-Id: I3df71e361f2bd37417133a4c1189e37466ed0b56
Implements: bp cinder-object-fields

Merge "Updates consistency group for ibm svc driver"

Merge "Updated from global requirements"

Updated from global requirements

Change-Id: I07e575fe6f4d26f23372846fce78a84055a7f7d3

Fix issue with flake8 check and full paths

Currently hacking check_explicit_underscore_import is dependent
on a relative file path. A call of "flake8 ." works fine but
"flake8 $PWD" doesn't which shouldn't be any difference.

Change-Id: I7d40bbb771f96d28db38db69939de5e5993f3e9b
Closes-bug: #1530460

Merge "Add backref relationships to ConsistencyGroup obj"

Merge "Fix creating volume by snapshot for GPFS driver"

Merge "Fix race conditions in migration 061"

Merge "Replace use of mox with mock in test_nfs"

Fix race conditions in migration 061

Migration 061 is supposed to add new `data_timestamp` field and populate
it with value of `created_at` column. This was done by selecting all the
backups and doing updates one-by-one. As it wasn't done in transaction
solution was prone to race condition when a new backup is added while
running the migration. This means that this migration could cause
problems when running in live environment. With blueprint
online-schema-upgrades we want to make Cinder able to perform migrations
live.

A solution is to change this statement to a single DB query which
updates all the rows. This commit also removes unnecessary update to
snapshot_id added there. As this column is nullable it will by default
be NULL, so there's no need to set it manually to that value.

As before and after this commit the migration does logically the same,
this should be safe even if someone is doing inter-release deployments.

An alternative would be to simply add transaction to the update step in
the migration, but that would effectively lock the table for longer
period of time than atomic one-query update.

Closes-Bug: 1530358
Change-Id: Ib8733c096a3dbe2bad00beaf5734936ffcddda33

Replace use of mox with mock in test_nfs

This patch replaces the remaining cases of mox with mock in test_nfs.py

Change-Id: I1867e4b4dd0d111776b5f5d60b1eff42309ff8ab
Partial-Implements: blueprint mox-to-mock-conversion
Closes-Bug: 1284160

Updated "deleted" column of volume_type_access

Below changes are done in this commit:

a. replaced update()
update() is replaced with oslo.db's soft_delete() used in
volume_type_access_remove() function of sqlalchemy.db.api to keep
value of "id" in "deleted" column during volume type access remove
operation.
This bug will be solved after this change.

b. updated db schema
db schema of volume_type_projects if updated.
As tinyint can store maximum 127, "deleted" column type is modified
tinyint->integer so that it can store more than 128 entries in it.

c. release notes
release notes added to prohibit addition or deletion of
volume_type_access to a project during update operation.

UpgradeImpact
Closes-Bug: #1518363

Change-Id: I638a202dfb2b4febf1d623683de22df3b6dc2615

Merge "Small refactoring in test_admin_actions.py"

Add Fujitsu ETERNUS DX Volume Driver (again)

This driver supports FUJITSU Storage ETERNUS DX.
The volume driver for ETERNUS DX dropped at Kilo,
because we could not prepare 3rd party CI until deadline (Kilo-3).
I upload it again for Mitaka release.

[Supported Protocol]
 - iSCSI

[Supported Feature]
 - Volume Create/Delete
 - Volume Attach/Detach
 - Snapshot Create/Delete
 - Create Volume from Snapshot
 - Get Volume Stats
 - Copy Image to Volume,
 - Copy Volume to Image
 - Clone Volume
 - Extend Volume

DocImpact
Change-Id: Iea6ed679616ccf4bd7aa0c5f6ad6067aa1bed7f6
Implements: blueprint fujitsu-eternus-dx-driver

Merge "Add volume driver for Tegile IntelliFlash array"

Merge "Replace use of mox with mock in test_rbd"

Merge "Rebrand HP XP driver to now be HPE"

Merge "Fix some warnings about 'unused variable' for XIO"

Add backref relationships to ConsistencyGroup obj

ConsistencyGroup object was missing relationships that were defined on
the SQLAlchemy model as backrefs. This includes volumes and cgsnapshots
fields. This commit adds fields representing these relationships.

Change-Id: Ia74997ddfed1e472874b6892c2fcaa208b7a9a3c
Partial-Bug: 1509012

Merge "Misspelling in message"