Report discard support for Dell SC connections

Add reporting of discard in the properties returned from
initialize_connection. Dell SC arrays support trim/discard
with no special configuration needed, so this can always
be set to true.

Change-Id: Ib0136369e230b5219b2b3994d17b6b31a9aba69f

Merge "Wrong usage of "an" in the mesages:"

Merge "Removes the Violin 6000 FC and iSCSI drivers"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I24be2764ad32a58fe4d1097a7a6d5976b4f7dfda

Merge "Fix tox -e fast8"

Merge "Updated from global requirements"

Merge "Replace deprecated library function os.popen() with subprocess"

Fix tox -e fast8

This currently doesn't report failures.

Also restrict files tested to HEAD~1..HEAD
instead of HEAD~2..HEAD.

Change-Id: I4983db5594fc2746eb28ec87a74d5d0ba27c9aaf

Merge "Remove duplicate keys from dictionary"

Merge "Remove API races from delete methods"

Updated from global requirements

Change-Id: I32eed7e02a645b3bbce43f4c864d645e413bd2dd

Removes the Violin 6000 FC and iSCSI drivers

The 6000 series of arrays are no longer supported. They are now replaced
by the more recent 7000 series of arrays. Therefore, the 6000 drivers
are removed from here to free up the much needed CI resources.

DocImpact
Implements: blueprint vmem-remove-6000-drivers
Change-Id: I4de63edd6dbc10d2c0c2bfd935d7bc4430075105

Merge "Enable consisgroups in SolidFire driver"

Merge "Fix delete_snapshot error case in Pure driver"

Merge "Wrong usage of "an" in the mesages: an service"

Enable consisgroups in SolidFire driver

This patch enables Consistency Group support in the SolidFire driver.
SolidFire group snapshots are what is used to provide consistent
snapshots on the backend.

A variety of helpers were used to wrap the API requests, meanwhile
other helpers were utilized to jump through the necessary hoops to
adopt the SolidFire API/group snapshots for use in consistency groups.
Because the SolidFire array does not create logical groupings of
volumes as consistency groups, there are a lot of no-ops used to
satisfy the necessary Cinder functions as specified in driver.py.
In-line comments attempt to clarify this. In short, a lot of searching
is needed to create consistency groups on the fly per request.

Change-Id: I82a8b2b6f2db4fca0c1cac892e323eae59c6b98c

Merge "Constant defined for sqlAlchemy VARCHAR & INTEGER"

Merge "Change minimum 3PAR API version for replication"

Merge "Optimize 3PAR array ID retrieval"

Merge "Add metadata aliases to Volume object"

Merge "Fix grammatical mistake in defining articles."

Replace deprecated library function os.popen() with subprocess

os.popen() is deprecated since version 2.6. Resolved with use of
subprocess module.

Change-Id: I4d0044c110c32f87ac0316a7e665e2bb9ea88813
Partial-Bug: #1529836

Merge "Scality SOFS: don't always read /proc/mounts twice"

Merge "Don’t log warnings for image cache when disabled"

Constant defined for sqlAlchemy VARCHAR & INTEGER

sqlalchemy.types.VARCHAR and sqlalchemy.types.INTEGER are defined
and used as VARCHAR_TYPE and INTEGER_TYPE respectively in
cinder/tests/unit/test_migrations.py.

Change-Id: I3ed83f270843e93d3d1f730d6eaf2320e8269743
Closes-Bug: #1528989

Merge "Remove name_id when creating volume with cache enabled"

Merge "Allow replicated volumes to be recoverable"

Merge "Re-enabled hacking checks for H105"

Change minimum 3PAR API version for replication

Currently, the primary and all secondary 3PAR arrays must have an API
version of 1.4.2 or higher and all be on the same version. This is
changed to require version 1.5.0 or higher and does not force all
arrays to be on the same version.

Change-Id: Ie6cc19f3bc4939e1ad15b64140a21bab1bc27fc7

Optimize 3PAR array ID retrieval

Currently, we are making a call to the 3PAR array every time the
common driver is initialized, which is inefficient considering the
call is already made in get_volume_stats. Instead of making the call
every time, we can pass in the driver stats to common's do_setup and
use the array ID from there.

If the stats are not yet available, we will ask the array directly for
the ID.

Change-Id: Iff065cd9debfc899b1d88475c63c7b2cb1e5e1b6

Add metadata aliases to Volume object

When writing Volume object we've renamed some fields from SQLAlchemy
model. This included volume_metadata (renamed to metadata) and
volume_admin_metadata (renamed to admin_metadata) and
volume_glance_metadata (recently added as glance_metadata). Some code
were relying on old names. As right now we're in the transitional phase
it's hard to tell if driver method will get versioned object or old
SQLAlchemy object.

To mitigate that and mimic old SQLAlchemy object behavior on versioned
object we should add properties to serve as aliases for older names.

This commit also fixes the tests for EMC VNX that were blocking the
patch. Tests were setting volume_metadata property on volume object,
which actually had no effect without this patch.

Another thing done is moving overriding __contains__ from
CinderObjectDictCompat to CinderObject class to solve MRO issue because
both of these classes were defining __contains__ method.

Change-Id: I79e24c5ad20f17bb6b21b2d47f955afde47d9794
Closes-Bug: 1529877
Related-Bug: 1516903

Merge "Add Fujitsu ETERNUS DX Volume Driver (again)"

Re-enabled hacking checks for H105

Following the upgrade to hacking version 0.10.0 the H105 issues were
ignored. There was a note left in tox.ini to clean up the H105 issues
and to re-enable the check.

Updated tox.ini to re-enable the check of H105 and fixed corresponding
pep8 issues. This way Cinder aligns rows with Nova, Neutron, Glance etc
that have H105 enabled.

Closes-Bug: 1531104
Change-Id: I2da70cbeb838f16ec8479284dda9d7c62566dace

Merge "Updated "deleted" column of volume_type_access"

Don’t log warnings for image cache when disabled

Right now we do a check for the internal tenant and log a warning before
we check to see if the cache is even turned on for that backend. We
should be only checking for the internal tenant if the image cache has
been configured for the backend.

In addition we shouldn’t log a warning for this since there is already
a warning for the internal context when we try and create it if it is
not configured correctly… to reduce the warning spam this change
switches the log message to an info level.

Change-Id: Iddc4648543d268a4b3b8d557c94c4d2876654e22
Closes-Bug: #1530964

Fix grammatical mistake in defining articles.

Wrong usage of word 'an' in defining articles, it should be
"a volume" instead of "an volume".

Change-Id: Iad4e7dcfbdcec568fc6a6f70b04d47a344f703e0

Scality SOFS: don't always read /proc/mounts twice

If the Scale Out FS is correcty mounted and found in /proc/mounts
then there's no need to read /proc/mounts again.

Change-Id: I8fa33cc80d2491d98986053f678cdf7983132bf9

Add BackupStatus enum field

This change adds a new enum and field, BackupStatus and
BackupStatusField, that will hold the constants for the 'status' field
of the Backup object. This enum and field are based off the base
oslo.versionedobjects enum and field. This also changes over the Backup
object to use the new field (and bumps the version so newer versions
know to enforce valid values). Finally, all uses of strings for
comparison and assignment to this field are changed over to use the
constants defined within the enum.

Change-Id: I3df71e361f2bd37417133a4c1189e37466ed0b56
Implements: bp cinder-object-fields

Merge "Updates consistency group for ibm svc driver"

Merge "Updated from global requirements"

Updated from global requirements

Change-Id: I07e575fe6f4d26f23372846fce78a84055a7f7d3

Fix issue with flake8 check and full paths

Currently hacking check_explicit_underscore_import is dependent
on a relative file path. A call of "flake8 ." works fine but
"flake8 $PWD" doesn't which shouldn't be any difference.

Change-Id: I7d40bbb771f96d28db38db69939de5e5993f3e9b
Closes-bug: #1530460

Merge "Add backref relationships to ConsistencyGroup obj"

Merge "Fix creating volume by snapshot for GPFS driver"

Merge "Fix race conditions in migration 061"

Merge "Replace use of mox with mock in test_nfs"

Fix race conditions in migration 061

Migration 061 is supposed to add new `data_timestamp` field and populate
it with value of `created_at` column. This was done by selecting all the
backups and doing updates one-by-one. As it wasn't done in transaction
solution was prone to race condition when a new backup is added while
running the migration. This means that this migration could cause
problems when running in live environment. With blueprint
online-schema-upgrades we want to make Cinder able to perform migrations
live.

A solution is to change this statement to a single DB query which
updates all the rows. This commit also removes unnecessary update to
snapshot_id added there. As this column is nullable it will by default
be NULL, so there's no need to set it manually to that value.

As before and after this commit the migration does logically the same,
this should be safe even if someone is doing inter-release deployments.

An alternative would be to simply add transaction to the update step in
the migration, but that would effectively lock the table for longer
period of time than atomic one-query update.

Closes-Bug: 1530358
Change-Id: Ib8733c096a3dbe2bad00beaf5734936ffcddda33

Replace use of mox with mock in test_nfs

This patch replaces the remaining cases of mox with mock in test_nfs.py

Change-Id: I1867e4b4dd0d111776b5f5d60b1eff42309ff8ab
Partial-Implements: blueprint mox-to-mock-conversion
Closes-Bug: 1284160

Updated "deleted" column of volume_type_access

Below changes are done in this commit:

a. replaced update()
update() is replaced with oslo.db's soft_delete() used in
volume_type_access_remove() function of sqlalchemy.db.api to keep
value of "id" in "deleted" column during volume type access remove
operation.
This bug will be solved after this change.

b. updated db schema
db schema of volume_type_projects if updated.
As tinyint can store maximum 127, "deleted" column type is modified
tinyint->integer so that it can store more than 128 entries in it.

c. release notes
release notes added to prohibit addition or deletion of
volume_type_access to a project during update operation.

UpgradeImpact
Closes-Bug: #1518363

Change-Id: I638a202dfb2b4febf1d623683de22df3b6dc2615

Merge "Small refactoring in test_admin_actions.py"

Add Fujitsu ETERNUS DX Volume Driver (again)

This driver supports FUJITSU Storage ETERNUS DX.
The volume driver for ETERNUS DX dropped at Kilo,
because we could not prepare 3rd party CI until deadline (Kilo-3).
I upload it again for Mitaka release.

[Supported Protocol]
 - iSCSI

[Supported Feature]
 - Volume Create/Delete
 - Volume Attach/Detach
 - Snapshot Create/Delete
 - Create Volume from Snapshot
 - Get Volume Stats
 - Copy Image to Volume,
 - Copy Volume to Image
 - Clone Volume
 - Extend Volume

DocImpact
Change-Id: Iea6ed679616ccf4bd7aa0c5f6ad6067aa1bed7f6
Implements: blueprint fujitsu-eternus-dx-driver

Merge "Add volume driver for Tegile IntelliFlash array"

Merge "Replace use of mox with mock in test_rbd"

Merge "Rebrand HP XP driver to now be HPE"

Merge "Fix some warnings about 'unused variable' for XIO"

Add backref relationships to ConsistencyGroup obj

ConsistencyGroup object was missing relationships that were defined on
the SQLAlchemy model as backrefs. This includes volumes and cgsnapshots
fields. This commit adds fields representing these relationships.

Change-Id: Ia74997ddfed1e472874b6892c2fcaa208b7a9a3c
Partial-Bug: 1509012

Merge "Misspelling in message"

Misspelling in message

Misspelling in the message:
"commited immediately to the DB"
Should be "committed immediately to the DB"

Totally 4 occasions in Cinder base code

Change-Id: I3ae84e7680fe4da721047cd9a0e2d94ec426795f

Fix some warnings about 'unused variable' for XIO

Fix some warnings about 'unused variable' in xio driver and xio unit test.

Change-Id: Iab5d81800330e13f72705f8e689bb6b8f5126761

Updates consistency group for ibm svc driver

The changes are:
1. ability to modify a consistecy group (update_consistencygroup)
2. ability to create a consistency group from a cgsnapshot or from
   another consistency group (create_consistencygroup_from_src)

DocImpact
Change-Id: Ibdf60ca50d6ee2d25ed51b8f0adbb64ff2a3d17c
Implements: bp ibm-storwize-cg-updates

Merge "Fix to allow RBD delete an unprotected snapshot"

Merge "Remove the deprecated ibmnas driver"

Merge "Rename Huawei drivers"

Merge "Quota API is now compatible with keystone API v2"

Merge "Updated violin driver check for volume objects"

Merge "Making NFS _find_share efficient"

Merge "Do not use api-paste.ini osprofiler options"

Merge "Modify VO so that obj.get always defaults to None"

Merge "Retyping volume got error under max vol limit"

Add volume driver for Tegile IntelliFlash array

The Tegile driver will support the iSCSI and FC protocols and it will
include the minimum set of features.
[Supported Protocol]
 - iSCSI, FC

[Supported Feature]
 - Volume Create/Delete
 - Volume Attach/Detach
 - Snapshot Create/Delete
 - Create Volume from Snapshot
 - Get Volume Stats
 - Copy Image to Volume,
 - Copy Volume to Image
 - Clone Volume
 - Extend Volume

Tegile has setup a CI. It will report as "Tegile Storage CI".

DocImpact
Implements: blueprint tegile-volume-driver
Change-Id: Ia0e6c320964f3955d6c7d4dcff4a0241a3960495

Fix to allow RBD delete an unprotected snapshot

RBD creates snapshots and marks it as protected. Before deleting,
RBD tries to 'unprotect' a snapshot. In the case when the snapshot
was already marked as 'unprotected' RBD failed to remove it. This
patch allow RBD delete such a snapshot.

Change-Id: Ic1ea72cc107c2eb949c5748a309f0a8956ea8082
Closes-Bug: 1529626

Merge "Wrong usage of "a""

Merge "Add config option to enable reporting discard"

Merge "Enhance the stats reported from the Pure Volume Drivers"

Remove the deprecated ibmnas driver

The ibmnas driver has been deprecated since the Liberty release.
In the Liberty release, NFS capabilities were added to the IBM
GPFS driver with commit:  bf4ca3bcf099760ef145571b975badc80d42b2d6 .
The ability for the GPFS driver to use NFS based shares rendered
the ibmnas driver redundant.

This commit removes the ibmnas driver and its tests.  The commit also
updates the opts.py file to remove reference to the ibmnas options.

Release notes are included with this commit.

DocImpact

Change-Id: Iac4a2f1770f7d02979eec1d8d5866d9fc4b6d18c

Wrong usage of "a"

Wrong usage of "a" in the mesages:
"Convert list of dicts to a indexted dict"
"Attempt to create a initiatorGroup"
"Return a empty"
"Return a object containing the parsed output"
"where volume is either a dict or a oslo_versionedobject"
"this is a update from legacy driver"

Should be:
"Convert list of dicts to an indexted dict"
"Attempt to create an initiatorGroup"
"Return an empty"
"Return an object containing the parsed output"
"where volume is either a dict or an oslo_versionedobject"
"this is an update from legacy driver"

Totally 6 occasions in Cinder base code.

Change-Id: I209fa7817f531107ae15a980f81c02fe63dd557e

Rebrand HP XP driver to now be HPE

This patch refactors the HP XP driver to be HPE XP.
This is being done because the company responsible for
this driver is now Hewlett Packard Enterprise (HPE).
The driver is now located in the cinder/volume/drivers/hpe folder.

DocImpact
Implements: blueprint rebrand-hp-xp-driver
Change-Id: Ia16d39b9fec299662c97c236215a4e1aec44171a

Fix creating volume by snapshot for GPFS driver

For a operation of creating volume from volume snapshot,
GPFS driver is currently doing a full copy instead of clone when
it is creating a new volume. This happens when the source volume
is not in any consistency group.

With this patch, a GPFS file clone is created when both the volumes
(snapshot parent volume and new volume being created) are not in
any consistency group.

Change-Id: I0aa550842fb16b7abb8765e4aa8dce61cd0994c3
Closes-bug: #1528305

Rename Huawei drivers

Rename Huawei18000ISCSIDriver and Huawei18000FCDriver
to HuaweiISCSIDriver and HuaweiFCDriver.

DocImpact
Implements: blueprint huawei-driver-rename
Change-Id: I21f5a2d5bbf9a0af9e9b01878c271e9329f44cff

Merge "Updated from global requirements"

Merge "Add pagination support to Qos specs"

Merge "Backup snapshots"

Merge "Update Pure REST API supported version numbers in Pure driver"

Merge "Remove API races from attach and detach methods"

Merge "Storwize: Split up __init__ into separate files"

Merge "Replace use of mox with mock in test_quotas"

Remove API races from delete methods

This patch changes delete API methods to use compare-and-swap updates in
order to remove potential races.

Updated methods are:
- delete
- delete_snapshot

Specs: https://review.openstack.org/232599/

Implements: blueprint cinder-volume-active-active-support
Closes-Bug: #1490944
Change-Id: Ic09825b27774fa4b0ab2b7e60577ecfb3640bcf2

Remove API races from attach and detach methods

This patch uses compare-and-swap to perform atomic DB changes to remove
API races in attach and detach related methods.

Races are removes from the following methods:
- attach
- roll_detaching
- begin_detaching
- unreserve_volume
- reserve_volume

Specs: https://review.openstack.org/232599/

Implements: blueprint cinder-volume-active-active-support
Closes-Bug: #1238093
Change-Id: I646d946209e0921d1056ee89e59b82b814bf9c15

Quota API is now compatible with keystone API v2

Before, the quota API used to fail to perform calls with specified
keystone API v2, because the keystone client used in code was set
to v3 and all quota operations used to assume that the user would
use only keystone API v3.
Now, we use the generic client, which discovers the version of the
keystone API, so depending on that, the quota API can perform
appropriate operations.

Change-Id: I32595a37a9fe74ede77c92f76e0865f4c9371f65
Closes-Bug: 1517043

Add pagination support to Qos specs

In Liberty release, we have added pagination to backups
and snapshot. There are still some work that hasn't been
done yet.
This patch add pagination support to Qos specs.

APIImpact
DocImpact

Implements: blueprint add-pagination-to-other-resource

Change-Id: I1965c8be6b4415ff99fb50e05e77f791f3ff5942

Remove name_id when creating volume with cache enabled

When image_volume_cache_enabled = True, Cinder will create
a cached image volume. But when creating this image volume,
the name_id is set to id of newly created volume, which causes
the image volume is unable to be created in the underlying storage
system.

This fix will remove the name_id so that volume.name can refer to
correct LUN on storage system

Also, a minor fix: passing volume.id to delete_volume since
it only accept volume id.

Change-Id: Ib47b189a525d8a9bd9026cc20f62542aede9c9d4
Closes-bug: 1528087

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: If78879ba8b2f4cf9b62c33c24c5f8935f07161f8

Updated from global requirements

Change-Id: I66e02ccb6d54acbae786e2aeed3df1518d7370fa

Merge "Fix volume upload failure with glance_api_version=2"

Enhance the stats reported from the Pure Volume Drivers

This change provides some improvements for older scheduler hints and
stats along with a few new stats that can be used for filtering and
goodness functions. These new stats include:

Latency:
    usec_per_read_op  - Average arrival-to-completion time, measured in
                        microseconds, for a host read operation.
    usec_per_write_op - Average arrival-to-completion time, measured in
                        microseconds, for a host write operation.
    queue_depth       - Average number of queued I/O requests.

IOPS:
    reads_per_sec  - Number of read requests processed per second.
    writes_per_sec - Number of write requests processed per second.
                     Bandwidth
    input_per_sec  - Number of bytes read per second.
    output_per_sec - Number of bytes written per second.

Metadata:
    total_hosts     - Total number of Purity hosts created.
    total_snapshots - Total number of snapshots (includes pending
                      deletion).
    total_pgroups   - Total number of Protection Groups (includes
                      pending deletion).

Note: All of these stats are for the entire array and are not specific
to the Cinder volumes, snapshots, hosts, latency, etc.

As part of the new and improved stats the drivers will respect the
cinder.conf backend “reserved_percentage” option. Previously it was set
to 0.

Last but not least there is a new config option called
“pure_automatic_max_oversubscription_ratio”. This defaults to True, and
when enabled gives the older behavior of automatically calculating the
thin provisioning ratio which was allowed for the backend. If disabled
the driver will now respect the “max_over_subscription_ratio” config
option.

DocImpact
Change-Id: I733f4f90addc39f4c1b720ce63100b15b0523b3e
Implements: blueprint pure-enhanced-stats

Merge "NetApp: Refactor E-Series tests"

Allow replicated volumes to be recoverable

Currently, once they are in ‘error’ or ‘failed-over’ states you can’t
do anything with them. We need to allow enable_replication after the
admin has resolved any issues that may have prevented the operation.

Same thing for after a fail-over, you cannot enable replication on it.

This change allows for more states to be recoverable via enable
replication. It also more uniformly sets the state to ‘error’ when
something bad happens.

'enabled' --> replication is on.
'disabled' --> replication is off by design.
'failed-over' --> we have just failed over. Replication is off.
'error' --> an error occurred during the last operation.

allowed flow is:
'enabled' --> 'failed-over'/'disabled'/'error'
'error' --> 'enabled'/'error'
'disabled' --> 'enabled'/'error'
'failed-over' --> 'enabled'/'error'

Change-Id: Icbc22b8501b048b1755019305430177ba0a9385f
Partial-Bug: #1491631

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I90ef57d11600ed766d7faad931d7fd31ab3f771f

Retyping volume got error under max vol limit

After reaching the max volume limit and
retyping one of volumes, cinder will raise
error: "VolumeLimitExceeded".

This error shouldn't be occurring since the
volume type limit is -1 and retyping doesn't
change the volume quota, it changes the volume
type quota.

Change-Id: I5f25c47158ac24bef94078457a84248daa67e80f
Closes-Bug: #1504719

Merge "Move retype quota checks to API"