Merge "Case sensitivity problem in cinder scheduler"

Merge "Use Service object instead of DB API directly"

Merge "Add reno for release notes management"

Merge "Update register_opts hacking check to allow tuples"

Merge "Docstring fix in scheduler-stats"

Merge "Don't use default=None for config options"

Merge "Add protocol to help of glance_api_servers option"

Don't use default=None for config options

In the config module default=None is set as the default value,
so it isn't necessary to set it again when doing config options.

Change-Id: I09989ab679d249a9f7dea6af5d53c14dd1726e09
Closes-Bug: #1323975

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ifa7a8f2610f20afd7416adae8c32ddaa47e55262

Merge "Port vmware datastore to Python 3"

Merge "Fix delete quota of subprojects"

Merge "Using extra-specs in cloned vols for Nimble driver"

Merge "Port test_tintri to Python 3"

Merge "NetApp: Cleanup if E-Series volume create fails"

Port vmware datastore to Python 3

* _filter_datastores(): replace filter() with list comprehension
  to get a list on Python 3.
* tox.ini: add test_vmware_datastore to Python 3.4.

Partial-Implements: blueprint cinder-python3
Change-Id: Ide4e4adf012e155b99b528ddde937df1a48a079b

Use Service object instead of DB API directly

In cmd.manage and volume.api we had code accessing DB API directly.
This should be done through Service versioned object instead and this
commit fixes that.

Change-Id: I7c65323279b86c37fce7ffeb2b2626508842edfb
Closes-Bug: 1513806

Merge "Brocade driver add_zone optimization"

Docstring fix in scheduler-stats

Docstring fixes in scheduler-stats

Change-Id: I0044c5c35a35eb99d2b9549065c401b0f1ccbd28
Closes-Bug: #1506706

Merge "SMBFS: Fix retrieving total allocated size"

Port test_tintri to Python 3

* Set configuration.nfs_oversub_ratio, otherwise tests
  fail with TypeError on comparison between mock.Mock and int.
* tox.ini: add test_tintri to Python 3.4.

Change-Id: Ie2b5215795481bdfb11116876d83ef777a10c224
Partial-Implements: blueprint cinder-python3

Add reno for release notes management

Change-Id: Id4d6604d9775c34e9a8e911ec6e7afd02d56ef47

Merge "Execute mount.nfs check with absolute path"

Merge "Fix failure of unit test TestCinderAllCmd"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I6ab2b52a778e11c5bf6af424624deb9bfee24c84

Fix failure of unit test TestCinderAllCmd

After introducing the commit 93d26e40098c966e7d791a9fb6152244a9f9409d
unit test TestCinderAllCmd fails if a test environment has
/etc/cinder/cinder.conf with proper backend configuration.
We should mock out some variables not to depend on test environment.

Change-Id: I3218f6be1c38ed228aa96346d6976a04ecb8d421
Closes-Bug: #1513263

Execute mount.nfs check with absolute path

Currently the existence of mount.nfs is checked by executing
the relative binary 'mount.nfs' with a non-root user,
in this case cinder. This results, for example on SUSE, in the error:

      NfsException: mount.nfs is not installed

Because mount.nfs is located under /sbin, unprivileged users
do not have /sbin in their PATH to search for executables.
The change runs the mount.nfs check by using the absolute binary
path /sbin/mount.nfs. This seems to be common for most distributions
(SUSE, RedHat, CentOS, Ubuntu, Debian). The check can still be executed
as non privileged user, by not relying on correctly set PATH variable
and using the absolute path.

Change-Id: I3c1ecfdadd9ea492d58d69cbdf33045b002668c7
Closes-Bug: #1510150

Merge "Imported Translations from Zanata"

Merge "Update minimum tox version to 1.8"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9f984456b5e7196acb93d7bb4f1b71fcf8c0e97b

Merge "Return volume_type extra specs based on policy"

Update minimum tox version to 1.8

Other projects have updated to 1.8 or later for the minimum
tox version (nova, neutron), so we should probably do the
same.

Change-Id: Iddb9ab286519d555671ec39c0ce75c9351025730

Merge "Add qos_specs_id to volume type show"

Merge "Implement update_migrated_volume for NFS driver"

Merge "Replace warnings.warn in sqlalchemy-api"

Merge "Move CloneableVD to common functions"

Merge "Replace warnings.warn in glusterfs"

Replace warnings.warn in sqlalchemy-api

There is a warning message logged by warnings.warn,
it should be replaced by LOG.warning.

Change-Id: Ifcff0ebeb13b07420f6b8073b094c3b1687999e8

Replace warnings.warn in glusterfs

There is a warning message logged by warnings.warn,
it should be replaced by LOG.warn.

Change-Id: Ia15d2cdfe6ed1b000a399bbdd0ccafe02aaa0197

Merge "Fix calling delete_zones method with a wrong argument"

Merge "lvconvert missing from cinder volume.filters"

Using extra-specs in cloned vols for Nimble driver

This patch uses the set extra-specs while cloning a volume. All
existing extra-specs: 'nimble:encryption', 'nimble:perfpol-name'
and 'nimble:multi-initiator' are being reflected in the cloned
volume.

In the existing code, the extra-specs were not being considered
while cloning volumes; the parent volume attributes were used
directly in the cloned volume. This patch uses the extra-spec
values if they are set or if not then uses the default values
for the same.

Change-Id: I7610377e557720038f77ebd318422456e658e2ce
Closes-Bug: #1507821

SheepdogDriver: Improve get_volume_stats operation

This patch improves get_volume_stats method to invoke
dog command in SheepdogClient Class method instead of
in SheepdogDriver class method directly. Here are two
benefits we can realize as a result:

1.The current implementation can only get volume status
by local sheepdog node, but the SheepdogClient Class also
supports the method to run dog command with remote sheepdog
node.

2.SheepdogClient Class methods are implemented to run dog
command with fine grained Error handling. So it can improve
the robustness and is more readable to run dog command in
SheepdogClient Class method.

Change-Id: I64ca193cd50e6914d0d5fb6cf711c760dfb65b8c
Closes-Bug: #1512287

Merge "VMware: Enforce min vCenter version"

Merge "Add -constraints for CI jobs"

Merge "Retype support for CloudByte iSCSI cinder driver"

Fix calling delete_zones method with a wrong argument

Add a new zone with cisco zonemanager driver. If the added zone
name is the same as the existed name, the function delete_zones
will be called. But it fails because of passing a argument with
incorrect type. This patch fixes this error.

Co-Authored-By: Al Lau <alau2@cisco.com>
Closes-Bug: #1496283
Change-Id: Ib340b6828cfeb2bb318db23971268c7974ecc9f6

Return volume_type extra specs based on policy

Currently extra specs are only shown to the admin user
when showing volume types. This patch grants the flexibility
to grant other users privelages to see them based on policy.

It also hides the extra_specs entry in the dictionary from
users who can't see it rather than just showing "None" as
the value.

Closes-Bug: #1504577
APIImpact

Change-Id: Ia8f71180f048ba9b253e35ee136915812ef8df0c

Merge "Revert "Handle correct exception raised by python-novaclient""

Merge "Eager load snapshot_metadata in *snapshot_get_all"

Revert "Handle correct exception raised by python-novaclient"

This reverts commit 99dc6d34754954a27f6998406a94743c41b93981

With the block on novaclient 2.33 we can undo this workaround.
The regression in novaclient was reverted and will be in the next
release.

Change-Id: If561b699eb04486660009f100c5db425c3586d3c
Related-Bug: #1510790

Update register_opts hacking check to allow tuples

Update the hacking check for register_opts to allow tuples to be
passed in directly as an argument. Previously tuples were getting
flagged as invalid due to a missing pair of parenthesis in the
hacking check.

Change-Id: Ida2ae47eae4ebc6188696dc25943226acd67b5de
Closes-Bug: 1511010

Merge "optimize the copy_image_to_volume method of sheepdogdriver"

Merge "Updated from global requirements"

Merge "Imported Translations from Zanata"

Updated from global requirements

Change-Id: I318f5e2b85747ce77f39e74de07e0d92b8382427

optimize the copy_image_to_volume method of sheepdogdriver

the current copy_image_to_volume method of sheepdogdriver can only
write the image file to local sheepdog, with this patch, it supports
write image file to remote sheepdog node.

Closes-Bug: #1509910
Change-Id: I5084ef2c048439ad8b9d6ae56ce8cccaadc26262

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I0db97de021e9bb8dcd157e9f8df127ca2257db95

Handle correct exception raised by python-novaclient

We need to hanle both novaclient.exceptions.RequestTimeout
and requests.Timeout to make it works with a different
python-nocaclient versions.

Change-Id: Ib58101f12c87653aef97e055d22542acbeeee4a7
Closes-Bug: #1510790

lvconvert missing from cinder volume.filters

The LVM lvconvert command is invoked by the revert method of the
cinder.brick.local_dev.lvm.LVM class but was missing a matching
volume.filters CommandFilter entry which has now been added.

Change-Id: Ib436f562a6dd7b8828e34051b5d73273c1f52b50
Closes-Bug: 1510654

Brocade driver add_zone optimization

Check whether the new zone we want to add/create
has the same zone name and members with the existing
zone on the switch. If they are same, no need to
delete and re-add it. This is significant if we
create volume from image or upload volume to image
in batch.

Implements: blueprint brocade-add-zone-optimization
Change-Id: I257ec25fed9fab4b3a85a0f200c2ee426c8e6f8c

Merge "Imported Translations from Zanata"

Merge "Add retries for Cisco FCZM client CLI _cfg_save"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ibce3d81070a2f470adf46ddbfa3acf2a3ee73815

Merge "Add hypermetro support for Huawei driver"

Add missing cgsnapshot field to Snapshot object

SQLAlchemy model of snapshot specifies its relationship to cgsnapshot.
This wasn't reflected in Snapshot versioned object. The patch adds
cgsnapshot field to Snapshot object as well as required unit tests.

Partial-Bug: 1509012
Change-Id: I285930222c491f83a35fdef78067e9548e4b845a

Merge "Make relationships in objects consistent"

Eager load snapshot_metadata in *snapshot_get_all

All methods returning snapshot lists in db.sqlalchemy.api are eager
loading snapshot_metadata - besides snapshot_get_all_by_project and
snapshot_get_active_by_window. In case of the latter that fact caused
unit tests to randomly fail because of SQLAlchemy Session sometimes
getting closed before the metadata got lazy loaded. This commit adds
missing options(joinedload('snapshot_metadata')) to these queries.

Change-Id: I72557ebc7af9f3044046965ca79c9fe7c15520fc
Closes-Bug: 1501838

Case sensitivity problem in cinder scheduler

Volume creation fails when we use backend name which consists of
same characters as the name used before but different upper/lower case.
It happens in MySQL environment.

e.g.
1. configure 'lvm' as backend name and start cinder
2. reconfigure 'LVM' as backend name and restart cinder

It is caused by the difference of handling of case sensitivity
for backend name.

When checking the existence of cinder-volume/backend to judge
whether new cinder-volume service row in the DB should be created
or not, the search-logic is case insensitive for backend name.

On the other hand, when searching backend in create_volume processing,
the search-logic in cinder-scheduler is case sensitive for backend name.

That is why I change the former search-logic
from case insensitive one to case sensitive one.

Closes-Bug: #1496694
Change-Id: Ibb1565a183961031495b73e985499455a1ea4c7b

Add protocol to help of glance_api_servers option

Help for glance_api_servers option lacked information that it is
possible to specify protocol there (http or https) and suggested that
it isn't possible to use HTTPS in connection from Cinder to Glance.
This commit expands the message to include such information.

Change-Id: I5afa33193b6dda2477e5a28fa042e625d449257b
Closes-Bug: 1509065

Merge "Imported Translations from Zanata"

SMBFS: Fix retrieving total allocated size

Currently, the Windows SMBFS driver parses all the VHD/X images
present on the configured share in order to retrieve the allocated
size. Not only that this can be slow when having many volumes, but
it can also fail in certain environments when the images are in use.

The Linux SMBFS driver uses 'du', which gives incorrect values in
case of VHD/X images.

In order to avoid this, the driver can keep track of the allocated
size according to each share, the most basic solution being a JSON
stored in a file.

As the Windows SMBFS driver inherits the Linux SMBFS driver, only
overwriting the os specific methods, the fix is applied to the base
SMBFS driver.

DocImpact

Closes-Bug: #1425100

Change-Id: I14aa7b001605ae14fe0b6d0a45ee6b1abf8c4f60

Make relationships in objects consistent

In Volume object 1:n relationship on volume_attachment was modeled
by ListOfObjectsField. Moreover _from_db_object and obj_load_attr
actually were setting VolumeAttachmentList as value of that field,
which is wrong behavior.

In CGSnapshot similar relationship on snapshots was done by ObjectField
with SnapshotList inside.

This commit unifies the approach to use the latter. Also unit test is
added to prevent mismatch of field type and value set on it.

Change-Id: I802fc8807d7d4c42680bb19866c3e90c866d3f26
Closes-Bug: 1508889

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I2e106aa0738c0fc2285ebf04d86c6321de0070d9

Remove the jointly loaded model in finish_volume_migration

After a successful volume migration, the source volume and the
destination volume need to swap the data in the models in
finish_volume_migration. It is sufficient to load the volume
model only and there is no need to load other models, like
volume type, metadata, consistency group, etc. If we load
these additional models, it will lead to NULL key error, when
either source or destination model has a NULL key pointer.

Change-Id: I04ad0739387d602719591680854e6655cc87f9ab
Closes-Bug: #1505572

Merge "Update docs to generate Guru Meditation Report"

Merge "Dell SC: Disable REST verify warnings"

Merge "Fix NoneType Attribute error"

Update docs to generate Guru Meditation Report

Guru Meditation Reports (GMR) code in oslo.reports was recently updated
to expect SIGUSR2 as opposed to SIGUSR1, because it is reserved by
Apache 'mod_wsgi' for its own use.

Signal was changed and merged in change:
I9d3b6079ba2cca41fe4723723a6f80b2c3c0b9c0

Change-Id: Id58dd3c32b095f4c6b14caf650d36f2fc7dfb12c

Merge "Imported Translations from Zanata"

Merge "Updates in consistency_group in xiv/ds8k driver"

Merge "VMware: Unit test refactoring"

Add qos_specs_id to volume type show

Adding qos_specs_id to the output of volume
type show to make getting the qos specs for
a volume type more convenient. However, this
variable will only be visible when type show
is called with the admin role.

APIImpact
Change-Id: Id8a2333267c9a51b36c6adfbd142dcc4fbe4f090
Closes-Bug: #1438488

Fix NoneType Attribute error

Currently when creating a volume without a specified
volume_type, the capabilities_filter fails saying that
NoneType object has no attribute 'get'. This patch
will make that issue instead throw an exception telling
the user that they need to specify a volume type.

Change-Id: I89635f9e4f4f44d16f391284ccc027e86c552cdf
Closes-Bug: #1446031

Merge "Cleanup for cinder tests with CGSnapshot"

Merge "Improve performance listing detail for volumes"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I00e09cccdf28b2f445230dac5cf0b5a46481435c

Add -constraints for CI jobs

This adds the constraints factor to the base section and duplicates
the sections required for CI with -constraints as tox does not
currently support factors in sections.  Work towards enabling factor
support in sections is currently stalled, as such we will need to
duplicate sections adding -constraints to facilitate running sections
with the constrained install_command.

Implements Blueprint: Requirements-Management

Change-Id: I7afd52517750b82dcac94b8aae68dc0e94d00e54

Merge "Fix typos about 'target_discovered'"

Fix typos about 'target_discovered'

target_discoverd => target_discovered
(add 'e' before last 'd')

Change-Id: I0a98afe092ddb37eb46122aa7b972fae3a6e5543

NetApp: Cleanup if E-Series volume create fails

The creation of a volume may fail in such a manner
that a volume in a partial state has been created.
When Openstack comes back re-attempting the creation
operation it fails because the partial volume with
the name already exists.

Solution: When there is a failure creating a volume,
check if a partial volume was created and delete it
so any retry will be successful and the storage device
does not contain any dead volumes.

Closes-Bug: 1506940
Change-Id: Id93527a4cab314f27a13d8c08b772fed538d1092

Merge "Imported Translations from Zanata"

Merge "Updated from global requirements"

Merge "CGSnapshot Object"

VMware: Unit test refactoring

Some of the unit tests use mox instead of mock. Also, there are
cases where a single test tests multiple cases and methods. This
patch refactors the unit tests for the following methods in the
vmdk module to fix these issues:

* get_volume_stats
* _verify_volume_creation
* create_volume
* delete_volume
* _get_extra_spec_disk_type
* _get_disk_type
* create_snapshot
* delete_snapshot

There will be follow-up patches to fix the remaining unit tests.

Partial-bug: #1261097
Change-Id: I17b1c0df4e13bf9900a2fe8d37ff5297a8e7486e

Cleanup for cinder tests with CGSnapshot

Switch cinder tests to use CGSnapshot objects instead of direct
calls to db. Additionally, the patch switches from dict to object notation.

Drivers tests need to be fixed in other patch.

Co-Authored-By: Szymon Wroblewski<szymon.wroblewski@intel.com>
Partial-Implements: blueprint cinder-objects
Change-Id: I40161592c887a386aa7a323381d71f0111d584fa

Merge "LIO: Let delete_initiator succeed if iqn not found"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Id2c47c6dfa95d9efbb249ee1e72d3baa606ca449

VMware: Enforce min vCenter version

The VMDK driver deprecated vCenter versions less 5.1 in L
release. This patch enforces the minimum required vCenter
version for the VMDK driver.

DocImpact
  The minimum required vCenter version for the VMDK driver
  is 5.1.

Change-Id: I2ca0362623367d534b35124923947ee1e22c89fa

Merge "devref doc: assorted fixes in "Unit Tests""

Add hypermetro support for Huawei driver

Hypermetro is a key storage feature and a requirement for
features such as high-availability and disaster recovery of
applications running on OpenStack clouds. This patch will
add initial support for volume hypermetro in Huawei driver.

DocImpact
Implements: blueprint support-hypermetro-for-huawei-volume-driver
Change-Id: Ibbdecccafd63a11a28c3ab12893756f23c38082a