Merge "Add Mitaka-1 release notes"

Merge "xio: fix regression in authentication"

Merge "Cleanup orphaned code in sqlalchemy API"

Merge "Take into consideration races in XtremIOClient3"

Add Mitaka-1 release notes

This adds release notes for changes up to the Mitaka-1
milestone for reno release note generation.

Change-Id: I8cd65b41994631d96c5d4cf4c0531a3c0f74149f

Merge "Update compression license check"

Merge "Imported Translations from Zanata"

xio: fix regression in authentication

The change I75a5dee2fd1f8cf45dbf416b0353736a43efd8e8 replaced
base64.encodestring(auth_key)[:-1] with
oslo_serialization.base64.encode_as_text(auth_key)[:-1]. It's wrong
because base64.encodestring() adds '\n' to the output, wheras
oslo_serialization.base64.encode_as_text() doesn't add '\n'.

This change removes '[:-1]' to strip the newline, it's no more
needed.

Partial-Implements: blueprint cinder-python3
Change-Id: Ib015a850d7cc2e1259518fecfe66c836002b28d9

Merge "Cleanup orphaned code from ceph backup driver"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I3b3c0a26c4b16174e22b7a4d5b17a9b9195693cd

Merge "Optimize "open" method with context manager"

Merge "Fix ZFSSA drivers' local cache bugs"

Merge "Remove db access in VNX driver"

Merge "Declare multiattach is True in Dell Eqlx driver"

Merge "Updated from global requirements"

Merge "Force releasenotes warnings to be treated as errors"

Merge "Improve metadata update operations"

Take into consideration races in XtremIOClient3

When working with FC and xtremio is using XtremIOClient3 on FC's
terminate_connection we can get VolumeBackendAPIException saying a
resource could not be found when we shouldn't.

The cause is that Client3 is open to race conditions on 2 methods,
find_lunmap and num_of_mapped_volumes, where a list of mappings is first
retrieved and then we iterate this list to retrieved additional info on
the mappings.

The race would happen if one of the mappings is removed from the backend
in the time it takes to retrieve the additional info after we have
retrieved the list.

This patch fixes this issue by ignoring any mappings that have been
removed and are now NotFound when retrieving additional information for
a mapping in those 2 methods.

This patch also fixes this kind of race problems on volume creation
since it uses find_lumap method.

Closes-Bug: #1521143
Change-Id: I40831e04093ff475395870a333211dd0cb60440f

Merge "Add atomic conditional updates to objects"

Optimize "open" method with context manager

Replace the classic open() with opening context manager to open
files which is in the create_iscsi_target methods of volume targets.

Change-Id: I12e19801a21b1279308983fd0257dae9c9653641

Updated from global requirements

Change-Id: Ie81ad596ae6b473c90e01f91f293895532ca0756

Merge "ScaleIO extend volume round up capacity"

Cleanup orphaned code in sqlalchemy API

There were several methods in the sqlalchemy code that were no longer
being used anywhere. While some of these have potential for being useful,
they are not in use and should not be sitting around the codebase waiting
for someone to need them.

Change-Id: Ic30d27b29d19de5470c9fffadc136988899525ca

Cleanup orphaned code from ceph backup driver

The method _num_backup_snaps was not being called anywhere in the source.
This removes the unused call from the driver.

Change-Id: Ib094edff6c26a21177405a988f132c3c6c8c9646

Merge "Nexenta Edge iSCSI backend driver"

Merge "Update list_replication_targets"

Merge "RBD: Make snapshot_delete more robust"

Merge "Fix quotas issue during volume transfer"

Merge "Hacking Checks for assertTrue/IsNone()"

Force releasenotes warnings to be treated as errors

Change-Id: I03a8071114d8d4042ad143b55860e5562d86b34d

Remove db access in VNX driver

DB access should be removed in all CG related
operations. This patch is removing the DB access
in VNX driver.

Change-Id: Ifee0cdcaba41d39500c1ce7aef0d15b2737e6a20
Closes-Bug: 1511663

Merge "Remove netaddr useless requirement"

Fix quotas issue during volume transfer

When admin transfers a volume with volume type from
one tenant to another, it correctly updates the quota
for the default values, but does not update for the
volume type values.

This patch fixes the problem to update quotas for
the volume type values.

Change-Id: If444639cea8e74a415220df43fccfb155ca89216
Closes-Bug: #1501855

Merge "Support insecure NAS security options in Quobyte"

Merge "Revert "Add Scality SRB driver""

Merge "Fix InstanceLocalityFilter scheduler filter"

Declare multiattach is True in Dell Eqlx driver

An Eqlx volume can be attached to multi instances, however,
this feature is not declared in eqlx driver. As a result,
if a user create a multi-attached volume using eqlx as
backend, they will be failed.

In this commit, we declared multiattach is True in eqlx
driver.

Change-Id: Ia8e94e739c2573f1f26d8cb2713a6b851adf9428
Closes-Bug: #1519570

Nexenta Edge iSCSI backend driver

Nexenta Edge project supports iSCSI block level storage.
This patch implements a driver for Nexenta Edge iSCSI backend.

DocImpact
Implements: blueprint nexentaedge-iscsi-volume-driver
Change-Id: I82c215ba85e9d49723e792d88d86553b3a75d3ac

RBD: Make snapshot_delete more robust

Since there is no equivalent of a force-snapshot-delete,
the normal snapshot-delete should be more robust to
also handle backend errors. In case the backend does not have
the image snapshot anymore, log an info message and succeed the
operation.

Change-Id: I7fe0878dbc07053ac78272b6998513fafa1c36e8
Closes-Bug: #1415905
Related-Bug: #1361926

Hacking Checks for assertTrue/IsNone()

This patch adds a hacking check to make sure that assertEquals isn't
comparing the result value to True or None. When developers
use assertEquals(None, return_value) the check will catch it when
pep8 runs and suggest using assertIsNone(return_value) instead.
Similar situations will occur when trying to use assertTrue(True,
return_value).

This patch also makes the necessary changes that get caught by the
new hacking check.

Change-Id: I56cc8121784eee617c09fb4e92b4ebb5877a0553

Merge "Fix ScaleIO driver provisioning key"

Merge "VMware: Validate extra spec opt vmware:clone_type"

Remove netaddr useless requirement

This patch cleans up the requirement list to remove netaddr module
that is not used anymore directly by cinder.

Change-Id: I0d0efbf26fb43e94f2ccc1a62edaba6f2b13f27e

Improve metadata update operations

Currently our metadata operations in the DB and the API are less than
optimal, main issues are:

- To update metadata first we get all metadata in the API and add
  requested update metadata, then on the DB we retrieve each of the
  metadata keys and update one by one contents.
- When deletion of existing keys is requested in the DB we retrieve all
  metadata contents and for those that are not in the new metadata we
  retrieve the contents from the DB (again) and delete the entry.

This patch changes this so we no longer retrieve metadata in the API,
deletion does not retrieve any metadata from the DB and just makes 1
deletion request to the DB, and for changes we retrieve metadata once
and then issue a bulk change to create new entries and update existing
ones.

Partial-Bug: #1238093
Change-Id: I12506541cca61282122e319e3504560f68df225b

Add atomic conditional updates to objects

To allow atomic state changes across Cinder services we need to
implement a way to easily do compare-and-swap.

This patch adds methods to allow compare-and-swap on DB models and on
Cinder Versioned Objects as well.

Conditions for the compare part of the update can consist of:
- Inclusion: status == 'available'
- Exclusion: status != 'in-use'
- Multi-inclusion: status in ('available', 'error')
- Multi-exclusion: status not in ('attaching', 'in-use')
- Sqlalchemy filters

A complete example of usage would be the compare-and-swap used in volume
delete requests that has to take in consideration not only the status
but the attach and migration status as well as the volume not having
snapshots:

 now = timeutils.utcnow()
 expected = {'attach_status': db.Not('attached'),
             'migration_status': None,
             'consistencygroup_id': None}
 good_status = ('available', 'error', 'error_restoring',
                'error_extending')
 if not force:
     expected.update(status=good_status)

 # Volume cannot have snapshots if we want to delete it
 filters = [~sql.exists().where(models.Volume.id ==
                                models.Snapshot.volume_id)]

 updated = vol_obj.conditional_update(
     {'status': 'deleting',
      'previous_status': vol_obj.model.status,
      'terminated_at': now},
     expected,
     filters)

It can also be specified whether to save already dirtied fields from the
objects or not and by default (if no expected_values argument is
provided) it will make sure that the entry in the DB has the same values
as the objects we are saving.

We can select values based on conditions using Case objects in the
'values' argument. For example:

 has_snapshot_filter = sql.exists().where(
     models.Snapshot.volume_id == models.Volume.id)
 case_values = volume.Case([(has_snapshot_filter, 'has-snapshot')],
                           else_='no-snapshot')
 volume.conditional_update({'status': case_values},
                           {'status': 'available'})

Exclusion and multi-exclusion will handle, by default, NULL values like
Python does instead of like SQL does, so NULL values will be considered
different than any non NULL values.  That way if we search for something
not equal to 1 we will also get NULL values.

WARNING: SQLAlchemy does not allow selecting order of SET clauses, so
for now we cannot do things like
    {'previous_status': model.status, 'status': 'retyping'}
because it will result in both previous_status and status being set to
'retyping'.  Issue has been reported [1] and a patch to fix it [2] has
been submitted.
[1]: https://bitbucket.org/zzzeek/sqlalchemy/issues/3541
[2]: https://github.com/zzzeek/sqlalchemy/pull/200

Specs: https://review.openstack.org/232599/

Implements: blueprint cinder-volume-active-active-support
Related-Bug: #1490944
Related-Bug: #1238093
Related-Bug: #1490946
Related-Bug: #1469659
Related-Bug: #1493120
Related-Bug: #1493419
Related-Bug: #1493476
Related-Bug: #1494466
Change-Id: If90a37f8c7d6fad8fc1f861d52ba862875920cdc

Revert "Add Scality SRB driver"

The Scality SRB kernel-driver is being re-designed to optimize for
specific workloads, which are (initially) not compatible with VM-style
block device access. Not to confuse users, we believe it's advisable to
remove the Cinder SRB driver in the meantime.

This reverts commit a23f17f8cebe5e1e57f675aedf6272257257d1b7.

Some references to the SRB driver and test modules added in later
commits are removed as well.

Conflicts:
        cinder/tests/unit/test_srb.py
        cinder/volume/drivers/srb.py
        etc/cinder/rootwrap.d/volume.filters

See: 2f9e4163f42ae5246fd997b9f35e16d3d97be54f
See: 3fda737f53824170bd59eb6e8ce2e991c89c3c1d

Change-Id: Ic9d79b09363ef904932128f63371ba01a15c5d31

Merge "Remove kombu as a dependency for Cinder"

Merge "Port xio driver to Python 3"

Merge "Port key manager to Python 3"

VMware: Validate extra spec opt vmware:clone_type

This patch validates the value of extra spec option 'vmware:clone_type'.
It raises an exception if the value is invalid.

Change-Id: Idab59a090184e1ea1446e9e9ed18c753d5c803cc
Closes-Bug: #1288254

Merge "Remove stubs and add resource cleanup"

Update list_replication_targets

We were planning to let the list targets call be a
free for all, and just be a generic dict of info.

This probably isn't such a great idea, inparticular since
we have a required identifier field for each replication
device it makes more sense to just use that in the response
and leave the rest of the info internal.

In the future if there's a need we can always implement a
show command that displays all the dirty details.

This patch changes the identifier name to 'target_device_id'
to be more self describing, and updates the docstrings and
devref docs to reflect the changes and agreed upon changes.

Change-Id: If14130f5d5bb2e6df4478bd0e14a1f33d706bf78

Merge "Declare multiattach is True in RBD driver"

Port key manager to Python 3

* Replace text.decode('hex') with binascii.unhexlify(text)
* test_barbican: base64 string is a bytes string
* tests-py3.txt: add keymgr tests

Partial-Implements: blueprint cinder-python3
Change-Id: Icc19fa354603857b259458b858e27c5bdd600360

Merge "Don't build two tox envs for pep8(-constraints)"

Merge "Add check_uptodate.sh --checkopts to "pep8""

Merge "Fix metadata retrieval in GPFS driver"

Merge "VMware: Skip unsupported datastore types"

Merge "Move oslo-incubator's scheduler module to cinder"

Merge "Port IBM storewize_svc driver to Python 3"

Merge "CG API should return volume type IDs"

Merge "Fix the bug of OSError when convert image"

Move oslo-incubator's scheduler module to cinder

oslo-incubator is ending its life and we should move remaining
dependencies from there to cinder namespace. This commit does so with
openstack.common.scheduler. Apart from that tests from oslo-incubator
repository are added.

Change-Id: I10d88c120c9c847826986483065f5493e91f89d6
Closes-Bug: 1519337

Remove stubs and add resource cleanup

This patch adds cleanup resource and removes stubs in test_admin_actions.py.

Change-Id: I08df6c26b4c7cb17c12248a8cf1f5ed647e5fa17

Merge "XtremIO fix attach readonly bug"

VMware: Skip unsupported datastore types

vCenter supports different types of datastores such as
VMFS, NFS etc. Currently the VMDK driver supports only
vSAN, VMFS and NFS datastores for storing volume vmdks.
This patch adds a check to skip unsupported datastore
types during volume creation.

Closes-bug: #1519316
Change-Id: I314abbe0de09bb304859c72b27054784eeef9044

Port IBM storewize_svc driver to Python 3

Change default preferred node in
StorwizeSVCDriver.initialize_connection(). For fiber channel without
multipath, pick the first node from the list of sorted nodes, to have
a determinist preferred node. The list of nodes is created indirectly
using list(set(nodes)) which doesn't have a determinist order. On
Python 3, the hash function is randomized, and so list(set()) has an
unknown order.

A similar change was done for volume throttling in the change
Icf7141f772397c7ac08f0f1e21ad74cb86a06351 to port the code
to Python 3.

Other changes:

* Use assertSetEqual() in test_storwize_svc to compare
  initiator_target_map, because conn_wwpns has a random order on
  Python 3.
* StorwizeSVCDriver._check_volume_copy_ops(): replace dict.items()
  with list(dict.items()) to iterate on items. On Python 3,
  dict.items() now returns a view instead of a copy. The loop
  modifies the dictionary and a dict must not be modified while
  iterating on it, we really need a copy of items.
* StorwizeHelpers: replace a/b with a//b to use integer division on
  Python 3.
* tests-py3.txt: add cinder.tests.unit.test_storwize_svc

Partial-Implements: blueprint cinder-python3
Change-Id: I534a85928816d6cce921545e1820311aedd1b884

Declare multiattach is True in RBD driver

An RBD volume can be attached to multi instances, however,
this feature is not declared in RBD driver. As a result,
if a user create a multi-attached volume using RBD as
backend, they will be failed.

In this commit, we declared multiattach is True in RBD
driver.

Change-Id: I70c2c0528d9c00629f9cf34d79262a5bf4750e34
Closes-Bug: #1519227

XtremIO fix attach readonly bug

* Remove the access_mode from connection_info and let the manager decide
on the access mode.
* add a test to make sure access_mode won't be added in the future

liberty-backport-potential

Change-Id: I1584b27ff0c14e54f1d1efb2310d25454995c50a
Closes-Bug: 1516365

CG API should return volume type IDs

The create method of consistency group API requires a list of
volume type ids; volumes belonging to only these types can be added
to the consistency group. The get method of the consistency group API
does not, however, return the volume type id information.

Horizon needs this value for its "Add volumes to consistency group"
panel so that it can filter the "available volumes" list to only
show volumes that match the volume type associated with the consistency
group.

This was fixed by propagating the volume type id information in
the api layer (this information is stored in the db, it just wasn't
being propagated).

APIImpact
The get method of the consistency group API now returns the volume
type ids information.

DocImpact
The screenshots in the admin guide (see
http://docs.openstack.org/admin-guide-cloud/blockstorage-consistency-groups.html)
should be updated to show this new field.

Change-Id: Icc3206c67227af38a7bf89ea0145942f750b506b
Closes-Bug: #1489957

Merge "Retry on database deadlock on service_update method"

Merge "Add guidelines for release notes to devref"

Merge "Imported Translations from Zanata"

Fix the bug of OSError when convert image

When I try to convert a image use image_utils.convert_image() method,
an error occurred like this :
'''
OSError: [Errno 2] No such file or directory:
'sheepdog:10.133.17.61:7000:volume-a0a70f9b-a50e-4369-885f-c41a894c9fe5'
'''
The reason is that in some cluster storage systems, like
ceph/sheepdog, QEMU can access an image directly via their private
protocol, and there’s no need to map an image as a block device on
the host. In this case, the qemu-img convert command may like:

    #qemu-img convert -O raw sheepdog:Ip:port:image_name temp_file
    #qemu-img convert -O raw rbd:pool_name/image_name temp_file

The source path may be 'sheepdog:Ip:port:image_name' or
'rbd:pool_name/image_name', it doesn't exist in OS. So, when it runs
the os.stat(source) in image_utils.convert_image(source,dest,out_format)
method, an OSError would be raised.

We can use qemu_img_info method instead to resolve this problem, because
the 'qemu-img info' command can always get the image size info which has
support qemu-img tool. Here we capture a ValueError just in case, but it
only need to give a warning message, because the image has been successfully
converted.

Change-Id: I5fd1e51840972a67053b85a76f8e001fa8148ad7
Closes-Bug: #1514442

Merge "Eager load columns in volume_get_active_by_window"

Merge "Port EMC VMAX to Python 3"

Don't build two tox envs for pep8(-constraints)

Currently, "tox -e pep8" builds two tox envs:
a "pep8" env, and then a "venv" env for genopts.

This is rather wasteful -- reuse the pep8 env
instead.

Change-Id: I8ba3d4e541f279e5bc62dba2b1caaac447fee7e3

Merge "Port EMC VNX CLI to Python 3"

Add guidelines for release notes to devref

Starting from this cycle (and stable Liberty) we're using reno for
release notes. This commit adds guidelines on when a release note is
required to be added.

Change-Id: If5aa6ab8317ec2f4295d899a45f80f11504d2a2c

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I7feabf414e93055d353072bf865009547416969f

Merge "Add os-win to requirements.txt"

Merge "Move get_by_id to CinderObject"

Merge "Updated from global requirements"

Merge "Deprecate *_multipath_enabled flag for IBM drivers"

Merge "Fix debug output for cinder-volume-usage-audit"

Merge "LeftHand: Remove self.db assignment"

Merge "Fix swap_volume for case without migration"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I52a378f56c3713678da0bf101b6c19d679cf98cd

Updated from global requirements

Change-Id: I494d2985735ed5ca5bc6ac3799c3650f70e95f5c

Eager load columns in volume_get_active_by_window

All other volume-related methods in db.sqlalchemy.api are eager loading
volume_metadata, volume_admin_metadata (if admin), volume_type,
volume_attachment and consistencygroup. volume_get_active_by_window
wasn't, causing fails because of SQLAlchemy Session being closed when
trying to lazy load volume_metadata. This commit adds missing
options(joinedload()) to this query.

Change-Id: I33ec89d7f1f43aae6010aaa6e12951b7c522b8f0
Closes-Bug: 1517763
Related-Bug: 1501838

Merge "Remove db access from XIV/DS8K CG functions"

LeftHand: Remove self.db assignment

DB access was removed in a previous patch when it was no longer
needed at the driver level. The self.db assignment was overlooked
and not removed, even though it is no longer being used.

Change-Id: Ic96c0ae96e78d3d2a0e2b99b7e1ca9461a7e7b27

Merge "fast8: Skip git rm'd files"

Deprecate *_multipath_enabled flag for IBM drivers

Deprecate the *_multipath_enabled from the FlashSystem and
Storwize/SVC driver. When enabled, this flag was intended to create
a single mapping between the compute node and the storage device for
FC connections. However, all available storage WWNNs were still being
mapped to the compute node, and instead enabling this flag was
causing a terminate_connection to not cleanup all LUN mappings
(because Nova did not know of all the target_wwns that were actually
mapped). This can be seen by enabling the flag, connecting a volume,
disconnecting the volume and observing the stray LUN mappings under
'/dev/disk/by-path'.

Currently we do not have a way to limit the storage WWNNs which are
mapped during a FC connection, so we will ignore the config to fix
this broken behavior, and then remove the config next release.

DocImpact

Change-Id: I0019c1e0c0dbb0cd48a7f389376480e7fa1b1e07
Closes-Bug: #1516778

Fix debug output for cinder-volume-usage-audit

Fixes variables not being included in log output.

Change-Id: Ic403166b88b1ba549fe7a7b0cd95d7cbb7a0de4c

Add check_uptodate.sh --checkopts to "pep8"

2f9e416 Downstream Fix for Genconfig
  collided with
fb17ed8 Add -constraints for CI jobs

while merging and this only got added to
pep8-constraints.  It should be in "pep8" as well.

opts.py is updated here since it is out of sync,
due to this test not running.

Change-Id: I668df6be4301a052a4b47549c702a81b43abd8fc

Move get_by_id to CinderObject

Currently each Versioned Object needs to implement its own get_by_id,
with this patch they don't need anymore, since it will be included in
the base class CinderObject and it will work for all the objects.

This will help for other things like having a refresh method or
conditional updates in the objects.

Related-Bug: #1490944
Related-Bug: #1238093
Related-Bug: #1490946
Related-Bug: #1469659
Change-Id: I355dc8eaefed93003533ee083f74acd1315f057e

Merge "Manage existing: fix volume object saving"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia8bb154c21a0a68c6a81671bbf79aca3fbaaa696

Merge "Remove .mailmap file"