Merge "Return all target_wwpns for FC storwize"

Merge "Disable multi-attach for RBD"

Merge "Huawei: Judgement failure when creating hypermetro"

Merge "Fix race condition in RemoteFS create_snapshot_online"

Merge "VMware: manage_existing_get_size for VMDK driver"

Merge "Updated from global requirements"

Merge "Add basic workflow of attach/detach to devref"

Merge "Fix error message in cinder type-update"

Merge "Misprint in policy.json"

Merge "Enable all unit tests on Python 3.4"

Misprint in policy.json

Erroneous space in "rule: admin_api" was introduced in change Ibbd6f47c370d8f10c08cba358574b55e3059dcd1
oslo_policy regards space as a separator,
and fails to parse this rule: http://paste.openstack.org/show/488452/

Change-Id: I5de45c97a06b7ddecb36c2a1793c4f3fd5fd21d6

Merge "EMC VMAX - Changing PercentSynced to CopyState in isSynched"

Updated from global requirements

Change-Id: Iea494af5b9112af93030f5e8b86c907551e9ee40

Merge "Volume manage/unmanage support to ZFSSA drivers"

Merge "Change frozen error messages from _LE to _"

Merge "Replication v2.1 (Cheesecake)"

Merge "Fix NoneType error in service_get_all"

EMC VMAX - Changing PercentSynced to CopyState in isSynched

In SE 8.x PercentSynced no longer works for VMAX3 as a criteria to
determine whether a device is synched or not. Luckily 'CopyState'
works for both VMAX2 and VMAX3 and is backward compatible with 7.6.x.

Change-Id: I443e5f17f3c0e779ebdfd868bcd05cb85b52f525
Closes-Bug: #1517103

Merge "LeftHand: Updating minimum client version"

Add basic workflow of attach/detach to devref

This is something that confuses folks and isn't centrally
located.  So... add it to the devref docs and hope that
developers read it.

There's tons of detail we can add in the future of course,
but this at least clears up some of the common misconceptions
that exist currently.

Change-Id: Ic5fb8da06d18fac3369a91a525accc75c1d28100

Change frozen error messages from _LE to _

The super secret formula states that the error messages should
use '_' instead of '_LE'.  This patch changes the ones introduced
in Replication V2.1.

Change-Id: I9a4b87421eeda69ca918cbf869f2990ef113e158

Replication v2.1 (Cheesecake)

This focuses the replication work on a specific use case,
and eliminates some of the ambiguity in earlier versions.

Additionally this implementation addresses needs for
devices that do replication based on the whole backend-device
or on Pools.

Use case:
  DR scenario, where a storage device is rendered inoperable.
  This implementation allows the preservation of user data
  for those volumes that are of type replication-enabled.

  The goal is NOT to make failures completely transparent
  but instead to preserve data access while an Admin tries
  to rebuild/recover his/her cloud.

It's very important to note that we're no longer interested in
dealing with replication in Cinder at a Volume level.  The concept
of have "some" volumes failover, and "others" left behind, proved
to not only be overly complex and difficult to implement, but we
never identified a concrete use-case where one would use failover
in a scenario where some volumes would stay and be accessible on
a primary but other may be moved and accessed via a secondary.

In this model, it's host/backend based.  So when you failover,
you're failing over an entire backend.  We heavily leverage
existing resources, specifically services, and capabilities.

Implements: blueprint replication-update

Change-Id: If862bcd18515098639f94a8294a8e44e1358c52a

Merge "EMC ScaleIO - fix bug in extend volume"

Merge "Huawei: Fix create volume with prefetch value error"

Merge "EMC VMAX - not cleaning up HW Resource WWPN initiators"

Merge "Huawei: Don't fail when port group does not exist"

Merge "NetApp: Implement CGs for ONTAP Drivers"

Merge "Huawei: Log the IP when login fails"

Merge "Correct iscsi lun type"

Enable all unit tests on Python 3.4

* Remove tests-py3.txt: all unit tests now pass on Python 3
* tox.ini: remove specific command for py34 test environment, it now
  inherits testenv commands (same command than Python 2.7)

Partial-Implements: blueprint cinder-python3
Change-Id: I52c68a63740b3ae6097fad419b59a9c29422b525

Tests: Don't assert on LOG.warn

Lots of code can use LOG.warn, tests wanting to
verify this should do a more robust check to ensure
that specific text is logged or not logged.

Change-Id: Id996ce761d90f1648f1f37c74a33df02d04cf3a3
Closes-bug: #1550102

Return all target_wwpns for FC storwize

Storwize FC terminate_connection was using 'lsfabric' to lookup
target_wwpns, active on the fabric, to be used to terminate
the connection. However during a delete of a NPIV VM, the target_wwpns
is no longer active, it is not logged onto the fabric. The target list
will return empty. Fix is to return all the available wwpns
from 'storage_nodes'.

Change-Id: I39897f5583c878cc6243683d4bd60f800ea588af
Closes-Bug: #1546281

Fix error message in cinder type-update

TrivialFix

Change-Id: Ic2ef327156cca0e977cb2e5a7275fe8d18ec093e

Merge "Fix HNAS iSCSI driver attachment"

Merge "Tintri image cache cleanup"

Fix NoneType error in service_get_all

When calling service_get_all without filters,
it raises NoneType error which is imported by
this patch I21775106693176ca128dbfd9db0d43cfc58de00a.

Change-Id: I473a9bbd2caea21c6fcd82b483bece1337ab6535
Closes-Bug: 1549563

Merge "cinder-api-microversions code"

LeftHand: Updating minimum client version

Updated HPE LeftHand driver to have a minimum client
version of 2.1.0.

This is a follow up to the following patches:
https://review.openstack.org/#/c/255002/
https://review.openstack.org/#/c/255544/
https://review.openstack.org/#/c/255015/

DocImpact
Change-Id: I85f49116bfb669673d090c12e80d8d363730ab9e

NetApp: Implement CGs for ONTAP Drivers

This patch includes the driver changes necessary for NetApp 7mode and
CDOT backends to support all consistency group and cgsnapshot
functionality.

Co-Authored-By: Alex Meade <mr.alex.meade@gmail.com>
Co-Authored-By: Chuck Fouts <fchuck@netapp.com>
DocImpact
Implements: blueprint cinder-consistency-groups
Change-Id: Ia74c634835958876d97daf6766f2ef110b33ddc4

Merge "NetApp: Support iSCSI CHAP Uni-directional Auth"

Merge "Avoid hardcoding value from oslo library"

Merge "Force target_lun to be int type to make os-brick happy"

Fix HNAS iSCSI driver attachment

Currently, the HNAS iSCSI driver returns the logical unit number
related to the iSCSI target as a string while initializing the
connection.
This is breaking the attachment feature because os-brick expects
a numeric type.
This patch converts the LUN from string to int in order to solve
this problem.

Change-Id: I33958a93a6261b7d77e4becafa3efd5180e5d091
Closes-Bug: 1549375

Merge "Port netapp dataontap driver to Python 3"

Merge "Scalable backup service - Liberty compatibility"

NetApp: Support iSCSI CHAP Uni-directional Auth

This change adds iSCSI CHAP uni-directional authentication support for
NetApp cDOT and 7-Mode iSCSI driver.

Enabling CHAP authentication does not impact an existing iSCSI session.
The iSCSI session needs to be reestablished before CHAP authentication
is initiated.

Co-Authored-By: Dustin Schoenbrun <dustin.schoenbrun@netapp.com>
Co-Authored-By: Alex Meade <mr.alex.meade@gmail.com>
Implements: blueprint netapp-add-chap-authentication-iscsi

DocImpact
Change-Id: I8c481fa09aee02b5472f02819b1a342a3c3e7f71

Merge "Port infortrend driver to Python 3"

Merge "Fix service-list filter"

Avoid hardcoding value from oslo library

In I65b40b9906b75146a0085bbe168f1e6bcae82f21, the
wsgi_default_pool_size was lowered from 1000 to
100. We should not be using internal details of
the oslo libraries.

Change-Id: I84f01df3e212165176c633a680161a9a9da311ea

cinder-api-microversions code

Many changes to the Cinder REST API require changes to the consumers of the API.
For example, If we need to add a required parameter to a method that is called
 by Nova, we'd need both the Nova calling code and the cinderclient that
Nova uses to change. But newer Cinder versions with the change must work with
older Nova versions, and there is no mechanism for this at the moment. Adding
microversions will solve this problem.
With microversions, the highest supported version will be negotiated by a field
in the HTTP header that is sent to the Cinder API. In the case where the field
'versions' is not sent (i.e. clients and scripts that pre-date this change),
then the lowest supported version would be used. In order to ensure that the
API consumer is explicitly asking for a microversioned API, a new endpoint v3
is added, which is identical to API version v2. This means that our new
Cinder API v3 would be the default, and consumers of the API that wished to
use a newer version could do so by using that endpoint and a microversion in
the HTTP header.
New tests for microversioned API features on endpoint /v3 should be added to
cinder/tests/unit/api/v3/ directory. Existing functionality will be tested via
the .../v2/ unit tests.

DocImpact
APIImpact
Implements: https://blueprints.launchpad.net/cinder/+spec/cinder-api-microversions
Change-Id: I48cdbbc900c2805e59ee9aebc3b1c64aed3212ae

Port netapp dataontap driver to Python 3

With this change, all unit tests on volume drivers pass on Python 3.

Changes:

* Replace a/b with a//b to get an integer on Python 3.
* Replace map(...) and filter(...) with a list-comprehension to get a
  list on Python 3.
* Replace dict.keys() with list(dict.keys()) to get a list
  on Python 3.
* Replace (str, int, float, long) with
  six.integer_types + (str, float): long type was removed
  from Python 3.
* decode_base32_to_hex(): on Python 3, decode encode_hex_to_base32()
  to return a Unicode string.
* convert_es_fmt_to_uuid(): encode/decode on Python 3 to pass the
  right types to base64.b32decode() (bytes) and uuid.UUID()
  (Unicode).
* fakes.py: Change type of XML document from Unicode to bytes: add
  b prefix to literal strings (b'...').
* Replace range(a, b) with list(range(a, b)) to get a list
  on Python 3.
* tests-py3.txt: add cinder.tests.unit.volume.drivers, all volume
  drivers tests now pass on Python 3.

Partial-Implements: blueprint cinder-python3
Change-Id: Iee609f72bbbef3789fa5e970d209047a113d005c

Merge "HNAS driver: Fix SSH and cluster_admin_ip0 bug"

Merge "NetApp: E-Series remove snapshot limitations"

Scalable backup service - Liberty compatibility

To support rolling upgrades we need to make sure that Mitaka's services
are running fine with Liberty's. It gets complicated with backups as
we've strongly reworked them. Main difference is that Mitaka c-bak can
handle backup/restore of any volume and Liberty was restricted to
operate only on volumes placed on the same node.

Now when running in version heterogeneous environment we need to use old
way of backup jobs scheduling and switch to new one (round robin) only
when everything is running Mitaka.

This commit implements that by adding a dummy backup RPC API version
(1.3) that marks the beginning of scalable backups era. Jobs are
scheduled the new way only if every c-bak reports that (or higher)
version.

There are also small changes to volume.rpcapi - to fail fast if some
c-vol services aren't supporting new calls required by scalable backups
feature. This allows us to error out backups with proper message when
upgrade was done in an improper way (in Mitaka we require c-vols to be
upgraded before c-baks).

This commit also includes small changes to CinderObjectSerializer to
block tries to "forwardport" an object when sending it over RPC. If a
service receives an older object it should handle it explicitly.

Related-Blueprint: scalable-backup-service
Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: I45324336ba00726d53cfa012e8bd498868919a8c

Huawei: Log the IP when login fails

Now we support configuring multi-ips,
if one ip login fails, we will try to
connect to other ips. The problem is,
if one ip login fails, the log message
did not tell users which ip fails.

Closes-Bug: #1549157
Change-Id: I4aa933c37b1fe20438c330fd86b2a67524834e8d

Huawei: Fix create volume with prefetch value error

In Huawei driver, when we create volume with
prefetch configurated in xml, the prefetch value
on the array is incorrect. So fix it.

Change-Id: I69b81eec47ae7663857cfb461aba32109746dbc0
Closes-Bug: #1549161

Huawei: Don't fail when port group does not exist

Currently when we request a port group but the
port group does not exist, an error will be raised.
This is not appropriate, because port group not
exists is a normal case.

Closes-Bug: #1536040
Change-Id: I0614163574dac384167ce2bce8887f674f3a97b5

Merge "Include allocated quota value in the quota reserve"

Force target_lun to be int type to make os-brick happy

The X-IO driver was returning the target_lun field as a string
from initialize_connection. It has to be an int to not cause
breakage later on.

Change-Id: I41c91b78753a2007c243ed30731f0a0cd92e68b5
Closes-Bug: #1549048

Merge "Huawei: Fixed url range"

Volume manage/unmanage support to ZFSSA drivers

This change for ZFSSA iSCSI and NFS drivers will allow cinder to
manage existing volumes on a ZFSSA backend and also unmanage them.

Change-Id: I2f280a2dfdb9cc6ce739b340eefa562f98d4038f
Implements: blueprint oracle-zfssa-volume-manage-unmanage
DocImpact

Merge "3PAR get host by WWN now handles mixed cases"

Merge "Fix invalid uuid warnings in object unit tests"

Merge "Filtering type extra-spec support to ZFSSA drivers"

Merge "Zfssaiscsi driver should not use 'default' initiator group"

Disable multi-attach for RBD

This is not really safe to turn on yet, as there
are RBD features which are incompatible with
multi-attach that must be managed from Cinder.

Disable multi-attach for now until code to handle
that is ready.

Change-Id: I17da2f4e897178762d1c3d1302d2d79ae28e349c
Related-Bug: #1519227
Partial-Bug: #1535815

Correct iscsi lun type

Correct iscsi assignment responsed lun type from string to int.

Change-Id: I68abad28aaed6d1ebf63de5c1d817644d03ef5c8
Closes-Bug: #1548711

Fix invalid uuid warnings in object unit tests

Currently 'tox -epy27 -- --regex cinder.tests.unit.objects' emits
74 FutureWarnings from oslo.versionedobjects about invalid uuids
as documented here[1].

This commit changes these tests to use valid uuids so that when
they are run these warnings are no longer emitted.

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField
Change-Id: I8c8ac25f695adec61b5e506ddf99780448ee224e

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Icf324033645737566a95eb363bfb337f66888d43

Merge "Port test_emc_vnx to Python 3"

Merge "Huawei: Ensure the port is online"

Merge "Fix XtremIO multi cluster support"

Merge "Add SIGHUP handlers to reset RPC version pins"

EMC VMAX - not cleaning up HW Resource WWPN initiators

On cleanup, the last volume is unmapped and the masking view and
storage group are deleted. Now the initiator group and the associated
StorageHardwareIDs are also deleted as long as that initiator group
is no longer contained in another masking view.

Change-Id: Ib159f719a9c5cbac5c6ea0b7d9474a64a0335b71
Closes-Bug: #1504192

Huawei: Fixed url range

There is a large number of URL range fields
in the code that need to be rectified with
specifications referenced to the array .

Change-Id: Iad40907995aa4f1c651fcd3f7d4f3a58bfb00c11
Closes-Bug: #1548167

Merge "[LVM] Restore target config during ensure_export"

Merge "Port hgst driver to Python 3"

Updated from global requirements

Change-Id: Ia50dcbe23d08edd1e4cbadf8e4c75684d0e0a1aa

Huawei: Judgement failure when creating hypermetro

Huawei hypermetro is created in the absence of remote pools, it has
the judgement failure which will lead to incorrect logs. We cannot
find the location of the error according to the log.

Closes-Bug:#1545898
Change-Id:Ic99531dad4fab5e22e295e19bbfa94c7892e5635

Merge "Filter & goodness functions in NetApp drivers"

Merge "Wait for periodic tasks to stop on exit"

Merge "Remove useless get_replication_updates driver call"

Merge "Split out NestedQuotas into a separate driver"

Remove useless get_replication_updates driver call

We had the call in the manager as part of a periodic,
it did nothing at all.  Some drivers had comments "no idea
what to do with this", even better we had unit tests that
faked out a call that returned nothing and asserted it was
nothing. ?!?

Let's just remove it

Change-Id: I3c1ef6065e73d90912d7f765d581add9bc704c7b
Closes-Bug: #1547666

[LVM] Restore target config during ensure_export

If server crash or reboot happened, LIO target configuration
will be initialized after boot up a server. Currently, Cinder
has a functionality to save LIO target configuration to save
file at several checkpoint.

If LIO target service is configured properly, LIO target
configuration is restored by this service during boot up
a server, but if not, existing in-use volumes would become
inconsistent status after c-vol service starts.

If there is no iSCSI target configuration during
ensure_export, LIO dirver should restore the saved
configuration file to avoid the problem.

Closes-Bug: #1536248
Change-Id: I74d300ba26a08b6f423f5ed3e13495b73cfbbd52

Merge "Test middleware test_faults to Python 3"

Merge "Fix last Python 3 issues in zonemanager"

Merge "Update quota when volume type renames"

3PAR get host by WWN now handles mixed cases

The 3PAR driver comparison of WWNs will be able to handle
WWNs with upper/lower case differences. For example, the
driver code can now locate a 3PAR host with a WWN of
123abc6789012345 or 123ABD6789012345.

Change-Id: I571713f34ec3737123920acdbf20999baccd90b2
Closes-Bug: 1546453

NetApp: E-Series remove snapshot limitations

The E-Series backend does not allow snapshots defined under a snapshot
group to be deleted out of order. Only the oldest snapshot image may
be deleted. In order to work around this behavior, we would only define
a single snapshot on each snapshot group. Unfortunately, this would
limit the total number of snapshots to a total of 4 per volume.

In order to remove this limitation without causing deletion errors
when a newer snapshot is deleted, a soft-delete was implemented that
will remove the snapshot from Cinder management and purge the
snapshot from the backend once other dependent snapshots have been
deleted.

In order to ensure that our clone operations have a snapshot group
available, one of the 4 snapshot groups that can be defined on a
volume will be reserved for clone operations and will not be
allowed to be utilized for snapshot creation. This will limit the
total number of snapshots supported per volume to a maximum of 96.

The new 1.4 version of the WebServices proxy is required in order
to support the full snapshot behavior. Since snapshots are such
an integral part of the driver, 1.4 is now required for running
the driver with this release.

Co-Authored-By: Erik Johannes <erik.johannes@netapp.com>
Change-Id: Ie097743b167c1086ecf0536ad696786bdcd241b2

Fix race condition in RemoteFS create_snapshot_online

There's a `while True` loop in create_snapshot_online and each
iteration can make the `cinder-volume` process sleep up to 10sec. In
the mean time, if Nova fails to create the snapshot, the snapshot
status could turn to "error" and someone could want to delete the
erroneous snapshot, which would make its status to be "deleting".

In that case the `while True` loop would never exit. Cinder consumes
100% of CPU and keeps logging "Status of snapshot XX is now deleting".

The patch fix this issue by exiting the `while True` loop if we detect
that the snapshot is to be deleted.

Closes-Bug: #1538496

Change-Id: I5de0e8479a552ce101cecd06a874a170e54d5c18

Add SIGHUP handlers to reset RPC version pins

Adding SIGHUP handlers (by implementing reset from oslo.service) to
cinder-scheduler, cinder-backup and cinder-volume that reset cached RPC
version pins. This is to avoid the need to restart all the services when
upgrade of the deployment is completed.

Some changes go a little deep into the stack, because to reload all the
pins we need to recreate <service>.rpcapi.<service>API objects that are
stored in the memory.

Please note that SIGHUP signal is handled by oslo.service only when
service runs in daemon mode (without tty attached). To test this commit
in DevStack you need to add "&" to the end of the command that starts
the service.

Situation is more complicated with the API service, so we're leaving it
with restart required for now. In the deployments with HA cinder-api is
typically behind a load balancer, so restarting individual nodes
one-by-one should be easy.

DocImpact: Add information on rolling upgrades procedures to the docs.
Implements: blueprint rpc-object-compatibility

Change-Id: I03ed74e17dc9a4b9aa2ddcfbeb36a106a0f035f8

Merge "Coho volume stats update"

Merge "Roll back reservations quota in RPC if necessary"

Merge "Rtstool sets wrong exception message on save"

Merge "Scaling backup service"

Tintri image cache cleanup

Cleanup image snapshots periodically from image cache.
Config option helps user to determine how old image snapshots
could be retained.

DocImpact
Closes-Bug: #1534850

Change-Id: I31ee4800f619fae73e46010b30b0f172ef0a2d8f

Huawei: Ensure the port is online

There is a function whose purpose is get online port,
but in fact the port we get maybe not really online.

Closes-Bug: #1536046
Change-Id: If8d6facf429fa8c90f090602d368f6d3657c8a25

Merge "Delete unuseful code in Huawei driver"

Rtstool sets wrong exception message on save

Rtstool does not properly set the message on the RtstoolError exception
on the save_to_file method (save operation) because it's passing
formatting arguments as if it were a LOG call instead of formatting
those same arguments with
%.

There are 2 cases where this can happen, when saving to the default
location on a system that has no target.service installed and the
creation of the default directory fails, and when saving the file
actually fails.

This patch properly formats the message before passing it to the
instantiation of RtstoolError exception.

Change-Id: I13492f695dc0a63a616325bcd0893b2f908cf9fe
Closes-Bug: #1547008