Tintri image direct clone

Fix for the bug 1400966 prevents user from specifying image nfs
share location as location value for an image.
This broke Tintri's image direct clone feature.

This addresses the issue by using provider_location of image
metadata to specify image nfs share location.

DocImpact
Closes-Bug: #1528969
Co-Authored-By: opencompute xuchenx@gmail.com
Change-Id: Icdf2f229d79d5631604e87dd9dd30a1608e6b010

Merge "EMC VMAX - not cleaning up HW Resource WWPN initiators"

Merge "Huawei: Don't fail when port group does not exist"

Merge "NetApp: Implement CGs for ONTAP Drivers"

Merge "Huawei: Log the IP when login fails"

Merge "Correct iscsi lun type"

Tests: Don't assert on LOG.warn

Lots of code can use LOG.warn, tests wanting to
verify this should do a more robust check to ensure
that specific text is logged or not logged.

Change-Id: Id996ce761d90f1648f1f37c74a33df02d04cf3a3
Closes-bug: #1550102

Merge "Fix HNAS iSCSI driver attachment"

Merge "Tintri image cache cleanup"

Merge "cinder-api-microversions code"

NetApp: Implement CGs for ONTAP Drivers

This patch includes the driver changes necessary for NetApp 7mode and
CDOT backends to support all consistency group and cgsnapshot
functionality.

Co-Authored-By: Alex Meade <mr.alex.meade@gmail.com>
Co-Authored-By: Chuck Fouts <fchuck@netapp.com>
DocImpact
Implements: blueprint cinder-consistency-groups
Change-Id: Ia74c634835958876d97daf6766f2ef110b33ddc4

Merge "NetApp: Support iSCSI CHAP Uni-directional Auth"

Merge "Avoid hardcoding value from oslo library"

Merge "Force target_lun to be int type to make os-brick happy"

Fix HNAS iSCSI driver attachment

Currently, the HNAS iSCSI driver returns the logical unit number
related to the iSCSI target as a string while initializing the
connection.
This is breaking the attachment feature because os-brick expects
a numeric type.
This patch converts the LUN from string to int in order to solve
this problem.

Change-Id: I33958a93a6261b7d77e4becafa3efd5180e5d091
Closes-Bug: 1549375

Merge "Port netapp dataontap driver to Python 3"

Merge "Scalable backup service - Liberty compatibility"

NetApp: Support iSCSI CHAP Uni-directional Auth

This change adds iSCSI CHAP uni-directional authentication support for
NetApp cDOT and 7-Mode iSCSI driver.

Enabling CHAP authentication does not impact an existing iSCSI session.
The iSCSI session needs to be reestablished before CHAP authentication
is initiated.

Co-Authored-By: Dustin Schoenbrun <dustin.schoenbrun@netapp.com>
Co-Authored-By: Alex Meade <mr.alex.meade@gmail.com>
Implements: blueprint netapp-add-chap-authentication-iscsi

DocImpact
Change-Id: I8c481fa09aee02b5472f02819b1a342a3c3e7f71

Merge "Port infortrend driver to Python 3"

Merge "Fix service-list filter"

Avoid hardcoding value from oslo library

In I65b40b9906b75146a0085bbe168f1e6bcae82f21, the
wsgi_default_pool_size was lowered from 1000 to
100. We should not be using internal details of
the oslo libraries.

Change-Id: I84f01df3e212165176c633a680161a9a9da311ea

cinder-api-microversions code

Many changes to the Cinder REST API require changes to the consumers of the API.
For example, If we need to add a required parameter to a method that is called
 by Nova, we'd need both the Nova calling code and the cinderclient that
Nova uses to change. But newer Cinder versions with the change must work with
older Nova versions, and there is no mechanism for this at the moment. Adding
microversions will solve this problem.
With microversions, the highest supported version will be negotiated by a field
in the HTTP header that is sent to the Cinder API. In the case where the field
'versions' is not sent (i.e. clients and scripts that pre-date this change),
then the lowest supported version would be used. In order to ensure that the
API consumer is explicitly asking for a microversioned API, a new endpoint v3
is added, which is identical to API version v2. This means that our new
Cinder API v3 would be the default, and consumers of the API that wished to
use a newer version could do so by using that endpoint and a microversion in
the HTTP header.
New tests for microversioned API features on endpoint /v3 should be added to
cinder/tests/unit/api/v3/ directory. Existing functionality will be tested via
the .../v2/ unit tests.

DocImpact
APIImpact
Implements: https://blueprints.launchpad.net/cinder/+spec/cinder-api-microversions
Change-Id: I48cdbbc900c2805e59ee9aebc3b1c64aed3212ae

Port netapp dataontap driver to Python 3

With this change, all unit tests on volume drivers pass on Python 3.

Changes:

* Replace a/b with a//b to get an integer on Python 3.
* Replace map(...) and filter(...) with a list-comprehension to get a
  list on Python 3.
* Replace dict.keys() with list(dict.keys()) to get a list
  on Python 3.
* Replace (str, int, float, long) with
  six.integer_types + (str, float): long type was removed
  from Python 3.
* decode_base32_to_hex(): on Python 3, decode encode_hex_to_base32()
  to return a Unicode string.
* convert_es_fmt_to_uuid(): encode/decode on Python 3 to pass the
  right types to base64.b32decode() (bytes) and uuid.UUID()
  (Unicode).
* fakes.py: Change type of XML document from Unicode to bytes: add
  b prefix to literal strings (b'...').
* Replace range(a, b) with list(range(a, b)) to get a list
  on Python 3.
* tests-py3.txt: add cinder.tests.unit.volume.drivers, all volume
  drivers tests now pass on Python 3.

Partial-Implements: blueprint cinder-python3
Change-Id: Iee609f72bbbef3789fa5e970d209047a113d005c

Merge "HNAS driver: Fix SSH and cluster_admin_ip0 bug"

Merge "NetApp: E-Series remove snapshot limitations"

Scalable backup service - Liberty compatibility

To support rolling upgrades we need to make sure that Mitaka's services
are running fine with Liberty's. It gets complicated with backups as
we've strongly reworked them. Main difference is that Mitaka c-bak can
handle backup/restore of any volume and Liberty was restricted to
operate only on volumes placed on the same node.

Now when running in version heterogeneous environment we need to use old
way of backup jobs scheduling and switch to new one (round robin) only
when everything is running Mitaka.

This commit implements that by adding a dummy backup RPC API version
(1.3) that marks the beginning of scalable backups era. Jobs are
scheduled the new way only if every c-bak reports that (or higher)
version.

There are also small changes to volume.rpcapi - to fail fast if some
c-vol services aren't supporting new calls required by scalable backups
feature. This allows us to error out backups with proper message when
upgrade was done in an improper way (in Mitaka we require c-vols to be
upgraded before c-baks).

This commit also includes small changes to CinderObjectSerializer to
block tries to "forwardport" an object when sending it over RPC. If a
service receives an older object it should handle it explicitly.

Related-Blueprint: scalable-backup-service
Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: I45324336ba00726d53cfa012e8bd498868919a8c

Huawei: Log the IP when login fails

Now we support configuring multi-ips,
if one ip login fails, we will try to
connect to other ips. The problem is,
if one ip login fails, the log message
did not tell users which ip fails.

Closes-Bug: #1549157
Change-Id: I4aa933c37b1fe20438c330fd86b2a67524834e8d

Huawei: Don't fail when port group does not exist

Currently when we request a port group but the
port group does not exist, an error will be raised.
This is not appropriate, because port group not
exists is a normal case.

Closes-Bug: #1536040
Change-Id: I0614163574dac384167ce2bce8887f674f3a97b5

Merge "Include allocated quota value in the quota reserve"

Force target_lun to be int type to make os-brick happy

The X-IO driver was returning the target_lun field as a string
from initialize_connection. It has to be an int to not cause
breakage later on.

Change-Id: I41c91b78753a2007c243ed30731f0a0cd92e68b5
Closes-Bug: #1549048

Merge "Huawei: Fixed url range"

Merge "3PAR get host by WWN now handles mixed cases"

Merge "Fix invalid uuid warnings in object unit tests"

Merge "Filtering type extra-spec support to ZFSSA drivers"

Merge "Zfssaiscsi driver should not use 'default' initiator group"

Correct iscsi lun type

Correct iscsi assignment responsed lun type from string to int.

Change-Id: I68abad28aaed6d1ebf63de5c1d817644d03ef5c8
Closes-Bug: #1548711

Fix invalid uuid warnings in object unit tests

Currently 'tox -epy27 -- --regex cinder.tests.unit.objects' emits
74 FutureWarnings from oslo.versionedobjects about invalid uuids
as documented here[1].

This commit changes these tests to use valid uuids so that when
they are run these warnings are no longer emitted.

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField
Change-Id: I8c8ac25f695adec61b5e506ddf99780448ee224e

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Icf324033645737566a95eb363bfb337f66888d43

Merge "Port test_emc_vnx to Python 3"

Merge "Huawei: Ensure the port is online"

Merge "Fix XtremIO multi cluster support"

Merge "Add SIGHUP handlers to reset RPC version pins"

EMC VMAX - not cleaning up HW Resource WWPN initiators

On cleanup, the last volume is unmapped and the masking view and
storage group are deleted. Now the initiator group and the associated
StorageHardwareIDs are also deleted as long as that initiator group
is no longer contained in another masking view.

Change-Id: Ib159f719a9c5cbac5c6ea0b7d9474a64a0335b71
Closes-Bug: #1504192

Huawei: Fixed url range

There is a large number of URL range fields
in the code that need to be rectified with
specifications referenced to the array .

Change-Id: Iad40907995aa4f1c651fcd3f7d4f3a58bfb00c11
Closes-Bug: #1548167

Merge "[LVM] Restore target config during ensure_export"

Merge "Port hgst driver to Python 3"

Updated from global requirements

Change-Id: Ia50dcbe23d08edd1e4cbadf8e4c75684d0e0a1aa

Merge "Filter & goodness functions in NetApp drivers"

Merge "Wait for periodic tasks to stop on exit"

Merge "Remove useless get_replication_updates driver call"

Merge "Split out NestedQuotas into a separate driver"

Remove useless get_replication_updates driver call

We had the call in the manager as part of a periodic,
it did nothing at all.  Some drivers had comments "no idea
what to do with this", even better we had unit tests that
faked out a call that returned nothing and asserted it was
nothing. ?!?

Let's just remove it

Change-Id: I3c1ef6065e73d90912d7f765d581add9bc704c7b
Closes-Bug: #1547666

[LVM] Restore target config during ensure_export

If server crash or reboot happened, LIO target configuration
will be initialized after boot up a server. Currently, Cinder
has a functionality to save LIO target configuration to save
file at several checkpoint.

If LIO target service is configured properly, LIO target
configuration is restored by this service during boot up
a server, but if not, existing in-use volumes would become
inconsistent status after c-vol service starts.

If there is no iSCSI target configuration during
ensure_export, LIO dirver should restore the saved
configuration file to avoid the problem.

Closes-Bug: #1536248
Change-Id: I74d300ba26a08b6f423f5ed3e13495b73cfbbd52

Merge "Test middleware test_faults to Python 3"

Merge "Fix last Python 3 issues in zonemanager"

Merge "Update quota when volume type renames"

3PAR get host by WWN now handles mixed cases

The 3PAR driver comparison of WWNs will be able to handle
WWNs with upper/lower case differences. For example, the
driver code can now locate a 3PAR host with a WWN of
123abc6789012345 or 123ABD6789012345.

Change-Id: I571713f34ec3737123920acdbf20999baccd90b2
Closes-Bug: 1546453

NetApp: E-Series remove snapshot limitations

The E-Series backend does not allow snapshots defined under a snapshot
group to be deleted out of order. Only the oldest snapshot image may
be deleted. In order to work around this behavior, we would only define
a single snapshot on each snapshot group. Unfortunately, this would
limit the total number of snapshots to a total of 4 per volume.

In order to remove this limitation without causing deletion errors
when a newer snapshot is deleted, a soft-delete was implemented that
will remove the snapshot from Cinder management and purge the
snapshot from the backend once other dependent snapshots have been
deleted.

In order to ensure that our clone operations have a snapshot group
available, one of the 4 snapshot groups that can be defined on a
volume will be reserved for clone operations and will not be
allowed to be utilized for snapshot creation. This will limit the
total number of snapshots supported per volume to a maximum of 96.

The new 1.4 version of the WebServices proxy is required in order
to support the full snapshot behavior. Since snapshots are such
an integral part of the driver, 1.4 is now required for running
the driver with this release.

Co-Authored-By: Erik Johannes <erik.johannes@netapp.com>
Change-Id: Ie097743b167c1086ecf0536ad696786bdcd241b2

Add SIGHUP handlers to reset RPC version pins

Adding SIGHUP handlers (by implementing reset from oslo.service) to
cinder-scheduler, cinder-backup and cinder-volume that reset cached RPC
version pins. This is to avoid the need to restart all the services when
upgrade of the deployment is completed.

Some changes go a little deep into the stack, because to reload all the
pins we need to recreate <service>.rpcapi.<service>API objects that are
stored in the memory.

Please note that SIGHUP signal is handled by oslo.service only when
service runs in daemon mode (without tty attached). To test this commit
in DevStack you need to add "&" to the end of the command that starts
the service.

Situation is more complicated with the API service, so we're leaving it
with restart required for now. In the deployments with HA cinder-api is
typically behind a load balancer, so restarting individual nodes
one-by-one should be easy.

DocImpact: Add information on rolling upgrades procedures to the docs.
Implements: blueprint rpc-object-compatibility

Change-Id: I03ed74e17dc9a4b9aa2ddcfbeb36a106a0f035f8

Merge "Coho volume stats update"

Merge "Roll back reservations quota in RPC if necessary"

Merge "Rtstool sets wrong exception message on save"

Merge "Scaling backup service"

Tintri image cache cleanup

Cleanup image snapshots periodically from image cache.
Config option helps user to determine how old image snapshots
could be retained.

DocImpact
Closes-Bug: #1534850

Change-Id: I31ee4800f619fae73e46010b30b0f172ef0a2d8f

Huawei: Ensure the port is online

There is a function whose purpose is get online port,
but in fact the port we get maybe not really online.

Closes-Bug: #1536046
Change-Id: If8d6facf429fa8c90f090602d368f6d3657c8a25

Merge "Delete unuseful code in Huawei driver"

Rtstool sets wrong exception message on save

Rtstool does not properly set the message on the RtstoolError exception
on the save_to_file method (save operation) because it's passing
formatting arguments as if it were a LOG call instead of formatting
those same arguments with
%.

There are 2 cases where this can happen, when saving to the default
location on a system that has no target.service installed and the
creation of the default directory fails, and when saving the file
actually fails.

This patch properly formats the message before passing it to the
instantiation of RtstoolError exception.

Change-Id: I13492f695dc0a63a616325bcd0893b2f908cf9fe
Closes-Bug: #1547008

Test middleware test_faults to Python 3

* XMLDictSerializer: sort dictionary items to get a reliable XML
  output. On Python 3, dictionary items are iterated in a random
  order, because the hash function is randomized by default.
* Use byte strings for HTTP body
* On Python 3, decode serialized data to get Unicode
* Add a base TestCase class to factorize the _prepare_xml() method
* tests-py3.txt: add cinder.tests.unit.api.middleware.test_faults

Partial-Implements: blueprint cinder-python3
Change-Id: I81cd509230265f47f8c00ade14c71f66c717ca81

Merge "Add restore_volume_id in backup"

Split out NestedQuotas into a separate driver

Fixes the following issues with NestedQuotas:
  * Requires conf setting change to use nested quota driver
  * Enforces default child quota value with volume creation
  * Disables the use of -1 to be set for child quotas
  * Adds an admin only API command which can be used to validate
    the current setup for nested quotas, and can update existing
    allocated quotas in the DB which have been incorrectly set
    by previous use of child limits with -1

There will be follow-up patches with the following improvements:
  * make -1 limits functional for child projects
  * cache the Keystone project heirarchies to improve efficiency

Note: ideally validation of nested quotas would occur in the setup
of the nested quota driver, but doing the validation requires a
view of ALL projects present in Keystone, so unless we require Keystone
change to allow "cinder" service user to be able to list/get projects,
we need the admin-only API for validation that should be called by
cloud-admin.

DocImpact

Change-Id: Ibbd6f47c370d8f10c08cba358574b55e3059dcd1
Closes-Bug: #1531502
Partial-Bug: #1537189
Related-Bug: #1535878

Merge "Profiler: make it possible to run without loading osprofiler"

Merge "EMC VMAX - necessary updates for CG changes"

Merge "Remove Cisco FC Zone Manager Driver"

Revert changes to use ostestr

ostestr has more user-friendly output including lists of all and failed
tests.

Change-Id: I1f715a5688d702aaf8489928a1b0a39093caa5da

Merge "Cleanup unused conf variables"

Merge "Storwize/SVC: Volume manage using source-name"

Merge "Dell: Failed vol create could leave dead volumes"

Merge "Port API v1 and v2 to Python 3"

Merge "Port API contribs to Python 3"

Wait for periodic tasks to stop on exit

When a Service in Cinder exits it stops all operations and waits for
them to complete, and it also stops all periodica tasks created with
FixedIntervalLoop, but it doesn't wait until these are completed.

This patch will wait for all periodic tasks that received the stop
request without raising an exception before exiting.

Change-Id: I984b8aebd40f9482f0cf8098146d1ccd635dc1d6
Closes-Bug: #1546234

Dell: Failed vol create could leave dead volumes

Added _cleanup_failed_create_volume which tries to delete any
partially created volumes.

Change-Id: I1f2f549b364a013b713e193591d08b9e9376569e
Closes-Bug: 1546161

Merge "Disable Rally backup-related scenarios"

Roll back reservations quota in RPC if necessary

Currently the latest version of the volume rpcapi passes along
old_reservations in retype whereas older versions do not. In the
case where old_reservations aren't passed, they will be checked again
in c-vol. This patch rolls back the quotas that were checked for
old_reservations if the client can't send the latest version in
the RPCAPI so that they aren't reserved twice.

This is an amendment to this recently merged patch:
Iba24edd8ad824837028353b52c90742df55c9173

Closes-Bug: 1546089
Related-bug: 1508249
Change-Id: I54b39f367b8552ed5e932c71265432e7cf72c073

Merge "Move integrated tests to 'functional' directory"

Scaling backup service

Currently the cinder backup service is tightly coupled to the cinder
volume service in ways that prevent scaling out backup services
horizontally across multiple physical nodes.

This patch is to loosen this coupling to enable backup processes
to run on multiple nodes without having to be colocated with volume
services.

The following works are not included in this patch:
1. Remote attach snapshot.
2. Vendor specific work.
3. Remove current backup_volume in driver.
4. Rolling upgrades.

DocImpact
Change-Id: I743e676372703e74178c79683dd622d530981e04
Partial-Implements: bp scalable-backup-service
Co-Authored-By: Tom Barron <tpb@dyncloud.net>

Delete unuseful code in Huawei driver

In Huawei driver, "get_remote_device_info" is
unused. So delete it.

Change-Id: Ia13405d1b62f022a8410e10bc07455d02085d3d0
Closes-Bug: #1545894

Cleanup unused conf variables

I noticed in nova that we had a lot of unused conf variables. I
wondered if this was a thing in other projects as well. Turns out
it is.

Change-Id: I2424e32dd4ad61881d9b6a0449e12937ea8151e0

Merge "Profiler: don't call trace_cls if profiler is not enabled"

Merge "py3: Fix usage of JSON in API contrib"

Merge "Add missing requirements"

Port infortrend driver to Python 3

* InfortrendCommon: sort dictionary items to get a reliable
  behaviour. On Python 3, the hash function is randomized by default.

  - _get_minimun_mapping_channel_id(): sort LUN mapping by keys
  - _do_fc_connection(): sort initiator_target_map keys

* InfortrendCommon._create_partition_with_pool(): cast gi_to_mi()
  result to int. On Python 3, gi_to_mi() returns a float (a/b always
  return a float, even for int/int).
* test_retype_with_migrate(): build create_params using a dictionary
  to create parameter in the same order than the driver.
* tests-py3.txt: cinder.tests.unit.test_infortrend_common

Change-Id: Idd849a9cd5dc0ad17c5d8d54da489346c018e778

Merge "Tests: Set volume listen port to test_service_listen_port"

Merge "Sheepdog: Fix malformed image url format"

Merge "Port utils.safe_minidom_parse_string() to Python 3"

Merge "Support for consistency groups in ScaleIO driver"

Disable Rally backup-related scenarios

Backup tests failed on gates due to the configuration
or Rally issue. Let's skip them until bug #1543987 will
be fixed.

Change-Id: Ic99531dad4fab5e22e295e19bbfa94c782212d2c
Related-Bug: #1543987

Merge "Huawei: Implement v2 replication (managed)"

Fix last Python 3 issues in zonemanager

* Replace auth_string.encode("base64", strict") with
  oslo_serialization.base64.encode_as_text(auth_string).
* tests-py3.txt: add cinder.tests.unit.zonemanager, add zonemanager
  unit tests now pass on Python 3

Partial-Implements: blueprint cinder-python3
Change-Id: I527637e182fc3b463bcf5657afbbd129149e7ecc

Merge "RBD: use versioned objects"

Merge "Updated from global requirements"