Copy StandardLogging fixture from Nova

This code was originally written for Nova by Joe Gordon
<joe.gordon0@gmail.com> and Sean Dague <sean@dague.net>.

This enables debug logging that is exercised by unit test
runs to be handled and detect formatting errors. The debug
logging does not actually go to the console unless the
OS_DEBUG environment variable is set.

As a result, a few formatting errors are detected and
cleaned up with this change.

This also fixes a problem where debug logging from stevedore
is dumped to the console every time an extension is loaded,
which in a gate-cinder-python27 job is 65K+ times.

Change-Id: I989f9d591d1483a56a1bab3c20de583e85997562
Closes-Bug: #1551325

Merge "Remove unused pngmath sphinx extension"

Merge "Huawei: delete_snapshot need not return any value"

Merge "Add description when rename LUN in Huawei driver"

Merge "Match the ip more accurately in Huawei driver"

Merge "Modify the number of params of hypermetro in HuaweiDriver"

Merge "Move anyjson to test-requirements"

Merge "Add pip-missing-reqs tox env"

Merge "Propoerly call oslo's Service stop and wait"

Merge "Remove unused kill method from Service"

Merge "replace deprecated oslo_messaging _impl_messaging"

Merge "Delete volumes with snapshots"

Merge "Improve logging to debug invalid "extra_specs" entries"

Merge "Handle OverQuota exception during volume transfer"

Merge "Return all target_wwpns for FC storwize"

Merge "Disable multi-attach for RBD"

Merge "Huawei: Judgement failure when creating hypermetro"

Merge "Fix race condition in RemoteFS create_snapshot_online"

Merge "VMware: manage_existing_get_size for VMDK driver"

Merge "Updated from global requirements"

Remove unused pngmath sphinx extension

The extension is not used, remove it.

Change-Id: I0720058e8d2235772b5bb82224b68b1b52e6060d

Merge "Add basic workflow of attach/detach to devref"

Delete volumes with snapshots

This adds the 'cascade' parameter to volume delete,
which deletes snapshots along with a volume in
one call.

This is done in the volume manager, and not in
a driver-optimized way, which will be a later
improvement.

Blueprint: del-vols-with-snaps
Change-Id: I33d15b76d4bd0de14c635d404b2c97096c977a58

Merge "Fix error message in cinder type-update"

Merge "Misprint in policy.json"

Merge "Enable all unit tests on Python 3.4"

Misprint in policy.json

Erroneous space in "rule: admin_api" was introduced in change Ibbd6f47c370d8f10c08cba358574b55e3059dcd1
oslo_policy regards space as a separator,
and fails to parse this rule: http://paste.openstack.org/show/488452/

Change-Id: I5de45c97a06b7ddecb36c2a1793c4f3fd5fd21d6

Merge "EMC VMAX - Changing PercentSynced to CopyState in isSynched"

Updated from global requirements

Change-Id: Iea494af5b9112af93030f5e8b86c907551e9ee40

Merge "Volume manage/unmanage support to ZFSSA drivers"

Merge "Change frozen error messages from _LE to _"

Huawei: delete_snapshot need not return any value

Currently delete_snapshot return True or False to indicate
whether the snapshot is really deleted on the array. This
is useless and just write for unit tests. Now we will remove
the return value and add another unit test for delete_snapshot.

Closes-Bug: #1549584
Change-Id: I17fea61e3c0f5565ab04bc82f172e638480f45dc

Match the ip more accurately in Huawei driver

Currently we didn't match the ip in the iqn accurately,
now we will fix this in this patch.

Closes-Bug: #1545914
Change-Id: I32232fcc6cad733b0dd8fa8c323297f6fbac3137

Merge "Replication v2.1 (Cheesecake)"

Add description when rename LUN in Huawei driver

Sometimes when we rename a LUN on the array, we should
add some description to record some information like
volume id on cinder side. This patch will enable this.

Closes-Bug: #1537304
Change-Id: Ib156e61b5b1e305c41426cf5c6001dd44770140c

Modify the number of params of hypermetro in HuaweiDriver

When attaching or detaching hypermetro volume, the initialization
instance has three parameters, but the function definition has five
parameters.

Change-Id: I8343a7b75e02962c321a838de148acc54498f952
Closes-Bug: #1545971

Merge "Fix NoneType error in service_get_all"

EMC VMAX - Changing PercentSynced to CopyState in isSynched

In SE 8.x PercentSynced no longer works for VMAX3 as a criteria to
determine whether a device is synched or not. Luckily 'CopyState'
works for both VMAX2 and VMAX3 and is backward compatible with 7.6.x.

Change-Id: I443e5f17f3c0e779ebdfd868bcd05cb85b52f525
Closes-Bug: #1517103

Merge "LeftHand: Updating minimum client version"

Add basic workflow of attach/detach to devref

This is something that confuses folks and isn't centrally
located.  So... add it to the devref docs and hope that
developers read it.

There's tons of detail we can add in the future of course,
but this at least clears up some of the common misconceptions
that exist currently.

Change-Id: Ic5fb8da06d18fac3369a91a525accc75c1d28100

Change frozen error messages from _LE to _

The super secret formula states that the error messages should
use '_' instead of '_LE'.  This patch changes the ones introduced
in Replication V2.1.

Change-Id: I9a4b87421eeda69ca918cbf869f2990ef113e158

Replication v2.1 (Cheesecake)

This focuses the replication work on a specific use case,
and eliminates some of the ambiguity in earlier versions.

Additionally this implementation addresses needs for
devices that do replication based on the whole backend-device
or on Pools.

Use case:
  DR scenario, where a storage device is rendered inoperable.
  This implementation allows the preservation of user data
  for those volumes that are of type replication-enabled.

  The goal is NOT to make failures completely transparent
  but instead to preserve data access while an Admin tries
  to rebuild/recover his/her cloud.

It's very important to note that we're no longer interested in
dealing with replication in Cinder at a Volume level.  The concept
of have "some" volumes failover, and "others" left behind, proved
to not only be overly complex and difficult to implement, but we
never identified a concrete use-case where one would use failover
in a scenario where some volumes would stay and be accessible on
a primary but other may be moved and accessed via a secondary.

In this model, it's host/backend based.  So when you failover,
you're failing over an entire backend.  We heavily leverage
existing resources, specifically services, and capabilities.

Implements: blueprint replication-update

Change-Id: If862bcd18515098639f94a8294a8e44e1358c52a

Merge "EMC ScaleIO - fix bug in extend volume"

Merge "Huawei: Fix create volume with prefetch value error"

Merge "EMC VMAX - not cleaning up HW Resource WWPN initiators"

Merge "Huawei: Don't fail when port group does not exist"

Merge "NetApp: Implement CGs for ONTAP Drivers"

Merge "Huawei: Log the IP when login fails"

Merge "Correct iscsi lun type"

Enable all unit tests on Python 3.4

* Remove tests-py3.txt: all unit tests now pass on Python 3
* tox.ini: remove specific command for py34 test environment, it now
  inherits testenv commands (same command than Python 2.7)

Partial-Implements: blueprint cinder-python3
Change-Id: I52c68a63740b3ae6097fad419b59a9c29422b525

Tests: Don't assert on LOG.warn

Lots of code can use LOG.warn, tests wanting to
verify this should do a more robust check to ensure
that specific text is logged or not logged.

Change-Id: Id996ce761d90f1648f1f37c74a33df02d04cf3a3
Closes-bug: #1550102

Return all target_wwpns for FC storwize

Storwize FC terminate_connection was using 'lsfabric' to lookup
target_wwpns, active on the fabric, to be used to terminate
the connection. However during a delete of a NPIV VM, the target_wwpns
is no longer active, it is not logged onto the fabric. The target list
will return empty. Fix is to return all the available wwpns
from 'storage_nodes'.

Change-Id: I39897f5583c878cc6243683d4bd60f800ea588af
Closes-Bug: #1546281

Fix error message in cinder type-update

TrivialFix

Change-Id: Ic2ef327156cca0e977cb2e5a7275fe8d18ec093e

Merge "Fix HNAS iSCSI driver attachment"

Merge "Tintri image cache cleanup"

Fix NoneType error in service_get_all

When calling service_get_all without filters,
it raises NoneType error which is imported by
this patch I21775106693176ca128dbfd9db0d43cfc58de00a.

Change-Id: I473a9bbd2caea21c6fcd82b483bece1337ab6535
Closes-Bug: 1549563

Merge "cinder-api-microversions code"

LeftHand: Updating minimum client version

Updated HPE LeftHand driver to have a minimum client
version of 2.1.0.

This is a follow up to the following patches:
https://review.openstack.org/#/c/255002/
https://review.openstack.org/#/c/255544/
https://review.openstack.org/#/c/255015/

DocImpact
Change-Id: I85f49116bfb669673d090c12e80d8d363730ab9e

NetApp: Implement CGs for ONTAP Drivers

This patch includes the driver changes necessary for NetApp 7mode and
CDOT backends to support all consistency group and cgsnapshot
functionality.

Co-Authored-By: Alex Meade <mr.alex.meade@gmail.com>
Co-Authored-By: Chuck Fouts <fchuck@netapp.com>
DocImpact
Implements: blueprint cinder-consistency-groups
Change-Id: Ia74c634835958876d97daf6766f2ef110b33ddc4

Merge "NetApp: Support iSCSI CHAP Uni-directional Auth"

Merge "Avoid hardcoding value from oslo library"

Merge "Force target_lun to be int type to make os-brick happy"

Fix HNAS iSCSI driver attachment

Currently, the HNAS iSCSI driver returns the logical unit number
related to the iSCSI target as a string while initializing the
connection.
This is breaking the attachment feature because os-brick expects
a numeric type.
This patch converts the LUN from string to int in order to solve
this problem.

Change-Id: I33958a93a6261b7d77e4becafa3efd5180e5d091
Closes-Bug: 1549375

Merge "Port netapp dataontap driver to Python 3"

Merge "Scalable backup service - Liberty compatibility"

NetApp: Support iSCSI CHAP Uni-directional Auth

This change adds iSCSI CHAP uni-directional authentication support for
NetApp cDOT and 7-Mode iSCSI driver.

Enabling CHAP authentication does not impact an existing iSCSI session.
The iSCSI session needs to be reestablished before CHAP authentication
is initiated.

Co-Authored-By: Dustin Schoenbrun <dustin.schoenbrun@netapp.com>
Co-Authored-By: Alex Meade <mr.alex.meade@gmail.com>
Implements: blueprint netapp-add-chap-authentication-iscsi

DocImpact
Change-Id: I8c481fa09aee02b5472f02819b1a342a3c3e7f71

Merge "Port infortrend driver to Python 3"

Merge "Fix service-list filter"

Avoid hardcoding value from oslo library

In I65b40b9906b75146a0085bbe168f1e6bcae82f21, the
wsgi_default_pool_size was lowered from 1000 to
100. We should not be using internal details of
the oslo libraries.

Change-Id: I84f01df3e212165176c633a680161a9a9da311ea

cinder-api-microversions code

Many changes to the Cinder REST API require changes to the consumers of the API.
For example, If we need to add a required parameter to a method that is called
 by Nova, we'd need both the Nova calling code and the cinderclient that
Nova uses to change. But newer Cinder versions with the change must work with
older Nova versions, and there is no mechanism for this at the moment. Adding
microversions will solve this problem.
With microversions, the highest supported version will be negotiated by a field
in the HTTP header that is sent to the Cinder API. In the case where the field
'versions' is not sent (i.e. clients and scripts that pre-date this change),
then the lowest supported version would be used. In order to ensure that the
API consumer is explicitly asking for a microversioned API, a new endpoint v3
is added, which is identical to API version v2. This means that our new
Cinder API v3 would be the default, and consumers of the API that wished to
use a newer version could do so by using that endpoint and a microversion in
the HTTP header.
New tests for microversioned API features on endpoint /v3 should be added to
cinder/tests/unit/api/v3/ directory. Existing functionality will be tested via
the .../v2/ unit tests.

DocImpact
APIImpact
Implements: https://blueprints.launchpad.net/cinder/+spec/cinder-api-microversions
Change-Id: I48cdbbc900c2805e59ee9aebc3b1c64aed3212ae

Port netapp dataontap driver to Python 3

With this change, all unit tests on volume drivers pass on Python 3.

Changes:

* Replace a/b with a//b to get an integer on Python 3.
* Replace map(...) and filter(...) with a list-comprehension to get a
  list on Python 3.
* Replace dict.keys() with list(dict.keys()) to get a list
  on Python 3.
* Replace (str, int, float, long) with
  six.integer_types + (str, float): long type was removed
  from Python 3.
* decode_base32_to_hex(): on Python 3, decode encode_hex_to_base32()
  to return a Unicode string.
* convert_es_fmt_to_uuid(): encode/decode on Python 3 to pass the
  right types to base64.b32decode() (bytes) and uuid.UUID()
  (Unicode).
* fakes.py: Change type of XML document from Unicode to bytes: add
  b prefix to literal strings (b'...').
* Replace range(a, b) with list(range(a, b)) to get a list
  on Python 3.
* tests-py3.txt: add cinder.tests.unit.volume.drivers, all volume
  drivers tests now pass on Python 3.

Partial-Implements: blueprint cinder-python3
Change-Id: Iee609f72bbbef3789fa5e970d209047a113d005c

Merge "HNAS driver: Fix SSH and cluster_admin_ip0 bug"

Merge "NetApp: E-Series remove snapshot limitations"

Scalable backup service - Liberty compatibility

To support rolling upgrades we need to make sure that Mitaka's services
are running fine with Liberty's. It gets complicated with backups as
we've strongly reworked them. Main difference is that Mitaka c-bak can
handle backup/restore of any volume and Liberty was restricted to
operate only on volumes placed on the same node.

Now when running in version heterogeneous environment we need to use old
way of backup jobs scheduling and switch to new one (round robin) only
when everything is running Mitaka.

This commit implements that by adding a dummy backup RPC API version
(1.3) that marks the beginning of scalable backups era. Jobs are
scheduled the new way only if every c-bak reports that (or higher)
version.

There are also small changes to volume.rpcapi - to fail fast if some
c-vol services aren't supporting new calls required by scalable backups
feature. This allows us to error out backups with proper message when
upgrade was done in an improper way (in Mitaka we require c-vols to be
upgraded before c-baks).

This commit also includes small changes to CinderObjectSerializer to
block tries to "forwardport" an object when sending it over RPC. If a
service receives an older object it should handle it explicitly.

Related-Blueprint: scalable-backup-service
Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: I45324336ba00726d53cfa012e8bd498868919a8c

Huawei: Log the IP when login fails

Now we support configuring multi-ips,
if one ip login fails, we will try to
connect to other ips. The problem is,
if one ip login fails, the log message
did not tell users which ip fails.

Closes-Bug: #1549157
Change-Id: I4aa933c37b1fe20438c330fd86b2a67524834e8d

Huawei: Fix create volume with prefetch value error

In Huawei driver, when we create volume with
prefetch configurated in xml, the prefetch value
on the array is incorrect. So fix it.

Change-Id: I69b81eec47ae7663857cfb461aba32109746dbc0
Closes-Bug: #1549161

Huawei: Don't fail when port group does not exist

Currently when we request a port group but the
port group does not exist, an error will be raised.
This is not appropriate, because port group not
exists is a normal case.

Closes-Bug: #1536040
Change-Id: I0614163574dac384167ce2bce8887f674f3a97b5

Merge "Include allocated quota value in the quota reserve"

Force target_lun to be int type to make os-brick happy

The X-IO driver was returning the target_lun field as a string
from initialize_connection. It has to be an int to not cause
breakage later on.

Change-Id: I41c91b78753a2007c243ed30731f0a0cd92e68b5
Closes-Bug: #1549048

Merge "Huawei: Fixed url range"

Volume manage/unmanage support to ZFSSA drivers

This change for ZFSSA iSCSI and NFS drivers will allow cinder to
manage existing volumes on a ZFSSA backend and also unmanage them.

Change-Id: I2f280a2dfdb9cc6ce739b340eefa562f98d4038f
Implements: blueprint oracle-zfssa-volume-manage-unmanage
DocImpact

Merge "3PAR get host by WWN now handles mixed cases"

Merge "Fix invalid uuid warnings in object unit tests"

Merge "Filtering type extra-spec support to ZFSSA drivers"

Merge "Zfssaiscsi driver should not use 'default' initiator group"

Disable multi-attach for RBD

This is not really safe to turn on yet, as there
are RBD features which are incompatible with
multi-attach that must be managed from Cinder.

Disable multi-attach for now until code to handle
that is ready.

Change-Id: I17da2f4e897178762d1c3d1302d2d79ae28e349c
Related-Bug: #1519227
Partial-Bug: #1535815

Correct iscsi lun type

Correct iscsi assignment responsed lun type from string to int.

Change-Id: I68abad28aaed6d1ebf63de5c1d817644d03ef5c8
Closes-Bug: #1548711

Fix invalid uuid warnings in object unit tests

Currently 'tox -epy27 -- --regex cinder.tests.unit.objects' emits
74 FutureWarnings from oslo.versionedobjects about invalid uuids
as documented here[1].

This commit changes these tests to use valid uuids so that when
they are run these warnings are no longer emitted.

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField
Change-Id: I8c8ac25f695adec61b5e506ddf99780448ee224e

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Icf324033645737566a95eb363bfb337f66888d43

Merge "Port test_emc_vnx to Python 3"

Merge "Huawei: Ensure the port is online"

Merge "Fix XtremIO multi cluster support"

Merge "Add SIGHUP handlers to reset RPC version pins"

EMC VMAX - not cleaning up HW Resource WWPN initiators

On cleanup, the last volume is unmapped and the masking view and
storage group are deleted. Now the initiator group and the associated
StorageHardwareIDs are also deleted as long as that initiator group
is no longer contained in another masking view.

Change-Id: Ib159f719a9c5cbac5c6ea0b7d9474a64a0335b71
Closes-Bug: #1504192

Huawei: Fixed url range

There is a large number of URL range fields
in the code that need to be rectified with
specifications referenced to the array .

Change-Id: Iad40907995aa4f1c651fcd3f7d4f3a58bfb00c11
Closes-Bug: #1548167

Merge "[LVM] Restore target config during ensure_export"

Merge "Port hgst driver to Python 3"

Updated from global requirements

Change-Id: Ia50dcbe23d08edd1e4cbadf8e4c75684d0e0a1aa

Move anyjson to test-requirements

As anyjson is just needed in our test code, better move it to
test-requirements to reduce dependency.

Change-Id: I43e568066b19bfc5109de9f9f2e2c12facbbb3f5

Huawei: Judgement failure when creating hypermetro

Huawei hypermetro is created in the absence of remote pools, it has
the judgement failure which will lead to incorrect logs. We cannot
find the location of the error according to the log.

Closes-Bug:#1545898
Change-Id:Ic99531dad4fab5e22e295e19bbfa94c7892e5635