Don't run test_volume.VolumeTestCase twice

Currently the test_volume.VolumeMigrationTestCase class inherits
from test_volume.VolumeTestCase and therefore runs all the unit tests
in the former class in addition to the 29 tests defined in its
own class.  This provides no gain in coverage and is costly since
the tests in VolumeTestCase are among the most expensive we have.

This commit refactors cinder/tests/unit/test_volume.py such that
VolumeMigrationTestCase inherits directly from BaseVolumeTestCase,
thereby reducing the number of tests run from test_volume from
557 to 412, and total execution time (on my system) from 335s to
202s.  Only duplicate tests are removed.

Depends-On: Ia70e51719abb9a6ed357802446847ffa81d7427e

Change-Id: Ief4706f50838e1f906119992302a39a6014126b3

Merge "Return BadRequest for invalid Unicode names"

Merge "Fix HTTP sessions left open in Brocade zone driver"

Merge "Use is_int_like method from oslo_utils"

Merge "Huawei: Code cleanup"

Merge "Copy unit tests for StandardLogging fixture from Nova"

Merge "EMC VMAX - get iscsi ip from port in existing MV"

Merge "IBM Storwize with pool-aware-cinder-scheduler"

Copy unit tests for StandardLogging fixture from Nova

This comes from commit f96ec4411ce89606cf52211061003c14306dcfa1
in Nova by Sean Dague <sean@dague.net>.

The StandardLogging fixture was already merged into Cinder,
this adds the unit tests that were missed when copying over
the fixture.

Change-Id: I2fbe25ec71138e4b96ff175af72a2a56c1c8f52a
Related-Bug: #1551325

Merge "Use of metadata id instead of metadata name"

Merge "Add ability to failback for replication V2.1"

Merge "Storwize SVC multiple management IPs"

Merge "Add os-brick rootwrap filter for privsep"

Merge "Copy StandardLogging fixture from Nova"

Merge "NetApp: Add Consistency Group support for E-Series"

Use is_int_like method from oslo_utils

This patch removes is_int_like method from
utils.py and replaces it with is_int_like
method from oslo_utils.strutils to eliminate
duplicate code.

TrivialFix
Change-Id: Ia81da8b0208bb2a30ab301519cfc714f26480edd

Merge "NetApp: Fix SSH Client File Creation in Unit Test"

Merge "Huawei: Consider bandwidth when selecting port"

Merge "Adding general notes about rolling upgrades"

Merge "Trim 12s from disco unit tests"

Copy StandardLogging fixture from Nova

This code was originally written for Nova by Joe Gordon
<joe.gordon0@gmail.com> and Sean Dague <sean@dague.net>.

This enables debug logging that is exercised by unit test
runs to be handled and detect formatting errors. The debug
logging does not actually go to the console unless the
OS_DEBUG environment variable is set.

As a result, a few formatting errors are detected and
cleaned up with this change.

This also fixes a problem where debug logging from stevedore
is dumped to the console every time an extension is loaded,
which in a gate-cinder-python27 job is 65K+ times.

Change-Id: I989f9d591d1483a56a1bab3c20de583e85997562
Closes-Bug: #1551325

Merge "VMware: manage_existing for VMDK driver"

Merge "Re-enable -1 child limits for nested quotas"

Add ability to failback for replication V2.1

Initially we had setup replication V2.1 (Cheesecake) to NOT
do fail-back at least in the initial version.

It turns out that fail-back in the Cinder code is rather easy,
we just enable calling failover-host on a host that's already
failed-over and use the *special* keyword of "default" as the
backend_id argument which signifies we want to switch back to
whatever is configured as the default in the cinder.conf file.

To do this we just add some logic that checks the secondary_backend_id
param in volume.manager:failover_host and set service fields
appropriately.  Note that we're sending the call to the driver
first and giving it a chance to raise an exception if it can't
satisfy the request at the current time.

We also needed to modify the volume.api:failover_host to allow
failed-over as a valid transition state, and again update the
Service query to include disabled services.

It's up to drivers to figure out if they want to require some
extra admin steps and document exactly how this works.  It's also
possible that during an initial failover that you might want to
return a status update for all volumes NOT replicated and mark
their volume-status to "error".

Expected behavior is depicted in the service output here:
    http://paste.openstack.org/show/488294/

Change-Id: I4531ab65424a7a9600b2f93ee5b5e1a0dd47d63d

Storwize SVC multiple management IPs

Right now Storwize SVC does not support multiple management IPs.
This patch adds this feature so that if the primary IP fails, it
will switch to the secondary IP that the user sets.

DocImpact
Adds config option 'storwize_san_secondary_ip'

Implements: blueprint storwize-add-support-for-multiple-management-ips
Change-Id: Ib82ba5b43e92027bfe39873a556baec796bb457e

Merge "Clean up replication v2.1 (Cheesecake) RPC API"

IBM Storwize with pool-aware-cinder-scheduler

Storwize cinder driver only supports config one pool
within one backend right now. This change adds support
for multi-pools aware for scheduler.
storwize_svc_volpool_name accepts a list of pools
separated by comma in cinder.conf now.

User-Visible Change
-------------------
DocImpact
The configuration flag storwize_svc_volpool_name
should be updated to a ListOpt.

Implements: bp Storwize-pool-aware-support
Change-Id: If6f1decf4d6244b1e04b05b8662d891fb16c6790

Fix HTTP sessions left open in Brocade zone driver

Add missing call to logout html page on FC switch to close the HTTP
session on the FC switch in HTTP connector.  Also, move the session
cleanup calls in the zone driver so that it is invoked for all code
paths.

Change-Id: Id08c1b1f1e75188cacfb9b5586519a7fee827602

Merge "always use pip constraints"

Merge "Move deprecation release notes to correct section"

Merge "Check for service existance in capabilities API"

Merge "Remove unused pngmath sphinx extension"

Merge "Huawei: delete_snapshot need not return any value"

Merge "Add description when rename LUN in Huawei driver"

Merge "Match the ip more accurately in Huawei driver"

Merge "Modify the number of params of hypermetro in HuaweiDriver"

Clean up replication v2.1 (Cheesecake) RPC API

We've merged replication v2.1 (Cheesecake) code with two little issues
in RPC API layer:

 * volume.rcpapi have list_replication_targets method, which is unused
   and not handled by volume.manager.
 * There are no tests for new methods in test_volume_rpcapi module.

This commit sorts this out.

Change-Id: I2ba6ee68e1e729c9d391a846941ae6bdbbefbc9b
Related-Blueprint: replication-update

Merge "Move anyjson to test-requirements"

Merge "Add pip-missing-reqs tox env"

always use pip constraints

This flips the tox.ini to always use constraints installation for
all targets. It drops the extra -constraints targets in the process.
This makes it so there is no developer change required to operate in our
new world order.

Change-Id: I2b56835edb2d75b7c871aae030e909578dbb958d
Depends-On: Iecd35d6bc3b1e9e0ed31b48a34e4149d34d55ac2

Merge "Propoerly call oslo's Service stop and wait"

Merge "Remove unused kill method from Service"

Merge "replace deprecated oslo_messaging _impl_messaging"

Merge "Delete volumes with snapshots"

Merge "Improve logging to debug invalid "extra_specs" entries"

Merge "Handle OverQuota exception during volume transfer"

Merge "Return all target_wwpns for FC storwize"

Merge "Disable multi-attach for RBD"

Merge "Huawei: Judgement failure when creating hypermetro"

Merge "Fix race condition in RemoteFS create_snapshot_online"

Merge "VMware: manage_existing_get_size for VMDK driver"

Merge "Updated from global requirements"

Remove unused pngmath sphinx extension

The extension is not used, remove it.

Change-Id: I0720058e8d2235772b5bb82224b68b1b52e6060d

Merge "Add basic workflow of attach/detach to devref"

Delete volumes with snapshots

This adds the 'cascade' parameter to volume delete,
which deletes snapshots along with a volume in
one call.

This is done in the volume manager, and not in
a driver-optimized way, which will be a later
improvement.

Blueprint: del-vols-with-snaps
Change-Id: I33d15b76d4bd0de14c635d404b2c97096c977a58

Merge "Fix error message in cinder type-update"

Merge "Misprint in policy.json"

NetApp: Fix SSH Client File Creation in Unit Test

A bug was introduced where ssh_known_hosts file is created when the unit
tests in test_netapp.py are run. This patch adds mocks to the ssh init
calls to prevent this file creation.

Change-Id: Ie8ac4e7a5236e6735c7c2f4f50c5383f5f23d38e
Closes-bug: #1550542

Trim 12s from disco unit tests

The unit tests under cinder/tests/unit/volume/drivers/disco
contain three "timeout" tests, each of which runs more than 4s
while waiting for timeouts to expire.

This commit mocks time.time() in those tests using a utility
method that ensures an immediate timeout.

Change-Id: I8453e0231d7563d70732816bd3931140bcc01f4f

Merge "Enable all unit tests on Python 3.4"

EMC VMAX - get iscsi ip from port in existing MV

This patch fixes bug in getting the iscsi ip address from
an existing masking view.  In this scenario we must query
the port(s) in the portgroup belonging to the masking view
and not the random port group from the xml file.

Change-Id: I4f8bea5c9f8c07a793aa1053678a7a915d565d22
Closes-Bug: #1504460

Misprint in policy.json

Erroneous space in "rule: admin_api" was introduced in change Ibbd6f47c370d8f10c08cba358574b55e3059dcd1
oslo_policy regards space as a separator,
and fails to parse this rule: http://paste.openstack.org/show/488452/

Change-Id: I5de45c97a06b7ddecb36c2a1793c4f3fd5fd21d6

Re-enable -1 child limits for nested quotas

Add back support for -1 limits of child projects. The way that we
support the -1 child limits requires the following changes:
  * Continue quota validation up the hierarchy if the current limit is
    -1 until we hit a hard limit or no more parents, and update the
    any relevant parents' allocated value along the way
  * When updating limits, special care needs to be taken when updating
    child limit to be -1, or when changing from a -1 limit
  * Enable support for creating reservations for "allocated" values
    to support the scenario that:
      - a volume is created on a project with a limit of -1
      - the parent's allocated value has been updated appropriately
      - the volume create fails and the child's in_use quota rolls back
      - now we must also rollback the parent's allocated value

NOTE: There is a race condition between validation the NestedQuotas
and when the driver may be switched into use, and if -1 quotas are used
the validation could be out of date. Will look into better support for
switching on of NestedQuotas on live deployment with -1 limits, which
would likely leverage the "allocated" reservation system.

Closes-Bug: #1548645
Closes-Bug: #1544774
Closes-Bug: #1537189
Change-Id: I2d1dba87baf3595cc8f48574e0281ac17509fe7d

Merge "EMC VMAX - Changing PercentSynced to CopyState in isSynched"

Updated from global requirements

Change-Id: Iea494af5b9112af93030f5e8b86c907551e9ee40

Merge "Volume manage/unmanage support to ZFSSA drivers"

Merge "Change frozen error messages from _LE to _"

Huawei: delete_snapshot need not return any value

Currently delete_snapshot return True or False to indicate
whether the snapshot is really deleted on the array. This
is useless and just write for unit tests. Now we will remove
the return value and add another unit test for delete_snapshot.

Closes-Bug: #1549584
Change-Id: I17fea61e3c0f5565ab04bc82f172e638480f45dc

Match the ip more accurately in Huawei driver

Currently we didn't match the ip in the iqn accurately,
now we will fix this in this patch.

Closes-Bug: #1545914
Change-Id: I32232fcc6cad733b0dd8fa8c323297f6fbac3137

Merge "Replication v2.1 (Cheesecake)"

Huawei: Consider bandwidth when selecting port

Currently we count the weight of each FC port when
selecting port for zoning, but if all the weights
are equal, for example, at the very beginning when
all ports' weight are zero, we should select the
ports which have the bigger bandwidth.

Closes-Bug: #1548220
Change-Id: I59b3f0bb9adb1038f54b2f4a3c1dfa8bdc520ae9

Add description when rename LUN in Huawei driver

Sometimes when we rename a LUN on the array, we should
add some description to record some information like
volume id on cinder side. This patch will enable this.

Closes-Bug: #1537304
Change-Id: Ib156e61b5b1e305c41426cf5c6001dd44770140c

Huawei: Code cleanup

Some codes are useless, we need to clean them up:
1. add_host_with_check have been called at line 1653
   to get host_id in huawei_driver.py, the another
   two are no longer need.
2. Remove duplicated codes in test_huawei_drivers.py,
   also change FACK_XXX to FAKE_XXX.
3. Two constants in constants.py are not used anywhere,
   need to delete them.

Closes-Bug: #1548158
Change-Id: I03d49e9194223dbea162be4239fa339ab0a0ff4b

Modify the number of params of hypermetro in HuaweiDriver

When attaching or detaching hypermetro volume, the initialization
instance has three parameters, but the function definition has five
parameters.

Change-Id: I8343a7b75e02962c321a838de148acc54498f952
Closes-Bug: #1545971

Merge "Fix NoneType error in service_get_all"

EMC VMAX - Changing PercentSynced to CopyState in isSynched

In SE 8.x PercentSynced no longer works for VMAX3 as a criteria to
determine whether a device is synched or not. Luckily 'CopyState'
works for both VMAX2 and VMAX3 and is backward compatible with 7.6.x.

Change-Id: I443e5f17f3c0e779ebdfd868bcd05cb85b52f525
Closes-Bug: #1517103

Merge "LeftHand: Updating minimum client version"

Add basic workflow of attach/detach to devref

This is something that confuses folks and isn't centrally
located.  So... add it to the devref docs and hope that
developers read it.

There's tons of detail we can add in the future of course,
but this at least clears up some of the common misconceptions
that exist currently.

Change-Id: Ic5fb8da06d18fac3369a91a525accc75c1d28100

Change frozen error messages from _LE to _

The super secret formula states that the error messages should
use '_' instead of '_LE'.  This patch changes the ones introduced
in Replication V2.1.

Change-Id: I9a4b87421eeda69ca918cbf869f2990ef113e158

Replication v2.1 (Cheesecake)

This focuses the replication work on a specific use case,
and eliminates some of the ambiguity in earlier versions.

Additionally this implementation addresses needs for
devices that do replication based on the whole backend-device
or on Pools.

Use case:
  DR scenario, where a storage device is rendered inoperable.
  This implementation allows the preservation of user data
  for those volumes that are of type replication-enabled.

  The goal is NOT to make failures completely transparent
  but instead to preserve data access while an Admin tries
  to rebuild/recover his/her cloud.

It's very important to note that we're no longer interested in
dealing with replication in Cinder at a Volume level.  The concept
of have "some" volumes failover, and "others" left behind, proved
to not only be overly complex and difficult to implement, but we
never identified a concrete use-case where one would use failover
in a scenario where some volumes would stay and be accessible on
a primary but other may be moved and accessed via a secondary.

In this model, it's host/backend based.  So when you failover,
you're failing over an entire backend.  We heavily leverage
existing resources, specifically services, and capabilities.

Implements: blueprint replication-update

Change-Id: If862bcd18515098639f94a8294a8e44e1358c52a

Merge "EMC ScaleIO - fix bug in extend volume"

Merge "Huawei: Fix create volume with prefetch value error"

Merge "EMC VMAX - not cleaning up HW Resource WWPN initiators"

Merge "Huawei: Don't fail when port group does not exist"

Merge "NetApp: Implement CGs for ONTAP Drivers"

Merge "Huawei: Log the IP when login fails"

Merge "Correct iscsi lun type"

NetApp: Add Consistency Group support for E-Series

Add Consistency Group support to the E-Series driver. This
implementation utilizes the native Consistency Group feature
available on the E-Series backend to support Cinder
Consistency Groups.

CGs and standalone snapshots both utilize snapshot groups.
There is a limit of 3 snapshot groups per volume, so the number
of standalone snapshots will be limited by the number of
consistency groups that are created, and likewise the reverse.
Each CG/Snapshot Group will support up to 32 snapshots, so each
CG that a volume is a part of will reduce the number of available
standalone snapshots that can be created by 32 (from a maximum
of 96).

Implements: blueprint netapp-eseries-consistency-groups
Change-Id: Ib0fc9fa9abc6699f2971948d3d4c5e9902381072

Return BadRequest for invalid Unicode names

If the database fails to insert values due to them
containing Unicode that the database can't support (or other
similar errors that fall under DBDataError), return an
HTTP 400 Bad Request rather than HTTP 500.

this patch give fix for

1. backup-create Creates a volume backup.
2. cgsnapshot-create Creates a cgsnapshot.
3. consisgroup-create Creates a consistency group.
4. encryption-type-create Creates encryption-type
5. qos-create Creates a qos specs.
6. snapshot-create Creates a snapshot.
7. type-create Creates a volume type.
8. update/edit of entities mentioned in step1-7 update/edit name.
 ( is already taken care)

 this patch also fix volume create as is taken care by

 https://review.openstack.org/#/c/266036

 by the new mechanism

Change-Id: I0990fdbcda7ef58331503489a51e7f870683f22b
Closes-bug: #1531400

Check for service existance in capabilities API

We have to return 404 error code if requested backend
is not found and 502 if request failed with timeout.

APIImpact

Change-Id: Ia392973121800278751642f0a22ee817b3a69b74
Closes-Bug: #1520077

Enable all unit tests on Python 3.4

* Remove tests-py3.txt: all unit tests now pass on Python 3
* tox.ini: remove specific command for py34 test environment, it now
  inherits testenv commands (same command than Python 2.7)

Partial-Implements: blueprint cinder-python3
Change-Id: I52c68a63740b3ae6097fad419b59a9c29422b525

Adding general notes about rolling upgrades

There are some known problems that may happen during rolling (live)
upgrade. Even though feature is considered a tech-preview there's no
harm in communicating them in the release notes.

This commits adds also a note on the fact that now Cinder services
detect lowest RPC version and that it is needed to keep the `services`
table up to date.

Change-Id: Ic4c9188fb0bbd375d809c7dedd9e07df049ae648
Related-Blueprint: rpc-object-compatibility

Move deprecation release notes to correct section

During the cycle reno was updated to include "deprecations" section. We
should use this one instead of "upgrades" to add release notes about
deprecations of features or config options.

This commit moves deprecation relase notes added during the cycle to
this section.

Change-Id: I7f1a868215fc7410b44481e3434253fb8157f321

Tests: Don't assert on LOG.warn

Lots of code can use LOG.warn, tests wanting to
verify this should do a more robust check to ensure
that specific text is logged or not logged.

Change-Id: Id996ce761d90f1648f1f37c74a33df02d04cf3a3
Closes-bug: #1550102

Return all target_wwpns for FC storwize

Storwize FC terminate_connection was using 'lsfabric' to lookup
target_wwpns, active on the fabric, to be used to terminate
the connection. However during a delete of a NPIV VM, the target_wwpns
is no longer active, it is not logged onto the fabric. The target list
will return empty. Fix is to return all the available wwpns
from 'storage_nodes'.

Change-Id: I39897f5583c878cc6243683d4bd60f800ea588af
Closes-Bug: #1546281

Fix error message in cinder type-update

TrivialFix

Change-Id: Ic2ef327156cca0e977cb2e5a7275fe8d18ec093e

Merge "Fix HNAS iSCSI driver attachment"

Merge "Tintri image cache cleanup"

Fix NoneType error in service_get_all

When calling service_get_all without filters,
it raises NoneType error which is imported by
this patch I21775106693176ca128dbfd9db0d43cfc58de00a.

Change-Id: I473a9bbd2caea21c6fcd82b483bece1337ab6535
Closes-Bug: 1549563

Merge "cinder-api-microversions code"