Merge "Fix oslo.service config generation"

Fix oslo.service config generation

Cinder generation configuration sample does not contain any of
oslo.service configuration options.

This is because we are not using the right namespace when calling
oslo-config-generator since oslo.service is not a valid entrypoint as
mentioned in the documentation:

https://github.com/openstack/oslo.service/blob/master/doc/source/usage.rst#using-osloservice-with-oslo-config-generator

This patch fixes this by using the right namespaces.

Closes-Bug: #1552689
Change-Id: I8365daec0d3b161d3c07f229d221cf004edb6662

Merge "Fixed help message for AllocatedCapacityWeigher"

Merge "3PAR: Update replication to v2.1"

Merge "LeftHand: Update replication to v2.1"

Merge "Fix volume filtering for quoted display name"

Merge "Add attach/detach doc to index"

Merge "Add necessary fields to volume creation"

Merge "Use openstack.org URLs in README"

Merge "NexentaStor5 iSCSI driver unit tests"

Merge "Fix invalid uuid warnings in block device unit tests"

Merge "Fix spelling mistake in docstring"

Merge "Fix exception during service update"

Merge "Use OSprofiler options consolidated in lib itself"

Merge "Remove duplicated code in volume manager and base driver"

Merge "Huawei: Manage volume fails due to lower array version"

Merge "Fix test_create_volume_flow test issue"

Merge "Fix test isolation issues related to versions"

Merge "doc: Fix wrong description about adding RESTful API"

Fix volume filtering for quoted display name

Cinder v2 API allows creating a volume with a quoted (single or double
quotes or even unbalanced number of quotes) display name. But when we
try to get info for such volume, we end up getting an error message
saying that no volume with such a name or ID exists. This error is due
to the inadvertent stripping of quotes from the filter in the api layer.

The api call eventually comes to check_volume_filters() in
cinder/volume/api.py. The invocation of ast.literal_eval() inside this
method strips the quotes for certain quoted strings leading to this
incorrect filtering. ast.literal_eval() is used to convert string
representations into python objects which are then used to frame the
SQL queries in the db layer. For example, the string "[1,2]" for a
filter (not the display name filter) gets converted to a list object
and results in an "IN" operation being emitted in the SQL query as
opposed to an exact match.

When display_name does not contain any quotes or contains an unbalanced
number of quotes, then ast.literal_eval() throws (just like the Python
interpreter would throw for an unquoted string literal or one with
unbalanced number of quotes). We handle this by ignoring the exception
and using the raw input value as the filter and moving on. For string
containing balanced number of quotes, such as, '"foo"',
ast.literal_eval() succeeds and returns the input with the surrounding
quotes stripped (just like how the python interpreter strips quotes
from a string literal to initialize a string var's value in memory).
To always use the raw user input string as the filter value, we can
either not pass string inputs to ast.literal_eval() or encode the
string using encode("string-escape") so that we get the original string
back after passing through ast.literal_eval(). We choose the former as
the latter buys us nothing.

Change-Id: I48e0aea801ccb011cb974eea3d685bb9f35c61b2
Closes-Bug: #1503485

Merge "Changes in ScaleIO configurations options"

Use openstack.org URLs in README

Change-Id: If6a6168b3dc03443c98e7d11b2b7b77bdf490231

Add attach/detach doc to index

Doesn't do much good to add a doc if you never add it
to the index and remove spurious headers that cause it
to not publish.

This patch fixes those problems.

Change-Id: I5c1906a30539e7223f5cee8ce14a013005fe004d

Merge "Change Fail to Failed in error messages"

Merge "Fixed logging for oslo versioned objects"

Merge "Fix sshpool.remove code"

Use OSprofiler options consolidated in lib itself

Starting with 1.0.0 osprofiler release options needed for
its workability are consolidated inside osprofiler itself.
Let's use them.

UpgradeImpact
DocImpact
Change-Id: Ie20e827f26c9be6867c233afdea9e05e2869d6e1

Fix test_create_volume_flow test issue

One of the tests in
cinder/tests/unit/volume/flows/test_create_volume_flow.py incorrectly
mocks time.time function which means that when there's a call to
time.time() it will raise an error because real time function doesn't
expect any arguments but the mock method does expect self as an
argument.

For some reason time.time function does not get called on every test
run, but when it does get called it will fail.

This patch fixes this by binding the mock method to the current self
instance.

Change-Id: Ia70e51719abb9a6ed357802446847ffa81d7427e

Fix test isolation issues related to versions

In cinder.rpc.RPCAPI methods _determine_rpc_version_cap and
_determine_obj_version_cap use global variables LAST_RPC_VERSIONS and
LAST_OBJ_VERSIONS to cache version values so we need to clear these
values between tests so one test values don't get passed to the next
test.

This was problematic for example when running some
cinder.tests.unit.api.contrib tests in a specific order:

- test_admin_actions.AdminActionsTest.test_delete_backup_force_when_creating
- test_backups.BackupsAPITestCase.test_create_backup_snapshot_json

Change-Id: I073557a6e0a17a3e00fd32d48d389a3bcf42e341

Merge "Return BadRequest for invalid unicode names (continued)"

Merge "Update Pure replication to cheesecake"

Merge "Capture warnings into logs"

Changes in ScaleIO configurations options

Removed force_delete as we don't use it anymore.
Other aesthetic changes from our doc team.

DocImpact
Change-Id: Ida9f82b0eaab75882d911f32c79f52660cef3265

Merge "Move replication volume manager warnings to info"

Huawei: Manage volume fails due to lower array version

When we try to import an existing volume to cinder, we try
to find whether the volume already exists in a hypermetro.
But if the array version is lower than V3R3, the request
to find the hypermetro info will fail because array version
lower than V3R3 does not support hypermetro.

Closes-Bug: #1546375
Change-Id: Ia28e62f3924155e813df80f3c4932e3f0f10333e

Merge "Trim 50s from huawei ISCSIDriver unit tests"

Fix exception during service update

The function objects.Service.get_by_args raises HostBinaryNotFound
exception, but in service update function, it catches ServiceNotFound
exception by mistake.

This patch is to remove HostBinaryNotFound and use ServiceNotFound to make
things simple and consistent.

Change-Id: Ic2ef79ca03393f3b1eb5bb89d4ffcf92d76460c6
Closes-bug: #1551101

Merge "Remove unused columns from Service ORM model"

Merge "Updating Datera DataFabric Driver to v2 of Datera DataFabric API"

Fix spelling mistake in docstring

Change-Id: I6cecfb2e545e3e84d51d8c0236e58be5cb12a1ad

Merge "Return BadRequest for invalid Unicode names"

Merge "Fix HTTP sessions left open in Brocade zone driver"

Merge "Use is_int_like method from oslo_utils"

3PAR: Update replication to v2.1

This patch updates replication to match the v2.1 spec. This makes it
so an entire backend can be replicated, and upon failover, all
replicated volumes will be failed over together.

Both sync and periodic replication modes are supported. Each
replication_device entry should have a replication_mode value set
to sync|periodic.

A volume type extra_spec value of replication:mode
should also be set. If replication:mode is periodic,
replication:sync_period should be set as well. Which replication_device
entry(s) are used is determined by the value of replication:mode set for
each volume type. NOTE: If no extra_specs are provided, periodic mode is
defaulted with a replication period of 900 seconds.

cinder.conf should have the replication config group:

[3parfcrep]
hpe3par_api_url = http://10.10.10.10:8008/api/v1
hpe3par_username = user
hpe3par_password = pass
hpe3par_debug = False
san_ip = 10.10.10.10
san_login = user
san_password = pass
volume_backend_name = 3parfcrep
hpe3par_cpg = REMOTE_COPY_CPG2
volume_driver = cinder.volume.drivers.hpe.hpe_3par_fc.HPE3PARFCDriver
replication_device = backend_id:eos16,
                     replication_mode:periodic,
                     cpg_map:REMOTE_COPY_CPG2:REMOTE_COPY_DEST2,
                     hpe3par_api_url:http://11.11.11.11:8008/api/v1,
                     hpe3par_username:user,
                     hpe3par_password:pass,
                     san_ip:11.11.11.11,
                     san_login:user,
                     san_password:pass

If we are working with iSCSI, the replication device needs to
contain entries for the hpe3par_iscsi_ips as such:

[3pariscsirep]
hpe3par_api_url = https://10.10.10.10:8080/api/v1
hpe3par_username = user
hpe3par_password = pass
hpe3par_debug = False
hpe3par_iscsi_ips = 10.50.50.50,10.50.50.51
san_ip = 10.10.10.10
san_login = user
san_password = pass
volume_backend_name = 3pariscsirep
hpe3par_cpg = REMOTE_COPY_CPG2
iscsi_ip_address = 10.50.50.50
volume_driver = cinder.volume.drivers.hpe.hpe_3par_iscsi.HPE3PARISCSIDriver
replication_device = backend_id:eos16,
                     replication_mode:periodic,
                     cpg_map:REMOTE_COPY_CPG2:REMOTE_COPY_DEST2,
                     hpe3par_api_url:https://11.11.11.11:8080/api/v1,
                     hpe3par_username:user,
                     hpe3par_password:pass,
                     san_ip:11.11.11.11,
                     san_login:user,
                     san_password:pass,
                     hpe3par_iscsi_ips:11.51.51.100

Closes-Bug: #1542078
Change-Id: Ia161b257278958c6a158d1239a77fc443c2985f0

LeftHand: Update replication to v2.1

This patch updates replication to match the v2.1 spec. This makes it
so an entire backend can be replicated, and upon failover, all
replicated volumes will be failed over together.

cinder.conf should have the replication config group:

[lefthandrep]
hpelefthand_api_url = https://10.10.10.10:8081/lhos
hpelefthand_username = user
hpelefthand_password = pass
hpelefthand_clustername = vsa-12-5-mgmt1-vip
volume_backend_name = lefthandrep
volume_driver = cinder.volume.drivers.hpe.hpe_lefthand_iscsi.\
                HPELeftHandISCSIDriver
replication_device = backend_id:lh-id,
                     hpelefthand_api_url:https://11.11.11.11:8081/lhos,
                     hpelefthand_username:user2,
                     hpelefthand_password:pass2,
                     hpelefthand_clustername:vsa-12-5-mgmt2-vip

Change-Id: I5dcf09fb337490e36d89654e3e3850a5a5cbdc6e
Closes-Bug: #1542079

Merge "Huawei: Code cleanup"

Update Pure replication to cheesecake

Migration to cheesecake replication. This basically
modifies any of the existing replication code to work on the whole
backend instead of the specified volume.

It also completes the transition to allow swapping the underlying array
being managed by cinder upon failover. In the v2 implementation it was
conditional on some operations where things *could* be on the other
array. Now it is all driver operations.

This also switches the target_device_id to backend_id in the config for
replication devices.

Change-Id: I7f2580f4d764266b62a755cb4529c290e639984c
Closes-Bug: #1542100

Merge "Copy unit tests for StandardLogging fixture from Nova"

Fixed logging for oslo versioned objects

Earlier, when we wanted to log a message with an object as a parameter,
obj_attr_is_set method used to check name parameter, which was a wrong
approach. The reason was, that the oslo logger, when received a
versioned object as a resource parameter, is trying to get the 'name'
parameter, which is a property, so the obj_attr_is_set method will
return False and the logger will try to get the 'type' parameter, which
does not exist in some versioned objects (please take a look at
oslo.logging code [1]).

Now, when the parameter's name is present in obj_extra_fields
dict, we avoid calling obj_attr_is_set and simply get() it.

The other cause was a difference between fields names: size (in volume
object) and volume_size (in snapshot object), and inproper condition
statement in lvm driver.

[1] goo.gl/YffLcK

Change-Id: Id92d58b4ccced907cc6e3e59d9e71650a459b4a8
Closes-Bug: 1501521

Merge "EMC VMAX - get iscsi ip from port in existing MV"

Merge "IBM Storwize with pool-aware-cinder-scheduler"

Move replication volume manager warnings to info

These two messages are printing at the warning level
when starting c-vol.

Since these don't seem to be something that demands
attention, they should be logged at a lower level.

Change-Id: I3db6ed3956348895b3534cdc9f3f72bb4c878aca

Trim 50s from huawei ISCSIDriver unit tests

The HuaweiISCSIDriver unit tests take almost a minute to run
on my machine because several negative test cases wait for
timeouts.

This commit leverages the utility method introduced in [1]
as well as the ZeroIntervalLoopingCall for mocks in the Huawei
unit tests to reduce total execution time for this set of
tests from about a minute to under 10s

[1] c2166876d85b17872c6fe32916c6d0d1dc974847

Change-Id: If17466ebabc391ebca57667200de072ede3ecc0c

Copy unit tests for StandardLogging fixture from Nova

This comes from commit f96ec4411ce89606cf52211061003c14306dcfa1
in Nova by Sean Dague <sean@dague.net>.

The StandardLogging fixture was already merged into Cinder,
this adds the unit tests that were missed when copying over
the fixture.

Change-Id: I2fbe25ec71138e4b96ff175af72a2a56c1c8f52a
Related-Bug: #1551325

Merge "Use of metadata id instead of metadata name"

Merge "Add ability to failback for replication V2.1"

Merge "Storwize SVC multiple management IPs"

Merge "Add os-brick rootwrap filter for privsep"

Merge "Copy StandardLogging fixture from Nova"

Merge "NetApp: Add Consistency Group support for E-Series"

Use is_int_like method from oslo_utils

This patch removes is_int_like method from
utils.py and replaces it with is_int_like
method from oslo_utils.strutils to eliminate
duplicate code.

TrivialFix
Change-Id: Ia81da8b0208bb2a30ab301519cfc714f26480edd

Fix sshpool.remove code

Currently, sshpool.remove function under cinder/ssh_utils.py
is broken. The function tries to locate the passed in
sshclient object inside sshpool.free_items.

However, since the sshclient object is set to “None” at the
beginning, it never finds the object and ends up decrementing
 the current size, without actually removing the object.

Made the following changes to fix:
1. Removed reset to ‘None’ so that the attempt to locate object
goes through.
2. Fixed the code to use free_items.remove(ssh) to remove the ssh
object identified instead of free_items.pop(ssh)
3. Also updated the code to decrement current size only if a match
is found in free_items.
4. Added test case to test remove() of an ssh client that is in the
free_items
5. Added test case to test that remove code does not inadvertently
remove an object from the pool if no match is found.

Change-Id: I4871f4faeb1fc790325f274ab21dc42a8d71fb26
Closes-Bug: #1463557

Merge "NetApp: Fix SSH Client File Creation in Unit Test"

Merge "Huawei: Consider bandwidth when selecting port"

Merge "Adding general notes about rolling upgrades"

Merge "Trim 12s from disco unit tests"

Copy StandardLogging fixture from Nova

This code was originally written for Nova by Joe Gordon
<joe.gordon0@gmail.com> and Sean Dague <sean@dague.net>.

This enables debug logging that is exercised by unit test
runs to be handled and detect formatting errors. The debug
logging does not actually go to the console unless the
OS_DEBUG environment variable is set.

As a result, a few formatting errors are detected and
cleaned up with this change.

This also fixes a problem where debug logging from stevedore
is dumped to the console every time an extension is loaded,
which in a gate-cinder-python27 job is 65K+ times.

Change-Id: I989f9d591d1483a56a1bab3c20de583e85997562
Closes-Bug: #1551325

Merge "VMware: manage_existing for VMDK driver"

Merge "Re-enable -1 child limits for nested quotas"

Add ability to failback for replication V2.1

Initially we had setup replication V2.1 (Cheesecake) to NOT
do fail-back at least in the initial version.

It turns out that fail-back in the Cinder code is rather easy,
we just enable calling failover-host on a host that's already
failed-over and use the *special* keyword of "default" as the
backend_id argument which signifies we want to switch back to
whatever is configured as the default in the cinder.conf file.

To do this we just add some logic that checks the secondary_backend_id
param in volume.manager:failover_host and set service fields
appropriately.  Note that we're sending the call to the driver
first and giving it a chance to raise an exception if it can't
satisfy the request at the current time.

We also needed to modify the volume.api:failover_host to allow
failed-over as a valid transition state, and again update the
Service query to include disabled services.

It's up to drivers to figure out if they want to require some
extra admin steps and document exactly how this works.  It's also
possible that during an initial failover that you might want to
return a status update for all volumes NOT replicated and mark
their volume-status to "error".

Expected behavior is depicted in the service output here:
    http://paste.openstack.org/show/488294/

Change-Id: I4531ab65424a7a9600b2f93ee5b5e1a0dd47d63d

Storwize SVC multiple management IPs

Right now Storwize SVC does not support multiple management IPs.
This patch adds this feature so that if the primary IP fails, it
will switch to the secondary IP that the user sets.

DocImpact
Adds config option 'storwize_san_secondary_ip'

Implements: blueprint storwize-add-support-for-multiple-management-ips
Change-Id: Ib82ba5b43e92027bfe39873a556baec796bb457e

Updating Datera DataFabric Driver to v2 of Datera DataFabric API

   Addressing gate pep8/flake8 and releasenote failures

Change-Id: Id88a2735a910dcecc0acf6142130d80f52b850cd
Implements: blueprint datera-cinder-driver-update

Capture warnings into logs

Modules that issue warnings via the python
warnings module result in messages printed
to stderr.

This change results in them being captured
into Cinder logs instead.  This means that
logs from production environments contain
all of the relevant info for debugging
issues.

Change-Id: I16a31e1ef0df824dd513f43fd22d631fa647e004

Merge "Clean up replication v2.1 (Cheesecake) RPC API"

Return BadRequest for invalid unicode names (continued)

Follow-up to "Return BadRequest for invalid Unicode names",
we missed a couple of operations here:
  type-key set
  quota-class-update
  qos-create

Related-Bug: #1531400

Change-Id: Id966b74dce87acb15ede9cb4c02ae0f74d59b08c

IBM Storwize with pool-aware-cinder-scheduler

Storwize cinder driver only supports config one pool
within one backend right now. This change adds support
for multi-pools aware for scheduler.
storwize_svc_volpool_name accepts a list of pools
separated by comma in cinder.conf now.

User-Visible Change
-------------------
DocImpact
The configuration flag storwize_svc_volpool_name
should be updated to a ListOpt.

Implements: bp Storwize-pool-aware-support
Change-Id: If6f1decf4d6244b1e04b05b8662d891fb16c6790

Fix HTTP sessions left open in Brocade zone driver

Add missing call to logout html page on FC switch to close the HTTP
session on the FC switch in HTTP connector.  Also, move the session
cleanup calls in the zone driver so that it is invoked for all code
paths.

Change-Id: Id08c1b1f1e75188cacfb9b5586519a7fee827602

Merge "always use pip constraints"

Fix invalid uuid warnings in block device unit tests

Currently 'tox -epy27 -- --regex cinder.tests.unit.test_block_device' emits
a dozen FutureWarnings from oslo.versionedobjects about invalid uuids
as documented here[1].

This commit changes these tests to use valid uuids so that when they
are run these warnings are no longer emitted.

Change-Id: Ia50b12e646d2f967a3275f1e9aa15ef2bc212c46

Merge "Move deprecation release notes to correct section"

Merge "Check for service existance in capabilities API"

Merge "Remove unused pngmath sphinx extension"

Merge "Huawei: delete_snapshot need not return any value"

Merge "Add description when rename LUN in Huawei driver"

Merge "Match the ip more accurately in Huawei driver"

Merge "Modify the number of params of hypermetro in HuaweiDriver"

Add necessary fields to volume creation

This patch is to add the two fields in driver.py when creating
volumes.

Without the fix, it leads query related to the volume failed
with exception.

Change-Id: I0055b5bf402b0aa7b4ee78b0fb40bedea850af94
Closes-Bug: #1549673
Related-Bug: #1549669

Clean up replication v2.1 (Cheesecake) RPC API

We've merged replication v2.1 (Cheesecake) code with two little issues
in RPC API layer:

 * volume.rcpapi have list_replication_targets method, which is unused
   and not handled by volume.manager.
 * There are no tests for new methods in test_volume_rpcapi module.

This commit sorts this out.

Change-Id: I2ba6ee68e1e729c9d391a846941ae6bdbbefbc9b
Related-Blueprint: replication-update

Merge "Move anyjson to test-requirements"

Merge "Add pip-missing-reqs tox env"

always use pip constraints

This flips the tox.ini to always use constraints installation for
all targets. It drops the extra -constraints targets in the process.
This makes it so there is no developer change required to operate in our
new world order.

Change-Id: I2b56835edb2d75b7c871aae030e909578dbb958d
Depends-On: Iecd35d6bc3b1e9e0ed31b48a34e4149d34d55ac2

Remove unused columns from Service ORM model

rpc_available_version and object_available_version columns were part of
previous design of our RPC API compatibility layer. We've decided to go
in a little different direction so these two are currently unused.

With our live-schema-upgrades guidelines (related to rolling upgrades
support) it's a lot easier to readd something to the DB than to drop it.
Let's take the chance to actually drop these unused DB columns in early
Newton. To do that we need to remove them from the SQLAlchemy model in
Mitaka and this commit does so.

Change-Id: I3b7588214863ed008a0783167580953c22f58e99
Related-Blueprint: rpc-object-compatibility

Merge "Propoerly call oslo's Service stop and wait"

Merge "Remove unused kill method from Service"

Merge "replace deprecated oslo_messaging _impl_messaging"

Merge "Delete volumes with snapshots"

Merge "Improve logging to debug invalid "extra_specs" entries"

Merge "Handle OverQuota exception during volume transfer"

Merge "Return all target_wwpns for FC storwize"

Merge "Disable multi-attach for RBD"