Fix common misspellings

Wikipedia's list of common misspellings [1] has a machine-readable
version.  This patch fixes those misspellings mentioned in the list
which don't have multiple right variants (as e.g. "accension", which can
be both "accession" and "ascension"), such misspellings are left
untouched.  The list of changes was manually re-checked for false
positives.

[1] https://en.wikipedia.org/wiki/Wikipedia:Lists_of_common_misspellings/For_machines

Change-Id: I44d53a807a6d2e9910daab939f4c0b7768c07ad9
Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

Merge "Add os-brick to cinder requirements.txt"

Merge "Remove unnecessary checks for encrypted types"

Add new exception to retryables in SolidFire driver

Newer versions of SolidFire Element OS introduce an
internal snapshot mechanism during cloning that also
includes a new exception (xNotReadyForIO).

This can be encountered when programmatically cloning
hundreds of large volumes. Typically this will succeed
on a retry of the clone command, so we should add this
new exception to our list of retryable exceptions in
the SolidFire driver.

Change-Id: I4e1ddf02087499b4efff6eabf2310a245bef93c9
Closes-Bug: #1451505

Merge "Convert mox to mock: tests/compute/test_service.py"

Merge "Add volume status to error messages in backup create flow"

Convert mox to mock: tests/compute/test_service.py

Replace mox testing library by mock in the file
cinder/tests/compute/test_service.py

Implements: blueprint mox-to-mock-conversion
Change-Id: I48e7de0606318e4140928a8209691f752a3fbb0c

Merge "Dell: Added support for update_migrated_volume"

Merge "GlusterFS: Using mount method in RemoteFsClient"

Merge "FlashSystem reports error while running tests with multi-thread"

Merge "Create initiator id for VMAX iSCSI driver"

Merge "SMBFS: Add minimum qemu-img version requirement"

Merge "Add Multi-connection support to XIV"

Merge "Correct directories check for N327 hacking check"

Merge "tests: replace mox by mox3, clean out mox usage"

Merge "Windows iSCSI: remove ensure_export"

Merge "Cinder os-attach api returns 500"

Merge "Rename Datera test to test_datera for discovery"

Merge "Allow rexports for targets with Datera"

Merge "Log command failure details before raising ISCSITargetDetachFailed"

Merge "Fix missing translations for log messages"

Merge "cinder os-detach api returns 500"

Merge "Bad link in API version details response"

Merge "Fix FakeISCSIDriver and FakeISERDriver"

Merge "Eqlx: Fixes the retries on Network Connection Error"

FlashSystem reports error while running tests with multi-thread

There was an issue while running initialize_connection/
terminate_connection/_map_vdisk_to_host/_unmap_vdisk_from_host in
parallel threads.

This fix adds lock into these functions and removes incorrect
timer.stop().

Change-Id: If433522bc7799e16a918ba7c5b300b7333e430a8
Close-bug: 1452721

Dell: Added support for update_migrated_volume

Added support for updated_migrated_volume to common driver.
Added rename_volume to dell_storagecenter_api to support it.
Added tests to test_dellsc.py and test_dellapi.py.

The only thing we do in this rename the newly migrated volume
destination volume on the Dell Storage center to be the same
as the original volume ID.  Since we identify the volumes
by volume ID this prevents them from being lost.

Change-Id: I531e24853cf5db8b7c34d91460d3abe786a652de
Closes-bug: 1452919

Merge "Fix xxx=\n pep8 errors in volume_utils.py"

Fix FakeISCSIDriver and FakeISERDriver

Need to pass correct int value for provisioned_capacity_gb capability
to get it working with scheduler.

Change-Id: Iee93f11d12e035d89227c5ffaf336ee2dcd1bcec
Closes-Bug: #1453146

Add volume status to error messages in backup create flow

If volume status is not 'available' we can't create a backup. Adding
current volume status to error message will make logs more
user-friendly.

Change-Id: Iab7a794a5104b28c54de23571f589fcf60e09c7d

Bad link in API version details response

Fix the broken link in API version detail response.

Change-Id: I556edadf70896711f6c1fa4e01442f65604d9a53
Closes-Bug: #1445088

Merge "Fix the KeyError in CloudByte iSCSI cinder driver"

Fix xxx=\n pep8 errors in volume_utils.py

Newer versions of pep8 will catch this and complain,
rather than continuing to ignore in my editor just fix
them up real quick.

Change-Id: Ib19b11cad3508d879059a22b4a81aa024b5d9a30

Merge "Fix 'driver is uninitialize' typo"

Log command failure details before raising ISCSITargetDetachFailed

In the case that there is some useful information in the
ProcessExecutionError (like stderr) when trying to terminate the
connection in the lio target, also log the error.

Related-Bug: #1450658

Change-Id: Id28968735eca27c4c4e5892e14d06aece02b06f5

Eqlx: Fixes the retries on Network Connection Error

Volume creations were failing due to ssh connection
errors throwing ProcessExecutionError
and retries were not happening. Made a fix
to retry commands on both network errors and
backend api exceptions.
The parameter eqlx_cli_max_retries determines
the number of retry attempts made.

Closes Bug: #1441719
Change-Id: I54b76afc6c9c5d51dd9c38831ee0a1c731c7b161

Rename Datera test to test_datera for discovery

This will allow testr to see the tests when specifying to only run the
Datera tests.

Change-Id: I3316ab1d2cd614d4e2b076ab3d68b366383c9c29

Allow rexports for targets with Datera

Sometimes due to timing, rexporting a target would fail. This will
verify with Datera if a target already exists, or if it should recreate
an export.

Change-Id: I9c40603cbb525c23e010285bdc66efaaaf4be142
Closes-Bug: #1452838

Add os-brick to cinder requirements.txt

This patch adds the os-brick pypi library to
Cinder's requirements.txt as a precursor to the
removal of cinder/brick from the codebase.

Change-Id: Ib0c0996421af1c52fe66df5479768addc40412ad

Fix the KeyError in CloudByte iSCSI cinder driver

Driver returns KeyError during list TSM if there is no TSM
found in CloudByte Storage.
This patch will make driver to return proper message.

Change-Id: I77f137afc87b63c0b491e010a1b8ccf63e9e89c2
Closes-Bug: 1452642

Fix missing translations for log messages

Fixed log translations in sqlalchemy module for error, info and warning
messages with appropriate marker function according to the logging
standards [1].

As LOG.warn has deprecated [2] so I have changed LOG.warn to
LOG.warning.

[1] http://docs.openstack.org/developer/oslo.i18n/guidelines.html
[2] http://bugs.python.org/issue13235

Partial-Bug: 1431256
Change-Id: Icec6775ca54b47bd0aa7796d5656a0f42a599f51

Cinder os-attach api returns 500

If volume is in 'in-use' state or invalid instance UUID
is passed to cinder os-attach api, then it returns 500 error
because InvalidVolume and InvalidUUID exceptions are raised
from manager, but not caught at api level.

Caught RemoteError exception in the api and returned 400 error
code if user passes invalid information of the volume or invalid
instance UUID.

Closes-Bug: 1449454
Change-Id: I2121b03b9f2310c40e0158627b7d4b9ba73a8f5d

cinder os-detach api returns 500

If invalid 'attachment_id' is passed to the os-detach
api, then it returns 500 error because even though
VolumeAttachmentNotFound exception is raised from manager,
it gets converted to RemoteError due to rpcapi call.

Caught RemoteError exception in the api and returned 400
error to the user if exception type is VolumeAttachmentNotFound
OR InvalidVolume. In other cases 500 error is raised.

Fixed typo in comment of volume manager.

Closes-Bug: 1449870
Change-Id: I92b03e0af3b7ab517e34edaeffd88f0a00516000

Merge "Preserve usage and reservations on quota deletion"

Merge "Fix unit tests spam output"

Merge "Logging not using oslo.i18n guidelines (zonemgr)"

Merge "HDS HNAS Driver fails when FS unhealthy"

HDS HNAS Driver fails when FS unhealthy

This patch fixes the error when there is a file system in an
unhealthy HNAS storage pool.

Change-Id: Ic17c540039996f4a1060829d5f1f12a5f3155271
Closes-bug: #1452002

Logging not using oslo.i18n guidelines (zonemgr)

Multi-patch set for easier chunks. This one addresses
the zonemanager cinder directory.

There have been quite a few instances found where the
i18n guidelines are not being followed. I believe this
has helped lead to some of the confusion around how to
correctly do this. Other developers see this code and
assume it is an example of the correct usage.

This patch attempts to clean up most of those violations
in the existing codebase to hopefully help avoid some of
that confusion in reviews.

Some issues address:
* Correct log translation markers for different log levels
* Passing format values as arguments to call, not preformatting
* Not forcing translation via six.text_type and others

Guidelines can be found here:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Hacking checks will not be able to identify all violations of
the guidelines, but it could be useful for catching obvious
one such as LOG.info("No markers!").

Change-Id: I992234cdbe3ac8c59d4c6a6c5362b009162ba38a
Partial-bug: 1433216

Fix broken add_iscsi_conn log message

In hnas_backend.py add_iscsi_conn method, info message is
not logged correctly due to broken format string.

Fixed the broken format string to log proper info message.

Closes-Bug: 1452160
Change-Id: Ie277ecc23ca5c10b161849075d448188845f0865

Merge "Logging not using oslo.i18n guidelines (scheduler)"

Fix unit tests spam output

Some of unit tests print logs to stdout. Tests output should be clear
and contain only necessary information. Debug output should not be mixed
with tests output.

Change-Id: Ia886998693ce559b270f52c3d9f2ac6062e09a67
Closes-Bug: #1449073

Preserve usage and reservations on quota deletion

Current API deletes quota usage and reservations on quota limit
deletion.

According to API documentation what should only happen is that quotas
limits revert to default values by deleting tenant/user limits.

This patch fixes this issue.

APIImpact: Delete on os-quota-sets will no longer remove usage and
           reservation quotas. Those quotas are handled by Cinder
           service.
UpgradeImpact: There is no upgrade impact afaik.
Closes-Bug: #1410034
Change-Id: I9340b6f78623cfa5b505886ad75b8e4d3cd6131b

Fix 'driver is uninitialize' typo

Accidentally changed in commit 386e285.

Change-Id: I7ea5a52f2911bf9a7017a934e8858adad51ab0cb

Windows iSCSI: remove ensure_export

The ensure_export method is called by the manager when the service
is initialized, ensuring that in-use volumes are properly exported.

iSCSI targets exported by WinTarget persist after host reboot.
For this reason, the ensure_export method can simply pass, thus
simplifying the iSCSI target creation logic.

The patch set depending on this introduces CHAP credentials support.
If the iSCSI target is accidentaly deleted, the CHAP credentials
will change, so the volume won't be accessible anyway if the target
is recreated using ensure_export.

Change-Id: I29367fc0ef0e38bb06c4a0ff5a485274cc29660e

tests: replace mox by mox3, clean out mox usage

This patch replaces mox3 by mox, so we can drop mox from requirements
and bring Python 3 compatibility. It also clear some mox usage and
use the fixture brought by oslotest.

Change-Id: Ia242425815b09e1e67d33702f1e5dbe6bcd599fd

Merge "Fix range check for NFS used ratio"

Merge "Catch additional type conversion errors"

Merge "Tests: Remove sleep from NFS tests"

Catch additional type conversion errors

When converting strings to integers in quota we catch ValueError which
will handle an input which is not a valid number, eg 'abc'. Extend this
to covert TypeErrors which will handle things like a None value being
passed.

Partial-Bug: #1451637
Change-Id: I7e3e694d539113beeb99001aeb80012ac4c1124d

Tests: Remove sleep from NFS tests

This will shave a few seconds off of a unit test run.

Change-Id: I785607f5efe9ed45b1555bbbaab38b68c57f5cc3

VMware: Enable vCenter certificate verification

Currently vCenter certificate is not verified during connection
establishment. This patch adds a config option to specify a CA
bundle file to verify vCenter server certificate.

DocImpact

Change-Id: Ida730db66b154a4d445f7a91bccb9ca5b5a26f5e
Closes-Bug: #1276207

Merge "Fake out sleeps in unit tests"

Merge "Drop use of 'oslo' namespace package."

Merge "Add hacking check for str and unicode in exceptions"

Correct directories check for N327 hacking check

For some reason the N327 hacking heck was looking for
cinder.unit/tests and cinder.functional/tests in the filename
that is sent in for the hacking check.  This should be
cinder/tests/unit and cinder/tests/functional.

This concern was originally raised in this review:
https://review.openstack.org/175604

Change-Id: Ic3041d9e16b3707aaf42ff941206d24ec66ead2b

Fake out sleeps in unit tests

Just a minor cleanup, had a few tests that were doing sleeps
(or looping calls for those that prefer it) that were being
executed to test timeouts in the unit tests.  No value in
actually *waiting* for these, so this patch just mocks them
out so we still test the procedure but don't actually have
to wait.

This shaves about 30 seconds or so off of the unit test run,
not a huge deal, but every little bit helps IMO.

Also noticed a LOG.debug message in the test_extensions file
that wasn't picked up in other cleanup work so I removed that
debug log call as well.

Change-Id: I415ac75816e8a0f4c48c61b23391df1a9a016d62

Fix range check for NFS used ratio

The nfs_used_ratio configuration parameter is supposed to be
greater than zero and less than or equal to one.  However,
current configuration checks actually allow values greater
than one because of a logic error.  Unit tests fail to detect
this issue because they find the exception that they expect
to find, but it is actually being thrown for another reason.

This commit fixes the logic error in the nfs driver code.

It also reworks all the unit tests for the do_setup method since
they suffer from the same issue that led to failure to detect
this error in the first place - they fail to do proper mocks of
submethods, and when these run the expected exception gets triggered
for the wrong reason.  We have moved these tests into their own test
class, where mock is used rather than mox.  Over time it is likely
that new tests will be implemented, or old tests reworked, with mock
instead of mox.  These can go in the new test class, which can be
renamed if that is appropriate.

Change-Id: I19ab396057fb6f60ad8e7d10944384db7e95ece6
Fixes-bug: 1445786

Merge "Dell SC driver calls out the wrong REST API version"

Merge "Move logging sample to use oslo_log"

Merge "Add retry to lvm delete"

Move logging sample to use oslo_log

etc/cinder/logging_sample.conf needs an update to refer to
oslo_log, not cinder.openstack.common.log for its ContextFormatter.

Change-Id: I8bc2618124dfffc54d15fc5615bb1884d74988f4
Closes-Bug: #1450500

Revert state if attachment already exists

When attach is called twice for the same volume and instance the
attach_volume checks if the attachment already exists and returns.
This leaves the volume in 'Attaching' state. The volume status should
be reset to 'in-use' if we see the attachment already exists.

Change-Id: I2a2d28de59af234300082ab4655b0bc10699d54c
Closes-Bug: #1449980

Add retry to lvm delete

Seems we have another issue related to lvm and
snapshots, but this time it's on the delete side.

We used a simple retry mechanism for snapshot create
here:
  https://review.openstack.org/#/c/149360/8

I'm hesitant to just add another retry without looking
at dm issues, but this should address the problem
temporarily and give us a chance to collect some
data on the issue.

Change-Id: I37607a09e2f9af6f2f32ddfaa8567400541e533a
Closes-Bug: #1450110

Merge "Leverage timeutils, drop strtime() usage"

Merge "Admin extends tenant's volume but change admin's quota"

Merge "Fix fetch_to_volume_format if vhd is requested"

Admin extends tenant's volume but change admin's quota

When admin extends a tenant's volume, the tenant's
quota-usage doesn't change. However, admin's quota-usage
has changed. The right practice is: extend whose volume,
whose quota-usage should be changed.

Change-Id: Ia1bed7f212cbee715e29698ebbfe3c67486a55f5
Closes-Bug: #1421492

Drop use of 'oslo' namespace package.

The Oslo libraries have moved all of their code out of the 'oslo'
namespace package into per-library packages. The namespace package was
retained during kilo for backwards compatibility, but will be removed by
the liberty-2 milestone. This change removes the use of the namespace
package, replacing it with the new package names.

The patches in the libraries will be put on hold until application
patches have landed, or L2, whichever comes first. At that point, new
versions of the libraries without namespace packages will be released as
a major version update.

Please merge this patch, or an equivalent, before L2 to avoid problems
with those library releases.

Blueprint: remove-namespace-packages
https://blueprints.launchpad.net/oslo-incubator/+spec/remove-namespace-packages

Change-Id: I950f1afb1b4600dfc1f38d1a7d9322f240f444a6

Add Multi-connection support to XIV

Add field in cinder.conf to hold a list of management IP addresses to connect
to the XIV backend.

DocImpact
Change-Id: Ie4eceb315188765747dc02a0a77b5a1d2c692fb5
Implements: blueprint xiv-multiple-mgmt-ips

Merge "Remove redundant code from VNX Cinder Driver"

Merge "Fixed issue with mismatched config in VMAX driver"

Merge "Updated from global requirements"

Merge "Enable use of filter_function in PureISCIDriver"

Merge "Port rbd driver to use new driver model"

Add hacking check for str and unicode in exceptions

One of the comments we are frequently having to make
on reviews is with regards to the use of str() or
unicode() on exceptions.  This hacking check pulled
from Nova will catch this problem earlier and avoid
conflicting comments being made in reviews.

Change-Id: I09eaf7b066f3e29733e6cbe16b2997edb6bc5e23

Merge "Windows: Improve vhdutils error messages"

Merge "Don't truncate osapi_volume_link prefixes"

Merge "Remove deprecated methods in VNX driver"

Merge "Sync oslo service module"

Remove unnecessary checks for encrypted types

Change I6ba62a58ac62a3b7bfb2b9d4d18b37ef458b616c makes it unnecessary
to explicitly check that a volume is encrypted prior to invoking the
volume_encryption_metadata_get function. This change cleans up the
single existing invocation of that function in the API contrib
modules. The unit tests are also updated to reflect this change.

Change-Id: I3b8aef67bd6e70f570a39c90175ae6ceaedc4386

Add test case for volume_encryption_metadata_get

This change adds unit tests for the volume_encryption_metadata_get
function. The unit tests provide protection against regressions when
refactoring this code as part of follow-up patches.

Writing the unit tests also exposed a minor issue with the existing
implementation of the volume_encryption_metadata_get function. If the
volume type is not encrypted, then the existing implementation would
raise an exception due to volume_type_encryption_get returning None.
In practice, this issue would not be encountered due to separate
checks to ensure that the volume type is encrypted, but a small
refactoring obviates the need for these checks and allows the
volume_encryption_metadata_get function to be invoked for both
encrypted and "normal" volumes.

A separate patch will clean up the unnecessary checks to ensure that
the volume type was encrypted prior to calling this function.

Related to blueprint volume-encryption-metadata

Change-Id: I6ba62a58ac62a3b7bfb2b9d4d18b37ef458b616c

Updated from global requirements

Change-Id: I289c236da7680e22539dad22b5f98c298e69a633

Port rbd driver to use new driver model

Use new ABCmeta driver model for rbd driver.

Implements: blueprint abc-driver-update

Change-Id: Ifaa06477e388e4b2807c65a2357b49451db5d670

Don't truncate osapi_volume_link prefixes

When osapi_volume_link_prefix is defined and used to update the
links return in API responses, do not drop the path component of
the overriding link prefix.

Change-Id: Ic84e16cdfa989d4af7f076a4c244808be2ca4dce
Closes-Bug: #1304099

Merge "NetApp E-Series: Fix instance live-migration with attached volumes"

Merge "3PAR don't log version numbers every stats update"

Fixed issue with mismatched config in VMAX driver

When the source and target volumes have different meta device
configurations, clone volume will fail. This patch fixed the
problem.

Closes-Bug: #1442376
Change-Id: If2f2c085596b0045d7af6762bddeb4cd59158a57

Merge "Move RBD calls to a separate threads"

Merge "Use iscsi_helper instead of target_helper on logs"