Add exception handling for copy_volume_to_image()

The method require_driver_initialized occurs exception so that the
method volume_get will be not executed, and the variable 'volume'
will be not defined. In the "finally" code segment, the
volume['instance_uuid'] will get the UnboundLocalError, this patch
gets volume before require_driver_initialized to avoid the above
problem.

Change-Id: Ic8167383eb67c5016c9853da274455e0f202dc4d
Closes-Bug: #1322958

Merge "Add mailmap entry"

Merge "Set volume usage audit period to not NoneType"

Merge "Updated from global requirements"

Merge "Remove create_from* functor jump table"

Merge "Remove all mostly untranslated PO files"

Merge "Add rally job"

Remove all mostly untranslated PO files

We only import PO files that are at least 75 % translated,
so we can delete now all other PO files. The patch only
removes the mostly untranslated files. Once a file becomes mostly
translated, the bot will import it again.

This removes all languages besides en_US.

Change-Id: I56c85a63888d0edd81895fb213e5967b0e799013
Closes-Bug: #1317794

Updated from global requirements

Change-Id: Ie6811fcb0c536447bd605a22b52d6fd2dee2d328

Remove create_from* functor jump table

To make it easier to debug during runtime which method was
called remove the dictionary type -> functor mapping and
use a set of if statements instead. This makes it so that
if one of these methods fails we can gather more information
from the traceback than what was previously possible.

Change-Id: Iee2b0b90fe57734966d415c053bbc967335d5509

Merge "SSHPool in utils should allow customized host key missing policy"

SSHPool in utils should allow customized host key missing policy

The cinder/utils SSHPool should allow  missing key policy and host key
file being customized so that any caller can determine by their own
scenario if the host key file can be customized, or if an 'AutoAdd' is
appropriate, or just reject the key when mismatch. This will give more
flexible customization and also prevent any security issue as a middle
man.

Closes-Bug: #1320056
Change-Id: I3c72b0d042de719ecd45429d376bd88d0aefb2cc

Merge "NetApp fix attach fail for already mapped volume"

Check whether O_DIRECT is supported to iflag and oflag separately

The problem is when this is used for volume clear and the clear method
specifies use of the 'zero' option (/dev/zero) setting iflag direct is
not a valid option for that input file, but oflag direct is a valid
option for output file, so we should check iflag and oflag separately.

Change-Id: I4b627e95b68d56e3011cddc577c62fad0c384dba
Close-Bug: 1318748

Merge "eliminate the need for hplefthandclient in tests"

Set volume usage audit period to not NoneType

The setting of NoneType causes cinder-volume-usage-audit to not start up
and throw a stacktrace. This sets the config default back to something
it can use.

Change-Id: I4a9751025486b77dd7cf45d0aaad02e2325055d4
Closes-Bug: #1320541

BrcdFCSanLookupService should allow customize host key and policy

In BrcdFCSanLookupService, the initialization should allow the
customization of the known_hosts_file and missing_key_policy so that the
hosts key and missing policy can be customized according to the
different scenario and customer aspect. This will not change the default
behavior when no argument is given, but more flexible to allow the
caller to give more options according to different requirements.

Closes-Bug: #1320050
Change-Id: If5767f63ccd2cde5fbea30a6154acf4d28f662b6

NetApp fix attach fail for already mapped volume

This patch fixes the error raised during mapping of a volume
to the host during attach operation if the volume is already
mapped to the host.

Change-Id: I4f711e7ac18eea0dfddab65fd85a3601fe967a88
Closes-bug: #1310659

Merge "Fix retyping volume that has volume type None"

Merge "Imported Translations from Transifex"

Merge "Specify lld in tgt config backends"

Merge "Fix broken version responses"

Imported Translations from Transifex

Change-Id: I91f80dd98e0c18492060ff1eca7ed9544a326797

Merge "Fix solaris_execute in SolarisISCSIDriver."

Merge "Added unit test cases for _is_share_eligible in NFS driver."

Convert SolidFire Capacity response to GiB

This patch fixes the reported free_capacity_gb response
in the SolidFire update_cluster_status method.

The initial patch fixed the free_capacity conversion,
however omitted the same fix that was needed for the
free_space calculation.

Closes Bug: #1284452

Change-Id: If034957764911ec92a6d7e603d0510325018db6d

eliminate the need for hplefthandclient in tests

In order to eliminate the need to have the hplefthandclient in the
global-requirements project, we need to remove the hplefthandclient
from being imported in all HP LeftHand driver unit tests in cinder.

Change-Id: I4009ea17b507b1deb2a567dd420f309e15aaf92d
Closes-Bug: #1316824

Merge "eliminate the need for hp3parclient in tests"

Merge "Remove explicit dependency on amqplib"

Fix solaris_execute in SolarisISCSIDriver.

A previous refactor [1] of SolarisISCSIDriver and SanDriver renamed
the `_execute` function to `san_execute`. However, SolarisISCSIDriver
still called the _execute function, which no longer exists in it's
parent classes.

This change calls san_execute instead of _execute in
super(SolarisISCSIDriver, san).

[1] https://review.openstack.org/#/c/38194/

Closes-Bug: #1318108
Change-Id: I4cafefdb3eef8f3c2c345907d7eabd4e8f88ef65

Merge "Ensure that lun_id is an int"

Merge "Add set-bootable command"

Fix for solidfire driver to use reserved_percentage

Fixed _update_cluster_status so reserved_percentage uses value
from cinder.conf.

Change-Id: I74af8dd86645b4c0800391bd126bf2bce94cf205

Fix retyping volume that has volume type None

Modified volume_types_diff to work when one volume type is None.

Fixed _fix_encryption_specs so that the new dictionary is returned.

Change-Id: Iaba3032317f4d0649c917fb92403c4e9146fe3e9
Closes-Bug: #1311058

Merge "Fix wrong exception reference"

eliminate the need for hp3parclient in tests

In order to eliminate the need to have the hp3parclient in the
global-requirements project, we need to remove the hp3parclient
from being imported in all 3par driver unit tests in cinder.

Closes-Bug: #1315195
Change-Id: Ife5c70871e742be5970be8f0284e12554f93cab4

Merge "Add missing methods to FakeISCSIDriver"

Merge "Implement validate_connector in FibreChannelDriver"

Add missing methods to FakeISCSIDriver

Just a quick/simple add of missing methods to make the FakeISCSI
driver usable.

Change-Id: I7e822dd094d925d13e7e5b2f6605d11fd138dbd1

Add mailmap entry

Add a mailmap entry to map to my gmail account.

Change-Id: If8cdff519415bd2b7138638746988e6f177c855c

Fix wrong exception reference

iscsi.py should catch cinder.exception.NotFound instead of
cinder.brick.exception.NotFound.

Change-Id: I77134683712e9706619a7f7fe82caed42ede5887
Closes-Bug: #1300136

Properly initialize rpc in cinder-volume-usage-audit

When RPC isn't initialized, any RPC based notifiers will fail, which
renders cinder-volume-usage-audit mostly useless.

Change-Id: I0b2d63871c0e57f8a9a55059c5fa22dc785b2767
Closes-Bug: #1316483

Remove explicit dependency on amqplib

amqp (or amqplib) is only accessed via kombu, and kombu
already specifies the right dependency (either amqp if new
enough or amqplib for old versions of kombu).

Change-Id: I4efa419db1befdfcbe639a8557e21eb97ca3a26e

Fixes an issue with 3PAR attach

There was a case that during vlun creation
the location returned back from the 3PAR
didn't include the NSP value.

Change-Id: I6c6341fda65df0e8ce148f3d926990a50471a2db
Closes-Bug: #1315542

Merge "Replace tearDown with addCleanup - Part 2"

Ensure that lun_id is an int

The map_vol_to_host function was treating the lun number
as a string rather than an int.  This was causing attempts
to mount storwize_svc volumes to Hyper-V nodes to fail as they
were checking an integer type against a unicode type which
would fail.

This change casts result_lun to an integer after the value has
gone through the ssh injection attack check.  This way Hyper-V
is able to verify if the found LUN is the target LUN, enabling
mount of storwize_svc volumes to Hyper-V.

Change-Id: I96d179f2a58e5948c8ba6c9ae618daad7b8d4c86
Closes-bug: 1269915

Implement validate_connector in FibreChannelDriver

The base FibreChannelDriver didn't implement the
validate_connector() method. It fell back to the
parent class which simply does a pass.  Now the
FCDriver checks to ensure that the connector has
wwnns and wwpns and raises an exception if either
one is empty or not set.

Closes-Bug: #1294812

Change-Id: I1e63c4718d24bdb3ead78de871971cdc498f6b01

Merge "Add disabled kwarg to service_get_all_by_topic"

Fix broken version responses

The version responses link to non-existing PDF and WADL files.
Remove the WADL link and replace the PDF link with a HTML link to
docs.openstack.org.

Change-Id: Id514caee32df430b616609144f52d1a58c93d9cd
Closes-Bug: #1313118
Closes-Bug: #1313116

Merge "Fixed 3PAR driver issue finding correct vlun"

Merge "Fix double "the" in Cinder quota warning"

Merge "Improve consistency of help strings"

Merge "Replace tearDown with addCleanup - Part 5"

Fix double "the" in Cinder quota warning

Amend a Cinder warning printed with a double "the".

Change-Id: I1471514c9bae84de4b2bef9b11a163314a00802e

Fixed 3PAR driver issue finding correct vlun

This patch fixes an issue that happens when
a volume is attached to the same host
more than once.  The driver wasn't looking
for the correct VLUN on the 3par after the
VLUN was created.  We now get the VLUN
information in the return of the creation call.

Change-Id: Id570094f29900c0adcffe6c9d4145c9ad5e3ce4e
Closes-Bug: #1313894

Storwize/SVC driver detach volume failed

If config two backends on the same storage, but the protocol is
different, one is FC and the other is iSCSI,  that will create two
hosts on the storage.

When detaching the volume which is attached to the iSCSI host, the
driver will get FC host by default, that causes volume status keeps
'detaching'.

Change-Id: Idbdb3861574197549625b4a6b6141197e42857ff
Closes-Bug: #1310559

Add disabled kwarg to service_get_all_by_topic

service_get_all_by_topic disabled kwarg allows results to include
where disabled is True or False or both.

Updated code where service_get_all_by_topic is used to make use of
disabled kwarg instead of filtering afterwards.

Removed logging of disabled services in host_manager.

Closes-Bug: #1285673
Change-Id: I748461e64acd4e9563c4016781c5e1d4b116dac8

Add rally job

Add rally scenario to be run by OpenStack CI system

Change-Id: Ie305ab51b75cd24e21868b965b9345a4444b2d20

Merge "Replace tearDown with addCleanup - Part 4"

Merge "Cinder list does not filter admin metadata."

Merge "Remove unused volume instance_uuid methods"

Improve consistency of help strings

Fixes include rework of text, missing or extra spaces, wrong
capitalization and no sentence style capitalization.

Co-Authored-By: Diane Fleming <diane.fleming@rackspace.com>
Change-Id: Iddab947ce9597f4a1de885f1f6c0fb0e5ba9dc46

Merge "Fix handling multiple WWPNs on preferred FC node"

Remove unused volume instance_uuid methods

This patch removes a db api call that is only
used in unit tests.

Change-Id: Ic686eacdee21d13f8c7c7a16d7353211abc7579a
Related-Bug: #1255925

Cinder list does not filter admin metadata.

For example, if you want to filter by 'readonly' attribute,
you do not get results.
This patch adds the admin metadata for filtering.

Change-Id: Ia2a72776e649abd82160cb13ad63489cc760b190
Closes-Bug: #1311277

Merge "vmware: Remove deprecation warning from VC driver"

Merge "Keep volume available if retype fails due to quota"

Merge "Remove old driver mappings from Havana"

Merge "Fallback to None on missing Glance image attrs"

Merge "Fix bad indentation in tests"

Specify lld in tgt config backends

Otherwise when running tgt-admin --delete, it might forget
to invoke tgtadmn with "--lld iscsi" in order to delete the low-level
iscsi exports, which can cause crashes or hangs later on.

Closes-Bug: #1311640
Change-Id: I436c67c30565089236e987d84ac2609eedd2d2c7

Replace tearDown with addCleanup - Part 2

Replace tearDown with addCleanup in some cinder unit tests.

Infra team has indicated that tearDown should not be used and should
be replaced with addCleanup in all places.

Remove duplicated self.stubs and self._mox declaration in
cinder/tests/test_windows.py.

Implements blueprint replace-teardown-with-addcleanup

Change-Id: I5865cf0197e1d8229afc706b9b14b746f09b5acd

Keep volume available if retype fails due to quota

If we're over quota for a volume type that we're retyping a volume to,
keep the volume available.

Closes-Bug: #1308819
Change-Id: I7e66e95bf12b7e5a6df04eeb5a501badb5f2941f

Merge "Update tests to use CONF.set_override"

Merge "Remove unused 3PAR driver method"

Merge "Remove unused reservation methods from db.api"

Remove unused 3PAR driver method

Remove the "parse_create_host_error" method as it is no longer
used in the 3PAR drivers. It can safely be removed from the
3PAR common code and the unit test were no longer using the method.

Change-Id: I81898e075107b55002c2d07f5e06db76a16c3e28
Closes-bug: 1310807

Fix bad indentation in tests

Remove a number of bad indentation errors flagged
by pylint.

Change-Id: I0a048d96aba09b2f14360ceffb1fe167fb613674

Add set-bootable command

Bootable Status is set to "True" automatically when user
create a volume from a image. But user have to set bootable
status manually when creating a bootable volume manually.

blueprint add-bootable-option

this commit is related to https://review.openstack.org/#/c/83691/

Change-Id: Ib6cdca15950fe86b4fb2a43cfc7338e28260e453

Fix handling multiple WWPNs on preferred FC node

There was a bug in the code that checked to see if the
appropriate WWPN for a preferred node was available on the storage
host in intialize_connection.  It was assumed that there would only
ever be one preferred WWPN.  The code just checked to see if the list of
preferred WWPNs was in the list of available WWPNs.  This would only work
if all of the WWPNs were available on the storage host.  This resulted in
volumes not being able to be mounted when they should have been
available.

This fix changes the check of the preferred WWPNs to check each
item in the list until one is found.  The first one found is used
as the target WWPN.  If no match is found, the old default behavior
of selecting the first available WWPN is used.  I have added a
warning message for this case as it is quite possible that this
won't work in the user's environment as was the case that uncovered
this bug.

Note that this change is only relevant for systems that are not using
multipath as systems that use multipath don't choose one WWPN, they
just send the whole available list back.

Change-Id: I8d3239da24a8f9fbd8309ba5c90b05b29a068754
Close-bug: 1308298

Merge "Add exception catch if Storwize/SVC driver failed when retyping"

Merge "Fixes HostTestCase failures due to slow test run"

Merge "Correct metadata ordering issue in tests"

Merge "Re-raise exceptions in upload-to-image"

Fallback to None on missing Glance image attrs

It's possible for glance images to be missing attributes like name and
checksum. We'll just set those to None by default to avoid missing key
exceptions being raised.

Closes-Bug: #1308058
Change-Id: I85c42f8351763da201021a22f5ff0ebd62c6b2db

Remove old driver mappings from Havana

These were deprecated in Havana and don't need to be in Juno.

Change-Id: I5ff537cc08f38f16f3d36a8a3714c025266f67fb

Merge "Create volume fail when image id is """

Adjust sample config for keystoneclient 0.8.0 release

Helps fixing the gate again.

Change-Id: Ic962613fd7ee3e978890c25f911f509e9533ef8a

Remove unused reservation methods from db.api

There are several unused reservation methods are not called directly,
so it could be removed from the db API.

closes-bug: #1255925

Change-Id: I8dffa1d4222da162e55ddd6cfce656b4620f3fad

Re-raise exceptions in upload-to-image

This patch catches any exceptions returned from Glance during an
upload-to-image operation and re-raises them so that the user can see
the failure message and make the appropriate adjustments.  More
specifically, this addresses an invalid container format.

For example, the following command:

    $ cinder upload-to-image --container-format foobar ...

Goes from:

    ERROR: The server could not comply with the request since it is
           either malformed or otherwise incorrect. (HTTP 400)
           (Request-ID: req-f19bad2f-c39d-40a2-a3cc-6db9b9fe64cd)

To:

    ERROR: 400 Bad Request
    Invalid container format 'foobar' for image.
        (HTTP 400) (HTTP 400)
        (Request-ID: req-47cb2772-78c4-48b7-87ce-fb124ecfa989)

Closes-Bug: #1308689
Change-Id: If18851e0b9f5c242f84b1eab928b42d809335d80

Update Cinder dev doc

Removing mention of adding your name and email to Author files in
Cinder dev doc.

Change-Id: I5b723dd9ff1153096852a4c1c6a7b59bf0d04d3c
Closes-Bug: #1309581

Create volume fail when image id is ""

When call create volume api with image id "", it will create an empty
volume.
But when create volume with snapshot id "" or srv volume "", it will
return an 404 error.
So it should create volume fail when call create volume api with image id
"".

Change-Id: If2c7b061753bbbd172a09d35b343e73e90a1b7b4
Closes-Bug: #1302609

Merge "Use cached db object in volume_mig_status ext"

Merge "Disable oslo.messaging debug logs"

Merge "Fixes HP LeftHand driver with Paramiko 1.13.0"

Merge "Inform about instance_uuid in volume usage notification"

Use cached db object in volume_mig_status ext

There is no need to rerequest the volume object from the db in
the extension because we already have a cached copy in the request.
This can potentially save hundreds of db queries in list.

Change-Id: I46da8c7b6c2af2435d246ebd8e95d4712065f1e7
Resolves-bug: 1308255

Add exception catch if Storwize/SVC driver failed when
retyping

If adding a copy for a volume of Storwize/SVC which is under
migration, Storwize/SVC command will fail because the
number of the copies of the volume exceed the limit which
is 2.

Modifying the volume type when adding a copy for the volume,
Storwize/SVC driver will also fail, should add exception catch.

Also add exception catch when getting the volume from the database.
This change is necessary to enable resolving bug 1305550
(https://bugs.launchpad.net/cinder/+bug/1305550 - Failed retype with
driver raised exception should set volume status to "error" ).

Change-Id: I1cf4b6606b5228c8adcb2bde21f345fa979bc13e
Closes-Bug: #1298201

Replace tearDown with addCleanup - Part 5

Replace tearDown with addCleanup in:
- cinder/test.py
- cinder/tests/test_migrations.py

Remove empty tearDown methods from:
- cinder/tests/test_hp3par.py
- cinder/tests/test_hplefthand.py
- cinder/tests/test_ibmnas.py
since it does not add any functionality (and empty setUp methods as well).

Infra team has indicated that tearDown should not be used and should
be replaced with addCleanup in all places.

Implements blueprint replace-teardown-with-addcleanup

Change-Id: Id2fdd3e2e1ab8458083697b6ea6714ca019fd00a

Replace tearDown with addCleanup - Part 4

Infra team has indicated that tearDown should not be used and should
be replaced with addCleanup in all places.

All addCleanup methods will be executed even if one of them fails, while
a failure in tearDown method can leave the rest of the tearDown un-executed,
which can leave stale state laying around.

Moreover, tearDown methods won't run if an exception raises in setUp method,
while addCleanup will run in such case.

This patch replaces tearDown with addCleanup or removes redundant tearDown
methods in cinder unit tests.

Implements blueprint replace-teardown-with-addcleanup

Change-Id: I6947eafa419ed7dda53582484090cd5210274f73