Merge "RequestContext initialization failed in cinder."

Merge "Report zero capacity if GPFS is unmounted"

Merge "Do not remove volume silently if GPFS is unmounted"

Update URL for global HACKING document and remove duplicate section

* Related to I579e7c889f3addc2cd40bce0c584bbc70bf435e2

* Remove section on locals since its already in global hacking doc
  (http://git.openstack.org/cgit/openstack-dev/hacking/tree/doc/source/index.rst#n154)

Change-Id: I5acb06dfde6eb7f579d8d52bc31fafbdab8c726d

Do not remove volume silently if GPFS is unmounted

When GPFS is not mounted, delete_volume() will complete successfully, so that
volume record is removed by cinder but volume file still resides on GPFS. This
change will prevent cinder to remove volume when GPFS is not mounted.

Change-Id: Ic3bf265e553f22c8b6a6e3568da04af88fab3322
Closes-Bug: #1249411

Report zero capacity if GPFS is unmounted

_get_available_capacity() calls df command to gather the capacity of GPFS
filesystem. If GPFS is unmounted, df command will return the capacity of
root file system. This change will let get_volume_stats() to report zero
capacity, so that Cinder can schedule the volume request to another volume
service After GPFS is mounted again, the correct capacity will be reported.

Change-Id: I4c229d78e7d659604a23a50e6ab46060642b4088
Closes-Bug: #1246779

RequestContext initialization failed in cinder.

RequestContext initialization failed in cinder because of the following
error:
"TypeError: 'in <string>' requires string as left operand, not NoneType"

It must traverses in tuple not in string when find the "compute"
service_catalog.

Change-Id: I46f4bbd0ffb9d1db8bdcb0254ca95551fea08baf
Closes-Bug: #1248434

Merge "Examine if GPFS is mounted before writing data."

Merge "Fix typo in test_check_ssh_injection_on error test"

Merge "Remove unused db calls to fetch original metadata"

Merge "Remove lvm-thin pool_size config option"

Fix typo in test_check_ssh_injection_on error test

The test case currently has shh instead of ssh.
This commit fixes the typo.

Change-Id: I1e6f926b7d22f48ae56166077659ff3e3d9a1899

Merge "Sync log from oslo"

Merge "Add tests for LVM -cow clearing"

Merge "replace u\2013 char with dash"

Remove lvm-thin pool_size config option

The pool_size config option when using thin LVM
is never actually checked/honored.  It's also unlikely
that users will want to do something other than use the
entire VG for their thin pool.

Rather than have the unused option going forward let's
remove it from the config and just go with the default
behavior of utilizing the entire Cinder VG.

For folks that would like to only use a portion of the
VG for some reason, they can do an lvcreate pool on their
own (just like we have them do for the VG itself) and get
the same flexibility that way.

This is done simply by:
lvcreate -T -L ${size} ${vg-name}/${vg_name}-pool

DocImpact

Change-Id: I3ef2cde433b8dd775b1873a0d6df165dd1945d8c

Examine if GPFS is mounted before writing data.

If GPFS is not mounted, throw an exception and log the error message. That will
prevent create_volume(), copy_image_to_volume() or _clone_image() to create
file on local disk, which can not be removed by the driver code itself.

Change-Id: If5d4c7a88e82362d2a87068202926b1ca82d9dff
Closes-Bug: #1242511

Imported Translations from Transifex

Change-Id: I51851182eaf19bd096d938e8e04fd56433b7280a

Remove unused db calls to fetch original metadata

Remove unnecessary db calls made to fetch
original metadata when delete flag is set
to True.

Closes-Bug: #1246291

Change-Id: If7483b8b21f71efa5e7c211b031170bc03eb6b9b

replace u\2013 char with dash

unicode char causes problems with maven build.

backport:none

closes-bug: #1246569

Change-Id: I3aa5c2debaed03acd2c2fb8d4e7c30738d35f4f3

Sync log from oslo

5fef5a8105 allow keeping of existing loggers with fileConfig
fb8075a19d Add amqp=WARN,qpid=WARN to default_log_levels
4654a5d247 Don't override default value for eventlet.wsgi.server logging
41ddd7a975 _get_log_file_path explictly return, when logfile/logdire unset
e12e6b45f8 Make openstack.common.log Python 3 compatible
572cfecb4d Make Messages unicode before hitting logging
3243cdfbe9 python3: handle module moves in log

DocImpact

Change-Id: I2e565fd65a00f1c6dea830a09487de9f03cb5279

Merge "NetApp unit test fail fix for http_proxy"

Merge "Allow spaces in quoted SSH command arguments"

Merge "remove rundundant lockfile requirement"

Merge "Use pipe between ceph backup diff export/import"

Merge "Fixes typo in method name _notify_voloume_type_error"

Add tests for LVM -cow clearing

Ensure that volume_clear for Thick LVM snapshot deletion
references the -cow device, and that it uses the LV instead
of the -cow device for ThinLVM.

These tests were written for a change to stable/grizzly --
but are applicable for general use here as well.

Related-Bug: #1245529
Change-Id: I380ad7832d558d9aa73a701cbf3acc35229e70ab

clean up numeric expressions in test

Replace numeric expressions with constants in tests
to make code more readable.

Change-Id: I42469cdbe3cafd36f8d9855c8284f885ffa7f465

Fixes typo in method name _notify_voloume_type_error

Closes-Bug: #1246228

Change-Id: I7b408f2c4085ba5af5fc4b539000e5675bdc5a76

Allow spaces in quoted SSH command arguments

The check_ssh_injection() method was rejecting arguments with spaces
even when they were quoted, this was causing problems with some volume
driver commands such as commands for a storage pool with spaces in the
name.

Closes-Bug: #1244415
Change-Id: Ie4b809e1b39fdb752cf634e6d3c0a3924d8ac52b

Use pipe between ceph backup diff export/import

We now use a piped transfer between the rbd export-diff
and import-diff for incremental backups/restores as
opposed to holding the entire diff in memory.

Change-Id: I33476d9b3934781413af5cd2867a11d825a5d78e
Fixes: bug 1244464

Imported Translations from Transifex

Change-Id: Icd1f44454695217295422cfc18007296ec77521f

Merge "Apply six for metaclass"

Merge "Add cinder.db.migration.db_initial_version()"

Add missing space to num_iser_scan_tries text

Should read "...rescan iSER target to" rather than
"targetto".

Change-Id: I785f67f3a029f06c0184762ddf795202ae198397

Add cinder.db.migration.db_initial_version()

Updates Cinder to use a new function called db_initial_version()
instead of the INIT_VERSION constant. This allows us to
move the top level INIT_VERSION constant into the
sqlalchemy migration.py implementation where it belongs.

Change-Id: I10dacdebb50d3121e3bfd094e40138807233aa64

remove rundundant lockfile requirement

This requirement was removed from nova even before
the cinder split.

Change-Id: Ie85eeee9aef81a80d1279f7d21566ec33e20159f

Merge "Nexenta iSCSI driver: Refactor create_cloned_volume"

Imported Translations from Transifex

Change-Id: Ie2ea233527914abbbd069c56cc550fc835f1abb8

Merge "Revert "Brick connector fix for NFS drivers""

Merge "NetApp fix for 7mode iscsi volume stats"

Merge "NetApp fix ssc volume filtering inconsistency"

Revert "Brick connector fix for NFS drivers"

This reverts commit b6b9df2940ac07f715f759f4c315b2cf088c2320

Passing in driver=self in the base driver connector builder breaks all of the other drivers and isn't the *correct* driver to be passing in.

Simply removing this fixes the functionality, however breaks your tests and I'm not sure of the impact on what you were attempting so I'm reverting.

Change-Id: I0af85a2bc491cc0e23aa6af1f67c2dfed1c7081f

Merge "Update my mailmap"

Merge "Updated from global requirements"

Merge "GlusterFS: set correct filename when cloning volume"

Update my mailmap

Using new email address.

Change-Id: I6dc5e7d96a166b890e6e1878531df1ea160d4b9d

GlusterFS: set correct filename when cloning volume

When cloning a volume, the volume[name] field was populated
with incorrect data, resulting in an unexpected filename containing
the volume data.  This results in failures of later operations on
that cloned volume.

Change-Id: I067ed44cebdc8e91e9ded326953fd0c99d003f05
Closes-Bug: #1244238

Merge "Downgrade target create failure mesg to warning"

Merge "Handle NotFound exceptions in API"

Handle NotFound exceptions in API

There were a number of calls in the API that
weren't catching NotFound exceptions.  The result is
unhandled exception traces and errors in the logs on good
runs in tempest.

Basicly any negative test that requests a non-existent element
would result in an unhandled exception.  This patch adds try/except
around the volume_api.getxxx calls in cinder/api/... methods to
clean this up.

Closes-bug: #1243485

Change-Id: I902acc7f4fdbc20fdb1a68697679417694c5533e

Unit test fails in pbuilder environment

When running tests inside a pbuilder environment we don't
have /dev/disk/by-path directory and so the test_host_driver
test fails. Fix test by overriding the isdir method to
return True and pretend that the directory is there.

Change-Id: Ifd39d796b7f250b1ec45227a4262ebb33d5656bf

Updated from global requirements

Change-Id: I24d49ff79f5ed7364a47278179dcadbaf519aed1

Merge "Rename "rtstool" to "cinder-rtstool", add dep"

Merge "Brick connector fix for NFS drivers"

Check if dir exists before calling listdir

Changes along the way to how we clean up and detach after
copying an image to a volume exposed a problem in the cleanup
of the brick/initiator routines.

The clean up in the initiator detach was doing a blind listdir
of /dev/disk/by-path, however due to detach and cleanup being
called upon completion of the image download to the volume if
there are no other devices mapped in this directory the directory
is removed.

The result was that even though the create and copy of the image
was succesful, the HostDriver code called os.lisdir on a directory
that doesn't exist any longer and raises an unhandled exception that
cause the taskflow mechanism to mark the volume as failed.

Change-Id: I488755c1a49a77f42efbb58a7a4eb6f4f084df07
Closes-bug: #1243980

Merge "VMware: Registering vmdk opts in global space"

Rename "rtstool" to "cinder-rtstool", add dep

With rtstool merged into Cinder, it should use the
"cinder-" prefix.

Add to setup.cfg scripts section for installation.

Additionally, add the rtslib-fb>=2.1.39 dependency
to Cinder's runtime requirements.

Implements blueprint: lio-rtslib

Change-Id: I715db09cb86145c6769c345f59ecda4d18b5e659

Downgrade target create failure mesg to warning

Since this will occur more often than we would like and
almost always recovers, change the log level to warning
instead of error.

This is to comply with the desire of the QA team to eradicate
error messages from succesful tempest runs.

Change-Id: If1a841bbeb9a36ff7e103a0e9aff67fda66a7f3b
Closes-Bug: #1243840

Nexenta iSCSI driver: Refactor create_cloned_volume

Optimize volume cloning of Nexenta iSCSI driver, current implementation
with zfs send recv may take long time, because it requires data
transferring.

Change-Id: Iaa2eea608e09d0a4ac155b74f964b153de561f4c

Merge "Add openstack/common/crypto from OSLO"

Merge "Revert "remove cinder-rtstool because of rtslib dep""

Merge "Remove duplication of brick.iscsi in brick.iser"

Merge "Nexenta drivers ignore "does not exist" exception"

VMware: Registering vmdk opts in global space

Registering vmdk_opts in the patch. This will make sure the documentation
tool will auto generates a table for the driver config params.

Closes-Bug: #1242547

Change-Id: Ic12126ad5283e37113e9f75e190fa92a9277ca7f

Merge "NetApp fix mirrored stats"

Merge "NetApp fix for compression and dedup stats"

Nexenta drivers ignore "does not exist" exception

Ignore "does not exist" exception in NFS and iSCSI driver,
delete_volume and delete_snapshot methods.
This exceptions means that the volume or the snapshot not exists in the
backend, so we can avoid "delete" errors, when the resource was already
deleted.

Closes-Bug: 1240650
Change-Id: I3b2684097dcb95ba50a67c94a353dc3f17374777

Merge "Let GPFS driver to rename snapshot with root permission"

Merge "Drop auth_token configs for api-paste.ini."

Merge "Fix volume transfer href issue"

Merge "Updated from global requirements"

Add openstack/common/crypto from OSLO

Add cinder/openstack/common/crypto/__init__.py and
cinder/openstack/common/crypto/utils.py.

They are needed in cinder/openstack/common/rpc/securemessage,
which is updated in the following commits.

Oslo version: 4987d09a28c986bdca0921a1d0f062ac9328904f

Change-Id: I15e7ce3b84831fd247ea155a3b15829348087830

Merge "Provide gettext _ in missing locations"

Fix volume transfer href issue

The volume transfer collection in url defined as "os-volume-tranfer",
but I got another define "tranfers" in href url. They are different.
So it should be modify.

Change-Id: I69a43012f2bb70ce5fc7b0331d2759527a261170
closes-bug: #1242980

Remove duplication of brick.iscsi in brick.iser

TargetAdmin and TgtAdm in iser is mostly a copy of TargetAdmin and
TgtAdm in iscsi.

Change-Id: I8d89a35c478485370b41f4dfd376de07b9fc9314

Merge "Add extend_volume for Huawei drivers"

Merge "Imported Translations from Transifex"

Merge "Uses oslo.imageutils"

Merge "Add auth_token settings to cinder.conf.sample."

Drop auth_token configs for api-paste.ini.

We now prefer to use cinder.conf to configure keystoneclients
auth_token configs.

Also, Devstack has now been update to allow this:

https://review.openstack.org/#/c/52259/

Related-Bug #1240753

Change-Id: I2a4b300af37eddf5010b97ca796f0552941642a8

NetApp unit test fail fix for http_proxy

The environment having http_proxy settings caused
the unit tests to fail with 404 error. This fix
handles both situations with proxy or without
proxy settings.

Change-Id: I791a45adff654305db9f1fb6f039e91b11ba88d8
Closes-Bug:#1223145

Revert "remove cinder-rtstool because of rtslib dep"

This reverts commit b66c3361be2095186e19b0d44e49a8b2c48f7235.

Dependencies of this code (rtslib-fb) are now Apache-licensed,
which resolves the previous issue with this code being in-tree.

This patch is a direct revert, other patches will follow to
line up changes that have occurred between b66c336 and now.

Conflicts:
setup.py

Blueprint: lio-rtslib

Change-Id: I14786bddf419d98ff7c468b185462f5387dbbba1

Merge "Update openstack/common/notifier"

Merge "Fix generate conf script can't handle multistropt"

Let GPFS driver to rename snapshot with root permission

Deleting GPFS volume snapshot operation fails, because cinder
volume is not running with root permission.

Change-Id: Id00357030da171fddbc6abf82603ceabe4db73ff
Closes-Bug: #1242549

Imported Translations from Transifex

Change-Id: Idf752d935353317e59893a3885d32545130968a4

NetApp fix for 7mode iscsi volume stats

This fixes the bug for reporting correct
capacity information in case of 7mode
iscsi drivers.

Change-Id: Ie41009eca866830173809211d58470025be847e3
Closes-Bug: #1238967

Brick connector fix for NFS drivers

This change fixes the error that comes
while getting brick connector and attaching volumes
in case of NFS drivers in cinder. The attribute for
mount point base was not passed to attach_volume method
as the connector initialization logic is common for all
types of protocols. It is fixed by populating
the required parameter in the RemoteFsConnector
for NFS drivers.

Change-Id: I8601326b318f6f8c53a03610f1b4f2bfd14070ff
Closes-Bug: #1238085

NetApp fix ssc volume filtering inconsistency

This fixes the situation when the actual netapp
volume data structure becomes inconsistent
because of operating on the actual object
than the copy of it. It also introduces some checks
before calculating volume stats.

Change-Id: I626f9ca9aa8c7cc41ba4aa6058f14cc040f7301f
Closes-Bug:#1243081

Updated from global requirements

Change-Id: Ic96db4b4b462badc2fcbee62b40ebf3997ed6adf

NetApp fix mirrored stats

This fixes the incorrect reporting of mirrorred
statistics for NetApp iscsi and nfs backend.
The uninitialized and broken snapmirror is
not reported and only snapmirrored state
is reported back.

Closes-Bug:#1242808

Change-Id: I4b9f788e1f99b78d12db23bd92b6a277d5f64cb3

NetApp fix for compression and dedup stats

This change fixes the incorrect stats reported
for compression and deduplication by NetApp
iscsi and nfs backend.

Change-Id: I3e97d953b3ea2231c3eb1f950b0ca6705b3b2286
Closes-Bug:#1236839

Fix generate conf script can't handle multistropt

In case MultiStrOpt option's value is empty list, current extract_opts.py
logic will ignore it. This patch aims to update func _print_opt:

add the multistropt's option_name in conf even its value is empty list.

This bug also affects https://bugs.launchpad.net/cinder/+bug/1240783

Closes-bug: #1241348

Change-Id: Ica1da0cd20c97a587964cb0059836d609a440145

Add auth_token settings to cinder.conf.sample.

Updates our example config file so that it includes configuration
settings for the auth_token middleware.

A step towards using cinder.conf instead of the api-paste.ini config file
for authtoken configuration.

Once https://review.openstack.org/#/c/52259/ lands I'll push another
review which removes the settings from api-paste.ini (which takes priority).

Related-Bug #1240753

Change-Id: I6636d33ee522757145ac97fc354324a8b9379700

Add extend_volume for Huawei drivers

This patch adds extend_volume function for Huawei drivers.

Huawei T driver needs to create a slave LUN for the extended LUN.
And accordingly it needs to delete all these slave LUNs before deleting
the extended LUN.

HVS driver just sends a rest command to finish extending volume.

Change-Id: Iae17dba8c4d88ec09eb52b4a14bd17bc5a2c1ccc

Update openstack/common/notifier

Oslo version: 5e765b2546dab9d04e4641d92296bfa3d3b17ebf

Change-Id: I679a0f3a953cbe1904c3fd32bf33b5a656c2a938

Imported Translations from Transifex

Change-Id: I48307cde63b774a611c2675a1e9e67cbd518d17c

Merge "Imported Translations from Transifex"

Merge "Cinder extension to add used resources in absolute limits"