Add cinder.db.migration.db_initial_version()

Updates Cinder to use a new function called db_initial_version()
instead of the INIT_VERSION constant. This allows us to
move the top level INIT_VERSION constant into the
sqlalchemy migration.py implementation where it belongs.

Change-Id: I10dacdebb50d3121e3bfd094e40138807233aa64

Merge "Nexenta iSCSI driver: Refactor create_cloned_volume"

Imported Translations from Transifex

Change-Id: Ie2ea233527914abbbd069c56cc550fc835f1abb8

Merge "Revert "Brick connector fix for NFS drivers""

Merge "NetApp fix for 7mode iscsi volume stats"

Merge "NetApp fix ssc volume filtering inconsistency"

Revert "Brick connector fix for NFS drivers"

This reverts commit b6b9df2940ac07f715f759f4c315b2cf088c2320

Passing in driver=self in the base driver connector builder breaks all of the other drivers and isn't the *correct* driver to be passing in.

Simply removing this fixes the functionality, however breaks your tests and I'm not sure of the impact on what you were attempting so I'm reverting.

Change-Id: I0af85a2bc491cc0e23aa6af1f67c2dfed1c7081f

Merge "Update my mailmap"

Merge "Updated from global requirements"

Merge "GlusterFS: set correct filename when cloning volume"

Update my mailmap

Using new email address.

Change-Id: I6dc5e7d96a166b890e6e1878531df1ea160d4b9d

GlusterFS: set correct filename when cloning volume

When cloning a volume, the volume[name] field was populated
with incorrect data, resulting in an unexpected filename containing
the volume data.  This results in failures of later operations on
that cloned volume.

Change-Id: I067ed44cebdc8e91e9ded326953fd0c99d003f05
Closes-Bug: #1244238

Merge "Downgrade target create failure mesg to warning"

Merge "Handle NotFound exceptions in API"

Handle NotFound exceptions in API

There were a number of calls in the API that
weren't catching NotFound exceptions.  The result is
unhandled exception traces and errors in the logs on good
runs in tempest.

Basicly any negative test that requests a non-existent element
would result in an unhandled exception.  This patch adds try/except
around the volume_api.getxxx calls in cinder/api/... methods to
clean this up.

Closes-bug: #1243485

Change-Id: I902acc7f4fdbc20fdb1a68697679417694c5533e

Unit test fails in pbuilder environment

When running tests inside a pbuilder environment we don't
have /dev/disk/by-path directory and so the test_host_driver
test fails. Fix test by overriding the isdir method to
return True and pretend that the directory is there.

Change-Id: Ifd39d796b7f250b1ec45227a4262ebb33d5656bf

Updated from global requirements

Change-Id: I24d49ff79f5ed7364a47278179dcadbaf519aed1

Merge "Rename "rtstool" to "cinder-rtstool", add dep"

Merge "Brick connector fix for NFS drivers"

Check if dir exists before calling listdir

Changes along the way to how we clean up and detach after
copying an image to a volume exposed a problem in the cleanup
of the brick/initiator routines.

The clean up in the initiator detach was doing a blind listdir
of /dev/disk/by-path, however due to detach and cleanup being
called upon completion of the image download to the volume if
there are no other devices mapped in this directory the directory
is removed.

The result was that even though the create and copy of the image
was succesful, the HostDriver code called os.lisdir on a directory
that doesn't exist any longer and raises an unhandled exception that
cause the taskflow mechanism to mark the volume as failed.

Change-Id: I488755c1a49a77f42efbb58a7a4eb6f4f084df07
Closes-bug: #1243980

Merge "VMware: Registering vmdk opts in global space"

Rename "rtstool" to "cinder-rtstool", add dep

With rtstool merged into Cinder, it should use the
"cinder-" prefix.

Add to setup.cfg scripts section for installation.

Additionally, add the rtslib-fb>=2.1.39 dependency
to Cinder's runtime requirements.

Implements blueprint: lio-rtslib

Change-Id: I715db09cb86145c6769c345f59ecda4d18b5e659

Downgrade target create failure mesg to warning

Since this will occur more often than we would like and
almost always recovers, change the log level to warning
instead of error.

This is to comply with the desire of the QA team to eradicate
error messages from succesful tempest runs.

Change-Id: If1a841bbeb9a36ff7e103a0e9aff67fda66a7f3b
Closes-Bug: #1243840

Nexenta iSCSI driver: Refactor create_cloned_volume

Optimize volume cloning of Nexenta iSCSI driver, current implementation
with zfs send recv may take long time, because it requires data
transferring.

Change-Id: Iaa2eea608e09d0a4ac155b74f964b153de561f4c

Merge "Add openstack/common/crypto from OSLO"

Merge "Revert "remove cinder-rtstool because of rtslib dep""

Merge "Remove duplication of brick.iscsi in brick.iser"

Merge "Nexenta drivers ignore "does not exist" exception"

VMware: Registering vmdk opts in global space

Registering vmdk_opts in the patch. This will make sure the documentation
tool will auto generates a table for the driver config params.

Closes-Bug: #1242547

Change-Id: Ic12126ad5283e37113e9f75e190fa92a9277ca7f

Merge "NetApp fix mirrored stats"

Merge "NetApp fix for compression and dedup stats"

Nexenta drivers ignore "does not exist" exception

Ignore "does not exist" exception in NFS and iSCSI driver,
delete_volume and delete_snapshot methods.
This exceptions means that the volume or the snapshot not exists in the
backend, so we can avoid "delete" errors, when the resource was already
deleted.

Closes-Bug: 1240650
Change-Id: I3b2684097dcb95ba50a67c94a353dc3f17374777

Merge "Let GPFS driver to rename snapshot with root permission"

Merge "Drop auth_token configs for api-paste.ini."

Merge "Fix volume transfer href issue"

Merge "Updated from global requirements"

Add openstack/common/crypto from OSLO

Add cinder/openstack/common/crypto/__init__.py and
cinder/openstack/common/crypto/utils.py.

They are needed in cinder/openstack/common/rpc/securemessage,
which is updated in the following commits.

Oslo version: 4987d09a28c986bdca0921a1d0f062ac9328904f

Change-Id: I15e7ce3b84831fd247ea155a3b15829348087830

Merge "Provide gettext _ in missing locations"

Fix volume transfer href issue

The volume transfer collection in url defined as "os-volume-tranfer",
but I got another define "tranfers" in href url. They are different.
So it should be modify.

Change-Id: I69a43012f2bb70ce5fc7b0331d2759527a261170
closes-bug: #1242980

Remove duplication of brick.iscsi in brick.iser

TargetAdmin and TgtAdm in iser is mostly a copy of TargetAdmin and
TgtAdm in iscsi.

Change-Id: I8d89a35c478485370b41f4dfd376de07b9fc9314

Merge "Add extend_volume for Huawei drivers"

Merge "Imported Translations from Transifex"

Merge "Uses oslo.imageutils"

Merge "Add auth_token settings to cinder.conf.sample."

Drop auth_token configs for api-paste.ini.

We now prefer to use cinder.conf to configure keystoneclients
auth_token configs.

Also, Devstack has now been update to allow this:

https://review.openstack.org/#/c/52259/

Related-Bug #1240753

Change-Id: I2a4b300af37eddf5010b97ca796f0552941642a8

Revert "remove cinder-rtstool because of rtslib dep"

This reverts commit b66c3361be2095186e19b0d44e49a8b2c48f7235.

Dependencies of this code (rtslib-fb) are now Apache-licensed,
which resolves the previous issue with this code being in-tree.

This patch is a direct revert, other patches will follow to
line up changes that have occurred between b66c336 and now.

Conflicts:
setup.py

Blueprint: lio-rtslib

Change-Id: I14786bddf419d98ff7c468b185462f5387dbbba1

Merge "Update openstack/common/notifier"

Merge "Fix generate conf script can't handle multistropt"

Let GPFS driver to rename snapshot with root permission

Deleting GPFS volume snapshot operation fails, because cinder
volume is not running with root permission.

Change-Id: Id00357030da171fddbc6abf82603ceabe4db73ff
Closes-Bug: #1242549

Imported Translations from Transifex

Change-Id: Idf752d935353317e59893a3885d32545130968a4

NetApp fix for 7mode iscsi volume stats

This fixes the bug for reporting correct
capacity information in case of 7mode
iscsi drivers.

Change-Id: Ie41009eca866830173809211d58470025be847e3
Closes-Bug: #1238967

Brick connector fix for NFS drivers

This change fixes the error that comes
while getting brick connector and attaching volumes
in case of NFS drivers in cinder. The attribute for
mount point base was not passed to attach_volume method
as the connector initialization logic is common for all
types of protocols. It is fixed by populating
the required parameter in the RemoteFsConnector
for NFS drivers.

Change-Id: I8601326b318f6f8c53a03610f1b4f2bfd14070ff
Closes-Bug: #1238085

NetApp fix ssc volume filtering inconsistency

This fixes the situation when the actual netapp
volume data structure becomes inconsistent
because of operating on the actual object
than the copy of it. It also introduces some checks
before calculating volume stats.

Change-Id: I626f9ca9aa8c7cc41ba4aa6058f14cc040f7301f
Closes-Bug:#1243081

Updated from global requirements

Change-Id: Ic96db4b4b462badc2fcbee62b40ebf3997ed6adf

NetApp fix mirrored stats

This fixes the incorrect reporting of mirrorred
statistics for NetApp iscsi and nfs backend.
The uninitialized and broken snapmirror is
not reported and only snapmirrored state
is reported back.

Closes-Bug:#1242808

Change-Id: I4b9f788e1f99b78d12db23bd92b6a277d5f64cb3

NetApp fix for compression and dedup stats

This change fixes the incorrect stats reported
for compression and deduplication by NetApp
iscsi and nfs backend.

Change-Id: I3e97d953b3ea2231c3eb1f950b0ca6705b3b2286
Closes-Bug:#1236839

Fix generate conf script can't handle multistropt

In case MultiStrOpt option's value is empty list, current extract_opts.py
logic will ignore it. This patch aims to update func _print_opt:

add the multistropt's option_name in conf even its value is empty list.

This bug also affects https://bugs.launchpad.net/cinder/+bug/1240783

Closes-bug: #1241348

Change-Id: Ica1da0cd20c97a587964cb0059836d609a440145

Add auth_token settings to cinder.conf.sample.

Updates our example config file so that it includes configuration
settings for the auth_token middleware.

A step towards using cinder.conf instead of the api-paste.ini config file
for authtoken configuration.

Once https://review.openstack.org/#/c/52259/ lands I'll push another
review which removes the settings from api-paste.ini (which takes priority).

Related-Bug #1240753

Change-Id: I6636d33ee522757145ac97fc354324a8b9379700

Add extend_volume for Huawei drivers

This patch adds extend_volume function for Huawei drivers.

Huawei T driver needs to create a slave LUN for the extended LUN.
And accordingly it needs to delete all these slave LUNs before deleting
the extended LUN.

HVS driver just sends a rest command to finish extending volume.

Change-Id: Iae17dba8c4d88ec09eb52b4a14bd17bc5a2c1ccc

Update openstack/common/notifier

Oslo version: 5e765b2546dab9d04e4641d92296bfa3d3b17ebf

Change-Id: I679a0f3a953cbe1904c3fd32bf33b5a656c2a938

Imported Translations from Transifex

Change-Id: I48307cde63b774a611c2675a1e9e67cbd518d17c

Merge "Imported Translations from Transifex"

Merge "Cinder extension to add used resources in absolute limits"

Merge "Storwize: Fix iogrp availability check"

Merge "Nexenta NFS driver: caching for appliance volroot"

Provide gettext _ in missing locations

A while back a change was merged that moved
our shortcut for gettext out of __init__
(change here: If4125d6bcbde63df95de129ac5c83b4a6d6f130a)

This worked out fine for the most part but broke the sphinx doc
builder for a number of files.  This patch just adds the proper
import to each of these files to get the builder working correctly
again.

Change-Id: Ifed20d309566be456c9519294714ccb45de76e00
Closes-Bug: #1209406

Nexenta NFS driver: caching for appliance volroot

Added caching for NexentaStor appliance 'volroot' value.

Change-Id: I3803981cc8c9b6c47dc9fccc6b2414e21d9d6285

Merge "Fix indentation errors in drivers"

Merge "Fix Huawei HVS driver AttributeError"

Cinder extension to add used resources in absolute limits

* totalVolumesUsed
* totalGigabytesUsed

DocImpact
Implements: blueprint cinder-used-resources-in-absolute-limits
Change-Id: I525a61043ce2f906c424738ab361ee7396f072b5

Fix Huawei HVS driver AttributeError

This patch checks the iSCSI port info and raises an exception
if it can not get the port info from the configuration.

Closes-bug: #1237185
Change-Id: I341ccbe77abd25421e5ee0b2d07ace3759fbccef

Storwize: Fix iogrp availability check

Do not check if vdisk_count is greater than zero to determine iogrp
availability. This is wrong, and leads to the driver not being able to
use empty iogrps.

Change-Id: Ia73189a11cfcc0641c1527293675361c4e78443f
Closes-Bug: #1240395

Merge "Don't zero out thin provisioned LV's on delete"

Merge "Nexenta NFS volume driver folder auto sharing"

Imported Translations from Transifex

Change-Id: I79473cf2987822f655b674bc49ad60ebb840a87f

Uses oslo.imageutils

Commit 035668 had the QemuImgInfo class moved to Oslo.
This class diverged from Nova and then missed some changes
made in Nova since then. The two projects will be able to use
identical classes by adapting imageutils.

Change-Id: I6ed352c42e45d32de94066c82f83e7332d4a98ed

Merge "Fix Huawei drivers to support other host OSs"

Merge "Fix lvm.extend_volume to pass Gig suffix"

Merge "Initialize shares variables for RemoteFsDriver(s)"

Don't zero out thin provisioned LV's on delete

Thin provisioned LV's don't need secure delete to protect
from data leakage.  Also, zeroing these out kinda defeats
the purpose of using thing provisioning.

This patch add a check for the lvm type and if it's thin simply
returns from the lvm.clear_volume() method.

Change-Id: Ie6764209018152565295291efc6fbba553698ae6
Closes-Bug: #1240299

Fix lvm.extend_volume to pass Gig suffix

The extend function in the lvm driver was not converting
the cinder size value to Gigabytes before passing the call
to the vg module.  The result was that we would attempt to
extend a volume to "new size in Megabytes" which of course
is less than the current size since we do a Gigabyte string
conversion on create and everywhere else.

This change makes sure we pass the integer change through
the sizestr method to get the G suffix needed to work properly.

Change-Id: I070962a3aa7038f612e19a93ccaa60cbc13008f6
Closes-Bug: #1240287

Nexenta NFS volume driver folder auto sharing

1. Auto sharing for NFS enclosing folders, this helps to avoid errors if user
forgot to share enclosing directory.

2. Added version history to NexentaNfsDriver doc string.

Change-Id: I9aa2a7b8760c687985aa11d85715188f1c1622f9

FK lookup failures during migration

There are a couple of cases where migrations have failed
upgrading from Grizzly to Havana, this seems to be isolated
to a couple of migrations so far and the error message is a
failure to lookup/associate the volume-id FK dependency.

It appears that this is caused by not setting the charset
in the migration, so the result is that the initial db setup
uses utf8 and the migrations are using the default latin1.

This patch goes through all of the migrations in Havana that
specify InnoDB and explicitly sets the charset to utf8 to match
the volumes table (and the other original tables).

Change-Id: I43b219ff5e4eea10a7391ad65ef68a80b7460370
Closes-Bug: #1233861

Initialize shares variables for RemoteFsDriver(s)

self.shares and self._mounted_shares are used by various methods
for RemoteFs-based drivers, but may not be instantiated early enough.

Initialize them in __init__ to ensure they always exist.  (Also fixes
pylint warnings.)

Closes-Bug: #1239741
Change-Id: I0ef884c28b82b7f694cf8a0fb4629c835da11c91

Fix indentation errors in drivers

Just some pylint fixes.

Change-Id: I1f851726a7c8285884121da097be574c447fa39c

Imported Translations from Transifex

Change-Id: Iea22697e85a260fea4893a45535ec44f8008fb98

Fix Huawei drivers to support other host OSs

Huawei drivers create Linux hosts by default when attaching volumes.
This patch makes them also support Windows, XenServer, AIX, etc.
The default OS is still Linux if it is not specified.

Users need to configure the host OS types in Huawei XML configuration
file. They need to set the items like this:
<Host OSType="Windows" HostIP="10.10.0.1, 10.10.0.2, ..." />
<Host .../>

When attaching a volume, the driver will get the host IP from nova. We
compare that IP with the IP in "HostIP" to get the corresponding OS type.

Closes-bug: #1229759
Change-Id: I36fd52b97f790f1c68eaf24b6c12e7ef5d16145d

Merge "Imported Translations from Transifex"

Fix all occurences of H404 Hacking warning

This fixes all triggers of hacking 0.6.x's warning:
H404 - multi line docstring should start with a summary.
and enables gating check on H404.

Change-Id: I034bd1f05da3f279d8d79aa14a7f6ce8bef5047c

Imported Translations from Transifex

Change-Id: I5052c7a1dc3de38fef14046078d93c583c7cee73

Merge "Remove option count from sample configuration"

Merge "Remove unused 'initiator' imports"

Merge "Refactor Nexenta iSCSI driver"

Merge "VMware: Fixed upload-to-image for available volume"

Merge "Fix tests to work in debug mode"

VMware: Fixed upload-to-image for available volume

Cinder generally does not allow upload-to-image operation on a volume
that is 'in-use'. This can however be over-ridden using the '--force True'
flag. The VMware driver cannot support upload-to-image when the volume is
in-use. This is a restriction for the VMware driver alone. When the user forces
an upload on a volume that is 'in-use' the Cinder api layer sets the volume
status to 'uploading' and calls into the driver code to upload. In this
scenario the VMware driver needs to fail the operation.

The current driver code here does this check wrongly by looking for volume
status of 'in-use'. Fixing this check to identify an in-use volume correctly.

Fixes bug: 1237338

Change-Id: If54edfdc242a7a1bff442b6bb4c5a9865eede1dc

Merge "Updated from global requirements"

Merge "Remove obsolete redhat-eventlet.patch"

Refactor Nexenta iSCSI driver

1) Rename volume.py to iscsi.py
2) Rename NexentaDriver to NexentaISCSIDriver

DocImpact
Change-Id: I117d881e1f5a70ea50e44c4a409e65961b85978f

Remove unused 'initiator' imports

Remove unused 'initiator' imports from driver.py and manager.py

Change-Id: I4bb3099d6099588d242fae7ed92d0bd9f7126fbb