Imported Translations from Transifex

Change-Id: I71bcb713fc49faea2e1e442f08087800e0ea417a

Checks the volume_clear flag and just return if it is none

Refactors the clear_volume method in LVMVolumeDriver, checks the
volume_clear flag firstly and return directly if it is none.

Change-Id: Id2523cfaaf61c7d6dec51c0daf6255d9de5d50f3

Merge "Minor reorg for (array resource usage and backend options naming)"

Merge "remove improper assert usage"

Merge "Add tests for cinder/api/urlmap.py"

Merge "Fix error when QuotaUsage.updated_at is NULL"

Merge "Add te field user_id into the volume detailed information."

Merge "Mark methods used in class only with prefix "_""

Merge "Add Brick Fibre Channel attach/detach support."

Merge "Fixes ceph-backup failure if original volume deleted"

Fix error when QuotaUsage.updated_at is NULL

When QuotaUsage.updated_at is None, it will raise non-expected exception.
Just verify it.

Fix bug 1197259

Change-Id: I2b41d025f8cffa6c0b3f0153a5194d5e7b1a05df

Add Brick Fibre Channel attach/detach support.

This patch adds the required code to do
Fibre Channel attach and detaches of volumes.
This code has been pulled over from Nova's
implementation of FC attach/detach.

Also adds a new driver config entry to enable
multipath support for iSCSI and FC attaches
during volume to image and image
to volume transfers.

DocImpact

blueprint cinder-refactor-attach

Change-Id: I436592f958a6c14cd2a0b5d7e53362dd1a7c1a48

Increase timeout period for clone volume.

Current timeout value for clone volume in the
SolidFire driver is 20 seconds, this is fine
in many cases however there seems to be a
number of customers doing clones of
volumes >= 400G.

A populated 400G volume is taking upwards of
35 seconds to clone in some cases resulting in failure.

There's no reason not to bump this timeout value up
significantly to a worst case scenario (ie multi-terrabyte volume).

Fixes bug: 1202007

Change-Id: I98c399f5d647e14f031018f7fc1cc43bb0d94c84

Merge "Adds multiple iSCSI port support to 3PAR"

Merge "Be sure to check deleted types on quota update."

Merge "CoraidDriver: Allow volumes in error state to be deleted"

Be sure to check deleted types on quota update.

If a volume-type is deleted, and later a volume
that's assigned that type is deleted the quota
update will fail and result in a trace for
VolumeTypeNotFound exception.

The volume is succesfully deleted, however the
quota information for the volume-type let alone
the other quota items for the volume are not
updated.

Fixes bug: 1200709

Change-Id: Idd687514be9d622df84aad54b1b33ddc6615851b

CoraidDriver: Allow volumes in error state to be deleted

This fix will allow the delete call to be successfull if volume
doesn't exists on the SAN.

Fixes bug 1195788

Change-Id: I0396f1252c8faafff3e8b4f9a4aeffb930350a8d

Adds multiple iSCSI port support to 3PAR

Added support to the 3PAR iSCSI OpenStack driver to provide the
ability to select the best fit target iSCSI port from a list of
candidate ports. The first time a volume is attached to a host,
all iSCSI ports configured for driver selection, are examined for
best fit. The port with the least active volumes attached will
then be selected as the path to the 3PAR array. Any subsequent
volume attach, to the same host, will use the established target
port.

DocImpact

Fixes bug #1197036

Change-Id: Icf8c28ea3f201e5e21c9a6ed00a2fbdda445c8b3

Implement extend volume functionality in Sheepdog

This implements the extend volume functionality for Sheepdog driver.

Change-Id: Id7361e9571742bea210f13ced722829f489e7cb0
Implements: blueprint extend-sheepdog-volume

Mark methods used in class only with prefix "_"

In the swift driver the three methods prepare_nbackup, backup_chunk
and finalize_backup are used internally in the class only and are
not meant to be used from outside. Thus marked with prefix "_"

Change-Id: Idf3a75f2e799c16b1442a349e0724d3e5af2795a

Merge "Add flag argument to 'cinder-manage config list'"

Merge "Catch additional connect fail cases."

Merge "Implement extend volume functionality in Rbd"

Merge "Clean up Huawei tmp files from tests."

Add te field user_id into the volume detailed information.

Fixed Bug 1200555.

Change-Id: Ibc36453caa174432b69597b1b2a0b314a7730357

Merge "Imported Translations from Transifex"

Catch additional connect fail cases.

When fixing bug/1195910, some other failure
cases weren't considered (ie not authorized,
unreachable dest etc).

We should fix this up to handle the various
connection error states accordingly and also
add some hints to the log output to help
determine where to look in case of failure.

Fixes bug: 1201592

Change-Id: Ib099c7af705e7c49be4d0f723c8a20262c942e7f

Merge "Implement extend volume functionality in SolidFire"

Merge "Add unit tests for cinder/api/contrib/volume_actions."

Merge "Use base ISCSI driver to fulfill some driver requirements"

Clean up Huawei tmp files from tests.

Remove tmp files created by Huawei tests.

Change-Id: Id2eb4034b7be9d76843659647387344914ce236a
Fixes: bug 1200416

Add flag argument to 'cinder-manage config list'

Unlike other cinder-manage 'list' commands the 'config list'
option doesn't allow users to specify a filter to limit
the output.  This commit adds the ability to specify
the flag the user wishes to display.

If no flag is specified the default behavior is still to
display all the configured flags.  If the flag requested
is not found, cinder-manage reports that the flag was not
found.

(fixes bug 1187137)

Change-Id: I698f4c06d7e93217d8f307a880e0ae40711151c2

Imported Translations from Transifex

Change-Id: Ie950672cd1eb59c78124a84c37da620a3b4af97f

Add generic block device driver

This driver adds an ability to create volumes on any block device on
local host.

This driver supports the following features:

- Volume Create/Delete
- Volume Attach/Detach
- Get Volume Stats
- Copy Image to Volume
- Copy Volume to Image
- Clone Volume

Not implemented:

- Snapshot Create/Delete
- Create Volume from Snapshot

These features are not implemented because there is no generic way
to create snapshots for block devices.

bp block-device-driver

Change-Id: If5fcaf2775daf660c46d630eea0f9633ca816ee9

Use base ISCSI driver to fulfill some driver requirements

Cinder has a list of minimum features that must be implemented by each
driver. This uses the copy_volume_to_image and copy_image_to_volume
implementation from the base ISCSI class. Also use the base for raising
NotImplementedError. This touches the Nexenta and Zadara driver.

Change-Id: I44a347e126a783e38d3a68cba23306a571aec43b

Merge "Cleanup and make HACKING.rst DRYer"

Cleanup and make HACKING.rst DRYer

Reference the OpenStack hacking guide in HACKING.rst and remove
duplicate entries.  Add placeholder section for cinder specific rules.
cinder specific rules can be created using hacking's local check
support.

Change-Id: Ia74da70363e3fe602405a440c1d2ec75052e9193

Merge "Handle errors raised by extend_volume"

Merge "Fix a few Sphinx warnings"

Merge "Add support to import images into sheepdog volumes."

Merge "Update requirements from openstack/requirements."

Merge "Enable zero the snapshot when delete snapshot in LVMVolumeDriver"

Update requirements from openstack/requirements.

Fixes bug: 1200214

Change-Id: I31edd5283b72ac46e99a11aca196f5b9915c4465

Enable zero the snapshot when delete snapshot in LVMVolumeDriver

Because snapshot without 'size' field, So clear_volume method in
LVMVolumeDriver will skip secure deleting. Get the size of snapshot from
'volume_size' filed, So it can zero the snapshot.

Remove the 'size_in_g' parameter in _delete_volume method, because it never
used. Add a unittest for clear_volume method.

Fixes  Bug #1198185

Change-Id: Ie919b50ce4fb276f29ab2e0279f868a691ea7bef

Fixes ceph-backup failure if original volume deleted

Fixes: bug #1199661
Change-Id: I21f979bf2c0ca6910a6437cb6277193f71fed664

Merge "Ignore files created by Sphinx build"

Implement extend volume functionality in Rbd

This implements the extend volume functionality for Rbd driver.

Implements: blueprint extend-rbd-volume
Change-Id: I7ddbd0dda742627e959ac672b125555225238030

Handle errors raised by extend_volume

Errors raised by extend_volume aren't handled by the manager.
This means the volume status will not be updated to 'error_extending'
when an error is raised during the process.

* Handle such errors and update volume status accordingly
* Add logging for the extend volume process

Fixes: bug #1199471
Change-Id: I06a037af0344d1eaf4115f0af5a85ceeab1ffd37

Minor reorg for (array resource usage and backend options naming)

1. Use HUS target/initiator resources efficiently.
2. Command options aligned with openStack scheme of using dashes.
3. Self tests modified to accomodate #1 and #2.

Change-Id: I7d23a980f237c973538ca08215f77a1f69cc2517
Fixes: bug 1200441

Merge "Check enabled backup service before rpc request"

Merge "Fixed Ceph backup librbd segfault"

Check enabled backup service before rpc request

In previous code we didn't check whether we have an enabled
backup service there before we send out the rpc request,
results that if no enabled backup service there,the volume will
stays in "backing-up" state and the backup will stays in "creating".

This patch fixed this issue, we exam whether at least an appropriate
(same host,az as the volume and is_alive) backup service available
before we do the rpc request.

Fixes: bug #1200040
Change-Id: I77154528f489ed20f7b784e6fcefccf15dc81d1d

Merge "Enable setting blocksize on volumes."

Fixed Ceph backup librbd segfault

Change-Id: I1a6b9935eb7da9fca5b572ea4823bae3def99ea0
Fixes: bug #1198271

Merge "    cinder.api: Replace 'locals()' with explicit values"

Merge "Fix missing volume_name_template flag."

Merge "Consist terminate_connection function signature"

Merge "Add support for storing volumes on GPFS"

Merge "Add unit tests for cinder/api/versions"

Merge "Update upper bound of keystoneclient version."

Add support to import images into sheepdog volumes.

Supporting import images from glance to sheepdog volumes.
Unit test framework for sheepdog is added too.

Fix Bug #1148784

Change-Id: I8ffd1bc1b2d719aed27ce0d98eaa41fef8027ca2

Add tests for cinder/api/urlmap.py

Add tests for unquoting and parsing functions in
TestParseFunction class
Add tests for Accept class methods:
 - TestAccept class - test cases for processing content types
 - TestUrlMapFactory - test cases for urlmap factory
Add tests for URLMap class methods except __call__ method in TestURLMap

Change-Id: I3f1aa527f49175d9fac6fbe7309383709c30c237

remove improper assert usage

There're many talks about it. An assert should be used for `never
happen` cases, not common paramaters validating.

With grep, we could many all assert statement used in none-test codes:

cinder/volume/drivers/san/solaris.py:110:
cinder/volume/drivers/san/solaris.py:116:
cinder/volume/drivers/san/solaris.py:161:
cinder/volume/drivers/san/solaris.py:162:
cinder/volume/drivers/san/solaris.py:163:
cinder/volume/drivers/san/solaris.py:164:
cinder/volume/drivers/san/solaris.py:170:
    checking cmd output which should never changed, so leave it
cinder/db/sqlalchemy/migration.py:113:
    ensure file existence from impossible cases, so leave it
cinder/utils.py:
    used for functional flow, so use ValueError instead

fixes bug #1199354
Change-Id: I2b1701269bdf7c8737548e57bd940921a6256372

Enable setting blocksize on volumes.

Some back-ends support blocksizes other than the default 512 (like 4096),
this change adds a provider_geometry column to the volumes table,
format is "physical_block_size logical_block_size".

This can then be used by libvirt to determine if it should pass in
non-default block_size info, and there's a method for future
geometry/disk info that might be needed.

Fixes bug: 1196248

Change-Id: I8d40bc56403154fbe955cd4ccf8f0c55fc9eb7c5

cinder.api: Replace 'locals()' with explicit values

    Help bring source code into compliance with the
    Cinder Style Commandments:
    https://github.com/openstack/cinder/blob/master/HACKING.rst

    This change covers all affected source in the
    cinder api module, specifically:
    cinder/api/contrib/volume_actions.py

    Partially fixes: bug #1190758

Change-Id: I2134e69b70a5a5132847168f60b4d192bdf0b536

Update upper bound of keystoneclient version.

This is the intermediate step so that we can update the the lower
bound of keystoneclient in openstack-requirements.

Change-Id: Ie6d973ccd1263243ebf0779ae59ef32416bf7087

Fix missing volume_name_template flag.

volume_template_name was converted to a self.configuration option,
however we don't import that opt in the self.configuration changes.

This patch switches the specifier back to the global CONF

Fixes bug: 1199909

Change-Id: I1431ba8a46b3a86ed77c02646a1c5fd1f62ae010

Change check-detach to reject more states

Change check_detach is reject anything other than 'in-use', rather than
just rejecting 'available'.

Fixes bug #1199922

Change-Id: I3180540ca7bb699a3494ca4eea1389ae8a117df0

Implement extend volume functionality in SolidFire

This implements the extend volume functionality for SolidFire driver.

Implements: blueprint solidfire-extend-size-support

Change-Id: I00dc15f722c70b8835ae5a060ca8f0c4a80a1acb

Add unit tests for cinder/api/versions

Added to the following unit tests:
  Test action args;
  Test get most recent update;
  Test create version entry;
  Test create feed.

Change-Id: I760e8f419be529cda969e848f151a8cab1053dce

Merge "Add interface class for backup drivers"

Merge "Make String column creation compatible with SQLAlchemy 0.8"

Merge "Remove suds requirement"

Merge "Move brick initiator tests to brick subdirectory."

Merge "Don't pass 'session' arg to public DB API methods"

Merge "Sync install_venv_common from oslo"

Make String column creation compatible with SQLAlchemy 0.8

3 migration scripts used the convert_unicode, unicode_error, and
_warn_on_bytestring arguments when creating String columns.  These
seem to cause problems with SQLAlchemy 0.8.  Nova excised all use
of such arguments in commit 93dec58156e when squashing migrations
for Grizzly, and seems to have no problems with SQLAlchemy 0.8.

Fixes bug 1199453

Change-Id: Ie4b46339423e6a1ad3d8ca699a2412b825206c0e

Remove suds requirement

Last usage of suds was removed in
https://review.openstack.org/#/c/33168/. suds is
meanwhile unmaintained and has pending security issues,
so better remove references to it.

Change-Id: I7e66a1b6e3a3189b07b30564f7b02f5e195944ff

Add support for storing volumes on GPFS

Key functions include efficient creation of snapshots and clones using
file system level copy-on-write mechanism. Copying of image blocks is
also avoided in case Glance backend repository happens to be on GPFS.

Change-Id: I0a532fe06798d07f21d79ee45444bb9c0a025430
Implements: blueprint gpfs-volume-driver

Merge "Fix extent size issue when creating thin pool."

Merge "Add ability to specify SolidFire API version"

Merge "Refactor reschedule in exception handling of volume manager"

Consist terminate_connection function signature

Clean up the "force=False" in function signature for terminate_connection
since it already accept **kwargs.

Thus make all function signature for terminate_connection consist to
    def terminate_connection(self, volume, connector, **kwargs)

Fixes: bug #1190419
Change-Id: I8765cb8f2aa3cfbb49ff57ae034b148aee35a8c4

SolidFire API RequestID is useless.

The SolidFire API can take an int or a string for a request-id,
when using an int however it needs to actually be a valid int.

The driver currently was doing an int(uuid) which is too large and
as a result get's truncated making it difficult or impossible to track
request-ids.

This patch chanes the generate request-id to form a hash of the uuid so
that it can be tracked.

Fixed bug: 1199198

Change-Id: I38d5e3d189e679678898c329a9fa173a47853d47

Add ability to specify SolidFire API version

This change is required for future works in the SolidFire driver.
New SolidFire features (such as extend) are only available in
the latest version of the SolidFire API.

Default to '1.0' for backward compatibility. SolidFire still supports
the '1.0' version in its latest release.

Change-Id: I93590ab297d746d65a58f9166d160d0c1d833014

Refactor reschedule in exception handling of volume manager

Previous exception handling has a pitfall that may potentially clear
the sys.exc_info() (by calling SQLalchmey to update db). This patch
refactors some part of exception handling in create_volume() to make
sure sys.exc_info() is retrieved so that we can log and reraise it;
also we make sure exception be reraised at the end of exception handling
no matter the request is rescheduled or not.

As a side effect, we fixed a bug in unittest which didn't provide
correct argument to db API but previously this exception has been wrongly
consumed by volume manager's exception handling (not reraise exception
when request is rescheduled).

fix bug: 1197648

Change-Id: Idce5d06f8be1fb6018012503ec7f844898a21b25

Merge "Use oslo.sphinx and remove local copy of doc theme"

Don't pass 'session' arg to public DB API methods

DB API is an abstraction layer, which is used to make it
possible to switch DB backends easily (though we've got only
SQLAlchemy backend at the moment).

Public methods of DB API should not accept any backend-specific
arguments (i. e. a Session instance, that is an SQLAlchemy entity
to work with DB transactions).

This patch removes 'session' argument from all DB API public methods
(except volume_data_get_for_project() and snapshot_data_get_fro_project(),
which are a bit tricky and will be fixed by another patch).

If a DB API method must be called by another one in the context of a started
transaction, a private method is used. It accepts the same arguments as the
corresponding public method plus one additional argument to pass the transactional
context (in case of SQLAlchemy backend it's a Session instance).

Blueprint: db-session-cleanup

Change-Id: Iabe7ea834ec07f6520614de2461b9ad1ab7a7ac2

Add interface class for backup drivers

This fix introduces an interface class to define the structure of all backup
drivers. It also renames backup/service to backup/driver.
To be backward compatible a mapping functionality is introduced to map old
backup services to backup drivers.

Implements: blueprint refactor-backup-service

Change-Id: Ic3fca567111f4bd1b221689c73cd5c3bab4a777b

Prevent wrongly privilege escalation of a context

Current codes in create_volume() may exists a scenario that
a context which is not elevated but after it fails in volume
creation, it becomes elevated. This patch saves original
context, so that if it fails in volume creation simply use the
original context for further scheduling.

Fix bug:1187076

Change-Id: I2822b1612ec741209b278fc65f18d0f8f3243e0a

Move brick initiator tests to brick subdirectory.

Move brick initiator test file to brick subdirectory.

Change-Id: If08281ce067a3e462072bd7d9ab4db555e6930c5

Fix extent size issue when creating thin pool.

The LVM create thin pool rounds up extents, this
change rounds the free space down to an int to avoid
this issue and also cleans up some comments and
code around how PV's are set up and used.

Change-Id: I725aa819c21c38f464595d0146d6640ecd1e6440

Merge "Add check for snapshot to Brick LVM."

Sync install_venv_common from oslo

Also grab a related doc reference while we're at it.

Change-Id: I2590970767f043f35a62a4dfa94be4ee86fbf138

Fix a few Sphinx warnings

Corrects some rst formatting to eliminate warnings in
the documenation build.

Change-Id: I4026a1c8e7fae1928ca50d80aa1b5440faf754da
Signed-off-by: Doug Hellmann <doug.hellmann@dreamhost.com>

Ignore files created by Sphinx build

Change-Id: I5eafa7aefc8da18527ec14b9b116f7132787f667
Signed-off-by: Doug Hellmann <doug.hellmann@dreamhost.com>

Use oslo.sphinx and remove local copy of doc theme

Use the new oslo.sphinx version of the OpenStack doc
theme instead of copying it into this repo.

blueprint oslo.sphinx

Signed-off-by: Doug Hellmann <doug.hellmann@dreamhost.com>
Change-Id: I0bd91f7bb43f97b99051fed65b75fc05d5149cc8

Merge "Add execute wrapper to brick LVM code."

Merge "Rename cinder.flags to cinder.common.config"