Remove Storage Manager from cinder-manage

Removing leftover sm_backend manage code that was missed in the previous
code removal in 40cb16784f920387ef.

Fixes: bug #1207189
Change-Id: I52c44785924f489a85e4b5f947ed9b4adf679dd8

Merge "Adding support for iSER transport protocol"

Remove unnecessary metadata from the 3PAR drivers

Currently, both the HP 3PAR iSCSI and FC drivers are populating
the volume and snapshot metadata field with unnecessary data that
should actually be stored on the backend. This data should not be
accessible by the user which it is today and could be updated as well.

This patch will remove all custom 3PAR data from the metadata fields.

Change-Id: I3086be3856192a27fa1db1ada89d95c290c68df7
Fixes: bug 1203144

Adding support for iSER transport protocol

DocImpact

Implements: blueprint add-iser-support-to-cinder
Change-Id: I55fb7add68151141be571cb9004389951851226b

Merge "use 'exc_info=1' instead of import traceback"

Merge "Set bootable flag for volume serializer"

Merge "Update driver version to 1.1"

Merge "Add new persona value in the 3PAR driver"

Merge "Call get_session() only when necessary"

Merge "Fix volume_create()/snapshot_create() DB methods"

Merge "Execute DB API methods in a single transaction"

Merge "Improve DB API test coverage"

Merge "Remove xen storage manager tables"

Set bootable flag for volume serializer

In previous code we didn't set the bootable flag in volume
serializer, and even didn't check it in test. This is the
root cause for bug #1207155

This patch fixed this issue by set the bootable flag in serializer.

Fixed bug #1207155

Change-Id: I0219785aa7f30036747c230800447e99c383042c

Merge "Ignore "volume does not exist error""

Add new persona value in the 3PAR driver

A new persona type, '12 - OpenVMS' was added to the list of valid
personas in the 3PAR drivers. This persona was introduced in the
3.1.2 MU2 firmware update on the 3PAR storage array.

DocImpact

Change-Id: Ib848938d261acfdc8a422a03668cada109e97173

Update driver version to 1.1

This patch includes bumping the driver versions for both
Fibre Channel and iSCSI to 1.1.  Included a history change
that describes the changes since 1.0.

This patch also changes the way we do clone volume.  We no
longer have to check the status of the volume clone on the 3par
as it's instantly done now since 3.1.2 MU2 firmware.

Change-Id: I541ac7f97e6d1290bac6232d6c80e8ecf3a75dda

Merge "Tidy up the SSH call to avoid injection attacks in storwize_svc"

Merge "Fix pep8 and pylint violation in Nexenta volume driver"

Merge "Imported Translations from Transifex"

Merge "Test tools barfs on reusage of 'id' attribute."

Fix pep8 and pylint violation in Nexenta volume driver

Change-Id: Iec7f37ddd0f3850cb84e1cafe223b8f503a3629c

Test tools barfs on reusage of 'id' attribute.

Fixes bug #1207562

Change-Id: I822d63fe909ca5d6e3f0d45ba922f4852ad97e05

Ignore "volume does not exist error"

Patch to ignore "volume does not exist error" when driver is deleting volume.

Change-Id: I31645182e5495c44e67fe1add0a2e6c8222534b0

Merge "Factorize code between nfs.py and glusterfs.py"

Call get_session() only when necessary

A Session instance should be retrieved only when it's
really needed, e. g. to make a few DB queries inside a
single transaction or to pass the session to a private
DB API method, etc. At the same time, many queries are
simple and can be expressed by the means  of auxiliary
model_query() function.

Blueprint: db-session-cleanup

Change-Id: I2ddc0cda42a84fe600c04f4624db9c2933799bfc

Fix volume_create()/snapshot_create() DB methods

volume_create() and snapshot_create() DB API methods create
entities and return information about them by calling
_volume_get() and snapshot_get() methods. There is no need
to create a new transaction to call the corresponding 'getter'.

Unfortunately, fixing this breaks two existing tests, which rely
on the current behaviour of these DB API methods: both volume_create()
and snapshot_create() raise exceptions, nevertheless new entities are
created.

Blueprint: db-session-cleanup

Change-Id: Idecac70893ec280c149f9227f86a6959d70c15fe

Execute DB API methods in a single transaction

Many DB API methods do a few queries to a DB (e. g.  SELECT
and then UPDATE, or SELECT and then DELETE, etc).  By default,
a Session instance is used with autocommit=True, which means,
that each query to a DB is done in a separate transaction. This
is error-prone (as it may lead to race conditions or returning
of unexpected results) and makes rollbacks harder (if one of
transactions fail, the previous ones can not be rolled back).

This patch ensures that all DB API methods, which do a few
queries (or call private DB API methods), are executed inside
a single transaction.

Blueprint: db-session-cleanup

Change-Id: Ie6510becffdeb78048fe4a09511ab326627d3412

Improve DB API test coverage

This patch improves the test coverage of DB API methods a bit.

Blueprint: db-session-cleanup

Change-Id: Ib4b7312b6effca771a80d6b3137005cc28cb81e4

Merge "LVM / Block Device Drivers: Fix duplicated flags"

Imported Translations from Transifex

Change-Id: I0d2271905141d03ce5a4ef6f7da7fa7a5023fbb9

Remove xen storage manager tables

This removes the unused tables sm_backend_config, sm_flavors and
sm_volume. In addition, they're removed from the database API.

Change-Id: I02ff6434c2d6928f2e2b08053f6dcb6178edd773
Fixes: bug #1206962

Remove unused migration_* methods from db api.

There is migration_* group of methods in cinder
db api. These methods not used by cinder, they
inherited from nova code.

Add migration script for drop unused 'migrations'
table.

blueprint db-cleanup

Change-Id: I4a352fd9acb28bb86072884438af454c86559e71

Factorize code between nfs.py and glusterfs.py

Suppressed most duplicated code between nfs.py and glusterfs.py.

Change-Id: I8a25aa6e3b8947a1d8e75dc611fac217e3009c41
Fixes: bug #1204213

LVM / Block Device Drivers: Fix duplicated flags

- Import in lvm driver the duplicated flags from block_device driver.
- Register volume_opts in block_device drivers

Fix bug #1206944

Change-Id: Icb2c9411be060065ecf5efed293bacd6b735e299

Merge "Fix oslo.config.cfg.NoSuchOptError when running individual tests"

Tidy up the SSH call to avoid injection attacks in storwize_svc

Let the command and arguments form up a list and avoid the extra arguments
attackers inserted to the command string

fix bug 1192971

Change-Id: I57b3fe60e64d9d0dc1ea9a18442c877be2ceece3

Merge "Storwize/SVC: Use reserved percentage from conf."

Merge "Update to latest oslo rootwrap"

Storwize/SVC: Use reserved percentage from conf.

For reserved_percentage, use the value from the configuration file
instead of 0.

Change-Id: I549822c09449f8d9fc0c8b84d56660c381bddbd5

Merge "Pop out 'offset' and 'limit' before use for filter"

Merge "Imported Translations from Transifex"

Merge "Add more info to delete error message."

Imported Translations from Transifex

Change-Id: I2e31d6907e7499a8d2db6c16a69e8f71c45f7983

Merge "Allow connect by FC-only or iSCSI-only systems."

Merge "Fix running of migrations tests by Jenkins gate"

Pop out 'offset' and 'limit' before use for filter

In previous code of _items() from api/v{1,2}/snapshots.py,
and also the _items)_ from api/v1/volume.py.we didn't pop
out the 'offset' and 'limit' fields from HTTP get params
before we use such params for filter.This is the root cause
for bug #1205956

For non-admin user, since 'offset' and 'limit' is not in the
allowed_search_options, so the volumes.remove_invalid_options
will help to filter them out. As a result, it walks around this
bug.

But for admin user,the volumes.remove_invalid_options will not
try to filter the search_options.So for admin user, the 'limit'
will appear in search_options, then obviously get no result.

fixed bug #1205956

Change-Id: Ib1a66c9d104ac52d6eae18be7f06d02985d4c2fd

Merge "Make unicode-to-utf8 conversion universal in ceph backup driver."

Imported Translations from Transifex

Change-Id: Idf33136691295d8ff15dae48ba3b4f6b7e002bbb

Fix running of migrations tests by Jenkins gate

DB schema migrations tests are always skipped for MySQL
and PostgreSQL backends, when running gate jobs. This is
due to the bug in the function, which checks, if given DB
backend is available.

Fixes bug 1205386

Change-Id: I80d5da64347279b8fb5a975ff0d11f31fe35c6ce

Merge "Update references with new Mailing List location"

Update to latest oslo rootwrap

Update Cinder rootwrap to the latest from oslo-incubator. This allows
to import the latest filters and bugfixes, in preparation for the
havana release.

All the changes are coming directly from the Oslo "rootwrap" module
sync.

Change-Id: Ie26562b9e934d48275dbd3993af1a8d0bdde77d1

Make unicode-to-utf8 conversion universal in ceph backup driver.

librbd does not like unicode strings. A patch was
recently applied (c98cf2d8) to make all config
values utf8 but there are other areas of the ceph
backup driver where this also applies. This patch
adds a new method which converts strings to utf8
and replaces all relevant uses of str() with this
new conversion.

Change-Id: I8c3b01d1ea00b601c599396e3a662f172ffb9757
Fixes: bug #1206044

Add more info to delete error message.

Our cases for what we allow delete on are limited, this is
fine, however we should log the status of a volume that we
are unable to delete so there's some feed-back as to exactly
why the delete call failed.

Change-Id: I95a9584d4875e188024be13bb53246be63c72374

Merge "Fix unit suffix and add no_suffix option."

Merge "Removed the dep on cinder.utils"

Update references with new Mailing List location

Yesterday, openstack@lists.launchpad.org was migrated with
all users to openstack@list.openstack.org.

This patch updates references to the old mailing list with the
new, to ensure that people encountering them don't accidentally
try and join the old list!

Change-Id: I7cd33f95b7baa22dbd4abb6e391ee59876998f59

Allow connect by FC-only or iSCSI-only systems.

Currently the brick code raises exceptions if it cannot determine the
initiator name or FC HBA information. This patch makes this information
optional, as Nova does.

Fixes: bug 1203486
Change-Id: I8efc101d7ac980261a8bc5d74209cafe4b06cc15

Merge "Create volume from snapshot must be in the same AZ as snapshot"

Removed the dep on cinder.utils

This patch ensures that we don't have any
dependency on cinder's utils.py.

bug 1205100

Change-Id: Ic8b7cc532a1804e0f3b7ad89e24f8edf73cf78a5

Merge "Imported Translations from Transifex"

Merge "Fix volumes search by metadata"

Imported Translations from Transifex

Change-Id: Ief9b93dbcfd4fad56d97442b698c0c5844332e48

Merge "Using volume name property instead of using template and id."

Merge "fix name 'update_volume_status' to 'update_volume_stats'"

Create volume from snapshot must be in the same AZ as snapshot

This issue and patch also apply to cloning volumes.

When creating a volume from a snapshot we need to pick the
availability zone of the snapshot's source volume. This patch
goes further and enforces that the new volume must be in the same
AZ as the snapshot. It raises an user error if the user tries
to create a volume in a different AZ to the snapshot.

This is enforced across all drivers because creating a volume from
a snapshot is implemented in the drivers and not all drivers are
guaranteed to support creating a volume from snapshot is a foreign
AZ. More to point if you don't support create a volume like this,
and we allow this then you can create volumes and instances that
get stuck in some weird states that require a support call to fix.

If you do support cross AZ functionality then you can override
the enforcement of that cloned volumes most be in the same AZ
as their source via the 'cloned_volume_same_az' option.

Change-Id: Iafc8f35ecc6a6b51dbe6df8bf44eaa3e79c3bd01
Fixes: bug #1202648

Merge "Migration for detached volumes with no snaps."

Using volume name property instead of using template and id.

Change-Id: I478f875ed509fb591799a78b7fd52bc830e6fd1c

Merge "use encode('utf8') instead of str()"

Merge "get_snapshot should populate the snapshot metadata"

Merge "Fix further Hacking 0.6.x warnings"

Merge "GPFS stub calls to truncate and dd in unit tests"

Merge "Storwize/SVC: Use VolumeDriver's copy vol<->image."

Fix unit suffix and add no_suffix option.

In Cinder we've been using gibibytes, however
we have code in some places using Gigabytes, the brick
LVM code was one of those places.

This change sets the default suffix to gibibytes/mibibytes (1024 based)
and also provides an option to omit the suffix from the response now
that we can say that we're consistent in what is expected.

Change-Id: Id6274ba732bbdf484c5544e005155aebd68eaf2f

GPFS stub calls to truncate and dd in unit tests

gpfs unit tests had calls to truncate, and allowed
driver call to dd and df.  Modify tests to stub these
out.

Also remove references to image_path.  This was a temp file
created using truncate that is no longer used.

Change-Id: I437b56505ba025b256b051dfaf43d8124005f854
Fixes: bug #1203075

Merge "GPFS convert glance image to raw only when needed"

Merge "Implements extend volume feature in HP 3PAR driver"

Storwize/SVC: Use VolumeDriver's copy vol<->image.

Inherit the VolumeDriver copy volume<->image functions. This patch also
creates a new SanDriver class which is protocol-agnostic, and leaves
the SanISCSIDriver class for drivers that wish to use it.

Change-Id: Iad5cb030545ef7f4e01d006f1e63cdeeec713bf6

Merge "Implement extend volume for Storwize/SVC."

Implements extend volume feature in HP 3PAR driver

This patch enables the extend volume feature to be used in cinder
when the backend storage is a 3PAR array.

Change-Id: I8c8422f0ffc6d55ebe80fa8b2962b54eca266974

use encode('utf8') instead of str()

It is not clear for converting a unicode to string by using str().
Instead we should use var.encode('utf8') to do this.

Change-Id: I8ce4c98f819c98e835a6d8298fe22f2fd0ca18b6

Imported Translations from Transifex

Change-Id: Ia984fca524ee33c0ce76931187a5293fb80d8b26

Migration for detached volumes with no snaps.

Implementation of volume migration for detached volumes with no
snapshots. Migration is initiated by an admin API. The scheduler
confirms that the specified destination host can accept the volume.
The source driver is given the opportunity to migrate the volume on
their own. Otherwise, a new volume is created on the destination, both
volumes are attached, the data is copied over, the volumes are
detached, the source is deleted, and the destination is renamed. In
the database, the destination volume's attributes are copied to the
source so that the volume-id remains unchanged, and the destination
volume row is deleted.

DocImpact

Implements: bp volume-migration
Change-Id: Ib6fcf27051f45e60aa3ba5f599e88c1421db753e

get_snapshot should populate the snapshot metadata

Update the query in db api snapshot_get() to join with the table
snapshot_metadata, so that snapshot metadata is returned. This makes the
api snapshot_get() function in the same way as volume_get().

Fixes: bug #1204446
Change-Id: I37004140f6a11b96aaeb3af6c631028a44541d3a

Merge "Adding driver minimum features and volume stats to dev doc"

Adding driver minimum features and volume stats to dev doc

This is a first pass in getting information out of the wiki and into the
dev docs, so changes can be reviewed properly as discussed at the Havana
summit.

Change-Id: I75e71b3e5df69e6b507ee64d330a9ec2455266c5

Update RBD driver to be compliant with HACKING

Fixes imports, doc strings, and dict style.

Change-Id: Id678d972b9bf744239460fe97155a6a7bd8a868e

GPFS convert glance image to raw only when needed

Modify _gpfs_fetch_to_raw to check image format.  If already in raw
format, no need to call convert_image.  In that case, simply rename
to destination name.

Change-Id: I197d99194f93c02ce3c501de25433d89b23e6a35
Fixes: bug #1201676

Merge "Add create & attach times to SolidFire attributes."

Fix oslo.config.cfg.NoSuchOptError when running individual tests

We need to import cinder.common.config wherever we are using an olso
configuration option from this module. Otherwise it is not necessarily
the case that olso knows about the option and it complains.

cinder.tests imports this configuration module but it not the case that
this module has been imported when you you are running individual tests.

Change-Id: I8f2c966848f55c80213d2ecd2dbf75b777627e6b
Fixes: bug #1203737

Fixes RBD driver docstring format issues.

All docstrings should now comply with HACKING.rst

Change-Id: I0892af8d81415880d5e0f9aab5c7cd95ff3bf6b9
Fixes: bug #1203697

Merge "Cleanup README.rst"

Merge "Refactor SSHPool.get() to use Pool.get()"

Merge "Added incremental backup support to Ceph backup driver"

fix name 'update_volume_status' to 'update_volume_stats'

_update_volume_status() private method is called by
get_volume_stats(). This is confusing as the volume's
stats and not status gets updated.

fixes bug #1199327

Change-Id: I9f7971e457250798320c14d3f58bdc199c8cfceb

use 'exc_info=1' instead of import traceback

We need store traceback message in log sometime. Python logging module
already provide a argument to do that. For example, we could:

logger.error('msg', exc_info=1)
logger.debug(e, exc_info=(type_,value_,tb))
logger.exception('msg') # exception add exc_info automaticly

Change-Id: Iaf541e4f4ea139d9315ac1990f0e6079c8f8a20d

Fix further Hacking 0.6.x warnings

* Add missing Apache license header
* Avoid using locals() in string formatting

Change-Id: Ib9fa878babae5c50bc77e48c62b33a8ebfe39f7f

Add create & attach times to SolidFire attributes.

This change simply adds create_time and attach_time to
the SolidFire devices attributes.

Times are taken from the volume-ref object, attach_time
is only set/present after an attach, and is also removed
from the attributes list on a detach.

This also required that we actually set attach_time on the
volume in the db.  We have the column, but we weren't actually
setting it, so this change required that be fixed.

In the future we should also look at changing the attach_time
from a string to a proper date-time object.

Change-Id: Ib9577ac160596a6878d1729f6022885b6cfa90e2

Implement extend volume for Storwize/SVC.

This implements the extend volume functionality for the Storwize/SVC
driver.  Extending volumes with snapshots is not supported, as this
will require converting the snapshots into full copies, which will eat
up free space.

Change-Id: I5fb8c6967e6f3df1adfef46e05c832a953dd7131

Cleanup README.rst

Change-Id: Ia7413db4d71c85cbb382f289f36c02b0f838571d