Merge "Utilizes assertIn and assertNotIn"

Merge "copy_image_to_volume for Nexenta volume driver"

Merge "Sync rpc fix from oslo-incubator"

Merge "Fixes bug to allow for encrypted volume deletion"

Merge "Remove _create_volume function from several tests"

Merge "Increase test coverage for cinder.image.image_utils"

Merge "Add support for Havana missing features in Windows driver"

Merge "Fix pep8 violation in backup"

Merge "Clone volume with right size with SolidFire"

Add support for Havana missing features in Windows driver

The following features were added:

-copy_volume_to_image (Havana)
-copy_image_to_volume (Havana)
-get_volume_stats (Havana)
-extend_volume (Icehouse)

The test mocking based on binary pickled files were replaced by mox.

Change-Id: I92c681280d6f7b85bcba7a5e3513f2bdb6c13f1d
Implements: blueprint windows-storage-driver-extended

Merge "Add venv wrapper for check_uptodate.sh"

Add venv wrapper for check_uptodate.sh

tools/conf/check_uptodate.sh is added in run_tests.sh

For simple, run "run_tests.sh -p" will call it, and get following error:

Failed to collect options from module
cinder.volume.drivers.san.hp.hp_3par_common: No module named hp3parclient

Actually, the hp3parclient is listed in test-requirements.txt, and it is
installed in venv.

the check_uptodate.sh should run in venv to get correct result.

update the error message to update the cindier.conf.sample correctly.

-----------
Test method
-----------
$ pwd
/opt/stack/cinder

$ source .venv/bin/activate; tools/conf/generate_sample.sh

(.venv)$ deactivate

$ ./run_tests.sh  -p
Running flake8 ...
// no error emitted here

Fixes Bug #1219197

Change-Id: I9b3eaf3c1a5eb395eefed28bb907685cdef147aa

Clone volume with right size with SolidFire

It is possible to clone a volume with a size greater than
the source volume. When using the SolidFire driver, the volume size
was not passed in the call made to the SolidFire API when
cloning a volume.

It resulted in a cloned volume having the same size as the source
volume but the correct size in the Cinder database.

This changes makes sure the cloned volume has the correct size
by explicitly passing the requested size when calling
the SolidFire API and cloning the volume.

Fixes: bug #1219105
Change-Id: I5628c7fa922780d6b0601e2daa79310a61085edc

Fixes bug to allow for encrypted volume deletion

delete_key in cinder/volume/api.py was called with incorrect parameters.
The error prevented encrypted volumes from being deleted, but the fix
has been applied and unittests written to prove the functionality.

Change-Id: I3b93da84f97efe2a3afa057907bbfa10336eb9de
Implements: blueprint encrypt-cinder-volumes

Sync rpc fix from oslo-incubator

Sync the following fix from oslo-incubator:

76972e2 Support a new qpid topology

This includes one other commit, so that the above fix could be brought
over cleanly:

5ff534d Add config for amqp durable/auto_delete queues

Change-Id: I1fd5aaf87ec87836df3e44e83247bf82301475f5
Closes-bug: #1178375

Move comment back to right place

The comment about skipping schedule for create volume from snapshot
in cast_create_volume() was mis-placed when this code was ported to
taskflow.  This patch moves the comment back to where it belongs.

Change-Id: I329c78a05143bf8589d9665dc4ff03fa80da6ec9

copy_image_to_volume for Nexenta volume driver

This patch implements copy_image_to_volume in Nexenta volume
driver, because volume must be exported before copying image
to it.

Change-Id: I9dc725095944d166fee415f3f605268c7fcbbd3a

Fix pep8 violation in backup

Change-Id: I0bbc7923c3bea9b918c243d2c7b59510fd26deb5

Utilizes assertIn and assertNotIn

Using assertTrue and the 'in' operator to test if an element is in a sequence
is too python2.4. Our unit testing framework 'testtools' support assertIn and
assertNotIn, included from python 2.7, which were created for these types of
tests. Let's use assertIn or assertNotIn for these tests.

Change-Id: I8b43f7ff5f306e1ce57296d89679333ce24e4b64

Merge "Implements APIs for VMDK driver"

Merge "Add missing LH SAN driver features for Havana"

Implements APIs for VMDK driver

- Implemented APIs: create_volume, delete_volume, initialize_connection,
  create_snapthot, delete_snapshot, create_volume_from_snapshot,
  create_cloned_volume
- Modified etc/cinder/cinder.conf.sample adding details for the driver
- Added suds dependency in requirements.txt
- create_volume: does no work. Volume's backing is created lazily
- delete_volume: delete backing if present
- initialize_connection: if backing, not present, create backing, else
  provide backing details to nova to perform attach
  Nova BP/vmware-nova-cinder-support
- create_snapshot: Creates the snapshot of the backing
- delete_snapshot: Deletes the snapshot of the backing
- create_volume_from_snapshot: Creates a full/linked clone from the snapshot
  point in VC. In ESX, copies the VM backing files, registers and reverts to
  the appropriate snapshot point.
- create_cloned_volume: Creates a full/linked clone in VC. In ESX, copies the
  VM backing files and registers as a new backing.
- Written appropriate unit tests
- Work item in BP/vmware-vmdk-cinder-driver

Implements: blueprint vmware-vmdk-cinder-driver
Change-Id: Ib11f2878f8f656209d1ba5e2cbfadae1ac1999b4

Remove _create_volume function from several tests

Remove _create_volume function from
- db/test_transfers.py
- api/contrib/test_backups.py
- test_gpfs.py
- test_volume_transfer.py
- test_volume.py
And use create_volume from tests/utils.py instead

Change-Id: I446220d0cfaa2850a5262a968ed35b7827b90a03

Merge "Fix typo in bin/cinder-volume-usage-audit"

Merge "Update the version for the FC and iSCSI driver"

Merge "Add kwargs to create_volume in tests/utils.py"

Merge "Add NFS/GlusterFS support to brick library"

Merge "Remove unused methods from cinder.utils"

Merge "Multi storage backend support for Nexenta driver"

Add missing LH SAN driver features for Havana

The LeftHand driver did not support snapshot or extend volume.
The following features are part of the minimum driver features
that should be implemented in every cinder driver. This patch
adds the following missing features;
create snapshot
delete snapshot
create volume from snapshot
extend volume
It also fixes the DocStrings in the unit test so they pass the
checks.

Change-Id: Icda790fcddf4ea11782a8d6ec57b1e8f871eb167
Fixes: bug 1217118

Multi storage backend support for Nexenta driver

Recover nexenta prefix for host, user, password and iscsi_port
config options.

Change-Id: I8bdc54f391145193b7813e0e411afa39d07d9aad

Fix typo in bin/cinder-volume-usage-audit

Fixes bug #1218383

Change-Id: Ie1545736aee43805e8e3f8c3b9b7d5b3a7f36a67

Remove unused methods from cinder.utils

These methods and class  were left over from the split from Nova and are unused still.

Remove methods:
debug()
utf8()
map_dict_keys()
check_isinstance()
timefunc()
logging_error()
temporary_mutation()
generate_mac_address()

Remove class:
UndoManager

Change-Id: Id3a94ff9066627b5c0efef068f8c569423f1e9d8

Merge "Adding Read-Only volume attaching support to Cinder"

Increase test coverage for cinder.image.image_utils

Add new tests for:
convert_image()
qemu_img_info()
fetch_to_raw()
fetch_verify_image()
upload_volume()

Change-Id: Ie69af94433b4c61a493d6c38b4c9439a367f7af8

Merge "Pass MB size on copy_volume_data call copy_volume"

Add kwargs to create_volume in tests/utils.py

Add availability_zone parameter and kwargs to make create_volume
function more flexible in order to use this function in
unit tests.
The goal is to remove inner _create_volume function in:
- db/test_transfers.py
- api/contrib/test_backups.py
- test_gpfs.py
- test_volume_transfer.py
- test_volume.py
and to use create_volume from tests/utils instead.

Change-Id: I2d9456ff3ff1cd945042f19c47e40f9f0ec0fe8a

Merge "Move create_volume flow to a subfolder"

Update the version for the FC and iSCSI driver

We also now have a version for the common class,
and report that version at startup time.

Change-Id: Ia1b6698450d151d6b4a8bc13bf3b92c72e8c0ab0

Pass MB size on copy_volume_data call copy_volume

Modify cinder/volume/driver.py method copy_volume_data
to pass size in MB when calling cinder/volume/utils/copy_volume.py

Closes-Bug #1218054

Change-Id: I5430f015ef0f0077b4794f1ff458e3f54cc4dc06

Merge "Modified 3PAR drives to support 3parclient 2.0.0"

Merge "Migrate manage script needs import of db session module"

Adding Read-Only volume attaching support to Cinder

1. Adding an API extension to allow clients set volume Read-Only flag on
demand.
2. Require client to provide and be aware of volume attaching mode when
they call 'os-attach' API.
3. Adding a 'access_mode' field to connection info which
'os-initialize_connection' API returned. This field should be used by
client such as Nova to use correct mode accessing attached volume.
Currently access mode can be 'rw' or 'ro'.
4. In future, the driver within Cinder need to ensure the volume be
exposed under the correct access mode which connection info described,
for example backend should set volume to readonly mode when connection
info ask client using 'ro' access mode consume attached volume. That
means Read-Only is not only a attaching mode but also a status for a
volume.

blueprint read-only-volumes

Change-Id: I4c84614d6541d5f7c358abadb957da7b8c3d9c48
Signed-off-by: Zhi Yan Liu <zhiyanl@cn.ibm.com>

Add NFS/GlusterFS support to brick library

Refactor NFS driver to use the brick library to perform mounts
rather than duplicating the mount code. Some of the NFS unit
test code was rewritten to test the brick implementation because
the old mount code was moved.

The Gluster driver was slightly affected in the refactoring, but
does not yet use brick to perform attaches.

bug 1214748

Change-Id: Ib29f83fabe407f9591191e9fd19e6306ca9960cf

Merge "Add optimized volume migration to Storwize/SVC"

Merge "Fix cinder error for deprecated Netapp drivers"

Merge "Imported Translations from Transifex"

Merge "Migration for attached volumes"

Merge "Fix quota update validation for non-int types"

Modified 3PAR drives to support 3parclient 2.0.0

Replaced ssh calls to remove host, show host,
show port, show vlun and create vlun with the
new hp3parclient calls.

Change-Id: I917b4263389331597103d2fe6c9a73994165051b
Fixes: bug #1211994

Move create_volume flow to a subfolder

In order to start splitting up the create_volume flow into
smaller files we will start by moving the create_volume.py
file to a folder with just __init__.py and this will then
act as the base for create_volume task modules.

Also add in a utils file that contains to start the commonly
used debug listener attachment mechanism.

Change-Id: Ie2fd0c77bb04f8153afecdce75588614b48fed8a

Merge "Import order cleanup"

Import order cleanup

According to
https://github.com/openstack-dev/hacking/blob/master/HACKING.rst#imports
imports must be ordered by the full module path by the below template

{{stdlib imports in human alphabetical order}}
\n
{{third-party lib imports in human alphabetical order}}
\n
{{project imports in human alphabetical order}}
\n
\n
{{begin your code}}

Change-Id: Ia517e629d557133fca1a4927020a93e9e2abf3f9

Merge "Fix except in lvm.py"

Merge "Removes exception instance creation on execute()"

Migrate manage script needs import of db session module

This import looks like it is not used but importing this module as
the side effect of defining the olso configuration. Without it the
script will not work.

Change-Id: Id65f726f34aa2fb86fda13fd65e2e512b3a899ac

Migration for attached volumes

Enable migration for attached volumes by calling Nova to have the
hypervisor copy the data (Nova's swap_volume feature). A new API
function is added for Nova to call once it is done copying to finish
the Cinder side of the migration.

The overall 'generic' migration flow (i.e., not performed by a driver)
is as follows:
1. Creates a new volume
2a. If the source volume's state is 'available', attach both volumes
    and run 'dd' to copy, then detach both. When finished, call the
    migrate_volume_completion function.
2b. If the source volume's state is 'in-use', call Nova to perform the
    copy. Nova will attach the new volume, copy the data from the
    original volume to the new one, and detach the original volume.
    When the copy completes, Nova will call Cinder's new
    migrate_volume_completion function.
3. The migrate_volume_completion function deletes the original volume,
   and calls the database API's finish_volume_migration function. This
   copies all of the new volume's information to the original, and
   deletes the new volume's row, and thus we can keep using the
   original volume_id (the user sees no change).

We also don't change the original volume's status, and instead add a
migration_status column which only selected users can see (e.g., admin).
The migration status is None when no migration is in progress, whether
it succeeded or failed. The admin should check the volume's current
host to determine success or failure. This is meant to simplify
operations. The user will only be aware of a migration if they try to
change the volume's state during the course of a migration.

As mentioned, we change the volume while keeping the original volume
ID. Because a volume's name depends on its ID, the new volume will have
a different name than the original. This is the purpose of the name_id
field in the database - the name is now based on name_id. So although
we keep the original volume's ID, we use the new volume's ID as the
name_id. Thus we can remove the rename_volume function - it is no
longer necessary because the name_id field in the database already
allows for the volume's name on the backend to not rely on its ID.
The user than can see the migration_status can also see the
name_id, in case they need to find it on the backend.

There were a few other places throughout the code that relied on
constructing a volume's name from its ID, and those were fixed.

DocImpact

Implements: bp online-volume-migration

Change-Id: I8daaee174e426fbd450fa75f04f9c8e6fa09f01a

Add optimized volume migration to Storwize/SVC

Add an optimized migration path for when the source and destination are
managed by the same storage. If the source and destination pools have
the same extent_size, it will use the optimal migratevdisk command.
Otherwise, it will use addvdiskcopy and rmvdiskcopy, which must be
watched until the copies are sync'ed.

Change-Id: Ic6069422f5ac7f963f4b1268c0d632a038a8474f

Fix quota update validation for non-int types

Fixes lp bug #1215301

Change-Id: I4bf813579c128844884138ba49f074f81f96790a

Imported Translations from Transifex

Change-Id: I1831ed17f316a71ada1606555bf73c10eae62d71

Merge "Remove deprecated code from Nexenta Exception class"

Merge "Extend volume for GlusterFS"

Merge "Sync up with global requirements"

Removes exception instance creation on execute()

For every excption raised in utils.execute(), a new instance is created.
This patch removes this redundant step and directly uses exceptions
defined in Oslo.

Change-Id: I1425d7f1d69a8fde8fde29444fae4d12d045b730

Fix except in lvm.py

Consolidation of brick exceptions into a single
brick exception.py file neglected to updated files
that were using it:
    (see change I577d403f02c2fd0d727d2694776008e1e9791453)

The result is the lvm driver was doing an except on lvm.VolumeGroupNotFound
which didn't exist anymore as it's in brick/exception now.

We still need to clean up exceptions all through here, and this still
isn't handled by service init anyway, but at least with this we are
raising a valid exception.

Change-Id: I588e9ac6548823b291d284f68f6133879bf3dfbf
Fixes: bug 1216122

Add automated check of conf sample

This adds check_uptodate to run_tests and
tox.ini checks.

This also requires that we add novaclient to the
test-requires, since we try and poke at cinder/compute/nova.

There is another implementation in use to do this that
pulls in openstack.common.config.generator,
(see ceilometer project for a pretty slick impl), however
adding that also pulls in a rather large list of
updates and dependencies that quite frankly Cinder
doesn't need and the ones that we do use break
a number of things in Cinder.

There's also a number of additional options added
to generate_sample that I don't think we need right now.

In the future we'll probably want to go this route
but for now I'd just like to get automated checking
in place.

Change-Id: I91aa4d98f472ad5a3ece7773c75ee76d66adafc0

Merge "Sync execute() related exceptions with oslo"

Merge "Ensure that qpid connection is closed (from oslo)"

Merge "Set bootable flag for volume cloned from image"

Remove deprecated code from Nexenta Exception class

Change-Id: I4242fce8b3f10c863d38cd2f81c2aab9fea77e24

Merge "Offline snapshots for GlusterFS volumes"

Sync up with global requirements

This is a pull from openstack/requirements.

Note that pep8, pyflakes and flake8 are now specified
as deps in hacking, so we can remove those here.  Also
if we don't remove them then we run into version conflicts
when hacking tries to set things up.

Quick!!!  Before it changes again!

Change-Id: Ib35b58c01f8d5d066d559e8afe4ea02adf55db5d

Merge "Re-enable a lot of cinder scheduler tests"

Extend volume for GlusterFS

Add support for extend volume.

Change-Id: Ie9ba67d91de2da43e6b857b4256a445c5269c5cd

Offline snapshots for GlusterFS volumes

Offline snapshots for the GlusterFS driver, based
on QCOW2 snapshotting.

This introduces the option to have volumes stored as
qcow2 files rather than raw files. (glusterfs_qcow2_volumes)

Bump driver version to 1.1.0.

This patch requires Nova to support loading qcow2 disks:
https://review.openstack.org/#/c/38321/

Online snapshot support (via Nova) is added in a
subsequent patch submitted in this series.

This patch also enables volume cloning for GlusterFS volumes.

Implements blueprint qemu-assisted-snapshots

Change-Id: I783a802574b835b495e343f555f7ecf9b46981dd

Ensure that qpid connection is closed (from oslo)

This is commit a9bc62814d in oslo-incubator

Fixes bug 1172922

When reestablishing a session and a connection already exists the
existing connection will be closed prior to opening the new one.

Change-Id: I9a25800fe4b56eba89d550e3461ce095bf902f0a

Merge "Ignore stmf target must be offline exception"

Imported Translations from Transifex

Change-Id: I2b2ca85c56e774d40437cca45b60103d6f840734

Merge "Imported Translations from Transifex"

Merge "Move the frequently injection task to the base folder."

Merge "Clean up the sqlalchemy migrate manage.py script."

Merge "Storwize/SVC: allow setting of I/O group"

Test WWNs with basestring

Change to match Nova commit 52c0668548eb4a7e3536c241c9551cdf89f2d696

Change-Id: I96844ab293003e605412410969f8f26f5e9ac075

Merge "emit warning while running flake8 without virtual env"

Merge "Fix volume_glance_metadata deletion"

Merge "Use a new rest client for every Coraid ESM command"

Merge "The DB migration shouldn't populate types table"

Merge "Remove print statement in db api test"

Merge "Implement QoS support for volumes"

Imported Translations from Transifex

Change-Id: Ia2f3a9a0a9b706143f122a091926d75cb37f1c2e

Remove print statement in db api test

Remove the encryption related print statements in
test_dp_api, this should bring us up to speed
now for updated requirements and take care of the
py3.3 incompat print issues.

Change-Id: If7475cc43d3c0b443908f846d76071913536fdf4

Merge "Remove unused methods from LVM driver"

Ignore stmf target must be offline exception

Patch to ignore

"NexentaJSONException: : Unable to add member to targetgroup:
  stmfadm: STMF target must be offline"

This error happens when targetgroup is already configured and busy.

fixed bug 1209305

Change-Id: I2441118c0968a7a373b5990db6782129291c3051

Sync execute() related exceptions with oslo

Cinder has its own ProcessExecutionError exception defined which
already exists in processutils.py. This was done to have minimal
editing when applying processutils.execute() to Cinder. As a result,
new instances are being created for each exception raised during
cli processing using execute()

As for the first step to remove the redundant excptions, this
patch syncs ProcessExecutionError and UnknownArgumentError
with that in processutils to ease the transition.

Change-Id: I88d9b86a0486f5d91fdcb664c99a9a2cd1392460

The DB migration shouldn't populate types table

It is up to the system adminisator to do this via an API call.

Also fixes up a few cases of dict() being used rather than the prefered {}
(https://github.com/openstack-dev/hacking/blob/master/HACKING.rst#dictionarieslists)

Fixes bug: 1215962

Change-Id: I6b2eea0c03467b157ec147292dbea54e7f99006c

Use a new rest client for every Coraid ESM command

It's workaround for the session corruption bug
in the ESM Appliance.

fix bug #1214433

Change-Id: Ie844f3c95675c4d734390c23ed2d421c159ce8a7

Remove unused methods from LVM driver

_set_execute() has been unused since b569df9, and _size_str() has
been done since f4a9429. So this patch removes them for clean-up.

Change-Id: If8a2703afb08623b69ec6adc105cf58b0e4a15dc

Merge "flake8 H202 error in test_image_utils.py"

Merge "GPFS use clone_image for creating volumes"

Merge "Move root task class to base file."