Merge "Added copy-on-write support for all RBD cloning"

Remove quota fetch race condition

When displaying quotas, we shouldn't pull the latest resources
just to convert the results to the dict.

Closes-Bug: #1220436

Change-Id: Id01a310481353b272e103643d053957b65cd4ce3

Merge "Fix tuple usage error"

Added copy-on-write support for all RBD cloning

Up till now we only had copy-on-write for cloning from snapshot. This
change optionally allows clone from volume to use copy-on-write
instead of a doing a full copy each time. This should increase speed
and reduce nearterm storage consumtion but could introduce some new
risks e.g. excessively long clone chains and flatten storms. To avoid
this, a new config option has been providedons are provided -
rbd_max_clone_depth - which allows the user to limit the depth of a
chain of clones i.e.

    a->b->c->d as opposed to a->b
                              ->c
                              ->d

This will avoid flatten storms by breaking chains as they are formed
and at an early, predefined stage.

A second option - rbd_clone_from_volume_force_copy - allows the user
to use a full copy as before i.e. disable COW for volume clones.

Implements: blueprint use-copy-on-write-for-all-volume-cloning
Fixes: bug #1209199
Change-Id: Ia4a8a10c797cda2cf1ef3a2e9bd49f8c084ec977

Merge "This adds a README to brick"

Merge "VMDK copy_image_to_volume and copy_volume_to_image"

VMDK copy_image_to_volume and copy_volume_to_image

Implemented copy_image_to_volume that creates a new volume backing (vm) and
copies over the vmdk file from the glance image. Only glance images of disk
format 'vmdk' can be used to create a volume using this driver.

Also implemented copy_volume_to_image that creates a new glance image using
the volume's vmdk file. The steps involved are to take a snapshot of volume
vmdk, take a copy of this read only file and upload to glance.

Cleaned up docstrings as pointed out in earlier reviews.

Added timeout to avoid blocking wait on read/write threads and also fixed a
bug to upload image from copy of vmdk instead of from original vmdk during
upload to glance.

Implements: blueprint vmware-vmdk-cinder-driver
Change-Id: I00d22861f4e01ae0862dbf4b60af314c475b7d38

This adds a README to brick

We need to let folks know where brick is
currently being maintained for the Havana
release and where to file defects.
Once this simple patch lands, we'll pull this into
the Nova patch.

(fix hacking violation in commit message for the 2nd
time on this patch. To prevent it from blocking the
merge queue on feature freeze day.)

PLEASE DON'T +A PATCHES UNTIL THEY PASS JENKINS CHECK

Change-Id: I5c4569c1c09751d53817ee9577581e530a3a8352

Fix tuple usage error

The exc_info is just a tuple (captured in taskflow)
and isn't itself a callable object so we should not
need to use it like one to extract the exception type
and value.

Fixes bug #1220867

Change-Id: Ie27d004bad4053baa2ac8eb84bb8b7cdc05a954d

Fixes brick Nova pep8 violation for lvm.py

Running pep8 tests in Nova gives a violation
in lvm.py for not importing a module.  This
is a simple fix to import the module itself
instead of only importing a function in the
module.

Fixes bug #1220849

Change-Id: Idc603dcfab18601dd4246c623d34be5933434f84

Merge "Use tempfile and cleanup in windows unit test"

Merge "Add view builder to QoS specs API extension"

Merge "Fixes cinder-volume service startup on Windows"

Merge "QEMU-assisted-snapshots for GlusterFS volumes"

Merge "extract 'limits.' to constant for ratelimiting logic"

QEMU-assisted-snapshots for GlusterFS volumes

Coordinate with Nova to create and delete snaphots for
GlusterFS volumes that are attached to VMs.

Cinder is responsible for creating a QCOW2 file which Nova
will activate in the VM's snapshot chain when a snapshot is
created.

When a snapshot is deleted, Cinder will request for Nova to
perform a block commit/rebase operation to logically delete
the snapshot from the QCOW2 chain.

Implements blueprint qemu-assisted-snapshots

Change-Id: I4a7f0c1bc08d88b0f75d119168dd2077487a62a0

Add view builder to QoS specs API extension

Add view builder for qos_specs.create(), index(), show() and associations()
to in order to make the response more easier to be consumed by client.

This patch also:
  fixed circular reference error when raising HTTP exception.
  fixed some typo in debug message and removed unused imports.

fix bug: # 1219016

Change-Id: I107888e6b4dac8eb5f1b45a87721a7b5efc45632

Merge "Add features to Zadara Storage Cinder driver"

Merge "Set vg_thin_pool to pool name instead of pool_path"

Add features to Zadara Storage Cinder driver

- move to Zadara APIs 13.07
- added support for extend volume
- added support for create/delete snapshot
- added support for create clones from volumes and snaps
- added support for multi-backend
- added volume stats
- added tests

Implements: blueprint zadara-cinder-driver-update

Change-Id: Iad5908a50980c59df2d8d4702743a0b99f82f9b7

Use tempfile and cleanup in windows unit test

The unit test test_windows was setting and creating
a directory c://iSCSIVirtualDisks in the root path
and even worse wasn't deleting it on cleanup.

This patch converts that to use tempfile and also
adds an shutil.rmtree to the teardown method to clean
up all the junk it creates.

Fixes bug: 1219950

Change-Id: Ibd071c9c3ae9a02f26c85a09e8bc6619d8c73a37

Merge "Adds Nexenta NFS driver"

Merge "Add volume driver for Huawei HVS storage system"

Merge "New update_snapshot_status API"

Merge "Fix errors in volume usage audit script"

Merge "Increase test coverage for cinder.utils"

Adds Nexenta NFS driver

Implements: blueprint nexenta-nfs-volume-driver

Change-Id: I369ce83113cf05b1cd2ecf86d5f6fd25eed12d85

Set vg_thin_pool to pool name instead of pool_path

create_thin_pool is setting vg_thin_pool to the pool path instead of the
pool_name. This makes volumes creation fail when the create_thin_pool
method is called. This happens because create_volume builds the pool
path itself as create_thin_pool does.

Keeping the pool name in vg_thin_pool instead of the path makes more
sense and allows it to be used in other places in the brick. Also, most
commands return both vg_name and pool_name separated.

Change-Id: Ibf5cd746fc050eab5ce6aff13dd70c1e8066b228
Closes-Bug: #1220286

Fixes cinder-volume service startup on Windows

The Windows service fails due to missing non-blocking IO features
in eventlet. This fix adds a conditional path on Windows to execute
the service accordingly.

Fixes bug: #1219896

Change-Id: I74f662e736e3a5fe58a383d172780a691a2b36c7

extract 'limits.' to constant for ratelimiting logic

based on the equal nova code at
https://review.openstack.org/#/c/41267/ the ratelimiting logic
uses a constant to parse the limits.

Change-Id: I8ffb4267834c79d056716a2c412ecb2c97217635

Fix errors in volume usage audit script

The snapshot_get_active_by_window DB query was returning snapshots
where we couldn't access the related volume object. This was due to
a) the volume not been loaded and the join failing due to detached
session object.
and b) the related volume was deleted so it didn't show return from
the join

Fixes bug: 1220140

Change-Id: I0de993ba0ca482fa9ab80d4d5cdb0ff5cc8e4d7a

New update_snapshot_status API

Adds new snapshot_actions module

Update_snapshot_status: Allows updating of 'state' and
'progress' fields of a snapshot.  This is used by Nova
to inform Cinder of its outcome when performing snapshot
operations for attached volumes.  Updates are restricted
to a subset of possible start and finish states.

Implements blueprint qemu-assisted-snapshots

Change-Id: I54772f794b97e1cc6b24b121b757219248e37109

Add volume driver for Huawei HVS storage system

Huawei OceanStor HVS-series enterprise storage system is an optimum
storage platform for next-generation data centers that feature
virtualization, hybrid cloud, simplified IT, and low carbon footprints.

This patch add an iSCSI driver and a FC driver for Huawei HVS storage
system, using REST. We define a common module for both iSCSI driver and
FC driver. The drivers support volume type, QoS.

Implements: blueprint huawei-hvs-volume-driver
Change-Id: Ibdfed7df6d347e00f498694898c88dfa641559eb

Increase test coverage for cinder.utils

Add new tests for:
        check_ssh_injection()
        create_channel()

Change-Id: I0349d87023567b16d6600f5b38fd1daff5cbbdc8

Merge "Add Fibre Channel drivers for Huawei storage systems"

Merge "Don't need to init testr explicitly"

Merge "Refactor huawei Dorado array iSCSI driver"

Merge "Refactor Huawei iSCSI driver"

Add Fibre Channel drivers for Huawei storage systems

This is the third patch, changes as follows:
1.Add Fibre Channel drivers for huawei OceanStor T series and Dorado
series arrays. Dorado FC driver inherits codes from FC driver of T.
The FC drivers call module ssh_common which has been defined in
the preview patch: https://review.openstack.org/#/c/41721/
2.Add unit test for the changes.

Implements: blueprint huawei-fibre-channel-volume-driver
Change-Id: Iee20d9746004b57777a7161827b4a23cb10f0859

Refactor huawei Dorado array iSCSI driver

This is the second patch, changes as follows:
1.Add ISCSIDriver for Dorado arrays. The ISCSIDriver inherit from T.
1.Add a common class DoradoCommon for both FC and iSCSI drivers. The common class
inherit from T common for they have many common functions.
2.Add unit test for Dorado drivers.

Change-Id: I7ff2cc1e0d058b7a3d9e55644769ec74075f962f

Refactor Huawei iSCSI driver

We plan to refactor Huawei iSCSI drivers and add Huawei FC
drivers. For that's a huge change, we break the codes into
three patches:
1.Refactor T iSCSI driver
2.Refactor Dorado iSCSI driver
3.Add FC drivers for both T and Dorado arrays.

This is the first patch, changes as follows:
1.Define a common class for both FC and iSCSI drivers, and
also provide a unified class HuaweiVolumeDriver for users.
The unified driver will call HuaweiTISCSIDriver according to
users' configuration. The HuaweiTISCSIDriver is a subclass of
driver.ISCSIDriver, so it could get good inheritance.
2.Support volume type.
3.Refactor unit test to make it more logic clear and add more
test cases to get higher coverage rate.

Change-Id: I79b7bac7f38f2dcbb22c5db6207d8b55906fdad1

Enable gating on F811

Avoid name clashes of local variables with
imported modules.

Change-Id: I1c5508902f89ad5dd9d160a4d163cd91bec41333

Merge "Pass db into driver as constructor's parameter"

Merge "Utilizes assertIn and assertNotIn"

Merge "copy_image_to_volume for Nexenta volume driver"

Merge "Sync rpc fix from oslo-incubator"

Merge "Fixes bug to allow for encrypted volume deletion"

Merge "Remove _create_volume function from several tests"

Merge "Increase test coverage for cinder.image.image_utils"

Merge "Add support for Havana missing features in Windows driver"

Merge "Fix pep8 violation in backup"

Merge "Clone volume with right size with SolidFire"

Add support for Havana missing features in Windows driver

The following features were added:

-copy_volume_to_image (Havana)
-copy_image_to_volume (Havana)
-get_volume_stats (Havana)
-extend_volume (Icehouse)

The test mocking based on binary pickled files were replaced by mox.

Change-Id: I92c681280d6f7b85bcba7a5e3513f2bdb6c13f1d
Implements: blueprint windows-storage-driver-extended

Merge "Add venv wrapper for check_uptodate.sh"

Add venv wrapper for check_uptodate.sh

tools/conf/check_uptodate.sh is added in run_tests.sh

For simple, run "run_tests.sh -p" will call it, and get following error:

Failed to collect options from module
cinder.volume.drivers.san.hp.hp_3par_common: No module named hp3parclient

Actually, the hp3parclient is listed in test-requirements.txt, and it is
installed in venv.

the check_uptodate.sh should run in venv to get correct result.

update the error message to update the cindier.conf.sample correctly.

-----------
Test method
-----------
$ pwd
/opt/stack/cinder

$ source .venv/bin/activate; tools/conf/generate_sample.sh

(.venv)$ deactivate

$ ./run_tests.sh  -p
Running flake8 ...
// no error emitted here

Fixes Bug #1219197

Change-Id: I9b3eaf3c1a5eb395eefed28bb907685cdef147aa

Clone volume with right size with SolidFire

It is possible to clone a volume with a size greater than
the source volume. When using the SolidFire driver, the volume size
was not passed in the call made to the SolidFire API when
cloning a volume.

It resulted in a cloned volume having the same size as the source
volume but the correct size in the Cinder database.

This changes makes sure the cloned volume has the correct size
by explicitly passing the requested size when calling
the SolidFire API and cloning the volume.

Fixes: bug #1219105
Change-Id: I5628c7fa922780d6b0601e2daa79310a61085edc

Fixes bug to allow for encrypted volume deletion

delete_key in cinder/volume/api.py was called with incorrect parameters.
The error prevented encrypted volumes from being deleted, but the fix
has been applied and unittests written to prove the functionality.

Change-Id: I3b93da84f97efe2a3afa057907bbfa10336eb9de
Implements: blueprint encrypt-cinder-volumes

Sync rpc fix from oslo-incubator

Sync the following fix from oslo-incubator:

76972e2 Support a new qpid topology

This includes one other commit, so that the above fix could be brought
over cleanly:

5ff534d Add config for amqp durable/auto_delete queues

Change-Id: I1fd5aaf87ec87836df3e44e83247bf82301475f5
Closes-bug: #1178375

Move comment back to right place

The comment about skipping schedule for create volume from snapshot
in cast_create_volume() was mis-placed when this code was ported to
taskflow.  This patch moves the comment back to where it belongs.

Change-Id: I329c78a05143bf8589d9665dc4ff03fa80da6ec9

copy_image_to_volume for Nexenta volume driver

This patch implements copy_image_to_volume in Nexenta volume
driver, because volume must be exported before copying image
to it.

Change-Id: I9dc725095944d166fee415f3f605268c7fcbbd3a

Fix pep8 violation in backup

Change-Id: I0bbc7923c3bea9b918c243d2c7b59510fd26deb5

Utilizes assertIn and assertNotIn

Using assertTrue and the 'in' operator to test if an element is in a sequence
is too python2.4. Our unit testing framework 'testtools' support assertIn and
assertNotIn, included from python 2.7, which were created for these types of
tests. Let's use assertIn or assertNotIn for these tests.

Change-Id: I8b43f7ff5f306e1ce57296d89679333ce24e4b64

Merge "Implements APIs for VMDK driver"

Merge "Add missing LH SAN driver features for Havana"

Implements APIs for VMDK driver

- Implemented APIs: create_volume, delete_volume, initialize_connection,
  create_snapthot, delete_snapshot, create_volume_from_snapshot,
  create_cloned_volume
- Modified etc/cinder/cinder.conf.sample adding details for the driver
- Added suds dependency in requirements.txt
- create_volume: does no work. Volume's backing is created lazily
- delete_volume: delete backing if present
- initialize_connection: if backing, not present, create backing, else
  provide backing details to nova to perform attach
  Nova BP/vmware-nova-cinder-support
- create_snapshot: Creates the snapshot of the backing
- delete_snapshot: Deletes the snapshot of the backing
- create_volume_from_snapshot: Creates a full/linked clone from the snapshot
  point in VC. In ESX, copies the VM backing files, registers and reverts to
  the appropriate snapshot point.
- create_cloned_volume: Creates a full/linked clone in VC. In ESX, copies the
  VM backing files and registers as a new backing.
- Written appropriate unit tests
- Work item in BP/vmware-vmdk-cinder-driver

Implements: blueprint vmware-vmdk-cinder-driver
Change-Id: Ib11f2878f8f656209d1ba5e2cbfadae1ac1999b4

Remove _create_volume function from several tests

Remove _create_volume function from
- db/test_transfers.py
- api/contrib/test_backups.py
- test_gpfs.py
- test_volume_transfer.py
- test_volume.py
And use create_volume from tests/utils.py instead

Change-Id: I446220d0cfaa2850a5262a968ed35b7827b90a03

Don't need to init testr explicitly

In run_tests.sh, function init_testr will initialize testr if the
directory .testrepository is not existed. Actually, testr will do
the check before run the test:

In Python package testrepository, setuptools_command.py:Testr.run

68 def run(self):
69     """Set up testr repo, then run testr"""
70     if not os.path.isdir(".testrepository"):
71         self._run_testr("init")

So, init_testr can be removed safely.

Fixes Bug #1216820
Change-Id: Id9815033c0cb0e1aa6693a4c14bf9a5d490c8883

Merge "Fix typo in bin/cinder-volume-usage-audit"

Merge "Update the version for the FC and iSCSI driver"

Merge "Add kwargs to create_volume in tests/utils.py"

Merge "Add NFS/GlusterFS support to brick library"

Merge "Remove unused methods from cinder.utils"

Merge "Multi storage backend support for Nexenta driver"

Add missing LH SAN driver features for Havana

The LeftHand driver did not support snapshot or extend volume.
The following features are part of the minimum driver features
that should be implemented in every cinder driver. This patch
adds the following missing features;
create snapshot
delete snapshot
create volume from snapshot
extend volume
It also fixes the DocStrings in the unit test so they pass the
checks.

Change-Id: Icda790fcddf4ea11782a8d6ec57b1e8f871eb167
Fixes: bug 1217118

Multi storage backend support for Nexenta driver

Recover nexenta prefix for host, user, password and iscsi_port
config options.

Change-Id: I8bdc54f391145193b7813e0e411afa39d07d9aad

Fix typo in bin/cinder-volume-usage-audit

Fixes bug #1218383

Change-Id: Ie1545736aee43805e8e3f8c3b9b7d5b3a7f36a67

Remove unused methods from cinder.utils

These methods and class  were left over from the split from Nova and are unused still.

Remove methods:
debug()
utf8()
map_dict_keys()
check_isinstance()
timefunc()
logging_error()
temporary_mutation()
generate_mac_address()

Remove class:
UndoManager

Change-Id: Id3a94ff9066627b5c0efef068f8c569423f1e9d8

Merge "Adding Read-Only volume attaching support to Cinder"

Increase test coverage for cinder.image.image_utils

Add new tests for:
convert_image()
qemu_img_info()
fetch_to_raw()
fetch_verify_image()
upload_volume()

Change-Id: Ie69af94433b4c61a493d6c38b4c9439a367f7af8

Merge "Pass MB size on copy_volume_data call copy_volume"

Add kwargs to create_volume in tests/utils.py

Add availability_zone parameter and kwargs to make create_volume
function more flexible in order to use this function in
unit tests.
The goal is to remove inner _create_volume function in:
- db/test_transfers.py
- api/contrib/test_backups.py
- test_gpfs.py
- test_volume_transfer.py
- test_volume.py
and to use create_volume from tests/utils instead.

Change-Id: I2d9456ff3ff1cd945042f19c47e40f9f0ec0fe8a

Merge "Move create_volume flow to a subfolder"

Update the version for the FC and iSCSI driver

We also now have a version for the common class,
and report that version at startup time.

Change-Id: Ia1b6698450d151d6b4a8bc13bf3b92c72e8c0ab0

Pass MB size on copy_volume_data call copy_volume

Modify cinder/volume/driver.py method copy_volume_data
to pass size in MB when calling cinder/volume/utils/copy_volume.py

Closes-Bug #1218054

Change-Id: I5430f015ef0f0077b4794f1ff458e3f54cc4dc06

Merge "Modified 3PAR drives to support 3parclient 2.0.0"

Merge "Migrate manage script needs import of db session module"

Adding Read-Only volume attaching support to Cinder

1. Adding an API extension to allow clients set volume Read-Only flag on
demand.
2. Require client to provide and be aware of volume attaching mode when
they call 'os-attach' API.
3. Adding a 'access_mode' field to connection info which
'os-initialize_connection' API returned. This field should be used by
client such as Nova to use correct mode accessing attached volume.
Currently access mode can be 'rw' or 'ro'.
4. In future, the driver within Cinder need to ensure the volume be
exposed under the correct access mode which connection info described,
for example backend should set volume to readonly mode when connection
info ask client using 'ro' access mode consume attached volume. That
means Read-Only is not only a attaching mode but also a status for a
volume.

blueprint read-only-volumes

Change-Id: I4c84614d6541d5f7c358abadb957da7b8c3d9c48
Signed-off-by: Zhi Yan Liu <zhiyanl@cn.ibm.com>

Add NFS/GlusterFS support to brick library

Refactor NFS driver to use the brick library to perform mounts
rather than duplicating the mount code. Some of the NFS unit
test code was rewritten to test the brick implementation because
the old mount code was moved.

The Gluster driver was slightly affected in the refactoring, but
does not yet use brick to perform attaches.

bug 1214748

Change-Id: Ib29f83fabe407f9591191e9fd19e6306ca9960cf

Pass db into driver as constructor's parameter

This will be required when code specific for target admin moves to
brick.

Change-Id: Ia48ea927f2efb2c551c359f7e7f98bf586919ab3

Merge "Add optimized volume migration to Storwize/SVC"

Merge "Fix cinder error for deprecated Netapp drivers"

Merge "Imported Translations from Transifex"

Merge "Migration for attached volumes"

Merge "Fix quota update validation for non-int types"

Modified 3PAR drives to support 3parclient 2.0.0

Replaced ssh calls to remove host, show host,
show port, show vlun and create vlun with the
new hp3parclient calls.

Change-Id: I917b4263389331597103d2fe6c9a73994165051b
Fixes: bug #1211994

Move create_volume flow to a subfolder

In order to start splitting up the create_volume flow into
smaller files we will start by moving the create_volume.py
file to a folder with just __init__.py and this will then
act as the base for create_volume task modules.

Also add in a utils file that contains to start the commonly
used debug listener attachment mechanism.

Change-Id: Ie2fd0c77bb04f8153afecdce75588614b48fed8a

Merge "Import order cleanup"

Import order cleanup

According to
https://github.com/openstack-dev/hacking/blob/master/HACKING.rst#imports
imports must be ordered by the full module path by the below template

{{stdlib imports in human alphabetical order}}
\n
{{third-party lib imports in human alphabetical order}}
\n
{{project imports in human alphabetical order}}
\n
\n
{{begin your code}}

Change-Id: Ia517e629d557133fca1a4927020a93e9e2abf3f9

Merge "Fix except in lvm.py"

Merge "Removes exception instance creation on execute()"