Add a volume driver in Cinder for Scality SOFS

Scality SOFS is a network filesystem mounted with FUSE, with most
options given in a configuration file. Given a mount point and a SOFS
configuration file as driver options, the Scality volume driver mounts
SOFS, and then creates, accesses and deletes volumes as regular
(sparse) files on SOFS.

Change-Id: I914714e8547a505109514e2072f9e258abca8bd4
Implements: blueprint scality-volume-driver

Merge "Fix undef function call in test_migrations for py26"

Merge "Update cinder-volume to enable multi volume support"

Merge "Fix PEP8 violation (again)"

Fix undef function call in test_migrations for py26

unittest does not have this function until later. This uses the already
imported cinder.test.skip_unless to accomplish the same result without
outputted error.

Change-Id: Id20add5a0d41e5d8cf6f8bc6aa0e547e5e386dab

Merge "Sync latest cfg and log from oslo-incubator"

Fix PEP8 violation (again)

Change-Id: I91d8d4d879bfdffffe982aafa228c374506921df

Update cinder-volume to enable multi volume support

* Added the service wrapper for multi binscripts
* Added a service_name to manager
* Added the configuration wrapper so the impls do not need
  to know if they are accessing config values from a option
  group or from the DEFAULT group
* Updated drivers to use the new configuration wrapper
* Added an example config set for multi backend
* Modified service to comply w/ common
* Added get_volume_stats to iscsi
* Added config for volume_backend_name

implements blueprint multi-volume-backends

Change-Id: Idb86ac5f1c06b9cd5061bef6a24f17727e9a58c1

Sync latest cfg and log from oslo-incubator

Main cfg change is:

  c5984ba Move logging config options into the log module

Logging changes include:

  c5984ba Move logging config options into the log module
  751c35b Verbose should not enable debug level logging
  edcdd25 Improve millisecond logging
  9e5912f Fix pep8 E125 errors.
  edf14e0 Enable millisecond logging by default
  9b81289 Allow nova and others to override some logging defaults
  90ada0e update deprecated stanza
  efba202 Adjust the logging_context_format_string.
  c8cf6f7 move nova.common.deprecated to openstack-common

Fixes bug #989269

Use new LOG.deprecated() in place of cinder.common.deprecated.warn().

Also pull this cinder/context.py change from nova:

  ce098cc Add user/tenant shim to RequestContext

to avoid issues caused by a s/user_id/user/ change in the context
logging format.

Change-Id: I3913ea54465658d93dc56e014dfe5d911b0541d6

Merge "Handle 'infinite' and 'unknown' capacity in CapacityWeigher"

Merge "Update snapshot rest api to be consistent with volumes"

Merge "Add get_cluster_stats to SolidFire driver"

Handle 'infinite' and 'unknown' capacity in CapacityWeigher

This patch updates CapacityWeigher to transform 'infinite' and
'unknown' capacity reported by back-ends to float('inf').  They
are considered the same for sorting purpose.

Change-Id: Ic8f811227c9937c4e09eb8b77457ed7e9231be4e

Merge "Add an ID to temporary volume snapshot object"

Add get_cluster_stats to SolidFire driver

With the filter scheduler addition we added get_stats to the
drivers.  This provides the required data for the filtering
mechanisms and is called by the scheduler.

The change adds the required call in the driver and also adds
an update routine to it's init to populate this info on startup.
This also adds the fake api response so that the tests can perform
the init routine and get the data, while giving the added bonus of
testing the new functions at the same time.

Change-Id: Ia75e078f8e73883131cb1e68f6e6713fce1ab518

Merge "Add GlusterFS volume driver"

Merge "Add LIO iSCSI backend support using python-rtslib"

Merge "rbd: update volume<->image copying"

Merge "Update EMC SMI-S Driver"

Merge "Add an update option to run_tests.sh"

Merge "Create a RemoteFsDriver class"

Merge "Adding support for Coraid AoE SANs Appliances."

Merge "Allow create_volume() to retry when exception happened"

Adding support for Coraid AoE SANs Appliances.

This driver provide support for Coraid hardware storage appliances
using AoE (ATA Over Ethernet) protocol.

Implements blueprint coraid-volume-driver

Reference to Nova patch libvirt-aoe :
https://review.openstack.org/21101

The following operations are supported :
-- Volume Creation with Volume Types
-- Volume Deletion
-- Volume Attach
-- Volume Detach
-- Snapshot Creation
-- Snapshot Deletion
-- Create Volume from Snapshot
-- Volume Stats

The driver only work when operating on EtherCloud ESM,
Coraid VSX and Coraid SRX Appliances.

Change-Id: I7c8dde0c99698b52c151a4db0fb1bb94d516db61

Add an update option to run_tests.sh

This commit adds an update option to run_tests.sh. This option
is used to rerun install_venv.py on an already installed venv.
This will then just update out of date packages with pip.

Change-Id: I96dc6940f536feb810d57b3316e9d712aa750d93

Update EMC SMI-S Driver

1. Merged with Avishay's changes(https://review.openstack.org/#/c/
19808/3) and removed copy volume<->image from my driver.
2. Also did some refactoring based on Mike's comments
last time (See https://review.openstack.org/#/c/19979/).
Made the following changes in emc_smis_common:
- Added a member variable conn to save get_ecom_connection
and moved exceptions inside the helper function get_ecom_connection.
- Also moved exceptions inside find_pool and get_storage_type.
- Added test cases so get_ecom_connection, find_pool, and
get_storage_type will be covered.
3. Made changes in emc_smis_common to handle both iscsi and fc.

Change-Id: I56db3ba41215489f6afe840ce5310a31f28bf5ae

Add LIO iSCSI backend support using python-rtslib

This patch enables LIO as an iSCSI backend for Cinder, using
python-rtslib.

To enable, set "iscsi_helper = lioadm" in cinder.conf.

This requires python-rtslib 2.1.fb27, which is available from pip.

Implements blueprint lio-iscsi-support
DocImpact

Change-Id: Ifb23de65f26a40997afd6148a1d0be39bcc8d196

Add GlusterFS volume driver

This driver enables use of GlusterFS in a similar fashion
as the NFS driver.  It supports basic volume operations,
and like NFS, does not support snapshot/clone.

To enable, set volume_driver to
 cinder.volume.drivers.glusterfs.GlusterfsDriver

Note that this requires a Nova libvirt GlusterFS driver
as well.

Adds config options: glusterfs_shares_config,
glusterfs_mount_point_base, glusterfs_disk_util, and
glusterfs_sparsed_volumes.

DocImpact

Change-Id: I3dd4018f0cb4db48348728ca66bae7918309bb32

Create a RemoteFsDriver class

This class holds common functions for drivers similar to NFS.

Change-Id: I83d89c971fd0153df7702e2803bed66df1a759f6

Fix ordering of function args

Previous change swapped context and type-id params in function
declaration.  Put it back.

Also, no reason for storing the qos dict in the parameters, if
it's stored then we continuously have to update it, remove that
for now and come up with a cleaner method later.

Change-Id: I0820a48660bdfd0481be3681e33d7e2ff3246bb1

Add an ID to temporary volume snapshot object

The create_cloned_volum method creates a temp snapshot and
when it's done it uses the standard snapshot_delete method
in the LVM driver.

A change was added that logs a statement using the object[id],
but we weren't actually setting this on our temp object so we
would get a trace fo key DNE.  This change adds an id key to
our temp object.

Fixes bug: 1125457

Change-Id: I4d886f2738a3c394a3a3a6373045669cf6bf8aaf

Allow create_volume() to retry when exception happened

Due to the fact that certain volume back-ends cannot easily report
simple total_capacity_gb/free_capacity_gb for their internal
implementation complexity, scheduler is updated to let those back-ends
who report unclear capacity pass capacity filter, thus there is chance
create_volume() request would fail. In a more general case, when a
volume back-end failed to serve create_volume request for whatever reason
it'd be good that we have a mechanism to 'retry' the request.

So the idea is when volume manager catches the exception from
driver.create_volume() call, it checks if the request is allowed to be
rescheduled (requests that are not: clone volume and create volume from
snapshot while 'snapshot_same_host' option is true), it composes a new
request back to scheduler with additional information to mark this specific
back-end has been tried (so that scheduler may choose to skip this back-end
if needed).  Scheduler is (filter scheduler only, simple and chance
scheduler is not supported) is updated as well so that it only retry
scheduler_max_attempts times.  In order to skip/rule out previously tried
back-ends in next schedule task, a new RetryFilter is added.

Changes:
1) volume RPC API create_volume() is updated with new parameters
to save original request information in case rescheduling is needed.
This bumps volume RPC API to 1.4.

2) implementation of create_volume() method in volume API is
refactored in order to distinguish if a request is allowed to
do reschedule (i.e. currently create volume from source volume
bypasses scheduler, not rescheduling is allowed).

3) add reschedule functionality in create_volume() of volume
manager so that it's able to send the request back to scheduler.

4) add schedule_max_attempts config option in scheduler/driver.py

5) add RetryFitler

6) change scheduler_driver default option to FilterScheduler

Change-Id: Ia46b5eb4dc033d73734b6aea82ada34ba5731075

rbd: update volume<->image copying

Use fetch_to_raw() to convert from any format when
copying an image.

Fix two bugs in copy_image_to_volume():
 1) use rbd format 2 if supported
 2) resize to match the expected volume size

Also implement copy_volume_to_image().

Change-Id: I5589666c33ead087876e850363ad869050120882
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Fix PEP8 violation

There was a PEP8 violation in cinder/tests/test_solidfire.py, thus
./run_tests.sh was failing. This patch fixes the error.

Change-Id: I444fbfa57550db5c75b80683054c0ca44f4ee657

Merge "add postgresql opportunistic testing"

Merge "make test_databases instance variable"

Merge "v2 volume/snapshot create will correctly give a 202 response"

Merge "NetApp direct to filer drivers for iscsi and nfs."

Update snapshot rest api to be consistent with volumes

display_name becomes name and display_description becomes description in
both parameters to pass in requests and keys returned from responses.
This does not update the snapshot model as it takes the same approach
with updating the volume rest api.

Change-Id: I413b5f87882a216b7a847fb12c31f5e5ed91510b

change display_description to description in volumes

Rest v2 api volume responses key display_description changes to
description to be consistent with other modules and projects.

Change-Id: Ibafa2865c6c4a73fc1cf4694ae77a6709fd2e6e5

v2 volume/snapshot create will correctly give a 202 response

Before it was giving a 200 response. Since the request was received fine
but still has to process things, this is a more correct response. In
addition this is more consistent with other OpenStack project create
rest api calls.

Change-Id: I4f29cda7638c257c9cb5be7a5edf2bc4c48626d8

add postgresql opportunistic testing

sync _reset_databases from nova, which is needed for working
postgresql. Add opportunistic testing for postgresql, which will
run in CI.

Change-Id: I8166c2f723cabc5c5c07c7babaec8ffed5cee650

make test_databases instance variable

eventually we'll need to do this to allow for testr testing, but in
doing so this also exposed that sqlite downgrade of source_volid
didn't work when data was in the table (sqlite just happily ignored
the drop, then failed when trying to added the column for a second
time during the snake walk.)

This fix also adds the correct sqlite downgrade path for migration
005 to actually drop source_volid, but ensure we don't loose any
other data in the process.

Change-Id: I082b53e108c4d564e33ef79979ea8c1642afdbcd

Merge "Allow disabling of long-lived SSH connections."

Merge "Move create_cloned_volume() to LVMVolumeDriver."

Merge "XenAPINFS: Copy volume to glance"

Merge "Update to latest oslo-version code."

Merge "Allow for specifying nfs mount options"

Merge "Don't require importing paramiko for error."

Merge "rework migration 004 testing with real data"

Merge "XenAPINFS: Copy image from glance"

Merge "Allow tools/install_venv_common.py to be run from within the source directory."

Move create_cloned_volume() to LVMVolumeDriver.

The implementation of create_cloned_volume() that was in driver.py
relied on functions that aren't declared there, such as
_create_volume(), _copy_volume(), and _sizestr().  Moved the function
to LVMVolumeDriver in lvm.py, where those functions exist.

Change-Id: I5ab77a119b3af0a152a3b5e0c2ff6a5ce196ad0f
Fixes: bug #1112485

Update to latest oslo-version code.

In prep for tag-based versioning, update to latest oslo-version code.

Change-Id: Ic5046006919e20247481fa1ddbde2dfd456b188a

Merge "Add volume_glance_metadata to volume.api.get"

Allow disabling of long-lived SSH connections.

Currently, SSHPool connections are kept alive indefinitely.  This can
be good for many cases, but sometimes it is not desirable.  For
example, this causes unit tests which use SSH to not complete because
of the open connections.  This patch allows users to revert back
to paramiko's regular timeout policy.

Change-Id: Ifa96508b38d90610390c9ec3d48a7de75d02f08b

Merge "Copy glance_image_metadata when cloning volumes."

Don't require importing paramiko for error.

The _run_ssh function raises a paramiko exception, which requires
functions that use it to import the paramiko class. This should be
hidden away, and so I created a new exception in its place. Nobody
but the Storwize/SVC driver use it anyway, and I am updating that
driver in a separate patch.

Change-Id: Ibf353edc664765897a5fa7a08d126de4b8992863

Allow for specifying nfs mount options

Fixes bug 1113042

Adds a new config option:
    nfs_mount_options=None (Default)

When not None, anything set here will be passed as -o <options> to
the mount command. The default behavior is to do exactly as we are
doing today and relying on the OS/kernel defaults.

Change-Id: I6bd27f9d0e8848a9ba98318ba7288e43ee6b4cb9
Flags: DocImpact

Merge "add data injection on migrations"

Merge "Update some Oslo Packages"

Merge "sync database connect changes from nova"

rework migration 004 testing with real data

tests that 004 works with real data.

Fix downgrade issue where id conversion needed to happen prior to
the schema definition change.

Fix pep8 E12* items

Change-Id: I216d649bf081a6d70321e72e06357ef5a729a998

Allow tools/install_venv_common.py to be run from within the source directory.

(Copy latest update from oslo)

Not doing this raised exceptions when it tried importing modules
that didn't exist in the path.

Fixes LP# 1112484

Change-Id: I2be7bde0bf873a22318617b987a76b209caef22a

Merge "Update 3PAR driver"

Merge "Add unit tests for ISCSIDriver._do_iscsi_discovery and ISCSIDriver._get_iscsi_properties"

add data injection on migrations

bring over the data injection from migrations from nova, which allows
us to inject sample data at every migration in the walk_versions, and
run a check after the migration to make sure that things look as we
expected.

Change-Id: I8b1d36f1363c12768dea228a3ecfafc1b919f083

sync database connect changes from nova

bring over the changes from nova that let opportunistic testing
work on pg as well as mysql. Preparitory for data injection changes.

Change-Id: I368f8645cf1be477c25b0fbd1d35cff8859b615a

XenAPINFS: Copy volume to glance

related to blueprint xenapinfs-glance-integration

This patch enables to upload XenAPINFS backed cinder volumes to glance
by using the nova glance plugin.

Change-Id: Ie41aa6871fec691556b82501ce3bfdf50898471d

XenAPINFS: Copy image from glance

related to blueprint xenapinfs-glance-integration

This change is using the glance xenapi plugin to copy a glance image to
a xenapinfs backed volume. It slightly differs from the reference
implementation, as this implementation is composed of three steps:
- create volume
- overwrite the created volume with the one downloaded from glance
- resize the volume
As opposed to fill the bytes from glance to the created image. This
approach works more effective with XenServer type semi ovf tgz -ed vhds.

Change-Id: I2345f6bb355aa285eee0455380c580e4724f004e

Merge "Fix provider_location column add for PSQL"

Merge "Fix inability to delete volumes in error state for NetApp driver"

Merge "Mark password config options with secret"

Fix inability to delete volumes in error state for NetApp driver

While using NetApp 7-mode storage box to create volumes, if the volume
is not created on the storage box (possibly due to wrong/missing
options in cinder.conf file), the volume goes in error state, and when
one tries to delete the volume, an exception was raised which made
the volume go in error_deleting state, which is unrecoverable. This
commit quiesces that exception, resulting in successful removal of the
volume entry from the volume table.

Fixes bug 1090167

Change-Id: I0a25b71ad03e7f7acf58df3952e074ff164b82ff

Copy glance_image_metadata when cloning volumes.

When cloning a volume we were not capturing/copying
the glance_image_metadata from the source volume.

This change implements a copy_image_metadata_from_vol_to_vol.
So now we can clone bootable volumes without going back to glance
or messing with them otherwise, they're just ready to be booted.

Fixes bug: 1115634

Change-Id: I859bb2550267c6a5142e85ec89f1c7ff885588ac

Add volume_glance_metadata to volume.api.get

The dict(rv.iteritems()) agains the volume object from
volume.api.get does NOT set the volume_glance_metadata k/v.

This is used to show bootable in the show and list api calls,
the result was that list properly reflected the bootable status
of a volume, however show would always describe the flag as False.

So we simply check if the rv includes the glance_metadata and if
so go ahead and create the entry in the volume dict.

Fixes bug: 1115629

Change-Id: Ia0be08f3d2c85b7fe8390fca264803c96cdce7f7

Import Oslo's common rootwrap to Cinder

Import oslo-incubator's rootwrap, which contains all the new
features and bugfixes that were pushed to nova-rootwrap earlier
in this cycle, including logging support and path search.

Implements bp: cinder-common-rootwrap

Change-Id: I68cbb788a3dda58dc146933be190146607b48801

Mark password config options with secret

Config object supports masking values when writing out if the secret
flag is set on the option definition.  This change flags all cinder
options containing a password.

Change-Id: Ia0b203417774797c1fe1eaf2946453c9b2509b98

Merge "Skip tests if cinder is not installed"

Merge "Fixes 'not in' operator usage"

Merge "import tools/flakes from oslo"

Fixes 'not in' operator usage

Change-Id: Id4c83e32f6dcb4f710c5a8d8b6f130038cf07648

Skip tests if cinder is not installed

The test_capacity_filter_passes_infinite and test_capacity_filter_passes_unknown
tests were failing when cinder is not installed. Skip the tests like the other
tests for test_host_filters.

Change-Id: I5ebfa2dca05b6e89a12e3153598bf4699da888de
Signed-off-by: Chuck Short <chuck.short@canonical.com>

Fix provider_location column add for PSQL

Migration 006 (commit 690cae58e6bbac5758ea2f7b60774c797d28fba5)
didn't work properly for postgres,
this patch corrects the upgrade by ensuring the execute
is performed and the value is initialized to None.

Since we haven't released a milestone etc with this migration in the
code it should be safe to just fix it here and submit.

Change-Id: I10a09aed3470c35c8ebbe22f29aa511592167c35

Update 3PAR driver

Added support for get_volume_stats()
Add sanity checks for:
    Ensure the CPG lives in the Domain that's configured.
    On 3PAR systems, the create volume from snapshot has to be
    the same size. The driver now checks to make sure that they
    are the same size.
    Now using volume and snapshot id's instead of the names.
    Checking for optional fields before using them(i.e. description).
    Added a new method get_ports() to gather the active array ports.
    Fixed inline comments, added a space between the comment and # sign

Change-Id: Ie2aed38c6349bb5ee8bbea4d0928cd606427a26f

Fix the generalized copy_image_to_volume operation.

The Generis iSCSI copy volume<->image patch
(change: Iff097629bcce9154829a7eb5aee0ea6302338b26) did
not account for the fact that the existing volume reference
passed in to the copy method would not have the updated
provider_location and iSCSI info available.

To address this, we simply just get a new ref from the DB
after creation if a copy image is requested.

Also, the list of acceptable formats was not fully inclusive,
not only that, but there's no reason to not let the qemu-convert
handle any errors here.

Change-Id: I7b1910080d285562c7f2d8afa7f65768b1089b73

Merge "Set source volume to "in use" during clone"

Merge "Allow volume back-end to report 'infinite' or 'unknown' as capacity"

Merge "Check for non-default volume name template."

import tools/flakes from oslo

Change-Id: Iac52a0cc48de9f29a91545e319c144e3f935799d

Add unit tests for ISCSIDriver._do_iscsi_discovery and ISCSIDriver._get_iscsi_properties

Change-Id: Id62124247e264a248ca071d45c03969ee75a31d3

Merge "Clean up QTree when deleting volume on NetApp storage box."

Merge "Update osapi_volume_extension default."

Merge "Fixes "is not" usage"

Merge "Use install_venv_common.py from oslo."

Fixes "is not" usage

Fixes bug #1110987

Change-Id: Iafa9fc548deaf03c229cc9144d85e6c68b3101be

Merge "Implement LVM thin provisioning support."

Pull cfg module from Oslo and update cinder-manage accordingly

New cfg module abandons previous disable_interspersed_args() and
recommand to use add_subparsers from argparser module instead.
This patch pull cfg module from Oslo and update the affected
cinder-manage utils.

Change-Id: I8913fafb8fdb19b3fe0a695a70c8b1e8f59c1027

Merge "Check for installed cinder in filter tests."

Merge "Generic iSCSI copy volume<->image."