Merge "Fixes the provisioning on selected volumes for NetApp 7 mode."

Changed to INFO level logging for main cinder-backup operations

Changed create backup, restore backup and delete backup operations to
log key operations at INFO level instead of DEBUG level (so environments
like devstack see main operations by default).

Fixes bug: 1132788

Change-Id: I3b4600be8fbc1869054f81752c92936d55395185

Merge "XenAPINFS: Fix Volume always uploaded as vhd/ovf"

Merge "allow run_tests.sh to report why it failed"

Merge "Remove compat cfg wrapper"

update install_venv_common to handle bootstrapping

old install_venv_common used oslo-config, which makes for bad
recursive dependencies, and we can't build a venv from a fresh
tree.

Change-Id: I09336d760842d4eb57f2b70fdfe19afaf6520a48

allow run_tests.sh to report why it failed

the set -e was suppressing all the echo information about why
run_tests.sh was failing, which makes it quite hard to figure out
what is going on.

Change-Id: Ie210ee5b5e9ff0028a89da520580db7cd1d9f03a

Remove compat cfg wrapper

This wrapper was there to allow oslo-config changes through the gate
while keystoneclient hadn't been updated.

Change-Id: I3d48673af58ae379e8e4d2c7fb4b4d81f3ed67dd

Merge "Fix various exception paths"

XenAPINFS: Fix Volume always uploaded as vhd/ovf

Fixes bug 1131291

copy_volume_to_image was always using the glance plugin to do the
upload, and was ignoring the users request. Thus the image was always
uploaded as vhd/ovf. This patch is using the image utils to fix the
generic case.

Change-Id: If12c3d175b3d4437305ac4d2f954a2a42ee3a3c1

Merge "Fixed cinder-backup start errors seen with devstack"

Fixed cinder-backup start errors seen with devstack

Changes:
- Added cinder-backup to scripts in setup.py
- Added service_name to backup manager __init__
- Switched backup manager to using oslo.config
- Modified cinder-backup to use ProcessLauncher

Fixes bug: 1131147

Change-Id: I9b02d64def4ee892e9cfde4b4bcd50e5f9f9b707

Cinder devref doc cleanups

Way back when Cinder was inagurated as a separate project, the docs
directory from Nova was used as a seed for the one in the Cinder repo

This patch is simply cleaning out images and files which have no
relation to Cinder at all, and are at best extremely outdated when
applied to Nova.

Aside from the deletions which are mainly images, and files related
to the configuration of CloudPipe, there is one modification to
conf.py which simply removes a reference to a vmware doc that no
longer exists.

Change-Id: I2140035f98bd332f25d7dd7569993bcd960a869e

Fix various exception paths

Fixes bug 1130723

Some bugs were introduced in https://review.openstack.org/#/c/20514/
this patch fixes the discovered errors. It also removes volume_id
parameters from error messages.

Change-Id: I9ff75482fe2bc13dbb65e7d666035a13a19d5c98

Merge "Implement metadata options for snapshots"

Merge "XenAPINFS: Create volume from image (generic)"

Implement metadata options for snapshots

This patch implements metadata for snapshots as well as
the ability to update/delete that metadata.

Implements blueprint: update-snap-metadata

Change-Id: Iec2b7a51cdc3dffad41f24807067cc6c8e7d5135

Merge "Skip timestamp check if 'capabilities' is none"

Merge "Fix stale volume list for NetApp 7-mode ISCSI driver"

Merge "Implement a basic backup-volume-to-swift service"

Skip timestamp check if 'capabilities' is none

fix bug: #1131011

Change-Id: I6266560627d03d95862a7f2c85ac63e2e9daef6b

Fix stale volume list for NetApp 7-mode ISCSI driver

While contacting filer through DFM in order to create volume from
snapshot, the operation may fail with an error "No entry in LUN
table for volume". Although the LUN representing the volume was
created on the filer, the LUN list was not refreshed in time, which
 caused an error. This fix handles this situation for creating
volume from snapshots.

Note that this fix adds the requirement that the driver host and
DFM machine should be reasonably time-synchronized.

Fixes bug 1095633

Change-Id: I77fff4c36a3af72d28f2d01988a6067919093718

Merge "Uses tempdir module to create/delete xml file"

Merge "Moved cinder_emc_config.xml.sample to emc folder"

Implement a basic backup-volume-to-swift service

Implements: blueprint volume-backups

This patch adds the new service, api and basic unit tests

Change-Id: Ibe02c680c5e9201d208c92e796e86ad76b4b54b3

Merge "Add HUAWEI volume driver in Cinder"

Merge "Better error handling around volume delete."

Merge "Bump the oslo-config version to address issues."

Better error handling around volume delete.

fixes bug 1130844

Change-Id: I6886bff24194c2ace3d7719b93b5ab79aa8a0e8d

Moved cinder_emc_config.xml.sample to emc folder

Vendor unique driver files should not be placed in /cinder/etc/cinder, but
should stay with the vendors driver.  Moved cinder_emc_config.xml.sample
to cinder/volume/drivers/emc folder.

Change-Id: I92151abdf46a3597ea94284b6dfcf611153cab19
Fixes: bug #1130496

Uses tempdir module to create/delete xml file

The emc test in cinder is leaving behind its test generated
cinder_emc_config.xml file in /cinder/tests directory.  This
fix uses tempdir module to create the xml file and delete it
when tearDown is called.

Change-Id: I7fd1dda83a097d1122c58cd3ed723ed7f5de30d8
Fixes: bug #1130495

Add HUAWEI volume driver in Cinder

This is an iSCSI driver.It supports HUAWEI OceanStor T and
Dorado series storage systems.The driver communicates with
storage systems based on SSH.

Implements: blueprint huawei-volume-driver
Change-Id: Ib3fd8ff636106e751789f6367a5b57bdaab316f4

XenAPINFS: Create volume from image (generic)

Fixes bug 1130706

Related to blueprint xenapinfs-glance-integration

This patch enables users to use any images recognised by qemu-img to
create volumes on XenAPINFS.

Change-Id: I9dd8ec237309da82ec7f73db1acb48e5b7411c9e

Merge "rbd: implement get_volume_stats()"

Merge "Add LIO configuration for iSCSI initiators"

Bump the oslo-config version to address issues.

Cinder unit tests weren't running with b3, b4 has some
fixes that put things back on track.

Change-Id: I7f8b7e1ab688790577d5ea3e95b4b20c6e552fae

Ensure volume exists before deleting.

fixes bug 1130744

Change-Id: I39152dd1caa5ab1b2cfbae56eaec8c8fa309669c

Add LIO configuration for iSCSI initiators

LIO requires iSCSI initiator IQNs to be specified in an ACL to be
allowed to connect to the target. Currently this is only done for
the IQN of the initiator on the cinder-volume node.

This patch allows setting lio_initiator_iqns in cinder.conf to
provide access to other nodes.  (Remote Nova compute nodes.)

Change-Id: I7ddee542fcd3fba5b6f142ad15459c08cfedc9d2

Merge "Update cinder-manage to use FLAGS.log_dir."

Merge "Add a volume driver in Cinder for Scality SOFS"

Merge "Handle maxclonepervolume/node limits in SF driver."

rbd: implement get_volume_stats()

Report raw capacity because replication level may change, and the
cluster may be used by more than one service. If the command fails for
any reason, return unknown capacity.

Change-Id: If6871124301b51e4768ea64c4d8e5109e0804db8
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge "Use oslo-config-2013.1b3"

Merge "Set rootwrap_config in cinder.conf sample."

Handle maxclonepervolume/node limits in SF driver.

The SolidFire cluster has a max simultaneous clones per volume and node
limt that we weren't accounting for.  Add some logic to detect this situation
and loop until enough simultaneous clones are completed to allow processing
of the next one in line.

Fixes bug: 1129810

Change-Id: Id63c1b142a81df5d9d2c4e39fb821b03ebac63a2

Use oslo-config-2013.1b3

The cfg API is now available via the oslo-config library, so switch to
it and remove the copied-and-pasted version.

Add the 2013.1b3 tarball to tools/pip-requires - this will be changed
to 'oslo-config>=2013.1' when oslo-config is published to pypi. This
will happen in time for grizzly final.

Add dependency_links to setup.py so that oslo-config can be installed
from the tarball URL specified in pip-requires.

Remove the 'deps = pep8==1.3.3' from tox.ini as it means all the other
deps get installed with easy_install which can't install oslo-config
from the URL.

Retain dummy cfg.py file until keystoneclient middleware has been
updated (I18c450174277c8e2d15ed93879da6cd92074c27a).

Change-Id: I4815aeb8a9341a31a250e920157f15ee15cfc5bc

Merge "Add a safe_minidom_parse_string function."

Merge "HP 3PAR Fibre Channel Driver and iSCSI Updates"

Merge "Fibre Channel base class for Cinder drivers"

Merge "Fix syntax error in  cinder-volume-usage-audit"

Merge "Fix create volume from image."

Merge "Update Storwize/SVC driver for Grizzly."

Merge "Skip tests if cinder is not installed"

Merge "XenAPINFS: fix capacity reporting"

Fix syntax error in  cinder-volume-usage-audit

There was a syntax error in a print statement in cinder-volume-usage-audit
which caused the script to crash.

Fixes LP bug #1130266

Change-Id: If4b0102ec5218fc8347f97041ac65f633111c26f

HP 3PAR Fibre Channel Driver and iSCSI Updates

This is the initial FC driver for the HP 3PAR array, along with some
3PAR iSCSI driver cleanup and changes in the HP 3PAR common class.
Summary of changes:
* Initial FC Driver for the Grizzly release (depends on the FC base class
  and nova FC changes https://review.openstack.org/#/c/19992/ &
  https://review.openstack.org/#/c/20003/)
* Updates to iSCSI Driver include volume type and create clone volume support
  as well as general cleanup(comments, copyright, minor bug fixes).
* The tests have been updated to add FC test and the file was renamed
  to reflect both FC and iSCSI 3PAR tests.
* Volume types added for the Grizzly release include cpg, snap_cpg, persona
  and provisioning(thin vs. full)

Partially Implements: blueprint fibre-channel-block-storage

Change-Id: Ie1c2e755aa1bcd5994ea4b02674718721b958e07

Fibre Channel base class for Cinder drivers

This is the base class, FibreChannelDriver, for all fibre channel
drivers to extend. Currently, it has only initialize_connection
with comments, but this will be a place to put common functions
similar to the iSCSI base class.

This patch depends on the following nova and devstack changes
to be functional(both still in the review process but approved
for Grizzly):
https://review.openstack.org/#/c/19992/
https://review.openstack.org/#/c/20003/

This patch does not support copy_image_to_volume and
copy_volume_to_image in the Grizzly release. We'll revisit
this in Havana and add that support.

Partially Implements: blueprint fibre-channel-block-storage

Change-Id: I8bd28b8bd96deaec1db219457f407169ed172f69

Update cinder-manage to use FLAGS.log_dir.

We no longer use FLAGS.logdir. This commit updates
cinder-manage to use the new FLAGS.log_dir option instead.

Fixes LP Bug #1130258.

Change-Id: Id5f1175ec83f0f0b677ab0d75b310fa054459319

Add a safe_minidom_parse_string function.

Adds a new utils.safe_minidom_parse_string function and
updates external API facing Cinder modules to use it.
This ensures we have safe defaults on our incoming API XML parsing.

Internally safe_minidom_parse_string uses a ProtectedExpatParser
class to disable DTDs and entities from being parsed when using
minidom.

Fixes LP Bug #1100282.

Change-Id: Iff8340033c8e8db58184944a1bf705e16b8b3e03

Merge "Install rtslib when installing cinder"

Add a volume driver in Cinder for Scality SOFS

Scality SOFS is a network filesystem mounted with FUSE, with most
options given in a configuration file. Given a mount point and a SOFS
configuration file as driver options, the Scality volume driver mounts
SOFS, and then creates, accesses and deletes volumes as regular
(sparse) files on SOFS.

Change-Id: I914714e8547a505109514e2072f9e258abca8bd4
Implements: blueprint scality-volume-driver

Fix create volume from image.

Fix for bug 1129199

During creating a volume from an image, the volume status changed
from creating to active, skipping the download phase. This bug was most
likely introduced during:
https://review.openstack.org/20514
This patch fixes the issue by change image_location back to image_id at
the correct place.
This patch also fixes an error in the exception handling, and the update
of the volume status after creation.

Change-Id: Ib9b647031c029387b776c27f9233388bd2c67e9c

XenAPINFS: fix capacity reporting

Fixes bug 1129056

XenAPINFS did not implement the get_volume_stats method, thus
CapacityFilter fitered out the host, thus no volume was scheduled. This
fix is working around this problem quickly, by reporting an 'unknown'
capacity.

Change-Id: I1dc5327e420a3316201318d52f602ced071d459b

Update Storwize/SVC driver for Grizzly.

Includes FC support, create_cloned_volume, volume type support,
get_volume_stats, and minor bug fixes.

Change-Id: I13e3d7921c5127e6b4e0cbb4e91761e0249ec295

Set rootwrap_config in cinder.conf sample.

Remove the root_helper=sudo in cinder.conf.sample and
move to the rootwrap_config=/etc/cinder/rootwrap.conf as
the default.

Change-Id: Ib4bacf4d24993cb9506b51523a5ba44fe1f85d18

Merge "Fix undef function call in test_migrations for py26"

Skip tests if cinder is not installed

Skipp test_restry_disabled and test_retry_attempt_one
if cinder is not installed.

Change-Id: Iccc36e2ce0f57b5fa67566e1da543f9888bf0f57
Signed-off-by: Chuck Short <chuck.short@canonical.com>

Merge "Update cinder-volume to enable multi volume support"

Merge "Fix PEP8 violation (again)"

Fix undef function call in test_migrations for py26

unittest does not have this function until later. This uses the already
imported cinder.test.skip_unless to accomplish the same result without
outputted error.

Change-Id: Id20add5a0d41e5d8cf6f8bc6aa0e547e5e386dab

Merge "Sync latest cfg and log from oslo-incubator"

Fix PEP8 violation (again)

Change-Id: I91d8d4d879bfdffffe982aafa228c374506921df

Update cinder-volume to enable multi volume support

* Added the service wrapper for multi binscripts
* Added a service_name to manager
* Added the configuration wrapper so the impls do not need
  to know if they are accessing config values from a option
  group or from the DEFAULT group
* Updated drivers to use the new configuration wrapper
* Added an example config set for multi backend
* Modified service to comply w/ common
* Added get_volume_stats to iscsi
* Added config for volume_backend_name

implements blueprint multi-volume-backends

Change-Id: Idb86ac5f1c06b9cd5061bef6a24f17727e9a58c1

Install rtslib when installing cinder

It doesnt make sense to put rtslib in tools/test-requires
since it is not directly using the python module while running
the tests, since the tests use cinder-rtstool.

Change-Id: Ib39b91e25f22b4943ef17eee50967828f7460b25
Signed-off-by: Chuck Short <chuck.short@canonical.com>

Sync latest cfg and log from oslo-incubator

Main cfg change is:

  c5984ba Move logging config options into the log module

Logging changes include:

  c5984ba Move logging config options into the log module
  751c35b Verbose should not enable debug level logging
  edcdd25 Improve millisecond logging
  9e5912f Fix pep8 E125 errors.
  edf14e0 Enable millisecond logging by default
  9b81289 Allow nova and others to override some logging defaults
  90ada0e update deprecated stanza
  efba202 Adjust the logging_context_format_string.
  c8cf6f7 move nova.common.deprecated to openstack-common

Fixes bug #989269

Use new LOG.deprecated() in place of cinder.common.deprecated.warn().

Also pull this cinder/context.py change from nova:

  ce098cc Add user/tenant shim to RequestContext

to avoid issues caused by a s/user_id/user/ change in the context
logging format.

Change-Id: I3913ea54465658d93dc56e014dfe5d911b0541d6

Merge "Handle 'infinite' and 'unknown' capacity in CapacityWeigher"

Merge "Update snapshot rest api to be consistent with volumes"

Merge "Add get_cluster_stats to SolidFire driver"

Handle 'infinite' and 'unknown' capacity in CapacityWeigher

This patch updates CapacityWeigher to transform 'infinite' and
'unknown' capacity reported by back-ends to float('inf').  They
are considered the same for sorting purpose.

Change-Id: Ic8f811227c9937c4e09eb8b77457ed7e9231be4e

Merge "Add an ID to temporary volume snapshot object"

Add get_cluster_stats to SolidFire driver

With the filter scheduler addition we added get_stats to the
drivers.  This provides the required data for the filtering
mechanisms and is called by the scheduler.

The change adds the required call in the driver and also adds
an update routine to it's init to populate this info on startup.
This also adds the fake api response so that the tests can perform
the init routine and get the data, while giving the added bonus of
testing the new functions at the same time.

Change-Id: Ia75e078f8e73883131cb1e68f6e6713fce1ab518

Merge "Add GlusterFS volume driver"

Merge "Add LIO iSCSI backend support using python-rtslib"

Merge "rbd: update volume<->image copying"

Merge "Update EMC SMI-S Driver"

Merge "Add an update option to run_tests.sh"

Merge "Create a RemoteFsDriver class"

Merge "Adding support for Coraid AoE SANs Appliances."

Merge "Allow create_volume() to retry when exception happened"

Adding support for Coraid AoE SANs Appliances.

This driver provide support for Coraid hardware storage appliances
using AoE (ATA Over Ethernet) protocol.

Implements blueprint coraid-volume-driver

Reference to Nova patch libvirt-aoe :
https://review.openstack.org/21101

The following operations are supported :
-- Volume Creation with Volume Types
-- Volume Deletion
-- Volume Attach
-- Volume Detach
-- Snapshot Creation
-- Snapshot Deletion
-- Create Volume from Snapshot
-- Volume Stats

The driver only work when operating on EtherCloud ESM,
Coraid VSX and Coraid SRX Appliances.

Change-Id: I7c8dde0c99698b52c151a4db0fb1bb94d516db61

Add an update option to run_tests.sh

This commit adds an update option to run_tests.sh. This option
is used to rerun install_venv.py on an already installed venv.
This will then just update out of date packages with pip.

Change-Id: I96dc6940f536feb810d57b3316e9d712aa750d93

Update EMC SMI-S Driver

1. Merged with Avishay's changes(https://review.openstack.org/#/c/
19808/3) and removed copy volume<->image from my driver.
2. Also did some refactoring based on Mike's comments
last time (See https://review.openstack.org/#/c/19979/).
Made the following changes in emc_smis_common:
- Added a member variable conn to save get_ecom_connection
and moved exceptions inside the helper function get_ecom_connection.
- Also moved exceptions inside find_pool and get_storage_type.
- Added test cases so get_ecom_connection, find_pool, and
get_storage_type will be covered.
3. Made changes in emc_smis_common to handle both iscsi and fc.

Change-Id: I56db3ba41215489f6afe840ce5310a31f28bf5ae

Add LIO iSCSI backend support using python-rtslib

This patch enables LIO as an iSCSI backend for Cinder, using
python-rtslib.

To enable, set "iscsi_helper = lioadm" in cinder.conf.

This requires python-rtslib 2.1.fb27, which is available from pip.

Implements blueprint lio-iscsi-support
DocImpact

Change-Id: Ifb23de65f26a40997afd6148a1d0be39bcc8d196

Add GlusterFS volume driver

This driver enables use of GlusterFS in a similar fashion
as the NFS driver.  It supports basic volume operations,
and like NFS, does not support snapshot/clone.

To enable, set volume_driver to
 cinder.volume.drivers.glusterfs.GlusterfsDriver

Note that this requires a Nova libvirt GlusterFS driver
as well.

Adds config options: glusterfs_shares_config,
glusterfs_mount_point_base, glusterfs_disk_util, and
glusterfs_sparsed_volumes.

DocImpact

Change-Id: I3dd4018f0cb4db48348728ca66bae7918309bb32

Create a RemoteFsDriver class

This class holds common functions for drivers similar to NFS.

Change-Id: I83d89c971fd0153df7702e2803bed66df1a759f6

Fix ordering of function args

Previous change swapped context and type-id params in function
declaration.  Put it back.

Also, no reason for storing the qos dict in the parameters, if
it's stored then we continuously have to update it, remove that
for now and come up with a cleaner method later.

Change-Id: I0820a48660bdfd0481be3681e33d7e2ff3246bb1

Add an ID to temporary volume snapshot object

The create_cloned_volum method creates a temp snapshot and
when it's done it uses the standard snapshot_delete method
in the LVM driver.

A change was added that logs a statement using the object[id],
but we weren't actually setting this on our temp object so we
would get a trace fo key DNE.  This change adds an id key to
our temp object.

Fixes bug: 1125457

Change-Id: I4d886f2738a3c394a3a3a6373045669cf6bf8aaf

Allow create_volume() to retry when exception happened

Due to the fact that certain volume back-ends cannot easily report
simple total_capacity_gb/free_capacity_gb for their internal
implementation complexity, scheduler is updated to let those back-ends
who report unclear capacity pass capacity filter, thus there is chance
create_volume() request would fail. In a more general case, when a
volume back-end failed to serve create_volume request for whatever reason
it'd be good that we have a mechanism to 'retry' the request.

So the idea is when volume manager catches the exception from
driver.create_volume() call, it checks if the request is allowed to be
rescheduled (requests that are not: clone volume and create volume from
snapshot while 'snapshot_same_host' option is true), it composes a new
request back to scheduler with additional information to mark this specific
back-end has been tried (so that scheduler may choose to skip this back-end
if needed).  Scheduler is (filter scheduler only, simple and chance
scheduler is not supported) is updated as well so that it only retry
scheduler_max_attempts times.  In order to skip/rule out previously tried
back-ends in next schedule task, a new RetryFilter is added.

Changes:
1) volume RPC API create_volume() is updated with new parameters
to save original request information in case rescheduling is needed.
This bumps volume RPC API to 1.4.

2) implementation of create_volume() method in volume API is
refactored in order to distinguish if a request is allowed to
do reschedule (i.e. currently create volume from source volume
bypasses scheduler, not rescheduling is allowed).

3) add reschedule functionality in create_volume() of volume
manager so that it's able to send the request back to scheduler.

4) add schedule_max_attempts config option in scheduler/driver.py

5) add RetryFitler

6) change scheduler_driver default option to FilterScheduler

Change-Id: Ia46b5eb4dc033d73734b6aea82ada34ba5731075

Fixes the provisioning on selected volumes for NetApp 7 mode.

The current direct driver for 7 mode provisions openstack
volume on all NetApp 7 mode volumes mixing openstack volumes
with all non openstack volumes. This fix allows volume selection
by the user to keep openstack volumes separate from non opnestack
block storage entities.

bug 1132834

Change-Id: I77b78ce304e72482724b6ff7c52795c60992243e

rbd: update volume<->image copying

Use fetch_to_raw() to convert from any format when
copying an image.

Fix two bugs in copy_image_to_volume():
 1) use rbd format 2 if supported
 2) resize to match the expected volume size

Also implement copy_volume_to_image().

Change-Id: I5589666c33ead087876e850363ad869050120882
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>