Merge "Fix silly error in comment"

Merge "3PAR: Fix extend volume GiB to MiB"

Merge "3PAR: Create volume from snapshot with larger size"

Merge "Brick support for pNFS"

Merge "Storwize/SVC: Change volume copy task to async"

Merge "Replace tearDown with addCleanup"

Merge "Removes use of timeutils.set_time_override"

3PAR: Fix extend volume GiB to MiB

Extend volume was sending GiB instead of MiB to the 3PAR
array. This patch is now sending the growth size in MiBs
instead of GiBs.

Change-Id: Ib4903315a32e090e760883cc80c50f3698fe015f
Closes-Bug: #1284368

Fix silly error in comment

Fixing since it threw me for a second or two...

Change-Id: I53ecbe8a7bf31bd5c88cb0d025ff3d46aa741ce9

Merge "Fix free_capacity reporting in SolidFire driver"

3PAR: Create volume from snapshot with larger size

Refactored the migrate_volume code to be usable by both migrate volume
and create volume from snapshot with a larger size. The common functionality
is to clone a volume as a base volume. Migrate volume specifies a different
CPG, whereas create volume from snapshot uses the same CPG.

Change-Id: I4081807294d918fc0e9c2e17bae89b6df7ee1513
Closes-Bug: #1279478

Merge "Use six.StringIO instead of StringIO.StringIO"

Fix free_capacity reporting in SolidFire driver

The SolidFire driver reports capacity info in bytes, the
capabilities update reports available_GB.  Sadly we neglected
to convert the bytes to gigibytes here which made for a VERY
large backend and caused things like capacity filtering to not
work correctly.

This patch just adds conversion to GiB when reporting capabilities.

Change-Id: I62c6ad2edd8c2ced344df766c198504894f4902b
Closes-Bug: 1284452

Replace assertEqual(None, *) with assertIsNone in tests

Replace assertEqual(None, *) with assertIsNone in tests to have
more clear messages in case of failure.

Change-Id: I2560aa559580fb068eb27174c9a7c8cd57e11b69

Replace tearDown with addCleanup

Infra team has indicated that tearDown should not be used and should
be replaced with addCleanup in all places.

This patch replaces tearDown with addCleanup methods in cinder/tests/api.

Implements blueprint replace-teardown-with-addcleanup

Change-Id: I640c1985bf7fce6f2fbd4de8e56448b6c9af51ca

Use six.StringIO instead of StringIO.StringIO

to keep Python 3.x compatibility, use six.StringIO/BytesIO to
replace StringIO.StringIO

StringIO works for unicode
BytesIO works for bytes

Change-Id: I5e40809b2347d4dbe031ba92dac4848b044d3af6
Closes-Bug: #1280100

Merge "3PAR: Delete missing snapshot stuck in error_del"

Merge "Implement retype in IBM GPFS Driver and refactor"

Merge "Added 3par initiator target map for FCZM"

Merge "Fix invalid facilities documented in rootwrap.conf"

Merge "Fix race in test_delete_backup"

Implement retype in IBM GPFS Driver and refactor

1. Add retype method to GPFS driver.  Currently only storge_pool
   attribute is handled.  Future patches will extend this.
2. Refactor migrate method to handle migration locally if source
   and target are in the same gpfs cluster.
3. Move driver into 'ibm' directory.
4. Refactor based on pylint feedback.
5. Replace mox with mock in unit test.
6. Improve exception handling and logging.

DocImpact

Implements: blueprint gpfs-volume-retype
Change-Id: Ibc3bc367e5d42940c69d6747774c82c8cad22a35

3PAR: Delete missing snapshot stuck in error_del

If the snapshot is deleted outside of cinder, attempting
to delete it again results in the snapshot state stuck in
error_deleting.

This is because the current code raises a NotFound exception,
but the base cinder code does not catch this and update its db.

Instead, log a warning, and simply tell the base cinder code that it was
successfully deleted.

Change-Id: I5c5d24bc113e320346ff4f1f4f62fffdf7cddfc4
Closes-Bug: #1283233

Added 3par initiator target map for FCZM

This patch adds the required initiator target map
for the Fibre Channel Zone Manager.   The
FCZM looks for the initiator_target_map to try and
automatically zone up the endpoints.

Change-Id: I61aaf31752f8a5eebb672887c9a943584df66995
Closes-Bug: #1284275

Merge "3PAR: Backend assisted volume migrate"

Merge "Add encrypted flag to volumes"

Merge "Sync oslo imageutils, strutils to cinder"

Merge "Add support for FC zone lifecycle management"

Fix race in test_delete_backup

Unit test sporadically failed due to timing issue - the deletion
timestamp on the backup was exactly the same as timeutils.utcnow(),
causing the AssertGreater check to fail.  Change to AssertGreaterEqual.

Change-Id: Ia66d0d4bdae3242780a91f0d384cbd17caa8c197
Closes-bug: #1284227

Merge "Add x-openstack-request-id to cinder responses"

Merge "Driver for IBM SONAS and Storwize V7000 Unified"

Driver for IBM SONAS and Storwize V7000 Unified

The IBM NAS Driver currently implemented to work over NFS protocol,
and implements required set of features for OpenStack Icehouse release,
using the features of these storage products. It allows IBM® SONAS®
and Storwize® V7000 Unified filers to host storage for OpenStack
environment by integrating with Openstack Cinder service.

DocImpact

Change-Id: I0d630bf7e69454b88e9d1e93b4099631f6138204
Implements: blueprint ibm-nas-volume-driver
Related-Bug: #1281152

Merge "Nexenta iSCSI driver: fixed volume_migration"

Merge "Change default policy for volume_extension:volume_tenant_attribute"

Merge "Fix FC connection handling in the storwize driver"

Merge "Fix webob.exc.HTTPForbidden parameter miss"

Fix webob.exc.HTTPForbidden parameter miss

HTTPForbidden should use the parameter 'explanation'
instead of 'detail'.
This patch fixes this bug.

Change-Id: I688145f7ea942277c7d3ed3221d6ff2bc7a852ad
Closes-Bug: #1283872

Storwize/SVC: Change volume copy task to async

If Cinder crashes during a migration or retype (where data is moved and
the operation can take a long time), the storage ends up with multiple
copies of the same volume which requires storage admin intervention.

This patch maintain a list of pending operations which is backed up in
admin metadata, and a periodic task reviews the list and removes volume
copies whose copy operation completed. When Cinder comes up, check the
admin metadata and rebuild the list.

Change-Id: I6549712bb0083996faced89c2207a4c438ae953d
Closes-Bug: #1278035

Fix FC connection handling in the storwize driver

Creating FC connections was not working due to several issues:

1. The lsfabric command in the Storwize/SVC omitted the delimeter and so
the output was not correctly parsed by the driver.
2. In some cases comparisons of WWPNs were not case insensitive - ensure
we compare lower-case WWPNs.
3. If the host supplied extra information in the connector (e.g. iSCSI
initiator name in case of an FC setup, or FC WWNNs/WWPNs in an iSCSI
setup), the driver would try to make those host mappings on the storage
too.  This could lead into unwanted behaviour and confusing error
messages (for example, in an FC setup reaching the maximum number of
iSCSI mappings).

In addition, unit tests weren't properly testing FC - instead they were
always testing iSCSI due to an error in parsing extra_specs. This patch
fixes that error and the unit tests as well.

These changes must all be made together for unit tests to pass.

Closes-bug: 1279758
Change-Id: I64e21609ba089cf5bfd52ce2644f6f229bcc69dc

Merge "Remove old driver mapping deprecation"

Add support for FC zone lifecycle management

Allows automated zone lifecycle management in the attach/detach
entry points of the volume manager for FC volumes (when fabric
zoning is enabled). Zones are configured automatically as part
of the active zone set in the FC SAN to provide a more flexible
and secure way of controlling access. FC zone manager enables
SAN vendors to add support for pluggable implementations.

Change-Id: I86e02e11afec71ffa25dfbcbd0dc3ddcc35741ea
Implements: blueprint cinder-fc-zone-manager

Merge "Add HP MSA Fiber Channel driver"

Merge "Use six.moves cStringIO instead of cStringIO"

Remove old driver mapping deprecation

This deprecation was introduced back in Grizzly, which will be EOL after
IceHouse. Removing to clean things up.

Change-Id: I509bb4115c3c88a7af7326125feb760f20847b8d

Merge "Add support for qos_specs feature to 3PAR drivers"

Merge "Update 3PAR drivers to pass cert test"

3PAR: Backend assisted volume migrate

This patch implements volume migrate using native 3PAR APIs.

Prerequisites:
1. Same 3PAR backend
2. Volume cannot be attached
3. Source and Dest CPGS are in the same domain

Steps:
1. Create a temporary volume in the destination with a copy of the source
2. Wait for the copy to complete
3. Delete the source
4. Rename the temporary to the same name as the original

Change-Id: Ia42503d41bf8afd908cd3ffb0288f0d353f313f1
Implements: blueprint native-3par-migrate-volume

Merge "Ensure return for db api functions"

Merge "Update gpfs driver volume creation process"

Merge "Remove unused function"

Add HP MSA Fiber Channel driver

This commit implements a driver for the HP MSA arrays. Only Fiber
Channel is supported for now.

Implements: blueprint add-msa-2040-driver
DocImpact
Change-Id: I75232cafadf7f6d15c5959d6c054f2e0f4d14e2c

Ensure return for db api functions

Functions in db/api.py should return whatever the implementation of
those functions return. This is important for qos_specs_update which
returns something for the sqlalchemy implementation, but for others as
well for future implementations.

Added 'return' for functions that were missing it.

Change-Id: I384b1cf915b2d2238fd75d23b17558cae2cf9f50
Closes-Bug: #1272365

Merge "HP LeftHand Backend assisted volume migrate"

Merge "IBM XIV and DS8000 Driver reorganizing (IBM dir)"

Merge "GPFS:  Implement volume backup and restore"

HP LeftHand Backend assisted volume migrate

This patch implements volume migrate using native LeftHand APIs.

Limitations:
1. Same LeftHand backend
2. Volume cannot be attached
3. Volumes with snapshots cannot be migrated
4. Source and Destination clusters must be in the same management group
5. Volume re-type not supported

Change-Id: I503d5a10ee59db14130c676a5c3a07abf9a2b7af
Implements: blueprint native-lefthand-volume-migrate

Add support for qos_specs feature to 3PAR drivers

This patch includes the ability to set the qos-specs for the
existing 3PAR qos settings (maxIOP and maxBWS) in addition to
the new settingis listed below. We would prefer that the
new qos-specs associated to a volume type be used, but this
patch also supports setting these values the old way in extra-specs
for backwards compatibility.

This patch also adds two additional personas to the list of
valid personas that are now support by the 3PAR backends.

DocImpact: Implements new qos settings
minIOPS - The minimum IOPs per second
minBWS - The minimum bandwidth per second
latency - The QOS I/O target latency
priority - The QOS scheduling priority (high, normal, low)
The priority defaults to normal

Two new personas added include HPUX and WindowsServer

Change-Id: I7f94a493919dc2d34daac91d684369d1f51c974c
Implements: blueprint add-qosspec-support-to-3par-drivers

Add x-openstack-request-id to cinder responses

x-openstack-request-id is the common header name for request ID going forward.
Currently, only glance and neutron return this header. Using the request_id
middleware is a convenient way to ensure this header is in the response. We will
also be using the middleware to generate the request ID.

The ID will be generated by the middleware and is inserted into the request
environment. The current code generates the request ID in the constructor of
RequestConext; with this change, the ID is generated beforehand and passed in to
the RequestContext constructor. Not much different here: a request ID is
generated and is available for use in the handling of the request.

On the response end, the middleware is again used, this time to attach the
x-openstack-request-id header, using the value of the generated request ID. The
current code attaches the x-compute-request-id header.

This change is a necessary step toward logging the mapping of request IDs across
OpenStack services.

UpgradeImpact: api-paste.ini is modified

Change-Id: I30c4e5efa77f9ebffb485d2ea6a6c3f78eb1573f
Implements: blueprint add-standard-req-id-header

Merge "Sync request_id, request_utils for cinder"

Update 3PAR drivers to pass cert test

This patch updates both the HP 3PAR Fibre Channel
and HP 3PAR iSCSI block storage drivers so that they
can pass the driver certification tests.  We also updated
the unit tests to use mock instead of mox.

These versions of the drivers require the new 3.0.0 hp3parclient,
which can be downloaded from the pypi repository:
https://pypi.python.org/pypi/hp3parclient
The new hp3parclient requires the 3.1.3 firmware on the HP 3PAR.

The driver certification results:
Related-Bug: #1278575
Related-Bug: #1278577

Closes-Bug: #1279137

Change-Id: I72e0a76c865e54c58e41cc4409555d9042e30267
DocImpact: Document new driver requirements.

Merge "Implement retype in HP LeftHand driver"

Remove unused function

Romove unused function stub_out_rate_limiting in
cinder/tests/api/fakes.py

Change-Id: Ib6fea599eacb140108ca4293cdd089b010a8b979
Closes-Bug: #1282098

Ensures NetApp iSCSI driver correctly compares int values for size

The NetApp iSCSI driver needs to verify that the new size requested
during an extend operation does not exceed the max_resize of the
lun.  However, the driver was doing a >= compare against str values
of the sizes rather than the int values.  This caused the incorrect
code path to be used in certain situations.

Change-Id: I8bc66c71db6b469c7adf00ce8b5091513fccb740
Closes-Bug: 1281279

Sync request_id, request_utils for cinder

This is in preparation for work being done on request ID tracing across
OpenStack services.

Per discussion in blueprint cross-service-request-id , the standard header
name for the request ID across OpenStack projects should be
x-openstack-request-id. The request_id middleware was created for just this
purpose, as oslo change Ic7967cd62e7b743343d70f751b9238339171e013 . Using the
same middleware allows for consistency across projects.

There is an additional oslo module, request_utils, introduced as
change Id085c4444fee2bb68b80738bfe77ccb0ba1908ec to allow uniform logging of
request IDs. Bring that in as well so we have it when necessary.

Implements: blueprint add-standard-req-id-header
Change-Id: If080df2a323347924c93a912538dab5ffeffe982

IBM XIV and DS8000 Driver reorganizing (IBM dir)

    * renamed:    cinder/volume/drivers/xiv_ds8k.py
                  -> cinder/volume/drivers/ibm/xiv_ds8k.py
    * updated all references to old xiv_ds8k paths
    * regenerated sample.conf

Change-Id: Iab094c78a0e4eb1753fe8809089ba1337d95e2e0
Partially implements: blueprint ibm-volume-driver-reorg

Sync oslo imageutils, strutils to cinder

Changes in imageutils:
===============================
bec3a5e Implements SI/IEC unit system conversion to bytes
8b2b0b7 Use hacking import_exceptions for gettextutils._
aad179d Fixing misspelled encryption key in QemuImgInfo
12bcdb7 Remove vim header
2bd46eb Refactors byte size extraction logic

Changes in strutils:
====================
bec3a5e Implements SI/IEC unit system conversion to bytes
e53fe85 strutils bool_from_string, allow specified default
8b2b0b7 Use hacking import_exceptions for gettextutils._
84d461e Fix a bug in safe_encode where it returns a bytes object in py3
12bcdb7 Remove vim header
3970d46 Fix typos in oslo
1a2df89 Enable H302 hacking check
67bd769 python3: Fix traceback while running python3.
b0c51ec Refactors to_bytes

Change-Id: I765bcd40f959162874bfda412b69e673c6e5f732
Related-bug: #1189635
Related-bug: #1193765
Related-Bug: #1257829

Merge "Add support for backing up volume metadata"

GPFS:  Implement volume backup and restore

Add support in gpfs driver for volume backup interface
to backup or restore a volume using backup service
specified in cinder.conf.

Implements: blueprint gpfs-volume-backup
Change-Id: I6f6730bab87c7e7547a66e1b57909f761f87d347

Fix invalid facilities documented in rootwrap.conf

The values user0 and user1 do not map to valid facility values.
local1, etc.  Using user0 results in a  pri value that does not map
back to a facility of the same name in syslog.

RFC5424 suggest values values of local0 through local7.  Setting
syslog_log_facility to one of those values results in a message with a
priority that can be mapped back to the original string value.

This fix adjusts the comment in rootwrap.conf to suggest the local
prefix instead of the user prefix.

Change-Id: I1c1233ab2386994672d22341fbe3e097409dbcbc
Closes-bug: #1280879

Use six.moves cStringIO instead of cStringIO

to keep Python 3.x compatibility, use six.moves.cStringIO to
replace StringIO

Change-Id: Id89c6156d9bba0007e8b16cd2cc28413a7cc5fd3
Closes-Bug: #1280964

Merge "Add searchDepth when getClusterInfo called."

Merge "Fix wrong example of "nova_endpoint_template""

Merge "Replace assertEqual(None, *) with assertIsNone in tests"

Merge "Add EMC SMI-S FC Driver in Cinder"

Merge "Imported Translations from Transifex"

Merge "Cast the quota set values to integer before checking their validity"

Merge "Remove dependent module py3kcompat"

Add support for backing up volume metadata

This commit adds a new versioned api to the backup driver base
class which all backup driver implementations should use in order
to support backing up volume metadata as well as data. The general
rule here is that we backup all metadata from a set of db tables
and can then be selective about what we restore.

As part of this commit, Ceph backup driver implements the new api
to backup volume metadata (including glance metadata) thus
supporting restoring volumes as bootable.

It is expected that the other backup driver implementations will
follow suit and adopt this approach.

Implements: blueprint cinder-backup-volume-metadata-support
Fixes: bug 1137908
Change-Id: Icf2f1202d827d2435e09f5dad0f6f022f35dceee

Imported Translations from Transifex

Change-Id: Id20fd023c69d84a929f432304ab15e6c80c81b3b

Merge "Remove unused exception"

Replace assertEqual(None, *) with assertIsNone in tests

Replace assertEqual(None, *) with assertIsNone in tests to have
more clear messages in case of failure.

Change-Id: Iac9462620bf4ae338998fa6aea7f1514a945059b
Closes-Bug:#1280522

Merge "lvm: unhandled exception when migrating volume"

Merge "Fix cinder-backup volume restore with ceph driver"

Add encrypted flag to volumes

Currently, the only way to determine whether a volume is encrypted
is by retrieving the encryption metadata about the volume (through
cinder.api.contrib.volume_encryption_metadata) and checking the
encryption_key_id value.  This patch adds an "encrypted" flag to
the basic volume api to enable other services (like Horizon: see
patch https://review.openstack.org/#/c/71125) to easily tell
whether a volume is encrypted using a basic get call,instead of
requiring an additional call.

Implements blueprint encrypt-cinder-volumes
https://blueprints.launchpad.net/nova/+spec/encrypt-cinder-volumes

Change-Id: Id8e422135f17795de06589930afd0309fde28fd1

Implement retype in HP LeftHand driver

This adds the ability to modify the
type of an existing HP LeftHand volume to
another type supported on the same backend.

Main use case for this is changing provisioning,
(full vs. thin), adaptive optimization and data
protections settings for a volume on-demand.

Change-Id: I78e53431708bcb3151c5dc4016e65d1a655e03c6
Implements: blueprint retype-support-for-hplefthand-driver

Cast the quota set values to integer before checking their validity

Change-Id: I56409607d435a5e2ff702ccb9f19c5d12b432570
Closes-Bug: #1280159

Remove dependent module py3kcompat

Module py3kcompat was removed from oslo-incubator, we can use
six directly.

Change-Id: I6c4266b71312ae53ecaedbd2ce1a865e60eb8d50
Closes-Bug: #1280033

Add EMC SMI-S FC Driver in Cinder

Add an EMC SMI-S FC Driver in Cinder. It supports all required
driver features.
Also made enhancements to the existing SMI-S iSCSI Driver
(performance enhancement, multiple pool support and thick/thin
provisioning, extend volume).
emc_smis_common.py is the common code used by both iSCSI driver
(emc_smis_iscsi.py) and FC driver (emc_smis_fc.py).

Implements blueprint emc-fibre-channel-volume-driver

Change-Id: Idace398ef60863811911511bcbbfcecb3bf58270

Fix wrong example of "nova_endpoint_template"

In cinder.conf

e.g. http://localhost:8774/v2/%(tenant_id)s

should be

e.g. http://localhost:8774/v2/%(project_id)s

Change-Id: I7dd3be9bc9d2e8f26619b00b5bdbc66505a984b2
Closes-Bug: #1279747

Update gpfs driver volume creation process

Modify gpfs driver to set file permissions in
a more consistent way.

Modify image_utils.resize_image to allow caller
to request it be run as root.

SecurityImpact
Change-Id: Ic01d91c0d660c74095e8d2b212279b39b9b9dc05
Partial-Bug: #1260679

Merge "Add update support to volume type encryption"

Merge "Rename Openstack to OpenStack"

Merge "GlusterFS: Fix create/restore backup"

Remove unused exception

 o class WillNotSchedule(CinderException):

   This exception was removed in the following commit.

    commit cea7fe21cecfcd28ede3ba411b8ab8b36c9a7c15
    Author: Zhiteng Huang <zhithuang@ebaysf.com>
    Date:   Thu Jan 2 15:44:30 2014 +0800

        Drop Chance/SimpleScheduler Implementation

Change-Id: I8f5f8e6c5c844a67607dae9fb63524aef7069133

Merge "Allow operators to customize max header size"

Merge "Changes to cast variable as integer as XML API fails."

Merge "Move create_, remove_ and ensure_export from drivers"

Merge "Ceph backup driver tidyup"

Add searchDepth when getClusterInfo called.

Without searchDepth, getClusterInfo shows every volume and
snapshot. It's an unused information and takes very long time.

Change-Id: Id590e3023f4446f01b965baf4e8ac61980101067
Closes-Bug: 1276388

Merge "Check type argument on create from source and snap"