Merge "Fix race in test_delete_backup"

Merge "3PAR: Backend assisted volume migrate"

Merge "Add encrypted flag to volumes"

Merge "Sync oslo imageutils, strutils to cinder"

Merge "Add support for FC zone lifecycle management"

Fix race in test_delete_backup

Unit test sporadically failed due to timing issue - the deletion
timestamp on the backup was exactly the same as timeutils.utcnow(),
causing the AssertGreater check to fail.  Change to AssertGreaterEqual.

Change-Id: Ia66d0d4bdae3242780a91f0d384cbd17caa8c197
Closes-bug: #1284227

Merge "Add x-openstack-request-id to cinder responses"

Merge "Driver for IBM SONAS and Storwize V7000 Unified"

Driver for IBM SONAS and Storwize V7000 Unified

The IBM NAS Driver currently implemented to work over NFS protocol,
and implements required set of features for OpenStack Icehouse release,
using the features of these storage products. It allows IBM® SONAS®
and Storwize® V7000 Unified filers to host storage for OpenStack
environment by integrating with Openstack Cinder service.

DocImpact

Change-Id: I0d630bf7e69454b88e9d1e93b4099631f6138204
Implements: blueprint ibm-nas-volume-driver
Related-Bug: #1281152

Merge "Nexenta iSCSI driver: fixed volume_migration"

Merge "Change default policy for volume_extension:volume_tenant_attribute"

Merge "Fix FC connection handling in the storwize driver"

Merge "Fix webob.exc.HTTPForbidden parameter miss"

Fix webob.exc.HTTPForbidden parameter miss

HTTPForbidden should use the parameter 'explanation'
instead of 'detail'.
This patch fixes this bug.

Change-Id: I688145f7ea942277c7d3ed3221d6ff2bc7a852ad
Closes-Bug: #1283872

Fix FC connection handling in the storwize driver

Creating FC connections was not working due to several issues:

1. The lsfabric command in the Storwize/SVC omitted the delimeter and so
the output was not correctly parsed by the driver.
2. In some cases comparisons of WWPNs were not case insensitive - ensure
we compare lower-case WWPNs.
3. If the host supplied extra information in the connector (e.g. iSCSI
initiator name in case of an FC setup, or FC WWNNs/WWPNs in an iSCSI
setup), the driver would try to make those host mappings on the storage
too.  This could lead into unwanted behaviour and confusing error
messages (for example, in an FC setup reaching the maximum number of
iSCSI mappings).

In addition, unit tests weren't properly testing FC - instead they were
always testing iSCSI due to an error in parsing extra_specs. This patch
fixes that error and the unit tests as well.

These changes must all be made together for unit tests to pass.

Closes-bug: 1279758
Change-Id: I64e21609ba089cf5bfd52ce2644f6f229bcc69dc

Merge "Remove old driver mapping deprecation"

Add support for FC zone lifecycle management

Allows automated zone lifecycle management in the attach/detach
entry points of the volume manager for FC volumes (when fabric
zoning is enabled). Zones are configured automatically as part
of the active zone set in the FC SAN to provide a more flexible
and secure way of controlling access. FC zone manager enables
SAN vendors to add support for pluggable implementations.

Change-Id: I86e02e11afec71ffa25dfbcbd0dc3ddcc35741ea
Implements: blueprint cinder-fc-zone-manager

Merge "Add HP MSA Fiber Channel driver"

Merge "Use six.moves cStringIO instead of cStringIO"

Remove old driver mapping deprecation

This deprecation was introduced back in Grizzly, which will be EOL after
IceHouse. Removing to clean things up.

Change-Id: I509bb4115c3c88a7af7326125feb760f20847b8d

Merge "Add support for qos_specs feature to 3PAR drivers"

Merge "Update 3PAR drivers to pass cert test"

3PAR: Backend assisted volume migrate

This patch implements volume migrate using native 3PAR APIs.

Prerequisites:
1. Same 3PAR backend
2. Volume cannot be attached
3. Source and Dest CPGS are in the same domain

Steps:
1. Create a temporary volume in the destination with a copy of the source
2. Wait for the copy to complete
3. Delete the source
4. Rename the temporary to the same name as the original

Change-Id: Ia42503d41bf8afd908cd3ffb0288f0d353f313f1
Implements: blueprint native-3par-migrate-volume

Merge "Ensure return for db api functions"

Merge "Update gpfs driver volume creation process"

Merge "Remove unused function"

Add HP MSA Fiber Channel driver

This commit implements a driver for the HP MSA arrays. Only Fiber
Channel is supported for now.

Implements: blueprint add-msa-2040-driver
DocImpact
Change-Id: I75232cafadf7f6d15c5959d6c054f2e0f4d14e2c

Ensure return for db api functions

Functions in db/api.py should return whatever the implementation of
those functions return. This is important for qos_specs_update which
returns something for the sqlalchemy implementation, but for others as
well for future implementations.

Added 'return' for functions that were missing it.

Change-Id: I384b1cf915b2d2238fd75d23b17558cae2cf9f50
Closes-Bug: #1272365

Merge "HP LeftHand Backend assisted volume migrate"

Merge "IBM XIV and DS8000 Driver reorganizing (IBM dir)"

Merge "GPFS:  Implement volume backup and restore"

HP LeftHand Backend assisted volume migrate

This patch implements volume migrate using native LeftHand APIs.

Limitations:
1. Same LeftHand backend
2. Volume cannot be attached
3. Volumes with snapshots cannot be migrated
4. Source and Destination clusters must be in the same management group
5. Volume re-type not supported

Change-Id: I503d5a10ee59db14130c676a5c3a07abf9a2b7af
Implements: blueprint native-lefthand-volume-migrate

Add support for qos_specs feature to 3PAR drivers

This patch includes the ability to set the qos-specs for the
existing 3PAR qos settings (maxIOP and maxBWS) in addition to
the new settingis listed below. We would prefer that the
new qos-specs associated to a volume type be used, but this
patch also supports setting these values the old way in extra-specs
for backwards compatibility.

This patch also adds two additional personas to the list of
valid personas that are now support by the 3PAR backends.

DocImpact: Implements new qos settings
minIOPS - The minimum IOPs per second
minBWS - The minimum bandwidth per second
latency - The QOS I/O target latency
priority - The QOS scheduling priority (high, normal, low)
The priority defaults to normal

Two new personas added include HPUX and WindowsServer

Change-Id: I7f94a493919dc2d34daac91d684369d1f51c974c
Implements: blueprint add-qosspec-support-to-3par-drivers

Add x-openstack-request-id to cinder responses

x-openstack-request-id is the common header name for request ID going forward.
Currently, only glance and neutron return this header. Using the request_id
middleware is a convenient way to ensure this header is in the response. We will
also be using the middleware to generate the request ID.

The ID will be generated by the middleware and is inserted into the request
environment. The current code generates the request ID in the constructor of
RequestConext; with this change, the ID is generated beforehand and passed in to
the RequestContext constructor. Not much different here: a request ID is
generated and is available for use in the handling of the request.

On the response end, the middleware is again used, this time to attach the
x-openstack-request-id header, using the value of the generated request ID. The
current code attaches the x-compute-request-id header.

This change is a necessary step toward logging the mapping of request IDs across
OpenStack services.

UpgradeImpact: api-paste.ini is modified

Change-Id: I30c4e5efa77f9ebffb485d2ea6a6c3f78eb1573f
Implements: blueprint add-standard-req-id-header

Merge "Sync request_id, request_utils for cinder"

Update 3PAR drivers to pass cert test

This patch updates both the HP 3PAR Fibre Channel
and HP 3PAR iSCSI block storage drivers so that they
can pass the driver certification tests.  We also updated
the unit tests to use mock instead of mox.

These versions of the drivers require the new 3.0.0 hp3parclient,
which can be downloaded from the pypi repository:
https://pypi.python.org/pypi/hp3parclient
The new hp3parclient requires the 3.1.3 firmware on the HP 3PAR.

The driver certification results:
Related-Bug: #1278575
Related-Bug: #1278577

Closes-Bug: #1279137

Change-Id: I72e0a76c865e54c58e41cc4409555d9042e30267
DocImpact: Document new driver requirements.

Merge "Implement retype in HP LeftHand driver"

Remove unused function

Romove unused function stub_out_rate_limiting in
cinder/tests/api/fakes.py

Change-Id: Ib6fea599eacb140108ca4293cdd089b010a8b979
Closes-Bug: #1282098

Ensures NetApp iSCSI driver correctly compares int values for size

The NetApp iSCSI driver needs to verify that the new size requested
during an extend operation does not exceed the max_resize of the
lun.  However, the driver was doing a >= compare against str values
of the sizes rather than the int values.  This caused the incorrect
code path to be used in certain situations.

Change-Id: I8bc66c71db6b469c7adf00ce8b5091513fccb740
Closes-Bug: 1281279

Sync request_id, request_utils for cinder

This is in preparation for work being done on request ID tracing across
OpenStack services.

Per discussion in blueprint cross-service-request-id , the standard header
name for the request ID across OpenStack projects should be
x-openstack-request-id. The request_id middleware was created for just this
purpose, as oslo change Ic7967cd62e7b743343d70f751b9238339171e013 . Using the
same middleware allows for consistency across projects.

There is an additional oslo module, request_utils, introduced as
change Id085c4444fee2bb68b80738bfe77ccb0ba1908ec to allow uniform logging of
request IDs. Bring that in as well so we have it when necessary.

Implements: blueprint add-standard-req-id-header
Change-Id: If080df2a323347924c93a912538dab5ffeffe982

IBM XIV and DS8000 Driver reorganizing (IBM dir)

    * renamed:    cinder/volume/drivers/xiv_ds8k.py
                  -> cinder/volume/drivers/ibm/xiv_ds8k.py
    * updated all references to old xiv_ds8k paths
    * regenerated sample.conf

Change-Id: Iab094c78a0e4eb1753fe8809089ba1337d95e2e0
Partially implements: blueprint ibm-volume-driver-reorg

Sync oslo imageutils, strutils to cinder

Changes in imageutils:
===============================
bec3a5e Implements SI/IEC unit system conversion to bytes
8b2b0b7 Use hacking import_exceptions for gettextutils._
aad179d Fixing misspelled encryption key in QemuImgInfo
12bcdb7 Remove vim header
2bd46eb Refactors byte size extraction logic

Changes in strutils:
====================
bec3a5e Implements SI/IEC unit system conversion to bytes
e53fe85 strutils bool_from_string, allow specified default
8b2b0b7 Use hacking import_exceptions for gettextutils._
84d461e Fix a bug in safe_encode where it returns a bytes object in py3
12bcdb7 Remove vim header
3970d46 Fix typos in oslo
1a2df89 Enable H302 hacking check
67bd769 python3: Fix traceback while running python3.
b0c51ec Refactors to_bytes

Change-Id: I765bcd40f959162874bfda412b69e673c6e5f732
Related-bug: #1189635
Related-bug: #1193765
Related-Bug: #1257829

Merge "Add support for backing up volume metadata"

GPFS:  Implement volume backup and restore

Add support in gpfs driver for volume backup interface
to backup or restore a volume using backup service
specified in cinder.conf.

Implements: blueprint gpfs-volume-backup
Change-Id: I6f6730bab87c7e7547a66e1b57909f761f87d347

Use six.moves cStringIO instead of cStringIO

to keep Python 3.x compatibility, use six.moves.cStringIO to
replace StringIO

Change-Id: Id89c6156d9bba0007e8b16cd2cc28413a7cc5fd3
Closes-Bug: #1280964

Merge "Add searchDepth when getClusterInfo called."

Merge "Fix wrong example of "nova_endpoint_template""

Merge "Replace assertEqual(None, *) with assertIsNone in tests"

Merge "Add EMC SMI-S FC Driver in Cinder"

Merge "Imported Translations from Transifex"

Merge "Cast the quota set values to integer before checking their validity"

Merge "Remove dependent module py3kcompat"

Add support for backing up volume metadata

This commit adds a new versioned api to the backup driver base
class which all backup driver implementations should use in order
to support backing up volume metadata as well as data. The general
rule here is that we backup all metadata from a set of db tables
and can then be selective about what we restore.

As part of this commit, Ceph backup driver implements the new api
to backup volume metadata (including glance metadata) thus
supporting restoring volumes as bootable.

It is expected that the other backup driver implementations will
follow suit and adopt this approach.

Implements: blueprint cinder-backup-volume-metadata-support
Fixes: bug 1137908
Change-Id: Icf2f1202d827d2435e09f5dad0f6f022f35dceee

Imported Translations from Transifex

Change-Id: Id20fd023c69d84a929f432304ab15e6c80c81b3b

Merge "Remove unused exception"

Replace assertEqual(None, *) with assertIsNone in tests

Replace assertEqual(None, *) with assertIsNone in tests to have
more clear messages in case of failure.

Change-Id: Iac9462620bf4ae338998fa6aea7f1514a945059b
Closes-Bug:#1280522

Merge "lvm: unhandled exception when migrating volume"

Merge "Fix cinder-backup volume restore with ceph driver"

Add encrypted flag to volumes

Currently, the only way to determine whether a volume is encrypted
is by retrieving the encryption metadata about the volume (through
cinder.api.contrib.volume_encryption_metadata) and checking the
encryption_key_id value.  This patch adds an "encrypted" flag to
the basic volume api to enable other services (like Horizon: see
patch https://review.openstack.org/#/c/71125) to easily tell
whether a volume is encrypted using a basic get call,instead of
requiring an additional call.

Implements blueprint encrypt-cinder-volumes
https://blueprints.launchpad.net/nova/+spec/encrypt-cinder-volumes

Change-Id: Id8e422135f17795de06589930afd0309fde28fd1

Implement retype in HP LeftHand driver

This adds the ability to modify the
type of an existing HP LeftHand volume to
another type supported on the same backend.

Main use case for this is changing provisioning,
(full vs. thin), adaptive optimization and data
protections settings for a volume on-demand.

Change-Id: I78e53431708bcb3151c5dc4016e65d1a655e03c6
Implements: blueprint retype-support-for-hplefthand-driver

Cast the quota set values to integer before checking their validity

Change-Id: I56409607d435a5e2ff702ccb9f19c5d12b432570
Closes-Bug: #1280159

Remove dependent module py3kcompat

Module py3kcompat was removed from oslo-incubator, we can use
six directly.

Change-Id: I6c4266b71312ae53ecaedbd2ce1a865e60eb8d50
Closes-Bug: #1280033

Add EMC SMI-S FC Driver in Cinder

Add an EMC SMI-S FC Driver in Cinder. It supports all required
driver features.
Also made enhancements to the existing SMI-S iSCSI Driver
(performance enhancement, multiple pool support and thick/thin
provisioning, extend volume).
emc_smis_common.py is the common code used by both iSCSI driver
(emc_smis_iscsi.py) and FC driver (emc_smis_fc.py).

Implements blueprint emc-fibre-channel-volume-driver

Change-Id: Idace398ef60863811911511bcbbfcecb3bf58270

Fix wrong example of "nova_endpoint_template"

In cinder.conf

e.g. http://localhost:8774/v2/%(tenant_id)s

should be

e.g. http://localhost:8774/v2/%(project_id)s

Change-Id: I7dd3be9bc9d2e8f26619b00b5bdbc66505a984b2
Closes-Bug: #1279747

Update gpfs driver volume creation process

Modify gpfs driver to set file permissions in
a more consistent way.

Modify image_utils.resize_image to allow caller
to request it be run as root.

SecurityImpact
Change-Id: Ic01d91c0d660c74095e8d2b212279b39b9b9dc05
Partial-Bug: #1260679

Merge "Add update support to volume type encryption"

Merge "Rename Openstack to OpenStack"

Merge "GlusterFS: Fix create/restore backup"

Remove unused exception

 o class WillNotSchedule(CinderException):

   This exception was removed in the following commit.

    commit cea7fe21cecfcd28ede3ba411b8ab8b36c9a7c15
    Author: Zhiteng Huang <zhithuang@ebaysf.com>
    Date:   Thu Jan 2 15:44:30 2014 +0800

        Drop Chance/SimpleScheduler Implementation

Change-Id: I8f5f8e6c5c844a67607dae9fb63524aef7069133

Merge "Allow operators to customize max header size"

Merge "Changes to cast variable as integer as XML API fails."

Merge "Move create_, remove_ and ensure_export from drivers"

Merge "Ceph backup driver tidyup"

Add searchDepth when getClusterInfo called.

Without searchDepth, getClusterInfo shows every volume and
snapshot. It's an unused information and takes very long time.

Change-Id: Id590e3023f4446f01b965baf4e8ac61980101067
Closes-Bug: 1276388

Merge "Check type argument on create from source and snap"

Merge "Removed unused context in _extend_snapshot method"

Merge "Add notifier events to cinder volume rename, reset-state"

Check type argument on create from source and snap

Currently the create from snap and create from source
options will set the volume-type when specified in the
create call.

This is actually wrong, because clone and create from snap
MUST be performed on the same backend as the parent volume.  The
result is that if the specified type doesn't match the specs for
it's parent, and actually needs to be on a different backend
the new volume will "appear" to have the correct type, but it's
actually invalid.

The --volume-type argument should be rejected when --source-volid
or --snapshot-id are used, and the parent type-id just picked up
and used.  Then the user can retype if desired.

Auto failing this strictly causes backward compatability issues though
so we'll just check for a mismatch and raise an exception in that case.
This way if the user knows what they're doing and they're explicit
in the command we still allow it and things are fine.

Change-Id: Ia822cfe48a948045ccea6533bcf92e68ed97ef37
Closes-Bug: 1276787

Rename Openstack to OpenStack

Change-Id: I074a734cc7bd5db60aeb08a42a4f36432b6f3163

Merge "Fix LVM migrate_volume tests"

Merge "Dont set error_extending status on API extend call"

Removed unused context in _extend_snapshot method

Input parameter 'context' of _extend_snapshot method in
cinder/api/extended_snapshot_attributes.py is not being used, so remove
this 'context' parameter.

Change-Id: I8577e3938d5ed5bfb143a605320063a6b17c3be0
Closes-bug: #1279146

Merge "Storwize/SVC: Check wwpn not None"

Storwize/SVC: Check wwpn not None

If the storage doesn't have WWPN information for a host but gets it in
the connector, initialize_connection can fail because it does
wwpn.lower(), and wwpn can be None. Make sure it isn't before calling
lower().

Change-Id: I9923f5c87a1e596e35116bfcbf08c181b75bba35
Closes-bug: 1279061

Merge "Remove tox locale overrides"

Merge "New HP LeftHand array iSCSI driver"

Changes to cast variable as integer as XML API fails.

Code change to ensure that the type of the size variable is correct
when cinder is invoked through XML API. The extend volume code path
differs from volume create where the flow portion verifies that the
size variable is an integer; for extend the earliest place to cast
the size variable is in volume_actions.py.

Change-Id: Iaaed463f988769b8093604cd3b677b270dd2c5cd
Closes-bug: 1277233

Merge "Storwize/SVC: Fix races in host-related functions"

Ceph backup driver tidyup

Fixed typos and cleaned up log messages and docstrings.

Closes-Bug: 1276969
Change-Id: Idb1ba4f3315edb76fefc993b38b0590b4794345b

Move create_, remove_ and ensure_export from drivers

create_export, remove_export, ensure_export are almost the same in
LVM and BlockDevice drivers. So they should be moved to
a common cinder.volume.iscsi module.

Change-Id: Id7aa0e10d6b346356312416aee179a1fe8bacef1

Merge "Add method for unit tests to set logging level"

Merge "Move clear_volume back to it's own method"

Merge "Fixes cinder failed to create/restore a backup with NFS driver"

Merge "Implement retype in SolidFire driver"

Merge "Remove SSH code from 3PAR drivers"

New HP LeftHand array iSCSI driver

This driver is intended to replace the current OpenStack Block
Storage HP LeftHand (LH) StoreVirtual iSCSI Driver,
(cinder.volume.drivers.san.HpSanISCSIDriver), by moving the
existing SSH interface into the new driver to maintain backwards
compatibility, and add the new LH REST interface for new driver
features.

We have the driver broken into 3 files:
hp_lefthand_iscis.py (common interface)
hp_lefthand_cliq_proxy.py (old SSH interface)
hp_lefthand_rest_proxy.py (new REST interface)

The reason we are doing this is because the SSH interface on LH
array has connections and performance limitations. These problems
will be resolved by moving to the new LH OS REST interface. Also,
new LeftHand array capabilities will only be supported in the
REST(hplefthandclient) interface.

To support new driver capabilities (create cloned volume), the
python REST client (hplefthandclient) is required and can be
downloaded from the pypi repository:
  http://pypi.python.org/pypi/hplefthandclient.
This REST client requires LeftHand firmware version 11.5 or
greater.

The SSH interface will be phased out over time.

Driver cert test results;
Related-Bug: 1276809

Closes-Bug: 1277339

DocImpact: Document new driver configuration.

Implements blueprint lefthand-cinder-driver

Change-Id: Id557cab69022c3f7851be14cd82bdab0e4157e55

GlusterFS: Fix create/restore backup

Allow create_backup for GlusterFS volumes, but
only when snapshots do not exist.  (For now.)

Restore is a no-op for the driver, so allow it.

Related-Bug: 1247743
Closes-Bug: 1275977

Change-Id: I50b8f6cac684c967c7374bb43247a396ce936157

Allow operators to customize max header size

HTTP messages max header line size has been increased from 8K to 16K
by default to allow using tokens including up to 14-15 catalog
entries.  The same issue
(https://bugs.launchpad.net/swift/+bug/1190149) may occur again in
the future, if keystone's catalog grows further.

Allowing operators to customize the max header size, will allow them
to have Cinder working whatever the size of the catalog (if the option
is properly set).

Change-Id: Iac269d96fadc96c1e9383dc03422f2d87196dd9d
Related-Bug: #1190149
DocImpact

Fixup persistence file not found on tgt remove

After commit: beecd769af02ba5915be827d28a7b46d970e41b0
we're experiencing a race in the tempest gating tests.

It appears that there are certain cases where a detach
and a delete call can overlap causing a race in the
remove_iscsi_target method.  The result is that when
the slower method gets around to the final removal of
the persistence file it's no longer there, so we
hit an unhandled exception.

This patch does two things:
1. It adds the volume lock to the detach_volume
method in the manager (already in place for delete).
This should mitigate the race and allow us to avoid it.

2. In the iscsi_remove_target method check if the
persist file has already been removed when we get
to the last check.  The fact is that if it was somehow
removed before we got here we don't really care, we're
just going to delete it anyway.

Change-Id: Ied45e1a66c8fb79c95ada66f8c59bd2839e200ad
Closes-Bug: 1277362

Remove tox locale overrides

* tox.ini: The LANG, LANGUAGE and LC_ALL environment overrides were
introduced originally during the testr migration in an attempt to be
conservative about the possibility that locale settings in the
calling environment could cause consistency problems for test runs.
In actuality, this should be unnecessary and any place where it does
cause issues ought to be considered an actual bug. Also, having
these in the configuration actively causes older pip to have
problems with non-ASCII content in some package metadata files under
Python 3, so drop it now.

Change-Id: Ib970a2d3cf62619378792d295b4e2e7216e05181
Closes-Bug: #1277495