Relax policy so owner can access encryption info

The admin only policy is too restrictive to allow Nova to access a
volume's encryption metadata using the owner's request context. Hence,
this commit relaxes the policy for the volume encryption metadata
API extension so the metadata is accessible to the volume's owner.

Implements: blueprint encrypt-cinder-volumes
Change-Id: Ia946850b79f7f717ab7528caf7cac2905e650917
SecurityImpact

Merge "Added missing import"

Merge "Add more asserts to the limiter unit tests to test the RateLimit"

Refactor LVM driver to use Brick VG utility

Refactor the LVM driver to utilize bricks LVM
module.  This includes significant modification to
tests and fake objects related to testing.

implements blueprint: refactor-lvm-and-iscsi-driver

Change-Id: I94e41abf90d0c5b77e732d40ed8b81b0a2f5d7dd

Merge "Fixes SSH injection threat in 3PAR driver"

Merge "Implement missing Coraid Driver functionality for Havana"

Added missing import

pep8 tests didn't find this one.
This patch adds the missing _ import

Fixes Bug #1213268

Change-Id: Ia0e688fc15ccc4d8b3f83516c517e9f9c83767a0

Merge "Add support for encrypted volumes"

Fixes SSH injection threat in 3PAR driver

The setqos ssh command was not built up correctly when the following
patch https://review.openstack.org/#/c/37697/ landed for cleaning up
the SSH calls from injection attacks in the 3PAR driver.

The command was in the following format causing the injection threat
due to the spaces in the second item in the list:
['setqos', '-io 5000 -bw 500M vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']
When it should actually be in the following format:
['setqos', '-io', '5000', '-bw', '500M', 'vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']

This patch fixes an append vs. extend that was introduced in patch
https://review.openstack.org/#/c/42241

Also fixes: bug 1212884

Change-Id: I28f84acd02397ee0d433a666375737145904d67e

Implement missing Coraid Driver functionality for Havana

Intorduce a brick connector for AoE protocol.
Refactoring Coraid Driver. Implement missing functionality for Havana:
- Copy Volume To Image
- Copy Image To Volume
- Clone Volume

Fix a bug with resize volume command.

Change-Id: I2af6a41dc44cb8bc4b74da752e0be9ed54a83cb1
Implements: blueprint coraid-driver-refactoring-for-havana

Merge "Fix SSH injection threat in 3PAR driver"

Merge "Refactor Nexenta driver"

Merge "refactor/unify driver version strings"

Merge "Externalize error messages in the v2 API"

Fix SSH injection threat in 3PAR driver

The setqos ssh command was not built up correctly when the following
patch https://review.openstack.org/#/c/37697/ landed for cleaning up
the SSH calls from injection attacks in the 3PAR driver.

The command was in the following format causing the injection threat
due to the spaces in the second item in the list:
['setqos', '-io 5000 -bw 500M vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']
When it should actually be in the following format:
['setqos', '-io', '5000', '-bw', '500M', 'vvset:vvs-JOHB2Oj0QJ2UaWatwbe7Bg']

Change-Id: I69ed8dbca3af3ba56220891411b63331c1935373
Fixes: bug 1212884

refactor/unify driver version strings

This patch updates each driver to provide
the same mechanism for reporting the version
of the driver.  It also includes fixing the
reported driver version at get_volume_stats()
time to be the version set in the driver.

When the manager starts the driver it now
logs the driver's name and version in the log file.

fixes Bug #1212878

Change-Id: Icefd065f885ad417735490e6ac90e2b21557d2dc

Refactor Nexenta driver

Moving NEXENTA_OPTIONS out of nexenta/volume.py and splitting the
options. This change is to avoid duplication as the iSCSI and NFS driver
will use the same configuration options.

Change-Id: I3596fec9e852f07aea2ef7f2cd26023de07e7d0b

Merge "Extract ISCSI tries option into connector module"

Extract ISCSI tries option into connector module

The usage of this option occurred only in that module.
Rename this options to num_volume_device_scan_tries,
according to discussion on IRC.
The old one marked as depricated option.

DocImpact
Change-Id: Ib4a37237c2d95ca2dd6c05ce0a41f930b29ffd1c

Merge "No need to declare the exception conf"

Externalize error messages in the v2 API

This patch does more internationalization for the REST API error
messages that don't currently have it to take advantage of the new
support added by bp user-locale-api to show error messages in the locale
requested by the user through the Accept-Language HTTP header.

We only do v2 because consumers have used the response error message in
the past for error checks, so changing it in v1 too would break them.

Partially implements bp user-locale-api

Change-Id: I92780b42c125a91ab4916b7a31e4b71d306a89a1

Merge "Replace os.unlink with delete_if_exists"

Merge "Tidy up the SSH call to avoid injection attacks for HP's driver"

Merge "Raise exception when Glance metadata not found."

Add more asserts to the limiter unit tests to test the RateLimit

Added new asserts to test the per user set limits instead of using
the defaults only

Change-Id: Ib6651a82c9d7bb4b79d5c68be6372dc1100b816a

Replace os.unlink with delete_if_exists

Shouldn't care when doing unlink on our temp files
if they exist or not.  In fact this causes problems
when you do things like with tempfile/dir and happen
to try and unlink after it's already been removed.

This replaces these calls with the safer
common.fileutils.delete_if_exists which will
ignore the os exception of the object DNE.

Fixes bug: 1212502

Change-Id: Ica86c95f736411da486335aec5512e59247bfbc0

No need to declare the exception conf

Brick can just assume that the conf entry exists
in each project that will use brick.
Cinder and Nova already declare the same exact
conf entry.

Change-Id: I4e0e11ce6f99a663a75e582ead92ac9d61300032

Merge "Fixes some unseen flake8 violations."

Merge "Add tests for cinder/brick/initiator/connector"

Add support for encrypted volumes

This modification adds an encryption key UUID field to the volume
table, which is sufficient to make Cinder "aware" of encrypted volumes
as designated by predefined volume types. Integration with a key
manager is necessary to obtain an actual encryption key UUID (the
current implementation generates a random UUID when an encrypted
volumes is created). Cinder should *not* presume that it necessarily
will have access to the key itself -- this decision depends upon the
design, implementation, and policy for encrypted volumes. The key's
UUID is stored in Cinder because it is metadata about the volume.

Implements: blueprint encrypt-cinder-volumes
Change-Id: I164290e761a9922919a70f22f99af70dac213b61
SecurityImpact

Merge "Fixes docstring formats in connector.py."

Add tests for cinder/brick/initiator/connector

Add additional tests for ISCSIConnector.connect_volume
Fixed and added tests for InitiatorConnector.

Change-Id: Ice1b89637476609532f97d0802b7bd6647299909

Merge "Add unit tests for cinder/api/contrib/quotas"

Merge "Added glance_request_timeout config option."

Tidy up the SSH call to avoid injection attacks for HP's driver

Let the command and arguments form up a list and avoid the extra arguments
attackers inserted to the command string.

And modify the interface of _cli_run, there is no need for a extra argument.

fix bug 1192971
Change-Id: Iff6a3ecb64feccae1b29164117576cab9943200a

Merge "Adding the -online option to the 3PAR clone"

Merge "tox.ini: Change sitepackages to False"

Merge "Interprete scoped key as nested tags"

Raise exception when Glance metadata not found.

It'd be better to raise exception when trying to copy Glance metadata
from source (volume/snapshot) to destination (volume/snapshot) rather
than silent failure, which is exactly the reason there's unspotted error
inside glance_meta unittest but it was able to pass.
With this fix, one should _not_ directly call glance_metadata_copy()
without looking at source's bootable flags.  This patch also refactors
_create_volume_from_snapshot() and _create_from_source_volume() to only
do Glance metadata copy when needed (bootable is True).

Fix bug: 1211632

Change-Id: I28f065e21cf24c81f98b00e171fcbe4f64ec76b6

Merge "Fixes volume clone from volume"

Merge "Ignore purge_props for v2 Glance api and fix upload"

Merge "Add support for API message localization"

Interprete scoped key as nested tags

Current codes in xml_util.py does not support REST xml
so well when one tagname contains delimiter, it fails
to be interpreted. So this patch is to interprete one
tagname like "<a:b>1</a:b>" as a nested tag like
"<a><b>1</a></b>".

Fix bug:1205983

Change-Id: Ia3e1f4d6b6a739898b51bf052a784fa36ab7695e

Adding the -online option to the 3PAR clone

The 3PAR drivers had to wait while the clone was being performed
and this would take a considerable amount of time for large volumes.
This patch takes advantage of the 3PAR backend by using the -online
option in the command that we were calling to perform the copy. This
allows us to remove the sleep in the driver. Using the -online
option forced us to change some of the delete_volume code because
the 3PAR backend will not allow a volume that was copied to be added
to a virtual volume set.

DocImpact

Change-Id: I47d72063c858e2eee10756be4f74febdd1603179
Fixes: bug 1208586

Merge "Fix signature of _create_volume() in ThinLVMVolumeDriver"

Fixes some unseen flake8 violations.

The failures aren't visible when run from
cinder.  Nova has different settings for
flake8.  This patch fixes the violations
that nova's flake8 tests.

fixes Bug #1211935

Change-Id: I80209130de23842a0a35cacb7d59f166e7dba89f

Merge "Merge from oslo-incubator for notifier"

Fixes volume clone from volume

Cloning a volume from another volume appeared
to have been broken by new create_volume
taskflow. Clone from snapshot was not affected.

Also added a unit test this scenario.

Change-Id: I4f174e1616f6944cce64f8d522fa42a9f00f55eb
Fixes: bug #1211709

Fixes docstring formats in connector.py.

Docstrings should now comply with HACKING.rst

Change-Id: Ia75ee0e4ceb32f312a2dc7e3c89379b5f2708767
Fixes: bug #1211861

Merge "Clone_image method added image_id as parameter."

Merge "Fixes files with wrong bitmode"

Merge "Fix handling ImageUnacceptable in create_volume"

Fixes files with wrong bitmode

Some modules have bitmode 755. Changed to 644

Change-Id: I6a968f465b3767cfd9cbf0d425cb7b5738b138bb

Add unit tests for cinder/api/contrib/quotas

Add tests for serializator in QuotaTemplate class

Add tests for the following functions in QuotaSetsController class:
    -show
    -update
    -defaults

Change-Id: I615440277a54140eb245651d87a225231151083a

Merge "remove Brick deps on cinder.exception"

Merge "Remove Brick iser dependency on cinder"

Merge "Move resource usage sync functions to db backend"

remove Brick deps on cinder.exception

This patch removes more cinder.exception
dependencies from brick.  This involves
moving some exceptions into brick's
exception module.

Change-Id: I577d403f02c2fd0d727d2694776008e1e9791453

Remove Brick iser dependency on cinder

This patch removes the brick iser.py's dependency
on cinder exceptions and volume_utils.
This required moving some exceptions out of cinder's
exception.py that the iser.py raises.  Also had
to create a BrickException and refactor existing
brick exceptions to use the new BrickException model.

Fixes Bug #1210312

Change-Id: I672375807fed4952e5321fbcd9b57b9ef369f68f

Merge "Upgrade Scality driver to match minimum features"

Fix handling ImageUnacceptable in create_volume

In the create_volume flow ImageUnacceptable exceptions are
not properly handled.  _copy_image_to_volume can receive an
ImageUnacceptable exception from copy_image_to_volume if fetch_to_raw
is used.  Currently the ImageUnacceptable exception is changed to
a generic ImageCopyFailure exception which does not make the cause
of the excpetion clear.

This change adds handling and raising ImageUnacceptable exceptions
in _copy_image_to_volume.  It also adds the exception to
no_reschedule_types as it doesn't make sense to keep retrying the
copy if the image was found to be unacceptable.

fixes bug 1209021

Change-Id: I9aacf23dfaaa1a4df0a869d1c9544c376488f01b

Merge "Fix ratelimiting"

Merge from oslo-incubator for notifier

Goal: merge oslo-incubator change
I282d4ae3311bc3fcda6be8e5a1fceecfc8ddb115

Done via:
python update.py --nodeps --base cinder --dest-dir ../cinder \
 --modules notifier

Change-Id: I0cb982b3b45eb63941f9bfe5407c93af280c452a

Use native methods for list manipulation

It's better to append a item to a list rather than creating a list instance
and extending it. Also the list class has its native method for extension.

Change-Id: If492c35822cd7d83b509692c2226612e565204d3

Merge "Add support for volume cloning to Nexenta driver"

Merge "Imported Translations from Transifex"

Fix signature of _create_volume() in ThinLVMVolumeDriver

create_volume_from_snapshot will call _create_volume() with the
wrong parameters when using ThinLVMVolumeDriver.  It should be
compatible with LVMVolumeDriver's _create_volume() method.

Fixes bug: 1210853

Change-Id: I18f7baf60601b3bcf01425b505a0579a826f072e

Add H233 to ignores in tox.ini

The auto-pull of updated libs added to devstack
will result in the python 3.3 print checks being
added which we're not ready for.

Temporarily add this to our tox.ini ignore list
until we have a chance to go through and fix these.

Change-Id: Ie6e0e28433e9b1240b94ed4a323a97a85e475a17

Imported Translations from Transifex

Change-Id: I309dc017cb888a77a531dd7e01b6574fb0a345e5

Add support for volume cloning to Nexenta driver

This patch implements missing functionality for Havana.

Change-Id: I39d838e955f25b8438a24f6aff5ec97fb3c14e4b

Merge "Fix the multi-backend storge issue for ZMQ."

Fix ratelimiting

Current master does now respect ratelimiting, since parsing of the
api-paste.ini was faulty. api-paste.ini limited user limiting by
setting a line as follows:
user:<user-id>:(GET, *, ".*", 4, minute) which was passed to the
Limiter as kwargs with "user" as a key. Thus multiple user limiting
was not possible as well as extracting the id of the user was bound
to fail, since we checked on the key with startswith("user:")

An example config in the api-paste.ini has to look as follows:
limits = (POST, "*", .*, 10, MINUTE)
limits.<user-id1>:(GET, "*", .*, 4, minute)
limits.<user-id2>:(GET, "*", .*, 2, minute)

Fixes bug: 1206976

Change-Id: I4adbe3dbe3a0bd607d6e675f230b0442b08ec791

Upgrade Scality driver to match minimum features

The Scality driver needs an upgrade to match minimum features:
- Havana: Clone Volume
- Icehouse: Extend Volume

Also, some features (Copy Image to Volume, Copy Volume to Image) already work but need automated tests.

Change-Id: Iac5ac2c58fd5ce62823f829a0a014decb4ad4958
Fixes: bug 1210240

Ignore purge_props for v2 Glance api and fix upload

The V2 Glance API image schema does not contain
purge_props. While this may be a bug in Glance,
we will ignore this property in cinder when
glance_api_version=2. This will not change behaviour
since Glance defaults this property to True, Cinder
never sets it to False and the v2 client appears to
ignore it anyway.

Also fixed image upload which is a seperate client
call to update in v2 (v1 update does both).

Change-Id: I0ba1d7d920984cface57795ace160ec300ff75e2
Fixes: bug #1210467

Merge "3PAR drivers creating incorrect comment data"

Merge "Imported Translations from Transifex"

Add support for API message localization

Add support for doing language resolution for a request, based on the
Accept-Language HTTP header.

Using the lazy gettext functionality from oslo gettextutils, it is now
possible to use the resolved language to translate an exception message
to the user requested language and return that translation from the API.

Partially implements bp user-locale-api

Change-Id: Ib2c8360372996d53b50542df54a52d92b07295ca

Merge "Ignore stmf target must be offline exception"

Merge "Add minimum features in HDS driver (for Havana & Icehouse)"

3PAR drivers creating incorrect comment data

The 3PAR volumes created from a shapshot had incorrect comment data
that gets added in the comment section of the volumes on the backend.
This patch fixes the display name and description by getting the correct
data when the volume is created. This patch also fixes the inconsistency
in how the keys (name vs. display_name) were used in the comments.

Change-Id: I61af8ceb08d862f2b9dea2d9bb44c803e0b75a10
Fixes: bug 1210245

Merge "Refactoring of create_volume to use taskflow."

Merge "Set lock_path in tests"

Imported Translations from Transifex

Change-Id: Ib68f2c11e8eac9002407b5bfc2f07547620acd98

Merge "Use utils.safe_minidom_parse_string in extensions"

Use utils.safe_minidom_parse_string in extensions

Use utils.safe_minidom_parse_string in extensions that were still
using potentially-unsafe minidom.

Fixes bug 1190229

Change-Id: I43afb2e188bbea99ea30fe6cb2eb1aeedc4ddfd4

Move resource usage sync functions to db backend

Resource usage sync functions was declared in cinder/quota.py, and
using db.api public methods. This functions was moved to database
backend implementation, so now sync functions can use private
methods of database backend, and session attribute can be removed
from this public methods.

Blueprint: db-session-cleanup

Change-Id: If5386e3dc1e0d6e3127732aeb5b35bbd96bc93f0

Imported Translations from Transifex

Change-Id: I857c5d49cf1dc44f902952a15a3b2abeff70dd99

Refactoring of create_volume to use taskflow.

Move the create_volume workflow to using taskflow and
split that workflow into three major pieces (each with
there own workflow) and create tasks that perform the
individual required actions to accomplish the pieces
desired outcome.

1. An api workflow composed of the following tasks:
  - Extracting volume request (which checks types, values) and creates a
    standard output for other tasks to work on (allowing further tasks to be
    plugged in the chain without having to worry about other tasks output
    formats).
  - Quota reservation (rolled back on failure).
  - Database entry creation.
  - Quota committing.
  - Volume RPC casting to volume scheduler or to targeted volume manager.
2. A scheduler workflow composed of the following tasks:
  - Extracting scheduler request specification for further tasks to use.
  - Change status & notify (activated only on failure).
  - Create volume scheduler driver call (which will itself RPC cast to a
    targeted volume manager).
3. A manager workflow composed of the following tasks:
  - Extract volume request specification from incoming request for
    further tasks to use. This also breaks up the incoming request into the 4
    volume types that can be created later.
  - Change status & notify on failure or reschedule on failure, this is
    dependent on if rescheduling is enabled *and* which exception types are
    thrown from the volume creation code.
  - Create volume from specification
    - This contains the code to create from image, create raw volume, create
      from source volume, create from snapshot using the extracted volume
      specification.
  - Change status & notify success.

Key benefits:
  - Handled exceptions in a easier to understand, easier to review and more
    reliable way than they are currently being handled.
  - Rescheduling is now easier to understand.
  - Easier to understand structure with tasks that consume inputs, take some
    action on them and produce outputs and revert on subsequent failure using
    whatever they produced to know how to revert.
  - Ability to add new unit tests that can test individual task actions by
    providing mock task inputs and validating expected task outputs.

Future additions:
  - Eventual addition of resumption logic to recover from operations stopped
    halfway through.
  - Ability to centrally orchestrate the tasks and pick and choice how
    reconciliation of failures based on code or policies.

Part of bp: cinder-state-machine

Change-Id: I96b688511b35014a8c006e4d30b875dcaf409d93

Add minimum features in HDS driver (for Havana & Icehouse)

* Add create_cloned_volume() api.
* Add extend_volume() api.
* Reorganized some connection state keeping into _loc_info() function.
  Earlier this logic was spread out in various calls.
* New self tests for #1 and #2 above.

Change-Id: I6a88164ee0a427519c7fab6f6a852d46ec46176c
Fixes: bug #1207560

Merge "Add test for brick.local_dev.lvm"

Ignore stmf target must be offline exception

Patch to ignore

"NexentaJSONException: : Unable to add member to targetgroup:
    stmfadm: STMF target must be offline"

This error happens when targetgroup is already configured and busy.

fixed bug 1209305

Change-Id: I275dcf465934c99d30f85932fe72e8b1818ef870

Added glance_request_timeout config option.

The glanceclient supports a timeout for http/https
connections but this is not configurable in cinder.
This patch adds a glance_request_timeout
option to cinder.conf. If unset, None is applied thus
allowing glanceclient to use its default value (600).

Change-Id: Ic689ecb5d5ee8257964b341b5a7980d5733343dc
Fixes: bug #1206992
Co-authored-by: Takahiro Shida <shida@intellilink.co.jp>

Set lock_path in tests

This is required to sync a locking fix from Oslo.

Change-Id: I1f71d7137eab2509a24c5e1397da653142561f10
Related-Bug: 1065531

3PAR volumes created from snaps failed to attach

An error would occur if you attempted to attach a volume that
was created from a snapshot. The 3PAR backends does not have a
'userCPG' entry in the volume data on the backend, it instead
has a 'snapCPG' field. This patch will now look for the 'snapCPG'
entry and use that CPG when attaching the volume created from a
snapshot.

Change-Id: Ic7dab730a68339edb4273e4fbb6f8e45e37808b3
Fixes: bug 1207913

Merge "Remove usage of obsolete oslo.exception"

Merge "Imported Translations from Transifex"

Merge "Remove locals() from iser"

Merge "Remove Brick's iscsi dependency on cinder"

Add test for brick.local_dev.lvm

Add positive and negative tests for LVM.lv_has_snapshot() method

Change-Id: Ibb261365eae97d8e3843ff48f7389f759226d2af

Merge "Add support for volume extension to Nexenta Systems volume driver"