Merge "Add additional metadata as key-value pairs in 3PAR"

LVM: Activate Thin Pool LV upon initialization

If the LVM thin pool is not active, space calculation fails,
as data_percent is not known.  Activate the pool upon initialization,
since we intend to use it anyway.

Slightly refactors _get_thin_pool_free_space so that it is clear
which missing/unexpected value is breaking things if a similar error
occurs for some other reason.

Closes-Bug: #1260773

Change-Id: I7cb187746c1ac297b82254c6efa37ba1c5fbb3e1

Merge "Only reverify backing lun when create backing lun"

Merge "Output Strings of bin/*.py should support i18n"

Merge "Add AllocatedCapacityWeigher"

Merge "Remove dynamic default on sf_account_prefix"

Merge "Remove vim header"

Imported Translations from Transifex

Change-Id: I7b845f52864b6764f518edba463086cee195d7fd

Remove vim header

No need to set tabstop tons of times, this can be set in your vimrc
file instead.

More disucssion:
http://openstack.10931.n7.nabble.com/Remove-vim-modelines-td21780.html

Partial-Bug: #1229324
Change-Id: Ib3a31c8819ee1950d72f7da5627593623d351560

Merge "Redundant size check in volume restore api"

Merge "Empty files shouldn't contain copyright nor license"

Redundant size check in volume restore api

In cinder volume restore api, we do twice size check when restore volume
with a given volume uuid. It's necessary to remove the redundant check.

Change-Id: I8f240b2c0d1014d212ff56c2c9b5e193f9d552bd
Closes-Bug: #1264053

Add AllocatedCapacityWeigher

AllocatedCapacityWeigher is a weigher that weigh hosts by their
allocated capacity. The main purpose of this weigher is to simulate
the SimpleScheduler's behavior, which sorts hosts by the size of
all volumes on them.  So by allocated capacity, it equals to the
sum of size of all volumes on target host.

In order to keep track of 'allocated' capacity, host state is updated
to add a 'allocated_capacity_gb' attribute to record the value, which
means each back-end must report one extra stats to scheduler.
Fortunately, the 'allocated' capacity we are interested in here is
pure Cinder level capacity, the volume manager can take all the burden
to calculate this value without having to query back-ends. The volume
manager does the initial calculation in init_host() by the time when it
has to query all existing volumes from DB for ensure_export(). After
initial calculation, volume manager/scheduler will keep track of every
new request that changes 'allocated_capacity' and make sure this value
is up to date.

!DriverImpact! Cinder driver developers, please read on:

This patch contains a change that might IMPACT volume drivers: volume
manager now uses 'stats' attribute to save 'allocated_capacity_gb'.
And this information will be merged with those stats drivers provide
as a whole for scheduler to consume.  If you plan to report any form
of allocated space other than the apparent Cinder level value, (e.g.
actual capacity allocated), Please choose a key name other than
'allocated_capacity_gb', otherwise it will *OVERWRITE* the value volume
manager has calculated and confuse scheduler.

Partially implements bp: deprecate-chance-and-simple-schedulers

Change-Id: I306230b8973c2d1ad77bcab14ccde68e997ea816

Merge "Handle terminate_connection() exception in volume manager"

Imported Translations from Transifex

Change-Id: Ic024fd0bef15147662612ed49b28133019d68aed

Handle terminate_connection() exception in volume manager

Due to the fact that we sometimes need to manually terminate a volume's
connection through volume api, it's possile that these backend drivers
throw exceptions while doing that. Currently exceptions are bubbled up to
volume API not being handled. This patch logs exception in volume manager
and then raises VolumeBackendAPIException to caller.

Change-Id: If809f97998f52516af09ec21b3052b67d3a62f36
Closes-bug: #1263820

Empty files shouldn't contain copyright nor license

http://docs.openstack.org/developer/hacking/#openstack-licensing

Partial-Bug: #1262424
Change-Id: Ib4d35e85ed23581f4a27a1daca8664180751f6f1

Bugfix missing foreign key removal for mysql

Downgrading the cinder schema fails when running 018_add_qos_specs.py
under MySQL. The upgrade path of this schema patch adds the foreign
key volume_types_ibfk_1 on table volume_types, and the downgrade does
not correspondingly remove it before attempting to drop the
qos_specs_id column.  This update removes the foreign key when
the engine is mysql prior to dropping the column.

Change-Id: Ibd3b35ad3b0bd41ad04ab7aeeb28c3ba7e5d255d
Closes-Bug: #1264360

Merge "Imported Translations from Transifex"

Merge "Add qos_specs support to solidfire driver"

Merge "Handle initialize_connection() exception in volume manager"

Merge "Fix spelling errors"

Fix spelling errors

Spelling errors fixed in comments and log messages.

Change-Id: I8ce4899fbb22136ce6d03e1796fc01d929f35562

Imported Translations from Transifex

Change-Id: I8f2b51a5c5c58fa8c64899091e726139f93967d1

Add additional metadata as key-value pairs in 3PAR

Track status of openstack volumes on 3PAR through
additional metadata added as key-value pairs. During volume attach
and detach, corresponding instance metadata is updated onto the
cinder volumes.

Change-Id: Iea8d2f26555e6be60001bf73755cae42446afec6
Closes-Bug: #1258033

Merge "Set volume_dd_blocksize configurable on per-driver basis"

Handle initialize_connection() exception in volume manager

Due to the fact that several drivers require backend communication to fetch
connection information for a volume, it's possile that these driver throw
exceptions while doing that.  Currently exceptions can bubble up to volume
API not being handled.  This patch logs exception in volume manager and
then raises VolumeBackendAPIException to caller.

Change-Id: Ib3cc152e04ba029dd835a64b0cfb0a77b8a6828e
Closes-bug: 1256804

Merge "Service launcher method docstring corrected"

Output Strings of bin/*.py should support i18n

Many more output strings in cinder/bin/*.py don't support i18n,
which should be fixed as visible message.

Change-Id: I863c09a0a398b99360e5a080091e320b594d4024
Closes-Bug: #1257613

Merge "Fix and enable gating on F401"

Add qos_specs support to solidfire driver

We've added a new qos_specs object to Cinder that allows creation
and management of qos settings separate from volume-types.
Now instead of embedding the qos info in the extra-specs of the
volume-type we associate the desired qos-spec to a volume-type.

This change implements the capability of the SolidFire driver to
take advantage of that feature.

Change-Id: I215bd0cff0c0a91c106de27eea9ec2b91689a46e
Implements: blueprint add-qosspecs-support-to-solidfire-driver

Service launcher method docstring corrected

* Launcher run_server method parameter in docstring
  renamed to match actual argument name.

Change-Id: Ic7934dd540a026141f525ea8ea6f976f959c7ea2

Fix QoS information in initialize_connection() result

Currently the entire QoS information (if any) is included in the result of
initialize_connection() even if the consumer of the QoS is 'back-end'. Also
the format for QoS specs also is changed so that front-end (Nova) can
parse correctly. Add unit test to cover initialize_connection().

Closes-bug: 1259957

DocImpact

Change-Id: Ibc5e92cc1ddf6404e5b234ef524698feae282eec

Fix and enable gating on F401

Do not allow unused imports in modules, and remove those
that are currently unused.

Change-Id: I7600b1cce22eaef87633f98a89db2086a3ec2b55

Only reverify backing lun when create backing lun

In TgtAdm, we alway do twice _verify_backing_lun whether backing lun
exists or not.
If backing lun exists, it doesn't need to call _verify_backing_lun
function again.
It only needs reverify whether backing lun exists or not when recreate
backing lun.

Change-Id: Ic11d778362540df307056a1adcba932e571b7d20
Closes-Bug: #1262958

Set volume_dd_blocksize configurable on per-driver basis

Allow volume_dd_blocksize config option to be configurable on a
per-driver basis.
This allows drivers used in multi-backend configurations
to define their own values. We port this to the LVM and block_device
drivers here but it can easily be ported to others as and when
needed.

DocImpact

partially implement bp: per-driver-config-for-utils-functions

Change-Id: Ice9e815f18e5ebf3727aab7d3a221acacb710cd4

Merge "Add exception logging if flow creation fails"

Merge "Do not clone non-raw images in rbd backend"

Merge "Fix and enable gating on H402"

Add exception logging if flow creation fails

If the create_XYZ_flow fails in being created
its useful to log exactly what the error was in
detail (instead of trapping it and only raising
a generic error). The more detailed error shows
what the real problem was during the flows
construction (which usually is some larger
problem).

Change-Id: I9cd6b8e2c6298d8791ba3063be78f9b4c4a7c5d0

Merge "make delete recovery messages debug level"

Remove dynamic default on sf_account_prefix

A dynamic default makes it difficult to generate
a proper cinder.conf.sample template. Make it
default to the hostname when the option is unset
or left at default.

DocImpact: default of sf_account_prefix changed to "None", which
however preserves behavior of a previously unset option: use
the current hostname.

Change-Id: Ic90305bd93ae0156c37e32012cdc32848192de07

Merge "Fix KeyError while generating a WSGI response"

make delete recovery messages debug level

lvm.delete has recovery logic within it to do a second attempt
if it should fail the first time. It is currently however logging
those second attempts at error and warn levels. However, as this
is normal flow these should be debug level instead.

This is currently causing a few resets in the gate because this
is a non whitelisted error.

Change-Id: Ie684331d9d97c089ec23569d06981e90eb7f6a67
Closes-Bug: #1261731

Merge "Remove unused code from volume manager (reset_stats)"

Merge "Pylint fixes for Brick iSCSI/LVM"

Merge "Pylint fixes for GlusterFS driver"

Merge "Imported Translations from Transifex"

Merge "3PAR FC: add ability to add WWNs to host"

Merge "Use mock for scheduler tests"

Merge "[Netapp/Nexenta] Move registration of config options"

Merge "Adds unit tests for drivers.rbd.RBDImageIOWrapper"

Remove unused code from volume manager (reset_stats)

self._last_volume_stats appears to be unused, now that we don't
use _volume_stats_changed().  This means reset_stats() also does
nothing.

This triggered a pylint 'attribute-defined-outside-init' warning.

Change-Id: I4c4f7497e72f726f3430f90df61188bf2f1073c1

Pylint fixes for GlusterFS driver

Remove unused 're' import
Remove unused parameter for _create_snapshot()

Change-Id: I40411b6206d282ae07c905faa44dcccecb45c120

Pylint fixes for Brick iSCSI/LVM

Fixes a few of the more straightforward pylint errors
in these files.  (anomalous-backslash-in-string,
attribute-defined-outside-init, and bad-indentation)

Change-Id: Ic131717a83fe182fe578b63eccf364d300a8989c

3PAR FC: add ability to add WWNs to host

When a host is created on the HP 3PAR array,
at initialize connection time, the host is
created with all WWNs provided in the connector
structure. However, the driver did not have
the ability to add new WWNs after a host is created.

This patch adds the ability to add WWNs to a
host, at initialize connection time, if a new
WWN is provided in the connector structure.

Change-Id: I6fd8a5511f83d5460da30ff5558a3e95964a95f5
Closes-bug: 1258229

Imported Translations from Transifex

Change-Id: I2554bd4a076f855c8f2026d98ecb649b35edcbf8

Adjust import order according to PEP8 imports rule

This patch just adjust import order to follow PEP8 imports rule.
See http://www.python.org/dev/peps/pep-0008/#imports

Imports should be grouped in the following order:
1) Standard library imports
2) Related third party imports
3) Local application/library specific imports

Change-Id: Ifa3f219207b02d60e757e17c42dae1fef2f628fe

Do not clone non-raw images in rbd backend

RBD backend only supports booting from images in raw format. A volume
that was cloned from an image in any other format is not bootable. The
RBD driver will consider non-raw images to be uncloneable to trigger
automatic conversion to raw format.

Includes conversion of the corresponding unit test to use mock (instead
of mox) and expanded comments and error messages based on change #58893
by Edward Hope-Morley.

Change-Id: I5725d2f7576bc1b3e9b874ba944ad17d33a6e2cb
Closes-Bug: #1246219
Closes-Bug: #1247998

Adds unit tests for drivers.rbd.RBDImageIOWrapper

Change-Id: Id256ec6ed20c1f52eb67cf5a807f67b01a641962
Closes-bug: 1238614

Merge "GlusterFS: Complete snapshot_delete when info doesn't exist"

Merge "Remove test that was no longer used for long"

Merge "Add disabled_reason field to services table"

[Netapp/Nexenta] Move registration of config options

This doesn't really make a difference in practice, but
makes it possible for the sample config generator to figure
out the config group relationship when options are in one
file.

Change-Id: I3bc6ab5bcc85a8c11c9261b0d8c520fb846a7864

Fix and enable gating on H402

Summary docstrings should end with punctuation.
Also changed it to command-style in a few places.

Change-Id: Id94fe995aa05356106ad09899b0ada27d608ff21

Merge "make help text more meaningful for cinder docs"

Merge "Switch create volume commands to Taskflow 0.1.1"

Merge "Make sure report_interval is less than service_down_time"

Merge "Remove LANG=C from rootwrap invocations"

Remove test that was no longer used for long

test_too_big_volume() case in test_volume.py was legacy from nova-
volume, it was never actually testing anything.  This change removes
this case for good.

Change-Id: I66e0eb80326f039ddc580dec0409fd4090ba5102

Merge "Lazy log the fixed_key warnings"

make help text more meaningful for cinder docs

Change-Id: I5ccb7801a6df8039c59c7a2f2aacd72907a076a4
Closes-Bug: 1260373

Merge "Add the driver name to get stats log output"

Switch create volume commands to Taskflow 0.1.1

- Old TaskFlow code was removed from Cinder.

- TaskFlow 0.1.1 was added to Cinder requirements.

- Create volume flows for volume.api, volume.manager and
  scheduler.manager were updated to use taskFlow 0.1.1

Partially implements: blueprint create-volume-flow
Change-Id: Idbac8d001436f02978b366fbb3205ce84c847267

Use mock for scheduler tests

In our effort to move from mox to mock, this patch will convert the
scheduler unit tests to use mock exclusively.  Also fixed some pylint
errors along the way.

Change-Id: If5a94838981a04a38c2797ced07f23abfafbedb7

Remove LANG=C from rootwrap invocations

For more than a decade already, systems support LC_ALL=C,
which overwrites LANG=C, so setting both is only confusing.

Change-Id: I5640b9cb747892162a856315ea7331cfea7cba5a

Add the driver name to get stats log output

When the manager call tries to update the driver
stats, it checks to ensure the driver is initialized.
When the driver hasn't been initialized, it logs
a warning without the driver name.  This is confusing
for multiple backends.   This patch adds the driver
name, version and the config group name, to the log output,
so the admin can see which driver is failing.

Change-Id: I82e8aa969e7baa55db9c8dddc1c08db2a1a41091
Closes-Bug: #1259279

Remove hashbang (#!) at beginning of python modules

Change-Id: I8f138f82952938fcfaa0e9fc150cb97471febb31

Fix KeyError while generating a WSGI response

The KeyError exception raised while generating a WSGI response based on
the 413 exception. Because there may be no "Retry-After" attribute in the
exception headers.

Change-Id: I89eb1878acc2195775be17fbcba8088f2e00bac1
Closes-Bug: #1259867

Updated from global requirements

Change-Id: I2d8f240009d2f847b321baa011880f753783be83

Lazy log the fixed_key warnings

Cinder currently spews quite a bit of WARNINGs like this with
the default settings:

WARNING cinder.keymgr.conf_key_mgr [-] config option keymgr.fixed_key
has not been defined: some operations may fail unexpectedly

Many users may not be using features that require key manager...
so logging the WARNING message a bit more lazily seems reasonable.

Change-Id: I5ab72285c7d4bc2ec3196dd94fabf977b3a4ebaf
Closes-bug: 1252512

Merge "delete.start/delete.end notification for hostless"

Merge "GlusterFS: Remove glusterfs_disk_util option"

Merge "Catch TypeError when new_size is None on extend"

Merge "Sync matchmaker_ring.py from oslo-incubator"

Add disabled_reason field to services table

Add a column (String 255) in the services table to store
disabled_reason field.

Change-Id: I3cc03029831bdf6a52e9b65c673794430807aeee
Implements part of bp record-reason-for-disabling-service

Merge "Add RBD test for volume not existing during delete"

Catch TypeError when new_size is None on extend

The volume_actions extend method does not catch/handle TypeError
exceptions.  The tempest volume_actions test includes a negative
test that doesn't pass in a new-size so the result is we get an
unhandled exception/trace in the log files for these runs.

Change-Id: I8b699a28e06e62126da02c3318d3129412dffa6b
Closes-Bug: #1259336

Merge "LVM migration: Check if name is equal to dest_vg"

Sync matchmaker_ring.py from oslo-incubator

Cinder does not currently include the matchmaker driver, which is the
preferred configuration with ZeroMQ.

Change-Id: I8514f1780e6492f9d37134d282a5196709347bd8
Partial-Bug: #1185690

Merge "Brick LVM: Set C locale when gathering PV info"

Merge "Adds lock for create from vol/snap to avoid race conditions"

Merge "Sync rpc fix from oslo-incubator"

Merge "Returns thin pool free space calculated from actual usage"

Merge "Fixes case insensitive for resp body"

Merge "Convert lvm_mirrors to int"

Merge "LVM migrate: Use keywords for the brick instance"

Add RBD test for volume not existing during delete

For cases when the volume does not exist in the backend, but Cinder
still knows about it, we just return from the rbd driver and let Cinder
do its thing.

Change-Id: I6150756bdd48259ec8d550fa7a5dc7a9f882ca22

Merge "LVM: Create thin pools of adequate size"

Sync rpc fix from oslo-incubator

Sync the following fixes from oslo-incubator:

ef406a2 Create a shared queue for QPID topic consumers
e227c0e Properly reconnect subscribing clients when QPID broker restarts

Change-Id: I934a6ea6e9eb510513640870750ea37e6f076df9
Closes-bug: #1251757
Closes-bug: #1257293