Mark sql_connection with secret flag

sql_connection contains the password in some setups and marking as
secret prevents accidental logging

fixes bug 1160680

Change-Id: I3704237d0923bb30138b5ece7e5c7bbda0a78b9b

Merge "Fix bug with 3PAR host entry in wrong domain"

Merge "Fix quota updating when admin deletes common user's volume"

Merge "Remove unused tools/rfc.sh"

Sync lockutils from oslo-incubator stable/grizzly.

Changes include:

3cb71ff Locking edge case when lock_path does not exist
21925b6 Fix locking issues in Windows
547ab34 Fix Copyright Headers - Rename LLC to Foundation

Fix bug 1158179.

Change-Id: I0d5fb58bef593233068accfcea0dff9fa05f61ef

Merge "Add the volume and snapshot gigabytes together."

Remove unused tools/rfc.sh

This has been deprecated in favour of git-review for quite a while now
and was removed from Nova 10 months ago.

Change-Id: Ic4bfa1aee3a4b6a7588be3678ac033a1b13e2b18

Add the volume and snapshot gigabytes together.

The quota sync functions were not working correctly for both
snapshots and volumes regarding gigabytes. Each would report
their own count as the total gigabytes.

Now the gigabytes sync is separate from the volume and snapshot
count syncs.

Fixes bug #1160004

Change-Id: Ib1200813acb6055412b3f7f6b63fa9ba2b8fa3be

Force deletes using tgt to workaround bug 1159948

Tgt has a bug where it can have multiple copies of an initiator
if there has been a reconnect.

See https://bugs.launchpad.net/cinder/+bug/1159948

Change-Id: I9a1b6757eb780efbaa1403016e50de7c0e45d720

Merge "Make dd block size user configurable"

Fixed shared gigabytes quota resource.

The shared gigabytes resource between volumes and snapshots wasn't
working properly.  The issue was that on update/sync the action item
(volumes or snapshots) would update the resource usages based only on
it's own particular item.

This patch fixes that, and makes the total gigabytes truly shared
between volumesa and snapshots.

Fixes bug: 1159489

Change-Id: Ib1be9788f0beb4f94d010e4f816f9f3393371205

Merge "CoraidDriver: support users that are not admin"

CoraidDriver: support users that are not admin

Add support to the CoraidDriver to specify a subgroup (with admin
privileges).
Coraid storage orchestration allows you to allocate portions of your
SAN to specific users/groups.
The driver should support this and not assume logging in
as "admin" (equiv to "root").

Will add another parameter to cinder.conf, "coraid_group",
and if present, the driver will authenticate using the specified group
as well as the already available coraid_user parameter.

Fixes bug 1157354

Change-Id: I0d165955126adabce788ebdacd3a14a08edc8d8f

Merge "Fixes Cinder REST API /volumes issue"

Fix quota updating when admin deletes common user's volume

Add 'project_id=None' optional argument in QUOTAS related methods.

There are two problems when admin deletes volumes of common user
before fixing this bug:
Firstly, It will get tenant quotas using context.project_id which
results in getting admin's quotas not common user's.
Secondly, It will also get wrong quota usages using context.project_id
when updating common user's quota_usages.

So we could pass into QUOTAS related methods an optional argument to
specify the tenant ID to be affected. And if it's not set, then we
default to drawing the tenant ID from the context.

Fixes: bug 1078668
Change-Id: Ie250da84726d1c5c3280430038184000dfd1e9e2

Last driver sync for Folsom and Grizzly

This is the last of the updates that I've been putting
off while trying to handle the core items in Cinder.

This change fixes the ctxt ordering error in volume_types
and also fixes and also changes the internal SolidFire
metadata storage to a single dict instead of a dict of dicts.

Change-Id: I002a591bc109ae1ab625c89f6ad841f60e464a40

Fix bug with 3PAR host entry in wrong domain

This patch exposes a more acurate exception message
when a user has created a manual host entry on a
3PAR system that is in an incorrect 3PAR domain than
the domain that is configured for the 3PAR driver.

The bug complained that it couldn't find a VLUN, when the
actual problem was the host existed in the wrong 3PAR domain.

Fixes bug #1158991

Change-Id: I3f92e59ae43a10a0788d97d987785b6520f9f1be

Merge "Fixed attach volume for EMC SMI-S iSCSI driver"

Merge "Snapshot reservation sync calls wrong resource."

Merge "Fetch volume_types by uuid and not by name in v2"

Snapshot reservation sync calls wrong resource.

The snapshot reservations code isn't calling the
correct resource on sync (it's calling volumes).  There's
also some problems with the logic being used on the delete/clean up
that are fixed here as well.

Fixes bug: 1157506
Fixes bug: 1157982

Change-Id: I91327b8043ab63aa35ea8a91b6de544bf5bf6c61

Fetch volume_types by uuid and not by name in v2

This was left over from the UUID switch. Looking up volume_types by name
is deprecated in v1 and removed in v2.

Fixes: bug #1087817
Change-Id: I02cc035565f9496cd5af228c55ced5cafef2ad81

Merge "CoraidDriver: typo in _login exception handler"

Merge "CoraidDriver: do not call login from __init__"

Merge "Extend param2id() to work with uuids"

Merge "Updates to OSAPI sizelimit middleware."

Fixed attach volume for EMC SMI-S iSCSI driver

This problem was encountered during Grizzly RC1 testing.  The driver
didn't find the correct target IQN.  As a result, Nova couldn't find
the matching path in /dev/disk/by-path and therefore detached the volume.

Change-Id: I8bcf6d9896b9d445f6376ecc3a5695be46507663
Fixes: bug #1157912

Extend param2id() to work with uuids

Add uuid support to param2id() to allow commands including
cinder-manage volume delete to work with uuid style volumd ids

Fixes bug #1158409

Change-Id: I2d197320b61f44d1104ed0342a6b5b70f673468a

Merge "Switch all uses of 422 response code to 400."

CoraidDriver: do not call login from __init__

We should not call _login from the driver's __init__.
If the ESM is down, the constructor will fail.

- self._login()

Fixes bug 1157500

Change-Id: Ie57fbb6d3704d270a81cd9eb056d7988989da1f8

CoraidDriver: typo in _login exception handler

In cinder/volume/drivers/coraid.py, _login method, if login is
unsuccessful, we try to get the message from an undefined
object "response". Instead we should be getting it from "reply".

- errmsg = response.get('message', '')
+ errmsg = reply.get('message', '')

Fixes bug 1157499

Change-Id: Ifd047ced6b40f49881e81d4e73189d9bd216c903

Fixes Cinder REST API /volumes issue

Issue #1
Once GET variable 'offset' is specified, the API /volume will get an empty
output.

Issue #2
Should validate the GET variable 'limit' before query database to get a
consistent message with Cinder REST API v1.
By current implement, error message is as below if the variable 'limit'
is invalid:
--------------------------------------------------------------------------
{"computeFault": {"message": "The server has either erred or is incapable
of performing the requested operation.", "code": 500}}

After this change, the new message is as below:
--------------------------------------------------------------------------
{"badRequest": {"message": "limit param must be an integer", "code": 400}}

Fixes Bug: 1154454

Change-Id: Ifb155477bae0ea3e39877737ee9019e7d8a104a7

Merge "Remove the log spam generated by the NetApp driver unit tests."

Merge "Update Cinder's latest copy of OSLO grizzly stable"

Merge "Add missing processutils for impl_zmq in oslo rpc"

Merge "Speedup solidfire unit tests"

Add missing processutils for impl_zmq in oslo rpc

impl_zmq in oslo rpc requires processutils.

Change-Id: Ib2f114a9e78af6d2acdab34c8c787df8abdb967a

Update Cinder's latest copy of OSLO grizzly stable

This patch updates all the files from oslo under
stable/grizzly but policy.py.  policy.py is a high risk
change at this date and it has lots of changes since the
last time we updated it.

Fixes bug #1157126

Change-Id: I399a1cd8474f718ed5196def90d2fea546fb01f5

Remove the log spam generated by the NetApp driver unit tests.

Change-Id: Iae6a4f0a1553b4b461bd024c29ba6ff4e9db737f
Fixes: bug #1157910

Speedup solidfire unit tests

The SolidFire driver has a sleep that's used in a retry loop.  This
sleep was being called every iteration of the loop though
(instead of just when the call failed).

This made SolidFire the slowest test in the unit tests, and obviously
it's just stupid anyway.  So this change fixes that and only performs
the sleep if the call actually failed.

Change-Id: I560f2fdb6bf16a6a9b26184234225349ab62e816

Merge "Add snapshots to the volume usage audit report"

Merge "Rename cinder-rtstool to rtstool"

Merge "Use OpenStack common project requires."

Merge "Fix Storwize/SVC LUN allocation with holes."

Merge "Allow snapshot_delete for NFS/GlusterFS drivers"

Merge "remove cinder-rtstool because of rtslib dep"

Updates to OSAPI sizelimit middleware.

Updates the OSAPI sizelimit middleware so that we use avoid calling
len on a request body which could cause a really large request
to get buffered into memory.

Also updates the middleware to return HTTP 413 which is a more
correct error code in this case (previously it returned just 400).

Fixes LP Bug #1131857.

Change-Id: Iff6cb0c24bc21e5a1d5dd4cf29acb0b4ee221708

Use OpenStack common project requires.

This patch is an update of pip-requires and test-requires
using the openstack/requirements script.

One exception was made to pep8, which is being fixed in the
upstream script.

Change-Id: I4bd61e0ec6f1995f9f36a724eb8dbe15345caca0

Rename cinder-rtstool to rtstool

Since rtstool is being distributed externally, it will be named
rtstool rather than cinder-rtstool.

Change-Id: Ieff072ab8315928ed02837aff63c08601b1d2acd

Make dd block size user configurable

This patch introduces a new configuration option volume_dd_blocksize
to change the bs parameter passed to the dd command when creating or
deleting volumes. In certain scenarios changing the block size might
result in better performance.

The default value is still 1M, which was used before.

Change-Id: I0398436ab3ecca51f6121e8f521af8b2dc60acd3
Fixes: bug #1157417

Merge "Pull Oslo log fix to enable root logger initialization"

remove cinder-rtstool because of rtslib dep

rtslib is AGPL, so cinder-rtstool is defacto AGPL by importing it.
Remove cinder-rtstool from the OpenStack repository.

Fixes bug #1157091

Change-Id: I30c9ee19d43107fa7f2e5e65d69049b8d69d2bdf

Merge "Remove references to FLAGS from volume/manager.py"

Merge "CoraidDriver: retrive volume info (improvement)"

Add snapshots to the volume usage audit report

* Added tests for db api call volume_get_active_by_window called by the volume
usage audit report.

* Added new db api called snapshot_get_active_by_window & test it. This is
similar to the volume_get_active_by_window method but returns the snapshots
 active the supplied time window.

* Integrate the above into the cinder-volume-usage-audit script to report on
  all the active snapshots as well as volumes in the specified time frame.

Fixes: bug #1157110
Change-Id: I7597da20c62150a8f6c74cbfeec159f68064d2a6

CoraidDriver: retrive volume info (improvement)

Some portions of code into this method are useless since
the REST API on Coraid side has been improved.

Fixes bug #1157242

Change-Id: Ie37b5b76710e77acb2acf627c9688e4f931e686c

Remove AGPL rtslib pkg from pip-requires.

Fixes bug: 1157091

Change-Id: I1879712ab33324740496b284500fa2b22a1bc310

Merge "Implement get_volume_stats in NFS driver"

Fix Storwize/SVC LUN allocation with holes.

The Storwize/SVC driver should find the first unused LUN, but
continues searching, returning erroneous results.  Added 'break'
statement to fix.

Change-Id: Ibd95714e086a513a39fe9d20ffec57135dc5ec55
Fixes: bug 1157012

Merge "Clean up exec_dirs prefix from rootwrap conf"

Remove references to FLAGS from volume/manager.py

Note that we still must import flags.py because volume_topic is defined
in the list global_opts in flags.py.

Fixes bug #1153551

Change-Id: I3d37bde4ba895c110390cea92385344ff94cb7d1

Allow snapshot_delete for NFS/GlusterFS drivers

RemoteFsDriver should allow snapshot_delete, since snapshot_create
for NFS and GlusterFS volumes will create a snapshot in the error
state which cannot be deleted afterward.

snapshot_delete() should allow this to be removed rather than
throwing NotImplementedError.

Fixes bug: 1156686

Change-Id: I4307878fa97fbce5bd733a83fa172509e2fba8ce

Pull Oslo log fix to enable root logger initialization

Previous log module in Oslo doesn't initialize root logger, which results
in lacking of log message for non-openstack library (such as stevedore).
This patch pull latest log module from Oslo, which has recently merged a
change to enable root logger initialization.

Notice that this change also includes one log modules fix in Oslo which
'unignore' log_format setting.  As a result, one may experience log format
change when using devstack.  To get old log format back, simply assign
a NULL string (aka nothing) to 'log_format' configure option in cinder.conf.
For example, just append cinder.conf with one new line 'log_format = '.

Fix bug: # 1131322

Change-Id: I86396f15ca152512ce6d18d6d424a855b27f495e

Merge "Fixes dettach volumes in Windows cinder plugin"

Merge "Use self.configuration to support the multi-backend case"

Clean up exec_dirs prefix from rootwrap conf

Specifying the full path to binaries in exec_dirs
is not necessary and actually causes a problem if
the binary is in a different path. The rootwrap
infrastructure allows the binaries to be in all
paths specified by exec_dirs.

Change-Id: Ic16a779e916cd3b727db54b034d069c122aa45df

Fix typo in persona valid values

The 3PAR drivers have a persona extra spec that has a valid
values with a typo in it. The value '11 - VMWare' should be
"11 - VMware', note the lower case 'w'.

Fixes bug 1155781

Change-Id: I70ab255e1ec6a4b83437b072a7eb4fe11eafc710

Use self.configuration to support the multi-backend case

Use self.configuration instead of using FLAGS directly to make
the driver work in a multi backend environment.
And remove three repeated lines:en = out.split('\r\n')

Fixes bug: 1154125

Change-Id: I6e08706104eabb71677ec8583b9abb9711553504

Merge "Bump version for Grizzly RC1 cut"

Merge "Fix _migrate_up in test_migrations"

Merge "Switch to final 1.1.0 oslo.config release"

Bump version for Grizzly RC1 cut

Change-Id: Ibec70d74c26e47caa5de7ef943ffa81c9386d7ae

Merge "Compression/tier capabilities for Storwize/SVC."

Merge "Fix ISCSIDriver rescan."

Merge "Fix 3PAR driver hiding existing host error"

Count Snapshots towards volume/gigabyte quotas.

Cinder has quotas and limits for volume-count and Gigabytes used,
however we were only counting volumes against these quotas.

This change introduces a snapshot-count limit and also counts
snapshots against this Gigabytes quota allowed for a Tenant.

Fixed bug: 1137927

Change-Id: Ib9b00b84b05597de9b5725a7f5898fe10a20b9d9

Fix 3PAR driver hiding existing host error

This fixes a problem with the 3par drivers where creating
a 3par host was failing but there was no message.  The driver
would fail to find the host after the creation failed and the
log entry would show that the host didn't exist.   The real
error was failing to create the host.

bug #1154700

Change-Id: I2267d958f10cc73c6c5f34d224ea3452a4402f18

Switch all uses of 422 response code to 400.

The 422 response is normally only for WebDAV, and these types of
errors should normally return a 400 code, HTTPBadRequest. This
commit goes through all the remaining 422 codes and changes them
to 400 responses.

Fixes bug 1153807

Change-Id: I9bf49643763c2cb0ac585641056c85a060152e36

Implement get_volume_stats in NFS driver

Use the already existing code (ie: _get_available_capacity) to
implement get_volume_stats in the nfs driver

Change the netapp nfs driver to use this new implementation
instead of the dumb one.

Fixes bug #1152501

Change-Id: Ie16d9628ba4b096c60966b4aa6192fbdcb9a4f20

cinder-manage does not print any version information

'cinder-manage --version' does not print anything. We need
to pass in the version information along with the argv and
project information

Change-Id: Ia826874cbbc3316226fb475646a0c146fd3a5955

Fix ISCSIDriver rescan.

Cinder fails to rescan iSCSI targets after running copy_image_to_volume
or copy_volume_to_image with the generic iSCSI implementation, due to
a missing comma.

Change-Id: I726e8da1f0221e47bae2593e03bc88a47c487814
Fixes: bug 1144591

Compression/tier capabilities for Storwize/SVC.

Compression and tiering support were not exported as capabilities,
and are important features.

Also fix a couple bugs introduced by
https://review.openstack.org/#/c/23830/

Change-Id: I41c304d0da89a050c0345b930b3f45741214b425
Fixes: bug 1146341
Fixed: bug 1155071

Fixes dettach volumes in Windows cinder plugin

The patch fixes issues when desassigning target to initiators
in the terminate_connection method. The method now takes
the right parameter coming from provider location.

Change-Id: I2ea1ac7f46e3a24a6493af8eba46a113126e1117
Fixes: bug #1153968

Merge "Fix bugs for Huawei driver"

Fix _migrate_up in test_migrations

_migrate_up should always actually do a db upgrade whether or
not it is being tested with data or not

Change-Id: I28cbab36a5227903ff40a3243492b34d4b82a223

Switch to final 1.1.0 oslo.config release

Fixes bug #1128256

oslo.config has now been released to PyPI in time for Grizzly RC1 so
we can switch to using it directly.

Change-Id: I655f831718ae5f4e25e941ee206fe195214a9a91

Adds a flag to set glance api version to call

Allows a glance api verion to be set using a flag.
Cinder will generate a version of the glance client as per this
flag.

Fix bug: # 1152542

Change-Id: I80423f5d88e7ccf0614f89d3c15d983f0af9c333

Merge "Fix bad request response code on extra_specs create."

Merge "Storwize/SVC driver fix for multibackend scenario."

Merge "update error log arguements in filter scheduler"

Storwize/SVC driver fix for multibackend scenario.

In order for the Filter scheduler to be used to it's full advantage
Cinder drivers need to move away from using FLAGS directly and switch
to appending their specific options to self.configuration.

Fixes bug: 1135391

Change-Id: I8d07346c03d1cf2479738f7161ee0a0cb9f518a0

Merge "Do not use prefix to lookup host in Storwize/SVC."

Fix bad request response code on extra_specs create.

This commit changes the error response on a bad body from 422 to 400 for
an extra spec create request.

Fixes bug 1090356

Change-Id: I7925bbd53fb9647440532b206feee3421fb9f38b

Fix bugs for Huawei driver

This fixes two bugs for Huawei iscsi driver.
(1)If firstly we map LUN 1(just not LUN 0) to host,we can also
find LUN 0 mapped,whose device path is '-'.Then we will failed
to map a real LUN 0.So,we avoid mapping LUN 0 to host by setting
every volume's host LUN ID larger than 0,instead of generating it
automatically.
(2)Check valid size of resource pools when creating snapshot and
make sure it larger than 1 GB.

Fixes bug: 1135618
Fixes bug: 1136980
Change-Id: I412e78bf84c95cb51431c45cc084e9ec6a8efb78

Merge "Update oslo rpc libraries"

Do not use prefix to lookup host in Storwize/SVC.

Currently, the Storwize/SVC driver creates a host name prefix for host
objects on the back-end, and uses that to look up hosts. However, if a
host was already created with a different name (for example, manually
by an admin), the host creation operation will fail, as a host with
that connection information already exists. Instead, we look up a host
based on available connection information.

Fixes bug: 1149072

Change-Id: I336dbea85bfaf928a550a15d177e2b9b0ffd38bf

update error log arguements in filter scheduler

There's one log issue in filter scheduler fell off radar in previous
fix, this change closes the gap.

Fixes: bug #1130867
Change-Id: I78def31bd9ff4349cd1332cb96ef6311ce9eac20

Merge "LIO iSCSI initiator ACL auto-config"

Merge "Fix a few bugs for LeftHand Grizzly"

Merge "Fix calling setUp() method of superclass from tearDown method."