Add du to rootwrap filters

Setting "nfs_disk_util=du" or "glusterfs_disk_util=du" will use
du instead of df for space calculation, but du is not allowed by
rootwrap.

Change-Id: I35522d40f97ea14cacf2637603f06a15810a0b36

Merge "Fix IBM copyright strings"

Merge "remove deprecated assert_unicode sqlalchemy attribute"

Merge "Add availability_zone to the volume and snapshot notifications"

Merge "Remove InvalidPortRange exception"

Remove InvalidPortRange exception

The InvalidPortRange exception seems to be left over from the
initial split from Nova.

Change-Id: Ife03ac70f6ba80273c1c21e8d2c509b480a6fe80

Add availability_zone to the volume and snapshot notifications

Change-Id: I27b6dde68a1618a02c2309f007ead9dd1f04879e

Throw InvalidSnapshot for failed snap delete

When delete is called for a snapshot not in the "available" or
"error" state, throw an InvalidSnapshot exception rather than
InvalidVolume.

Change-Id: I47f55b3357d75b5c0c9a704aaf693f4764fd112c

remove deprecated assert_unicode sqlalchemy attribute

Removing this enables use with sqlalchemy 0.8.0
The deprecation is described upstream at:
http://docs.sqlalchemy.org/en/latest/changelog/changelog_08.html#change-ad44af79c886d1bb283042deb64f9cbe

Change-Id: I305bfdbcd3c3669c41318ea34115624f729b3909

Fix IBM copyright strings

Update IBM copyright strings to one consistant format

Change-Id: I848f2bf64376b4e9496d8f54ae52321a6c4a4314

Merge "REST session validity not checked in get_volume_info"

Merge "Add snapshot events to the cinder notification"

REST session validity not checked in get_volume_info

The fix for bug 1157242 introduced a new bug in Coraid cinder driver
_get_volume_info that the login session is not checked for
validity/timeout.  This change addressesthat issue for all
methods in the CoraidRESTClient class.

Fixes bug 1160459

Change-Id: Ib2d7ebbf3ef8ec35071f51c6168eb9b3af9405e6

Merge "getLogger should be called after logging is configured"

Merge "Mark sql_connection with secret flag"

Enforce exclusive options snapshot-id, source-volid and image-id

Fixed checks in api that volume create receives only one of
snapshot-id, source-volid or image-id.

Fixes bug #1161437

Change-Id: Ibe5ca4bb81e69b0f8e1abe1c2cffe587dc10e3ca

Add snapshot events to the cinder notification

Added and tested snapshot.create.start & snapshot.create.end
on creation of a new snapshot

Added and tested snapshot.delete.start & snapshot.delete.end
on the deletion of a snapshot

Change-Id: Ic3c1cc8949109149c59cf106a24b4eb0d8ba5580

getLogger should be called after logging is configured

logging needs to be setup properly before we try to log
something. Fixed one spot from logging->LOG

Fixes LP# 1161038

Change-Id: I87743cff9062e47c1d5e989c2c0c05c3921b65c7

Merge "Use the local configuration in the nfs drivers"

Mark sql_connection with secret flag

sql_connection contains the password in some setups and marking as
secret prevents accidental logging

fixes bug 1160680

Change-Id: I3704237d0923bb30138b5ece7e5c7bbda0a78b9b

Merge "Fix bug with 3PAR host entry in wrong domain"

Merge "Fix quota updating when admin deletes common user's volume"

Merge "Remove unused tools/rfc.sh"

Sync lockutils from oslo-incubator stable/grizzly.

Changes include:

3cb71ff Locking edge case when lock_path does not exist
21925b6 Fix locking issues in Windows
547ab34 Fix Copyright Headers - Rename LLC to Foundation

Fix bug 1158179.

Change-Id: I0d5fb58bef593233068accfcea0dff9fa05f61ef

Merge "Add the volume and snapshot gigabytes together."

Remove unused tools/rfc.sh

This has been deprecated in favour of git-review for quite a while now
and was removed from Nova 10 months ago.

Change-Id: Ic4bfa1aee3a4b6a7588be3678ac033a1b13e2b18

Add the volume and snapshot gigabytes together.

The quota sync functions were not working correctly for both
snapshots and volumes regarding gigabytes. Each would report
their own count as the total gigabytes.

Now the gigabytes sync is separate from the volume and snapshot
count syncs.

Fixes bug #1160004

Change-Id: Ib1200813acb6055412b3f7f6b63fa9ba2b8fa3be

Force deletes using tgt to workaround bug 1159948

Tgt has a bug where it can have multiple copies of an initiator
if there has been a reconnect.

See https://bugs.launchpad.net/cinder/+bug/1159948

Change-Id: I9a1b6757eb780efbaa1403016e50de7c0e45d720

Merge "Make dd block size user configurable"

Fixed shared gigabytes quota resource.

The shared gigabytes resource between volumes and snapshots wasn't
working properly.  The issue was that on update/sync the action item
(volumes or snapshots) would update the resource usages based only on
it's own particular item.

This patch fixes that, and makes the total gigabytes truly shared
between volumesa and snapshots.

Fixes bug: 1159489

Change-Id: Ib1be9788f0beb4f94d010e4f816f9f3393371205

Merge "CoraidDriver: support users that are not admin"

CoraidDriver: support users that are not admin

Add support to the CoraidDriver to specify a subgroup (with admin
privileges).
Coraid storage orchestration allows you to allocate portions of your
SAN to specific users/groups.
The driver should support this and not assume logging in
as "admin" (equiv to "root").

Will add another parameter to cinder.conf, "coraid_group",
and if present, the driver will authenticate using the specified group
as well as the already available coraid_user parameter.

Fixes bug 1157354

Change-Id: I0d165955126adabce788ebdacd3a14a08edc8d8f

Merge "Fixes Cinder REST API /volumes issue"

Fix quota updating when admin deletes common user's volume

Add 'project_id=None' optional argument in QUOTAS related methods.

There are two problems when admin deletes volumes of common user
before fixing this bug:
Firstly, It will get tenant quotas using context.project_id which
results in getting admin's quotas not common user's.
Secondly, It will also get wrong quota usages using context.project_id
when updating common user's quota_usages.

So we could pass into QUOTAS related methods an optional argument to
specify the tenant ID to be affected. And if it's not set, then we
default to drawing the tenant ID from the context.

Fixes: bug 1078668
Change-Id: Ie250da84726d1c5c3280430038184000dfd1e9e2

Last driver sync for Folsom and Grizzly

This is the last of the updates that I've been putting
off while trying to handle the core items in Cinder.

This change fixes the ctxt ordering error in volume_types
and also fixes and also changes the internal SolidFire
metadata storage to a single dict instead of a dict of dicts.

Change-Id: I002a591bc109ae1ab625c89f6ad841f60e464a40

Fix bug with 3PAR host entry in wrong domain

This patch exposes a more acurate exception message
when a user has created a manual host entry on a
3PAR system that is in an incorrect 3PAR domain than
the domain that is configured for the 3PAR driver.

The bug complained that it couldn't find a VLUN, when the
actual problem was the host existed in the wrong 3PAR domain.

Fixes bug #1158991

Change-Id: I3f92e59ae43a10a0788d97d987785b6520f9f1be

Merge "Fixed attach volume for EMC SMI-S iSCSI driver"

Merge "Snapshot reservation sync calls wrong resource."

Merge "Fetch volume_types by uuid and not by name in v2"

Snapshot reservation sync calls wrong resource.

The snapshot reservations code isn't calling the
correct resource on sync (it's calling volumes).  There's
also some problems with the logic being used on the delete/clean up
that are fixed here as well.

Fixes bug: 1157506
Fixes bug: 1157982

Change-Id: I91327b8043ab63aa35ea8a91b6de544bf5bf6c61

Fetch volume_types by uuid and not by name in v2

This was left over from the UUID switch. Looking up volume_types by name
is deprecated in v1 and removed in v2.

Fixes: bug #1087817
Change-Id: I02cc035565f9496cd5af228c55ced5cafef2ad81

Merge "CoraidDriver: typo in _login exception handler"

Merge "CoraidDriver: do not call login from __init__"

Merge "Extend param2id() to work with uuids"

Use the local configuration in the nfs drivers

Fixes bug 1158681

Change-Id: If797a5d3241d6129a8fefea1222b723f03f86452

Merge "Updates to OSAPI sizelimit middleware."

Fixed attach volume for EMC SMI-S iSCSI driver

This problem was encountered during Grizzly RC1 testing.  The driver
didn't find the correct target IQN.  As a result, Nova couldn't find
the matching path in /dev/disk/by-path and therefore detached the volume.

Change-Id: I8bcf6d9896b9d445f6376ecc3a5695be46507663
Fixes: bug #1157912

Extend param2id() to work with uuids

Add uuid support to param2id() to allow commands including
cinder-manage volume delete to work with uuid style volumd ids

Fixes bug #1158409

Change-Id: I2d197320b61f44d1104ed0342a6b5b70f673468a

Merge "Switch all uses of 422 response code to 400."

CoraidDriver: do not call login from __init__

We should not call _login from the driver's __init__.
If the ESM is down, the constructor will fail.

- self._login()

Fixes bug 1157500

Change-Id: Ie57fbb6d3704d270a81cd9eb056d7988989da1f8

CoraidDriver: typo in _login exception handler

In cinder/volume/drivers/coraid.py, _login method, if login is
unsuccessful, we try to get the message from an undefined
object "response". Instead we should be getting it from "reply".

- errmsg = response.get('message', '')
+ errmsg = reply.get('message', '')

Fixes bug 1157499

Change-Id: Ifd047ced6b40f49881e81d4e73189d9bd216c903

Fixes Cinder REST API /volumes issue

Issue #1
Once GET variable 'offset' is specified, the API /volume will get an empty
output.

Issue #2
Should validate the GET variable 'limit' before query database to get a
consistent message with Cinder REST API v1.
By current implement, error message is as below if the variable 'limit'
is invalid:
--------------------------------------------------------------------------
{"computeFault": {"message": "The server has either erred or is incapable
of performing the requested operation.", "code": 500}}

After this change, the new message is as below:
--------------------------------------------------------------------------
{"badRequest": {"message": "limit param must be an integer", "code": 400}}

Fixes Bug: 1154454

Change-Id: Ifb155477bae0ea3e39877737ee9019e7d8a104a7

Merge "Remove the log spam generated by the NetApp driver unit tests."

Merge "Update Cinder's latest copy of OSLO grizzly stable"

Merge "Add missing processutils for impl_zmq in oslo rpc"

Merge "Speedup solidfire unit tests"

Add missing processutils for impl_zmq in oslo rpc

impl_zmq in oslo rpc requires processutils.

Change-Id: Ib2f114a9e78af6d2acdab34c8c787df8abdb967a

Update Cinder's latest copy of OSLO grizzly stable

This patch updates all the files from oslo under
stable/grizzly but policy.py.  policy.py is a high risk
change at this date and it has lots of changes since the
last time we updated it.

Fixes bug #1157126

Change-Id: I399a1cd8474f718ed5196def90d2fea546fb01f5

Remove the log spam generated by the NetApp driver unit tests.

Change-Id: Iae6a4f0a1553b4b461bd024c29ba6ff4e9db737f
Fixes: bug #1157910

Speedup solidfire unit tests

The SolidFire driver has a sleep that's used in a retry loop.  This
sleep was being called every iteration of the loop though
(instead of just when the call failed).

This made SolidFire the slowest test in the unit tests, and obviously
it's just stupid anyway.  So this change fixes that and only performs
the sleep if the call actually failed.

Change-Id: I560f2fdb6bf16a6a9b26184234225349ab62e816

Merge "Add snapshots to the volume usage audit report"

Merge "Rename cinder-rtstool to rtstool"

Merge "Use OpenStack common project requires."

Merge "Fix Storwize/SVC LUN allocation with holes."

Merge "Allow snapshot_delete for NFS/GlusterFS drivers"

Merge "remove cinder-rtstool because of rtslib dep"

Updates to OSAPI sizelimit middleware.

Updates the OSAPI sizelimit middleware so that we use avoid calling
len on a request body which could cause a really large request
to get buffered into memory.

Also updates the middleware to return HTTP 413 which is a more
correct error code in this case (previously it returned just 400).

Fixes LP Bug #1131857.

Change-Id: Iff6cb0c24bc21e5a1d5dd4cf29acb0b4ee221708

Use OpenStack common project requires.

This patch is an update of pip-requires and test-requires
using the openstack/requirements script.

One exception was made to pep8, which is being fixed in the
upstream script.

Change-Id: I4bd61e0ec6f1995f9f36a724eb8dbe15345caca0

Rename cinder-rtstool to rtstool

Since rtstool is being distributed externally, it will be named
rtstool rather than cinder-rtstool.

Change-Id: Ieff072ab8315928ed02837aff63c08601b1d2acd

Make dd block size user configurable

This patch introduces a new configuration option volume_dd_blocksize
to change the bs parameter passed to the dd command when creating or
deleting volumes. In certain scenarios changing the block size might
result in better performance.

The default value is still 1M, which was used before.

Change-Id: I0398436ab3ecca51f6121e8f521af8b2dc60acd3
Fixes: bug #1157417

Merge "Pull Oslo log fix to enable root logger initialization"

remove cinder-rtstool because of rtslib dep

rtslib is AGPL, so cinder-rtstool is defacto AGPL by importing it.
Remove cinder-rtstool from the OpenStack repository.

Fixes bug #1157091

Change-Id: I30c9ee19d43107fa7f2e5e65d69049b8d69d2bdf

Merge "Remove references to FLAGS from volume/manager.py"

Merge "CoraidDriver: retrive volume info (improvement)"

Add snapshots to the volume usage audit report

* Added tests for db api call volume_get_active_by_window called by the volume
usage audit report.

* Added new db api called snapshot_get_active_by_window & test it. This is
similar to the volume_get_active_by_window method but returns the snapshots
 active the supplied time window.

* Integrate the above into the cinder-volume-usage-audit script to report on
  all the active snapshots as well as volumes in the specified time frame.

Fixes: bug #1157110
Change-Id: I7597da20c62150a8f6c74cbfeec159f68064d2a6

CoraidDriver: retrive volume info (improvement)

Some portions of code into this method are useless since
the REST API on Coraid side has been improved.

Fixes bug #1157242

Change-Id: Ie37b5b76710e77acb2acf627c9688e4f931e686c

Remove AGPL rtslib pkg from pip-requires.

Fixes bug: 1157091

Change-Id: I1879712ab33324740496b284500fa2b22a1bc310

Merge "Implement get_volume_stats in NFS driver"

Fix Storwize/SVC LUN allocation with holes.

The Storwize/SVC driver should find the first unused LUN, but
continues searching, returning erroneous results.  Added 'break'
statement to fix.

Change-Id: Ibd95714e086a513a39fe9d20ffec57135dc5ec55
Fixes: bug 1157012

Merge "Clean up exec_dirs prefix from rootwrap conf"

Remove references to FLAGS from volume/manager.py

Note that we still must import flags.py because volume_topic is defined
in the list global_opts in flags.py.

Fixes bug #1153551

Change-Id: I3d37bde4ba895c110390cea92385344ff94cb7d1

Allow snapshot_delete for NFS/GlusterFS drivers

RemoteFsDriver should allow snapshot_delete, since snapshot_create
for NFS and GlusterFS volumes will create a snapshot in the error
state which cannot be deleted afterward.

snapshot_delete() should allow this to be removed rather than
throwing NotImplementedError.

Fixes bug: 1156686

Change-Id: I4307878fa97fbce5bd733a83fa172509e2fba8ce

Pull Oslo log fix to enable root logger initialization

Previous log module in Oslo doesn't initialize root logger, which results
in lacking of log message for non-openstack library (such as stevedore).
This patch pull latest log module from Oslo, which has recently merged a
change to enable root logger initialization.

Notice that this change also includes one log modules fix in Oslo which
'unignore' log_format setting.  As a result, one may experience log format
change when using devstack.  To get old log format back, simply assign
a NULL string (aka nothing) to 'log_format' configure option in cinder.conf.
For example, just append cinder.conf with one new line 'log_format = '.

Fix bug: # 1131322

Change-Id: I86396f15ca152512ce6d18d6d424a855b27f495e

Merge "Fixes dettach volumes in Windows cinder plugin"

Merge "Use self.configuration to support the multi-backend case"

Clean up exec_dirs prefix from rootwrap conf

Specifying the full path to binaries in exec_dirs
is not necessary and actually causes a problem if
the binary is in a different path. The rootwrap
infrastructure allows the binaries to be in all
paths specified by exec_dirs.

Change-Id: Ic16a779e916cd3b727db54b034d069c122aa45df

Fix typo in persona valid values

The 3PAR drivers have a persona extra spec that has a valid
values with a typo in it. The value '11 - VMWare' should be
"11 - VMware', note the lower case 'w'.

Fixes bug 1155781

Change-Id: I70ab255e1ec6a4b83437b072a7eb4fe11eafc710

Use self.configuration to support the multi-backend case

Use self.configuration instead of using FLAGS directly to make
the driver work in a multi backend environment.
And remove three repeated lines:en = out.split('\r\n')

Fixes bug: 1154125

Change-Id: I6e08706104eabb71677ec8583b9abb9711553504

Merge "Bump version for Grizzly RC1 cut"

Merge "Fix _migrate_up in test_migrations"

Merge "Switch to final 1.1.0 oslo.config release"

Bump version for Grizzly RC1 cut

Change-Id: Ibec70d74c26e47caa5de7ef943ffa81c9386d7ae

Merge "Compression/tier capabilities for Storwize/SVC."

Merge "Fix ISCSIDriver rescan."

Merge "Fix 3PAR driver hiding existing host error"

Count Snapshots towards volume/gigabyte quotas.

Cinder has quotas and limits for volume-count and Gigabytes used,
however we were only counting volumes against these quotas.

This change introduces a snapshot-count limit and also counts
snapshots against this Gigabytes quota allowed for a Tenant.

Fixed bug: 1137927

Change-Id: Ib9b00b84b05597de9b5725a7f5898fe10a20b9d9

Fix 3PAR driver hiding existing host error

This fixes a problem with the 3par drivers where creating
a 3par host was failing but there was no message.  The driver
would fail to find the host after the creation failed and the
log entry would show that the host didn't exist.   The real
error was failing to create the host.

bug #1154700

Change-Id: I2267d958f10cc73c6c5f34d224ea3452a4402f18

Switch all uses of 422 response code to 400.

The 422 response is normally only for WebDAV, and these types of
errors should normally return a 400 code, HTTPBadRequest. This
commit goes through all the remaining 422 codes and changes them
to 400 responses.

Fixes bug 1153807

Change-Id: I9bf49643763c2cb0ac585641056c85a060152e36

Implement get_volume_stats in NFS driver

Use the already existing code (ie: _get_available_capacity) to
implement get_volume_stats in the nfs driver

Change the netapp nfs driver to use this new implementation
instead of the dumb one.

Fixes bug #1152501

Change-Id: Ie16d9628ba4b096c60966b4aa6192fbdcb9a4f20

cinder-manage does not print any version information

'cinder-manage --version' does not print anything. We need
to pass in the version information along with the argv and
project information

Change-Id: Ia826874cbbc3316226fb475646a0c146fd3a5955