Merge "Make X-IO volume driver wait for delete volume to complete"

Merge "Small clean up in volume object"

Merge "Reduced file size to prevent timeout"

Merge "Validate string, integer limit for input parameter"

Merge "Remove RetypeVD class, fix NFS driver retype"

Merge "Updated from global requirements"

Merge "On Volume list only retrieve needed data from DB"

Merge "Don't use context.elevated to get volume"

Merge "Validate name and description string"

Merge "Update SolidFire driver to pass newer flake8"

Merge "3PAR: Adding performance metrics to volume status"

Merge "Switch Pure volume drivers to use Snapshot Objects"

Make X-IO volume driver wait for delete volume to complete

Add a check to make sure the volume has been deleted from
the backend storage before returning from delete_volume.

Change-Id: Icc662de476fcb21ff2f7ca6aa69e46c434214d7e
Closes-Bug: #1482044

Reduced file size to prevent timeout

We currently have a test system that appears to be I/O constrained
and is hitting timeouts. Rather than mocking out the file copy, we
decided to reduce the file size in order to avoid timeouts. This way
we are not changing the way these test cases work, but we are reducing
the time required to run each test case. This patch will help improve
check and gate performance as well.

Change-Id: I04cf9d6dbdaebb8944a38ffa34d1e2e1b27e2552
Closes-bug: 1480361

Merge "Handle missing temp volume and snapshot during cleanup"

Merge "GPFS volume encryption-at-rest support"

Update SolidFire driver to pass newer flake8

Just an easy update of some things that newer versions of
flake8 complains about.

I've updated my env to flake8 2.1.0, and figured might as
well fix these up rather ignore them.  pep8 is 1.5.6 and pyflakes
is at 0.8.1

Change-Id: I6d22fe95b67acddcece283e6dca6fe980904bfed

Merge "Enable cinder-manage to remove services"

Merge "Fix Python 3 issues in Windows tests"

Merge "Prevent creating encrypted volume with image"

3PAR: Adding performance metrics to volume status

If one storage backend has high load while another has lower load,
when a user/admin creates a volume, the current evaluator/scheduler
may place the volume on the backend with higher load. In many cases,
the evaluator/scheduler should place that volume on the backend
with the lowest load for load balancing purposes. In general, for load
balancing virtual volume placement, an evaluator/scheduler needs
access to performance metrics (e.g. IOPS throughput, bandwidth,
latency, IO size) to measure load, but Cinder drivers don't generally
report those metrics.

Although these performance metrics are available from the 3PAR CLI,
they are currently inaccesible in the evaluator/scheduler. The
proposed changes add these metrics to the volume status report and
thus make them accesible by the evaluator/scheduler.

In cinder/volume/drivers/san/hp/hp_3par_common.py, uses the 3PAR
client method HP3parClient.getCPGStatData to get performance metrics,
and adds new fields in the output of HP3PARCommon.get_volume_stats
corresponding to the performance metrics: IOPS throughput, bandwidth,
latency, io_size, queue_length, and avg_busy_perc. These metrics are
taken by averaging samples taken once per day for the last week.

In cinder/tests/unit/test_hp3par.py, adds unit tests in
TestHP3PARFCDriver.test_get_volume_stats and in
TestHP3PARISCSIDriver.test_get_volume_stats.

Closes-bug: #1482741

Change-Id: If9e7b5ffd100489af6537f7dab970d89a6d70851

Merge "Fix missing parameters in driver CG interface"

Merge "Add multipath support to 3PAR iSCSI driver"

Merge "Set default policy for "volume:get""

Don't use context.elevated to get volume

Original Problem:
=================
Since the metadata(readonly and attached_mode) is stored in admin metadata,
normal user need `run context.elevated` to retrieves admin metadata.
The above way will bring a side effect. Normal user can also get
any volume which the user shouldn't access when the user knows the UUID.

Solution:
=========
Use context instead of context.elevated to get volume.
And add admin metadata to it.
Based on cinder-meetup-summer-2015 conclusion, we use the solution.
The solution will need extra database connection.

Change-Id: I06f21e7578b65a59c0fe4d3afe0e882ed73c4725
Closes-Bug: #1477625

Enable cinder-manage to remove services

These changes are to enable cinder-manage to remove old services
from the database like nova does. All that is being added is the remove
method to manage.py and tests to cover this new method in test_cmd.py.
The command will remove the binary from the list of running services
in the db that can be viewed via "cinder-manage service list". NOTE:
Active and restarted services will re-populate the DB with their current
status automatically.

To use this new command, the user types "cinder-manage service remove
<binary> <host>" and the service will be removed.

DocImpact

Change-Id: I3bcec824d3c5f65fdd187459428025993a2010a0
Implements-blueprint: add-cinder-service-removal

Merge "VNX driver needs extra params for create cg from src"

Merge "LVM Thin Provisioning auto-detect"

Updated from global requirements

Change-Id: I2e23700feb4dbba88f2de48624a401ac1c087463

Small clean up in volume object

This call of __init__() is unnecessary.

Change-Id: I1513d4c392ef773d990a3b3f339fe87622a8c5b5

On Volume list only retrieve needed data from DB

Currently when there is no limit set on a volume list query we retrieve
all volumes and then limit them locally using osapi_max_limit.  Similar
thing happens when we are using the marker for next pages, we get all
volumes from that marker until the last volume and then limit it
locally.

We should be limiting it on the DB side so we only retrieve the data we
are actually going to return to the API caller.

This patch always limits the data retrieved from the DB and for the
offset to keep working as it was before we need to do the offset on the
DB side as well.

For reference some tests were performed:

On a deployment with 60,000 volumes, 370,000 volume_metadata items and
240,000 volume_glance_metadata items in cinder db.  Before the patch
this will use nearly 10G memory.  With the patch we will just use about
500M.

Co-Authored-By: wangxiyuan <wangxiyuan@huawei.com>
Closes-bug:#1483165i
Change-Id: Ie903e546074fe118299e8e1acfb9c88c8a10d78c

Merge "Remove unused fake objects in vmdk test module"

Merge "VMware: Set virtual disk UUID to volume ID"

Merge "VMware: Add volume ID in vCenter's volume config"

Merge "Add objects.register_all() to cinder-all command"

Merge "Use Requests HTTP library and URL safe names"

Merge "Don't return Exception when volume is detached"

Switch Pure volume drivers to use Snapshot Objects

Some consistency group operations require looking up snapshot objects
and returning them. Now that we have Snapshot objects we should be using
those.

Change-Id: Ib4ff7fa3f7d768abb33e3b9436f7e64a3cd81f4c
Closes-Bug: #1458126

Merge "Clean up volume_types logging"

Don't return Exception when volume is detached

This patch changes the way we handle volume detach
attempts when the attachment_id is already detached
and/or when the volume has no attachments.  We now
handle this the same way we do with deleting volumes
that don't exist.  We return success.

This patch also takes care to make sure we safely reset
the volume status to what it should be depending on if
there are other attachments.  If the attachment_id is
passed in and that attachment is detached, but there are
other attachments, we want to make sure that the volume is
left in an in-use state, not available.

Change-Id: I11b7c45bb6570ce11e13e487cf1136ca2551036b
Closes-Bug: #1484194
Related-Bug: #1476806

Merge "Fix RestURL to storage backend in Huawei driver"

Merge "Attach snapshot - driver only"

Merge "Add oslo.vmware into test-requirements"

Use Requests HTTP library and URL safe names

Use Requests HTTP library instead of urllib, and also use URL safe
resource names to communicate to the DotHill array.

Change-Id: If20bca9f375269cf652ef367c1b70eb061f57337
Closes-Bug: #1461718
Co-Authored-By: Lakshman <lakshminarayanat@vedams.com>

Remove RetypeVD class, fix NFS driver retype

retype() only exists in the deprecated VolumeDriver() class
and not BaseVD.  This means that drivers inheriting from *VD
hit attribute errors when trying to call driver.retype().

The thinking here is that RetypeVD isn't really necessary,
since all drivers must implement some version of the retype
method (even if it's a no-op with just a standard return code).

Therefore, just rely on this being in the base driver class(es)
rather than making it a separate abc class.

Closes-Bug: #1478987
Related-Bug: #1471807

Change-Id: Ie0c6f23caf68080a05a10cc7ad245878a057fb02

Fix Python 3 issues in Windows tests

* Replace __builtin__ with six.moves.builtins
* tox.ini: add the following tests to Python 3.4

  - cinder.tests.unit.windows.test_smbfs
  - cinder.tests.unit.windows.test_vhdutils
  - cinder.tests.unit.windows.test_windows
  - cinder.tests.unit.windows.test_windows_remotefs
  - cinder.tests.unit.windows.test_windows_utils

This change requires the Python 3 fixes in os-brick.

Blueprint cinder-python3
Change-Id: I1ffa65745923459e993e81d8a95a39e19c1bd1e4

Add objects.register_all() to cinder-all command

In cmd/all.py registration of objects was missing. This caused running
cinder-all command to raise exceptions about unknown objects. Following
commit fixes this problem.

Closes-Bug: 1484533
Change-Id: Id7686bc801aaea30c1f7f24209044311656fa4cd

GPFS volume encryption-at-rest support

This patch extends the capability of gpfs driver to support volume encryption
at rest using GPFS Native Encryption feature (https://ibm.biz/BdXPBm).

This includes:
1. Verification of configured gpfs backend to support encryption at rest.
2. Driver exposes gpfs_encryption_rest capability via volume type convention.

Usage - Cloud admin creates a volume type "encrypted" with extra-specs
  gpfs_encryption_rest=True
Every volume created using type "encrypted", the volumes will be encrypted
at rest.

DocImpact

Needs an update in gpfs driver documentation, as this patch introduces
encrypted backend support.

Change-Id: I83949ca51668834ecbce52e90527cf06f95bd001
Implements: blueprint gpfs-volume-encryption-rest

VMware: Set virtual disk UUID to volume ID

The symlinks in /dev/disk/by-id/ (in a Linux guest OS running in VMware
ESX based Nova instance) use UUID of virtual disk as the SCSI device ID
when disk.EnableUUID is set to True in the virtual machine configuration
file. This patch sets the UUID of virtual disk corresponding to a Cinder
volume (at the time of volume creation) to volume ID so that end-users
(of Nova instance) can identify the device corresponding to an attached
volume in the guest using /dev/disk/by-id symlink.

For example, given a Cinder volume with ID = xyz, user can identify the
device corresponding to the volume in instance's guest using the symlink
/dev/disk/by-id/scsi-xyz provided disk.EnableUUID is set to True in the
instance's virtual machine configuration file (in ESX).

Note: If the UUID of the virtual disk corresponding to a volume is unset
at the time of volume creation, a random UUID will be used.

Closes-Bug: #1475738
Change-Id: I8f9d210083010b25833a7b108ae135417c72fd09

Merge "Update snap-quota to unlimited in Nimble driver"

Add oslo.vmware into test-requirements

run_tests.sh is currently broken due to the commit that made
installing oslo.vmware optional: e67adc385ce6997249fbf70e9402264f758fc6f4

There are test cases that require oslo.vmware and the change made in the
commit for tox doesn't cover the case where run_tests.sh is used.  Without
including oslo.vmware in the test-requirements file there are a number of
test cases that fail without the library installed.

This patch resolves the issue by move oslo.vmware over to the
test-requirements file.

Change-Id: I2ffd21a23552e39bdb220c4aaa0c5e372c52f7ce

Add multipath support to 3PAR iSCSI driver

Adds multipath support to the 3PAR iSCSI driver.

target portals, iqns and luns will be returned if multipath
is being used.

Also adds a new function 3par common that allows finding
of all existing VLUNs.

Implements: blueprint 3par-iscsi-multipath-support
Change-Id: I6b17cc9057eaf726b6a31921fd8a141c5a430d52

Merge "Add unit test cases for the capacity scheduler"

LVM Thin Provisioning auto-detect

Add the ability to set lvm_type=auto, which will
enable thin provisioning if the system supports it,
and the configured volume group either:
a) has a pool LV with the expected name or
b) has no LVs

This, along with thin-provisioning accounting, will
give a path to move toward thin LVM as the default.

DocImpact: new value 'auto' for option 'lvm_type'

Partial-Bug: #1472803

Change-Id: Idfc1cd749bfd7aec659ab8e80629cc506cd9797a

Remove unused fake objects in vmdk test module

Patch to remove unused fake objects in the vmdk unit
test module.

Change-Id: I15f4ed1c028bc01558a2f5bf39d9fb294afd52bf

VMware: Add volume ID in vCenter's volume config

HP data protector's backup of vCenter inventory is failing
for 'in-use' Cinder volumes because the vmdk is attached
to two VMs (Nova instance and the backing VM corresponding
to Cinder volume). The solution is to skip the backing VM
during data protector's backup.

This patch adds key 'cinder.volume.id' with value set to
volume UUID in volume's vCenter config file so that other
vCenter solutions can uniquely identify Cinder volumes.

Closes-Bug: #1484012
Change-Id: I08a5f1a39def14f164ab3ca08a480310ce0b79ca

Merge "Fix argument order for assertEqual in tests"

Merge "Corrected order of parameters in docstring"

Add unit test cases for the capacity scheduler

Add unit tests for the capacity weigher for cases where the host
has 'infinite' or 'unknown' capacities.

Note that while the new test cases follow the correct parameter
ordering for assertEqual, the other test cases will be fixed
in a separate patch.

Change-Id: I5ab20443563c253b561f328aedca4fd2f62b8d47

Fix argument order for assertEqual in tests

Some tests incorrectly use the order assertEqual(observed, expected)
instead of the correct order, assertEqual(expected, observed). This
patch corrects this issue.

Change-Id: I4683b80451d3e4576443c4472a01460b24633d04
Closes-Bug: #1259292

Merge "Fix order of parms in assertEqual for scheduler ut"

Merge "ConsistencyGroup Object"

Fix order of parms in assertEqual for scheduler ut

When assertEqual is used it should be assertEqual(expected, observed).
Constant values are always the expected.  This patch makes them the
first parameter and fixes some other non-constant cases.

Closes-Bug: #1482373
Change-Id: Iec771d35d1005434281f9efd8bed8d53134abc7f

Merge "Update authorization actions for services API"

Merge "NetApp SSC job will be run periodically"

Merge "Remove unused context parameter"

VNX driver needs extra params for create cg from src

The cinder manager is passing 2 additional parameters (source_cg and
source_vols) to create_consistencygroup_from_src of driver. VNX
driver needs to add these 2 parameters.

Change-Id: Ibf1ac8955238a27c82b32e1aa728f1efacd71273
Closes-Bug: #1482571

Merge "Revert "Revert First version of Cinder driver for Quobyte""

Prevent creating encrypted volume with image

When creating an encrypted volume with a unencrypted image,
cinder just copies the unencrypted data to the volume,
which keeps unencrypted data in the volume.
But when booting/attaching the volume to Nova, it thinks
encrypted data on the volume. As a result, Nova reads
the data incorrectly.

The fix is to prevent such action. Later, we can
implement to write encrypted data in encrypted volumes
when creating from unencrypted image.

Change-Id: I0af8318222cee023451c38812bf83cdb4086faae
Closes-bug: #1482464

Merge "mark oslo.vmware as optional dependency"

Merge "Updated from global requirements"

Merge "Add discard to connection properties"

Merge "Remove StorPool Driver"

Merge "RBD: use user-configured value for chunk size"

Merge "Validate 'is_public' when creating volume type"

mark oslo.vmware as optional dependency

Driver-specific requirements are not hard requirements, since the
choice of drivers is up to the operator. The oslo.vmware module is
herein moved out of requirements.txt and instead listed as an optional
dependency using the extras functionality in setup.cfg.

A check is added to the vmdk driver to gracefully handle import errors
if the vmdk driver is used and oslo.vmware is not found.

Change-Id: I9b00edc38f0700304a1a164f0679a734f8701ebe
Closes-Bug: #1475739

Merge "Remove bad tests for the VMAX driver"

ConsistencyGroup Object

This patch adds VersionedObjects abstraction layer to
consistency groups.

Change-Id: I3febb95bb2b3dd8f10da4f01ffa705e39cb20520
Partial-Implements: blueprint cinder-objects
Co-Authored-by: Daniel Tadrzak <daniel.tadrzak@intel.com>
Co-Authored-by: Michal Dulko <michal.dulko@intel.com>

Validate string, integer limit for input parameter

1. Below apis will return 500 error code on passing name or description
   parameters with more than 255 characters:
   a. consisgroup-create
   b. consisgroup-update
   c. cgsnapshot-create
   d. quota-class-update
   e. quota-update
   f. qos-create
   g. volume-manage
   h. volume-transfer

2. Below apis will return 500 error code on passing 'hard_limit' value
   greater than mysql INT type:
   a. quota-class-update
   b. quota-update
   c. encryption-type-create

3. Below apis accept name as string with whitespaces:
   a. consisgroup-create
   b. cgsnapshot-create
   c. qos-create
   d. volume-transfer

4. Type-key api will return 500 error code on passing key or value with
   more than 255 characters.

Added new method
1. validate_name_and_description() in
   cinder.api.openstack.wsgi.Controller to validate length of name and
   description and returned 400 if it exceeds the limit and removing
   leading or trailing whitespaces and string containing only
   whitespaces.
2. validate_string_length() in cinder.api.openstack.wsgi.Controller to
   validate length of string and returned 400 if it exceeds the limit.
3. validate_integer() method in cinder.utils to validate integer
   limit and returned 400 if limit exceeds.

APIImpact
1. For all above apis 400 response will be returned.
2. Earlier it was possible to pass only whitespaces or leading-trailing
   spaces to 'name' parameters and 'key' while updating key-value in
   type-key api.
   Now it will raise 400 error if only whitespaces are passed and will
   remove leading-trailing spaces if present in other cases.

Closes-Bug: 1466351
Closes-Bug: 1463379
Closes-Bug: 1465967
Change-Id: I0c0029d61ba2b293b579d1afffec0bdf062b22a8

Validate name and description string

If you pass name or description parameters with more than 255
characters to create and update apis of volume and snapshot
and create api of backup, then it returns 500 error code.

Added new method validate_name_and_description() in
cinder.api.openstack.wsgi.Controllera to validate string limit and
returned 400 if limit exceeds and also removing leading or trailing
whitespaces and string containing only whitespaces.

APIImpact
1. For all above APIs 400 response will be returned.
2. Earlier it was possible to pass only whitespaces or leading-trailing
   spaces to 'name' parameter.
   Now it will raise 400 error if only whitespaces are passed and will
   remove leading-trailing spaces if present in other cases.

Closes-Bug: 1454244
Change-Id: Iaf7159e816f69fd776a09828c3bc1d27fc9fdcdb

Merge "Tests: Fix os.path.exists mock (emc_vnxdirect)"

Handle missing temp volume and snapshot during cleanup

When backup service is started, we try to clean up temp volumes
and snapshots in previously failed backups. If the temp volume
or snapshot is already deleted, we will get VolumeNotFound or
SnapshotNotFound exceptions. These exceptions should be handled.
Also temp_volume_id and temp_snapshot_id should be set to None
after they are deleted.

Change-Id: Ia20834bcc89040364bce71fc66c32c1777a5ac11
Closes-Bug: #1484774

Updated from global requirements

Change-Id: I25a1f5b137358c4d53c0d26c5d56a8f38c626eb8

Merge "Remove incorrect URLs from jenkins.rst"

Merge "Fixing notify message of manage_existing flow"

Merge "Fix volume limit exceeded exception"

Merge "Port Tintri driver to ABC driver model"

Merge "Fix Python 3 issues in Hitachi HNAS tests"

Merge "Port remotefs driver to Python 3"

Merge "Change default of option volume_driver to LVMVolumeDriver"

Merge "Port IBM driver to Python 3"

Merge "VNX driver needs to return snapshot objects"

Validate 'is_public' when creating volume type

is_public should be checked when creating volume type, otherwise DBError
will be raised in cinder-api, and the user will receive a 500 Internal
server error.

Change-Id: Id0695fbb05613f3655a7af5b5ab10e08ed5e606b
Closes-bug: #1479170

Remove StorPool Driver

CI has been disabled since July 31st due to false failure reports, and
no sign from the maintainers to fix things.

Change-Id: Ife07a5f5933274a04f88967abfc02e57ebea576c

Ignore InsecureReq warning in SolidFire Driver

The python requests package logs the use of Insecure as
a warning.  Currently the use of http vs https is a
configurable option, and for those that use http, the
log files include a Warning message for every single
request to the SolidFire Cluster.

In our case we're explicitly providing the
option to use http instead of https, so we can safely
ignore this message and remove it from the logs.

Change-Id: I746b5f7d7351ef594bf0004ec76458fc1a633031

Merge "Add connector object to create_export"

Attach snapshot - driver only

This patch is a continuation of adding support for
non-disruptive backup. It provides a more efficient way
to backup an attached volume by creating a temp snapshot.
Since this is used internally for backup, the attach
snapshot interface is added in the driver only. For
drivers not implementing the attach snapshot interface,
backup will still be done using a volume.

Partial-implements blueprint non-disruptive-backup
Change-Id: I3649ef1d7c8a18f9d6ed0543d463354273d5f62a

Merge "Snap copy feature for EMC VNX Cinder driver"

Remove bad tests for the VMAX driver

There are a few tests for the VMAX driver that are causing lots of
unit test failures on various patches. I think the reason is several
tests are using the config file with the same name which is created
during setup and deleted at cleanup. When concurrency is > 1, one test
could have deleted the file while another test is trying to read from
it. So the unit tests need to be re-designed to isolate the impact on
each other. This will be worked on. For the short term, I want to
remove the bad tests to reduce the number of unit test failures on
other patches.

Change-Id: Icd0ecf5ed184a81350e25ef0c8df3c3d400def98

Merge "VMware: Remove unused constants"