Verify requested size in volume.api create

Currently we're not checking that the input value requested
for size on volume create is valid, but taskflow portion of
the code expects it to be and as a result when it receives invalid
input we litter the logs with Trace messages.

This patch adds a check that verifies that if we pass in a
size to create_volume in the volume.api that it is in fact
an int or a string representation of an int.

Worst commit ever

Change-Id: I81bf515360eacf63e6f3cdb672ec7f37001aa4fb
Closes-Bug: 1370773

Merge "Remove executable bits on various files"

Merge "Updated from global requirements"

Merge "Sync latest strutils from oslo-incubator for mask_password fix"

Merge "Use right body for test_create_missing_specs_name"

Merge "Volume types need to be specified when creating CG"

Merge "Getting iscsi_ip_address from cinder.conf"

Merge "Handle config file with newlines and whitespaces"

Merge "Check replication status failed for non-replication"

Check replication status failed for non-replication

Need to check self.replication whether is None before the
function get_replication_status be called.

Closes-bug: #1365392

Change-Id: I6f6939a98091e40537f2355bb716b4b3205845e2

Sync latest strutils from oslo-incubator for mask_password fix

This sync pulls in:
   1131b56 Enable mask_password to handle byte code strings

This is the only update since the last sync:
   beca4db Sync latest strutils from oslo-incubator

This is needed to fix a delete volume failure when processutils
calls mask_password with a byte code string.

Change-Id: Ie8a8c8e26abc0e387830bc9246e9a44913ae9b24
Closes-bug: #1368527

Remove executable bits on various files

During the Juno cycle we landed a number of commits
making files executable that shouldn't be.

Change-Id: If2c5279b263b35526a41f4f026386b75329ff9a7

Merge "Avoid using the disk cache on volume initialisation"

Merge "HP 3PAR configurable ssh-host-key-policy"

IBMNAS: Remove call to set r/w permissions to all

During cinder volume create operation from a volume snapshot or
from an existing volume (volume clone operation), the ibmnas
driver sets 'rw' permissions to all, which is unnecessary and
also poses security concerns.
Fixing this issue, removing the calls to set rw permissions to
all during these operations and adding a call to set 'rw'
permissions only to the owner to make sure even if umask is set
at the filesystem level, which might deny 'rw' access to the owner
we explicitely set the required permissions on the volume file.

Change-Id: I0e5ba9262a298e088f7724ddeda3537afa4b023e
Closes-Bug: #1367238

Updated from global requirements

Change-Id: Ie85ed9ad591edc3e38352fe0c7ee751a43557a38

Merge "Fix help for running specified unit tests"

Merge "Don't clear _mounted_shares list in remoteFS while updating"

Getting iscsi_ip_address from cinder.conf

In the current version (2.0) of the VMAX driver, we retrieve iSCSI IP
addresses dynamically from SMI-S. However, we ran into situations where
we can't get them reliably during testing. The fix is to get this
information from cinder.conf, just like in version 1.0.

Change-Id: If474f44e99cc45592bacfdec9e1eb2fa48c41e68
Closes-Bug: #1369355

Handle config file with newlines and whitespaces

EMC VMAX driver does not handle newlines and whitespaces
consistently in the XML config file. This patch addressed
this issue.

Change-Id: I45f61f167feee9174ba2bc3229695b680f8e946d
Closes-Bug: #1364232

Merge "Add reset-state function for backups"

Merge "VMware: Remove redundant extend disk API call"

Merge "Destroy Datera export target after detach"

Volume types need to be specified when creating CG

When creating a consistency group, the scheduler will find a backend that
supports all input volume types. If volume types are not provided, the
default_volume_type in cinder.conf will be used, however, this could cause
inconsistent behavior in a user environment where the default_volume_type
is defined in some places but not in others. This fix removed the use of
default_volume_type for CG creation, added a check to verify that volume
types are provided when creating a CG.

When creating a volume and adding it to a CG, we need to make sure a
volume type is provided as well.

Change-Id: I078d4fdd8d92529e853be16272ad74d1e130f712
Closes-Bug: #1366371

Merge "EMC VNX Direct Driver Consistency Group support"

Merge "coraid: fix snapshot deletion"

Merge "Add test case for volume_types.py"

Merge "fix a small typo in development.environment.rst"

Merge "Log an error on nfs mount failure"

Merge "Netapp drivers support for pool-aware scheduling"

Merge "Fixing leaking sessions in 3PAR on attach/detach"

Merge "Unit test for restore with different hosts"

Merge "Delete consistency group failed"

Merge "Fixes Windows Volume Driver upload volume fails"

Merge "Adds CA cert file path option for glance connections"

Merge "Add filter to volume transfer REST api"

Merge "VMware: Implement backup/restore for VMDK driver"

Merge "Sync service.py and its dependencies to Cinder"

Merge "Update oslo.config and oslo.messaging requirements"

Netapp drivers support for pool-aware scheduling

Adds pools support for all NetApp drivers: eseries, 7mode (iscsi and nfs), and
cmode (iscsi and nfs). With 7mode and cmode drivers, a pool is one-to-one with a
Ontap flexvol. With eseries, a pool is one-to-one with a dynamic disk pool.

DocImpact
Implements: blueprint pool-aware-cinder-scheduler-support-in-netapp-drivers

Change-Id: Ie6f155df7bc1ae2cd5f7fa39f1b1a0ad38075988

coraid: fix snapshot deletion

Currently, a request to ESM API for a snapshot deletion looks this way:

{'addr': 'cms',
 'data': {
    'repoName': repository_name,
    'lvName': snapshot_name},
 'op': 'orchStrLunMods',
 'args': 'delClSnap'}

This is correct, however, some versions of the ESM API have a bug that
prevents it from validation this valid request and it fails with:

Must define the new LV name to be assigned to the clone/clSnap.

As a workaround for this bug, provide an 'newLvName' property with a
'noop' value to make the validation pass even on buggy versions.

Fixes bug #1365417

Change-Id: I3fd7f3c6a64cac992735b098368b52b9ab21d85c

Add reset-state function for backups

Since there are volume reset-state function and snapshot reset-state
function, backup also needs reset-state as well.
When creating or restoring backup, it may leave the backup stuck in
creating or restoring status due to database down or rabbitmq down, etc.
Currently we could only solve these problems by restarting cinder-backup
service.

This BP is to provide another means for administrators to solve these
problems by calling backup reset state API, instead of directly
restarting cinder-backup service.

DocImpact: Support reset backup status

blueprint support-reset-state-for-backup

Change-Id: Icd677a0b48083894bcd969d5199fa91b307080de

Add test case for volume_types.py

Test coverage for volume_types.py is not enough.
Here I added some test case.

Change-Id: I3a78c87437044cb2b3697fcb7c126f4fc2422a21

Block sqlalchemy-migrate 0.9.2

Breaks unit tests.

Closes-Bug: #1368391

Change-Id: Ic814a91038800201603baf33ca40e4586944343b

Destroy Datera export target after detach

Since there is only one lun associated with each target export object in
the Datera backend, we will destroy the target export object after
detaching the volume so they don't build up. This patch also fixes some
missing values for formatted strings.

Closes-Bug: #1368381
Change-Id: Id44ac4bb385ab39af50865a295938861ca977fa3

EMC VNX Direct Driver Consistency Group support

Consistency Group support is newly introduced in Juno.

This commit is to add the changes in EMC VNX Direct Driver to
support CG.

Implements: blueprint emc-vnx-direct-driver-cg-support

Change-Id: I6c30ef2609ca8a559f5635129ce6a7c960a9f0a7

Update oslo.config and oslo.messaging requirements

Need to land the sample config update with these
updates so that the global requirements update can
pass tests.

Change-Id: Iaae306f05098165d80a7398a22038b322e9f7935

Fixes Windows Volume Driver upload volume fails

The copy_volume_to_image requires in some cases an intermediary
conversion, which takes place in the configured image conversion
dir. If this folder is not created, the operation will fail.

This patch ensures that method will create the folder if it does
not exist.

Change-Id: I82b5e76c6d6f3114666f184672667dc3b95bab8b
Closes-Bug: #1356415

Log an error on nfs mount failure

Change from a log warning to a log error when an nfs driver
cannot mount the backend share. Add tests to ensure the error is
logged correctly.

Change-Id: Id9d51aebe349e7a4e09d1211b17efd8d47af97f5

Merge "Fixes Cinder fails to upload volume to vhd image"

Sync service.py and its dependencies to Cinder

Bug 1362455 made note that our sevice.py was out of sync
from what is currently in oslo-incubator.  We have been syncing
things piece meal.  It would be good to get this code synced up.

----------------------------------------------

Head of oslo-incubator:

commit 820752a10d8277464261661ca211f2c3e7282ce0
Merge: 8ebe497 422e94b
Author: Jenkins <jenkins@review.openstack.org>
Date:   Wed Sep 10 14:14:28 2014 +0000

    Merge "Switch to using pbr's autodoc capability"

-----------------------------------------------

This commit pulls in the following changes listed by file,
ordered from newest to oldest:

cinder/openstack/common/eventlet_backdoor.py
------------------------------------------------
90ae24bf Remove redundant default=None for config options
fcf517d7 Update oslo log messages with translation domains

cinder/openstack/common/jsonutils.py
------------------------------------------------
d9060f69 Check for namedtuple_as_object support before using it
ad248f66 Specify namedtuple_as_object=False when using simplejson

cinder/openstack/common/log.py
------------------------------------------------
037dee00 Set stevedore log level to WARN by default

cinder/openstack/common/loopingcall.py
------------------------------------------------
e3773930 Changes calcuation of variable delay
ab5d5f1c Use timestamp in loopingcall
bc48099a Log the function name of looping call
fb4e863c Remove deprecated LoopingCall
fcf517d7 Update oslo log messages with translation domains

cinder/openstack/common/service.py
------------------------------------------------
5f12bba4 Implement stop method in ProcessLauncher
8c00b361 Merge "Remove duplicated "caught" message"
f718e404 Remove duplicated "caught" message
356ecd4d Move notification point to a better place
e2634a75 Add missing _LI for LOG.info in service module
0150ad75 Merge "Reap child processes gracefully if greenlet thread gets killed"
53e1214c notify calling process we are ready to serve
a6fec438 Reap child processes gracefully if greenlet thread gets killed
fcf517d7 Update oslo log messages with translation domains
1e700782 Revert "service: replace eventlet event by threading"
0644073e Simplify launch method
6b4d255e Merge "service: replace eventlet event by threading"
a4f145e4 Merge "Allow configurable ProcessLauncher liveness check"

cinder/openstack/common/threadgroup.py
------------------------------------------------
5a1a0166 Make stop_timers() method public
fdc88831 Add graceful stop function to ThreadGroup.stop
5f8ace05 Merge "threadgroup: use threading rather than greenthread"
2d06d6ca Simple typo correction
4d18b57a threadgroup: use threading rather than greenthread

cinder/openstack/common/systemd.py
-------------------------------------------------
17c4e21e  Fix docstring indentation in systemd
667d1bac Fixed spelling error - occured to occurred
53e1214c notify calling process we are ready to serve

Change-Id: I163f0b80c32c3b8485d9c007fa6e4474494ba31f
Closes-bug: 1362455

HP 3PAR configurable ssh-host-key-policy

Cinder added configurable SSH strict key policy (RejectPolicy)
and configurable known_hosts_file.  This patch configures the
hp3parclient (used by the 3PAR drivers) using those settings.

Change-Id: I71fa7d8be28d1cb7c0102590e03cba994b6035a0
Closes-bug: 1365697

Merge "Add Windows SMB Volume Driver"

Merge "Set default pool value to system in gpfs driver"

Merge "Fixed Typo - from hypens to hyphens"

Delete consistency group failed

Delete CG failed because it compares host@backend with host@backend#pool
(in delete_consistencygroup in volume/manager.py). The fix is to call
extract_host before doing the comparison.

Another issue is about deleting a CG with no host. This will throw exception
when extract_host(group['host']) is called in delete_consistencygroup in
volume/rpcapi.py. The solution is to check the host field in consistencygroup/
api.py and delete it from db there.

Change-Id: Ife28a4f91bd8a4e123c74dac9748ee31cc7b7306
Closes-Bug: #1366205

Merge "Netapp: fix multiple copies of cinder-volume"

Merge "Add SMB Volume Driver"

Fixing leaking sessions in 3PAR on attach/detach

Fixed an issue where sessions were not being closed properly
during an attach or detach of a volume.

Closes-Bug: 1367429
Change-Id: Ic7a4ceca855111a8c8a9512fc2d99fcf6df6d79e

Add Windows SMB Volume Driver

Introduces a volume driver which makes use of SMB shares for hosting
volumes as disk images, having a similar workflow with the other NFS
like drivers.

This driver is based on the SMB Volume driver proposed for Linux,
overriding the platform specific methods.

It includes all the features required by the Juno release.

Driver cert results:
http://paste.openstack.org/show/100600/

The online snapshot related tests have been skipped as this
feature is not supported yet.

Change-Id: Idd5964690bca618c11fd116f80dd802d6cc2f31b
Implements: blueprint windows-smbfs-volume-driver

Merge "Fix possible race condition for accept transfer"

Merge "remove object in wsgi LOG.info"

Netapp: fix multiple copies of cinder-volume

Various commands were failing when running multiple copies of
cinder-volume. This is due to storing an in memory copy of the luns
which may get updated in the backend by another cinder-volume. Fix
it by attempting to refresh the list of luns if one is not found
during a request.

Change-Id: Iecd1dc5146525d7240a09f71669a3ab239c488bd
Resolves-bug: #1367044

Add SMB Volume Driver

Introduces a volume driver which makes use of SMB shares for
hosting volumes as disk images, having a similar workflow with the
other NFS like drivers.

The driver uses Samba in order to access the SMB shares. It takes
SMB shares information such as share path, credentials and other
mount flags from a config file of which location can be configured
in the cinder config file.

It includes all the features required by the Juno release.

Driver cert results:
http://paste.openstack.org/show/100915/

The online snapshot related tests have been skipped as this
feature is not supported yet.

Implements: blueprint smbfs-volume-driver

DocImpact

Co-Authored-By: Adelina Tuvenie <atuvenie@cloudbasesolutions.com>
Change-Id: I3b4bebf73122d5b784228af18f9b1eddfc02b643

Fix possible race condition for accept transfer

Accept transfer API workflow is currently like this:

  call volume_api.accept_transfer()
    |
    --- RPC cast to volume manager
          |
          --- volume manager calls volume driver accept_transfer()

  update volume's DB record

Given the non-blocking nature of RPC cast, what happens in volume
manager and volume driver can happen in parallel with the DB update.
If volume driver relies on original DB record to do things, then
DB record shouldn't be updated until volume driver finishes its job.

So this patch change volume RPC API accept_transfer() from cast
to call to make sure the workflow is in serialized manner.  Also
elevated the context when volume manager tries to update the DB
record when driver has done accept_transfer().

Change-Id: Ieae52e167aa02967338e0be5d78d570d682faa7a
Closes-bug: #1357432

Imported Translations from Transifex

Change-Id: I6e73820384a15740729aef1027c6cf672580a1e6

Mock glance client object in version unit tests

This patch changes the glance client version unit tests
to mock the Client object completely.  Previously the
tests were ensuring the right version of the client was
returned, but that required too much knowledge of glance's
implementation and ended up breaking the tests when glance
changed the implementation details of the Client class.

The new code tests if cinder is calling the integration
point correctly for the version, rather than if glance
is correctly returning the right client; that should be
a glance test, not a cinder test.

Closes-Bug: 1366596
Change-Id: I979175e6c3b5f98076bde6d36ca52fb8b03009b8

Use right body for test_create_missing_specs_name

Since the test is `test_create_missing_specs_name`, we should define
the the body like `body = {'qos_specs': {'a': 'b'}}`. And add a test
to cover the invalid body case.

Change-Id: Ib1cf9a8b5bfddc0091e28e3765a36c75044642f3
Closes-bug: #1370308

Merge "Deprecate the V1 API"

remove object in wsgi LOG.info

Method __init__ in Server class records log for wsgi server name, host
and port using its __dict__ which includes a socket object. i18n message
will deep copy each item's value in __dict__. In python2.6, deep copy
the socket object will raise "Exception RuntimeError" and can not be
caught. This makes cinder-api run into a hang loop. This patch uses the
related properties instead of __dict__ object to fix the problem.

Closes-Bug: #1365901
Change-Id: Ia6ac51f4849d369c54ac88b1587741a2d2beb40b

Don't clear _mounted_shares list in remoteFS while updating

This fix makes the updating of the _mounted_shares list in
remoteFS more of an atomic operation.  Previously this list
would be cleared, then rebuilt.  That allowed a race
condition where operations that took place during this
update would have a list of 0 shares to work with.

Change-Id: I740d8f1b87db911242326a38ff398b81c5974cea
Closes-Bug: #1366083

Add filter to volume transfer REST api

The transfer api supports filter param,
https://github.com/openstack/cinder/blob/master/cinder/transfer/api.py#L72
But the transfer REST api didn't pass the filter params when calling get_all.

Change-Id: I1e29614a3368296571378b4a80a5cfa29b16754e
Closes-bug: 1351084

Fix help for running specified unit tests

Change-Id: I385fcf88ae6a2e839c99ef13cd4f410ce3c0ee5f

Deprecate the V1 API

This gives a warning for using the V1 API in Juno and encourages users
to switch to V2 before the K release where it will be removed.

DocImpact
Implements blueprint deprecate-v1-api
Change-Id: I89eb9eb2a7819edb2a97b2ea2b5239a89124ca4d

Merge "warn against sorting requirements"

Merge "During a restore send the restore request to the right host"

Merge "Add Datera driver for Cinder"

Merge "Update the HP 3PAR default persona"

Merge "Make ssh-host-key-policy configurable"

Set default pool value to system in gpfs driver

The configuration option gpfs_storage_pool is assigned with
default value of None. And it gets initialized with None
instead of system, where as the intention is to set the default
value as system.

This change sets default value of gpfs_storage_pool to system
instead of None.

DocImpact

Needs an update in gpfs driver documentation, as this patch
proposes a change in default value of configuration option
(gpfs_storage_pool)

Change-Id: Ib4c2a2e4593a940ae563d329fd59d2d5fe3d4520
Closes-Bug: #1365474

Fixes Cinder fails to upload volume to vhd image

The method copy_volume_to_image from windows.py specifies the
wrong volume format, namely 'vpc'. In this case, the upload_volume
method from image_utils will attempt to convert the volume to vhd
which will result in an error from qemu as it does not recognize
the format.

This patch fixes this issue by using 'vhd' as a format when
uploading volumes

Change-Id: Ifa675316e19f9a795e103fd56fcdf4e3ed00aab7
Closes-Bug: #1365487

Unit test for restore with different hosts

This patch adds unit test for restore API with different hosts
for backup and volume.

Change-Id: Ia38ea8f046110c4312212460e7f55ef038e18b93

Merge "Add Fujitsu ETERNUS DX support"

During a restore send the restore request to the right host

For restore from LVM volumes to work, the restore must be done
on the host that serves the volume, since local_path is used
in the restore code.

Change-Id: Iad1fb5588b8365a0a165754389340bca3f1830b5
Closes-Bug: #1365065

Add Datera driver for Cinder

Initial commit of the Datera Driver using iSCSI.

Implements blueprint datera-driver
Change-Id: Idbfff71883b3f97166e8372a3818f80a37cf422c

warn against sorting requirements

Change-Id: I64ae9191863564e278a35d42ec9cd743a233028e
Closes-Bug: 1365061

Merge "Fixed typo from 'the the' to 'the'"

VMware: Remove redundant extend disk API call

Extend virtual disk API is called during volume creation from image if
the image size is less than volume size. In the case of streamOptimized
and sparse vmdk images, the size of the virtual disk created from the
image can be greater than image size and equal to the volume size. For
example, streamOptimized image created from a new 1GB volume has size
69120 bytes and the size of the virtual disk created from this image
is 1GB. Therefore, relying on image size to invoke extend API might
result in VIM API fault, if the virtual disk size is same as the target
size (volume size). The fix is to read the current virtual disk size to
decide whether extend disk needs to be invoked or not.

Closes-Bug: #1301854
Change-Id: I990ac0b9aef68b3ef8b6d67188db8d44b5c29599

VMware: Implement backup/restore for VMDK driver

Currently, backup-create and backup-restore operations are not
supported for volumes created by the VMDK driver. This change
implements backup_volume and restore_backup APIs for VMDK driver.

DocImpact
    Added a new config option 'vmware_tmp_dir' which specifies
    the directory in Cinder host to use for storing temporary
    virtual disk files during backup/restore.

Implements: blueprint vmdk-backup
Change-Id: Ib19a699f71701c2034e77b8e6b50a8a3295a542b

Update the HP 3PAR default persona

The HP 3PAR drivers was setting the default persona to Generic.
The default should actually be Generic-ALUA for Linux based host.

DocImpact
This will require an update in the OpenStack Configuration Reference
Guide under the supported operations page for the HP 3PAR drivers.
The new default for the hp3par:persona should be '2 - Generic-ALUA'.

Change-Id: I65860a0b58f52ead0c86a0f0ab9a9ad755f76e72

Fixed Typo - from hypens to hyphens

Change-Id: I43930f4ffb74ed64202d77dea1b43d8823efa1dd

Fixed typo from 'the the' to 'the'

Change-Id: Ie06db86113c94749ec0c9e2355a94de8833c8d31

Support Volume Backup Quota

Since quota take volumes, snapshots and gigabytes into account, it also
needs to take backup into account.
1. Backup create API is not admin interface, users of projects could
create any number of backups.
2. If some evil users create many more big backups to exhaust the free
space of backup storage-backend, it would cause cinder-backup in the state
of rejecting service.
Based on these two points, I think it is necessary to support volume
backup quota.

blueprint support-volume-backup-quota

Change-Id: Idd24ad2e8a5507bf18e90bd5fad59a4af1c158c6

Merge "Volume Replication implementation for IBM Storwize/SVC"

Merge "Update oslo policy and its dependencies"

Volume Replication implementation for IBM Storwize/SVC

Adds replication support to the IBM Storwize/SVC driver.
Supports IBM SVC stretched Cluster mode.

DocImpact

Change-Id: Id82623518c3508ad637f77d08699ffebcb44921e

Merge "Add Cisco FC Zoning plugin to the FC ZoneManager"

Add Fujitsu ETERNUS DX support

 This driver had them correspond to FUJITSU ETERNUS DX.
 This driver supports ETERNUS DX S2 and the S3 series.

 The driver runs volume operations by communicating with the backend
 FUJITSU storage. It uses a CIM client in Python called PyWBEM to perform
 CIM operations over HTTP.

  Support protocols
  -Fibre Channel
  -iSCSI

  Support functions
  -create/delete volume
  -create/delete snapshot
  -attach/detach volume
  -list snapshots
  -create volume from snapshot
  -create volume from image
  -create volume from volume
  -create image from volume
  -extend volume
  -volume migration(host assisted)

driver-cert result
   fc : https://bugs.launchpad.net/cinder/+bug/1359467
   iscsi : https://bugs.launchpad.net/cinder/+bug/1359569

Change-Id: I7fe26dafae2f2db9130e020a34af73d0eb7ac719
Implements: blueprint fujitsu-dx-volume-driver

Merge "Pool-aware Scheduler Support"

Merge "Sync latest strutils from oslo-incubator"