Imported Translations from Transifex

Change-Id: Idbbc5fbb66b53445a7934cff2e32832d9e4c22e2

Merge "GlusterFS: Remove unneeded conf import"

Merge "coraid: allow setting default repository"

Merge "Fixes docstring typos (Cinder)"

Merge "gitignore /.*"

Merge "VMware: Bump driver version"

Revert "Relocate volume to compliant datastore"

Commit 4be8913520f5e9fe4109ade101da9509e4a83360 introduced a regression
which causes failures during cinder volume re-attach. This patch reverts
commit 4be8913520f5e9fe4109ade101da9509e4a83360 as an immediate fix.

Closes-Bug: #1379830
Change-Id: I5dfbd45533489c3c81db8d256bbfd2f85614a357

Merge "Eseries warn if multipath is not set for img xfer"

Merge "Remove useless sslutils from openstack.common"

Merge "Fixed Typo from modfied to modified"

gitignore /.*

Ignore all dotfiles in the base dir of the tree except for
.gitignore, .coveragerc, .mailmap, and .testr.conf.

This should solve the "ignore my IDE's files" problem in a
general way.

Change-Id: Ia53fff4b97e4e99b6827030573973377beddb22b

Merge "Truncate fail_reason to column length"

Merge "Fix eqlx CLI output parsing on bad input"

Merge "Eqlx fix NoSuchOptError for volume_name_template on clone"

Fixes docstring typos (Cinder)

A few more typographical errors found in Cinder docstrings.

Change-Id: If841350592650e23e9d7b24b4c52a3cdddb62d2f

Remove useless sslutils from openstack.common

This module has been named by mistake in openstack-common.conf but has
never been used, except by the RPC code back then. Let's remove it.

Change-Id: Ie0c88d2c962d1daa9f1fcf0b4d0d530c15223aa9

Truncate fail_reason to column length

During create_backup failure handling, backup_update fails with
DataError ("Data too long for column") if the fail_reason is
greater than 255 characters. As a result, backup status is stuck
in 'creating' state. This patch avoids the problem by truncating
fail_reason to 255 characters before update.

Closes-Bug: #1376199
Change-Id: If0d616b81d3869f7ea110caab8cf4140cf5c5c9e

Fix eqlx CLI output parsing on bad input

The eqlx driver would identify CLI command completion
by looking for the system name prompt at the end of
the output ("ARRAY_NAME>"). In some cases where there
is bad input the array will print an error, then
prepopulate the command again so it can be edited,
resulting in the output:

"ARRAY_NAME> [bad command]"

The array name prompt only gets printed on command
completion, so the fix is to look for the prompt
anywhere in the CLI output.

Change-Id: I063a203c9746689ca8a42a97725b059f782e3812
Closes-Bug: 1378394

Eqlx fix NoSuchOptError for volume_name_template on clone

The eqlx driver was referencing the volume_name_template
config setting via self.configuration.volume_name_template.
This option is not imported in self.configuration.

The curent preferred method for volume clone is to reference
the passed in name, avoiding the need for the driver to
know what the naming template is all together.

Change-Id: If4963bbe61574c006ad04e5e88d04c7f7bc7cee1
Closes-Bug: 1378369

VMware: Bump driver version

Commit 86591a24d48fe19be427b5a8981821fcdb85bb37 added support for
retype API in VMDK driver. This patch updates the driver version
to reflect this.

Change-Id: I8351a40d393d68f5873237fb670a5e0c4a93a863

Merge "Make sure device support Direct before setting"

Make sure device support Direct before setting

We added '-t none' option to the qemu-img convert operation
in image_utils.py a while back to accomodate a couple of
backend devices that didn't flush writes on disconnect.
(Change: I7a04f683add8c23b9125fe837c4048ccc3ac224d)

The only problem here is that some backend devices don't
support Direct mode and raise an exception and fail when
setting this option.

This patch adds a simple check using dd to see if the dest
supports the Direct flag and only sets '-t none' if the device
does in fact support it.

Additionally it was brought up that even yet other backends
are using file devices not blk devices.  In their case setting
Direct will still work, however it's sub-optimal as qemu-convert
has internal mechanisms to make sure flushing etc are done
correctly and efficiently for those devices.  So to accomodate
that particular use case I'm also adding a check if blk dev
that can be used for determining whether to set Direct for the
qemu-convert process.

Change-Id: I34127ac373ceadcfb6fc2662628b1a91eb7b0046
Closes-Bug: 1375487

Eseries warn if multipath is not set for img xfer

Warn at driver startup if the configuration option
"use_multipath_for_image_xfer" has not been set to "True".  Eseries filers
require appropriate multipath/DMMP configuration on the host running the
cinder volume process for image transfers to work reliably.

Change-Id: Ib79a23a5a9527b254f155a9f4ea022d4387a4a13
Closes-Bug: #1376349

GlusterFS: Remove unneeded conf import

The 'volume_name_template' option is no longer needed here.

Change-Id: Ib965ec26278651b2ed93e2e2b1db0d9e6191b299

Fixed Typo from modfied to modified

Change-Id: Iad9515fd239b559b5c4a01b6deb33860ae79230e

Updated from global requirements

Change-Id: I5e9c61dbf0751c90a191d644e515af5838e96439

Merge "Imported Translations from Transifex"

Imported Translations from Transifex

Change-Id: I31709cb29865acf3f73fa7f6155c16085bf3418c

coraid: allow setting default repository

Currently, the Coraid driver requires storing Storage Repository
name in volume type key named 'coraid_repository' or different key name
if a value of the 'coraid_repository_key' option changed in the cinder
configuration file.

In case of creating a volume without volume type associated or creating
a volume with volume type that doesn't have an appropriate key with
the repository name, volume creation fails.

That is an inconvenient behaviour, especially in case of using that with
Tempest that creates new volume types but obviously doesn't know
that it should add keys with the repository name.

In order to fix that, introduce a 'coraid_default_repository' config
option that allows to set a default repository to use if one is not
specified in the volume type key.

In case if neither volume type nor config file provide a repository
name, throw CoraidException with description of the problem.

DocImpact

Change-Id: Ib205553cdee0af0036a774f6926433f4452ec023

Sync latest processutils from oslo-incubator

An earlier commit (Ia92aab76fa83d01c5fbf6f9d31df2463fc26ba5c) failed
to address ssh_execute(). This change set addresses ssh_execute.

------------------------------------------------

oslo-incubator head:

commit 4990535fb5f3e2dc9b397e1a18c1b5dda94ef1c4
Merge: 9f5c700 2a130bf
Author: Jenkins <jenkins@review.openstack.org>
Date:   Mon Sep 29 23:12:14 2014 +0000

    Merge "Script to list unreleased changes in all oslo projects"

-----------------------------------------------

The sync pulls in the following changes (newest to oldest):

6a60f842 - Mask passwords in exceptions and error messages (SSH)

-----------------------------------------------

Change-Id: Ie0caf32469126dd9feb44867adf27acb6e383958
Closes-Bug: #1377981

Merge "NetApp fix eseries unit test mock clean"

Merge "Windows SMBFS: Handle volume_name in _qemu_img_info"

Merge "ZFSSA iSCSI vol create fails with vol type option"

Merge "Clarify InvalidInput exception when the size is missing"

Merge "Handle eqlx SSH connection close on abort."

Merge "Refuse invalid qcow2 backing files"

Merge "Deprecate / obsolete NetApp volume extra specs"

Windows SMBFS: Handle volume_name in _qemu_img_info

The volume_name is now parsed to the _qemu_img_info wrapper. As
this method is not prone to security issues because this driver
does not support raw images (at least not yet), we don't have to
perform any checks on the backing image file path.

Thus, this method simply ignores this argument that will be parsed
by the base class methods.

Related-Bug: #1350504

Change-Id: I801a6338250ec2dc631c4058543f7d0088b3e4d4

Refuse invalid qcow2 backing files

Don't allow qcow2 files that are pointing to backing files outside of:

volume-<id>
volume-<id>.<snap-id>
volume-<id>.tmp-snap-<snap-id>

(optionally prefixed with /mnt/path)

Closes-Bug: #1350504

Change-Id: Ic89cffc93940b7b119cfcde3362f304c9f2875df

Clarify InvalidInput exception when the size is missing

In the case where size is None, the exception message
'Volume size  must be an integer...' is misleading.

Change-Id: Ida34a84f8b3d156e3dca54de594c991b5ef73295

Handle eqlx SSH connection close on abort.

EqualLogic array CLI operation timeout causes the
SSH thread to be aborted. This would cause SSH
sessions to be orphaned and hit a max connection
limit on the array. This fix catches these aborts
and makes sure the connection is closed.

Change-Id: I9392fd5dd79eb44f252bf50217f17cc473e6f2f0
Closes-Bug: 1374613

Merge "Fix race condition in ISCSIConnector _disconnect_volume_multipath_iscsi"

Merge "ZFSSA iSCSI driver cannot add multple initiators to a group"

Deprecate / obsolete NetApp volume extra specs

The NetApp Data ONTAP (Cluster-mode) NFS & iSCSI drivers for Juno support
the Cinder pools feature, but the drivers are reporting two qualified
extra specs that must be converted to unqualified extra specs in order to
be used by the Cinder scheduler's capability filter. Furthermore, there
are four extra specs that must be deprecated due to having the pools
feature.  Warnings will be logged during volume creation if any of the
obsolete or deprecated extra specs are seen in the volume type.

Change-Id: I4dbd667610e481356304a12b8dae84cff61aa9d9
Closes-bug: 1374630

Merge "Fix parameter miss in test_snapshot_metadata test case"

Fix race condition in ISCSIConnector _disconnect_volume_multipath_iscsi

This is a similar issue as seen in
https://bugs.launchpad.net/cinder/+bug/1375382

The list of devices returned by driver.get_all_block_devices() in
_disconnect_volume_multipath_iscsi will potentially contain broken
symlinks as the SCSI devices have been deleted from calling
self._linuxscsi.remove_multipath_device(device_realpath) right before
_disconnect_volume_multipath_iscsi but the udev rule for the symlink
may not yet have completed.

Adding in a check to os.path.exists() will ensure that we will not
consider the broken symlinks as an “in use” device.

Change-Id: I79c9627e9b47127d3765fcec5b7e3bacef179630
Closes-Bug: #1375946

Merge "IBM Storwize driver: Retype the volume with correct empty QoS"

ZFSSA iSCSI driver cannot add multple initiators to a group

All initiators defined in zfssa_initiator property would be
added to the group.
Also fixed some typos related to initiators error messages.

Change-Id: Iec6c90702e5aafa153b4a7f1e429974ac450afc0
Closes-Bug: #1369750

ZFSSA iSCSI vol create fails with vol type option

Vol create with volume-type option is not working since
volume_backend_name contains the class name as
predefined string. No matter what was specified in cinder.conf
as volume_backend_name, volume creation failed.
Multi-backend option and using extra specs to create custom volumes
won't work.
The fix is to look whether volume_backend_name is part of the
configuration or falls into the class name in case there is
no backend name.

Change-Id: I1bc501dd4c5689d96c7beb720b64112df1770232
Closes-Bug: 1373621
DocImpact

Open Kilo development

Bump pre-version to 2015.1 to formally open master branch to Kilo
development.

Change-Id: I326741949e338537388f020442aa026ea4673b92

Merge "VMware: cinder-volume create_session fail at retry"

Merge "Fix race condition in ISCSIConnector disconnect_volume"

Merge "Adds openSUSE support for developer documentation"

Merge "Remove unused py33 tox env"

Fix race condition in ISCSIConnector disconnect_volume

The list of devices returned by driver.get_all_block_devices() will
sometimes contain broken symlinks as the SCSI device has been deleted
but the udev rule for the symlink has not yet completed.

Adding in a check to os.path.exists() will ensure that we will not
consider the broken symlinks as an “in use” device.

Change-Id: Ibb869e10976f894f9e18e9edec6739c2c3bea68c
Closes-Bug: #1375382

Adds openSUSE support for developer documentation

Add information for openSUSE as developer platform.

Change-Id: I3d5429f78b06cd38b10756570acea96fb23ed021

IBM Storwize driver: Retype the volume with correct empty QoS

* Currently for Storwzie driver, if the new type does not have QoS
configurations, the old QoS configurations remain in the volume after
retyping it. It should be retyped into a volume with empty QoS for the
Storwize driver.
* Refactor three dicts into one for better maintainance of the QoS keys
for Storwize driver.

DocImpact

Change-Id: I2b2801a4ef72ef02c11392ed00b56f5263a8a7e4
Closes-Bug: #1368595

VMware:Unquote folder name for folder exists check

vCenter server escapes special characters in the folder name using URL
encoding and returns back the encoded string while querying. This causes
the check for folder existence to return false. Therefore, folder
creation is reattempted which eventually fails. This patch fixes the
problem by decoding the folder name returned by vCenter before
comparison.

Change-Id: I40aa6f42ea0d85fbfcb40970c55b20e13ea46522
Closes-Bug: #1356794

Merge "Add required spaces in log messages"

VMware: cinder-volume create_session fail at retry

cinder-volume exits with an exception while accessing a None
object during retry of create session failure.

Closes-Bug: #1374585

Change-Id: I1d8dd034e9c6eb7568cf6f243a203df7de1777da

Merge "IBM Storwize:Failed to retype from non-type to replication enable"

Merge "NetApp fix for controller preferred path"

Merge "Fix running unit tests with coverage"

Merge "VMware: Add storage profile related unit tests"

Merge "VMware: Relocate volume to compliant datastore"

Merge "VMware: Implement retype for VMDK driver"

Merge "VMware: Improve datastore selection logic"

Merge "Failed to re-detach volume when volume detached."

Fixing format for log messages

code_cleanup_batching for EQL driver
Follow log essage format for i18n - http://docs.openstack.org/developer/oslo.i18n/guidelines.html#adding-variables-to-log-messages

Closes-Bug: 1362337

Change-Id: Ic3726f725efa4d29204e8530a8f191b801a4aac8

Update /etc/cinder/cinder.conf.sample for memcache

It appears that an update to keystone middleware earlier today
added options for memcache_secret_key, memcache_pool_dead_retry,
memcache_pool_maxsize, memcache_pool_socket_timeout,
memcache_pool_unused_timeout, memcache_pool_conn_get_timeout and
memcache_use_advanced_pool.  The commit that added these options
was: a7beb50b38be5c3dd4c44d68ad79d1bb206dab6b - "Add an optional
advanced pool of memcached clients".

This has once again caused the check_uptodate.sh script to fail.

This patch updates cinder.sample.conf .

Change-Id: Ibcf19ccc81a56a9a3e795022e3e07bc061fa9401
Closes-bug: 1374154

Merge "Fix unnecessary WSGI worker warning at API startup"

VMware: Relocate volume to compliant datastore

During attach to a nova instance, the backing VM corresponding to the
volume is relocated only if the nova instance's ESX host cannot access
the backing's current datastore. The storage profile is ignored and
the volume's virtual disk might end up in a non-compliant datastore.
This patch fixes the problem by checking storage profile compliance of
the current datastore.

Change-Id: I3865654e219c05dcec3aaab07c4cee0658fe181e
Closes-Bug: #1301348

Fix parameter miss in test_snapshot_metadata test case

Exception.SnapshotNotFound exception should be passed snapshot_id
parameter, but the test case didn't pass it when raising this
exception.

Change-Id: Ic9b8cf7b647933b847a9602752ca87d141cda09e

Failed to re-detach volume when volume detached.

When first request command detach the volume, but the back-end
storage state is in-processing or busy. Next retry command will
got the error code that describe the volume already detached.

Change-Id: If340980ab2dcc844398254ff368ca6b78ca40ff6
Closes-Bug: 1373317

Merge "Imported Translations from Transifex"

Merge "Add unit test to cinder cgsnapshot api"

Merge "Downgrade 'infinite' and 'unknown' capacity in weigher"

Imported Translations from Transifex

Change-Id: If1cff4924585a11e5545cd8f3b206d574f5a4558

IBM Storwize:Failed to retype from non-type to replication enable

It used none as volume type to create replication. Storwize Driver
did not check whether it's none.
Change to use new type to create replication.

Closes-bug: #1369815

Change-Id: I78501e1d3558bd6c3e6e1abb0c312cec7d11efd4

Merge "DB migration 25->24 failed when dropping column"

Merge "Fix confusing exception message in NetApp iscsi driver"

Merge "Fix ssh_host_key_file default in help and config.sample.conf"

Fix unnecessary WSGI worker warning at API startup

There was a bug in WSGIService in the way that it was
checking the osapi_volume_workers option.  It was using
getattr() to see if the option was set, if not it was supposed
to set the value to processutils.get_worker_count().  This,
however, never happened because getattr interpreted the default
'None' value to be a value.  So, on any system with no value set
the self.workers < 1 check would be hit and a warning would be
output.

Nova had changed their approach to this option to avoid this
problem.  This patch pulls Nova's approach into Cinder for
consistency.  Cinder will now use processutils.get_worker_count()
if no option is set in /etc/cinder/cinder.conf and when the user sets
osapi_volume_workers to 0.  A negative value will cause an
InvalidInput exception to be thrown.

Unittests have been added for this functionality.

Change-Id: I4ec2fdd0d19195cccffd63cdd1af1b9ca9884c7d
Closes-bug: #1367454

Merge "Remove XenAPI driver"

Merge "Set socket options in correct way"

Remove XenAPI driver

The XenAPI driver does not have known users and does not meet
the minimum requirements for Cinder drivers.

This patch removes the driver from the tree.

Closes-bug: 1372836

Change-Id: I2123b2d52180bbdffe90c458f115c67f50dfd5e9

Add required spaces in log messages

Added required spaces in between two words for log messages.

cinder/volume/drivers/huawei/huawei_t.py validate_connector method.
cinder/transfer/api.py accept method.
cinder/brick/initiator/linuxscsi.py flush_device_io method.

Closes-Bug: #1372788
Change-Id: Ia0ab72d930c1b9099dd2796032b7b2b0b857bad5

Fix ssh_host_key_file default in help and config.sample.conf

The commit message and the actual default say the default value for
ssh_host_key_file is $state_path/ssh_known_hosts, but the
config.conf.sample and the config opts help say it is
"$state_path/known_hosts".

Fix the help and config.conf.sample to match the actual default.

Closes-Bug: 1372765
Change-Id: I51a2918155a27afcf48eda01f32774ce0d346d06

Downgrade 'infinite' and 'unknown' capacity in weigher

When FilterScheduler was first introduced into Cinder, drivers were
required for the first time to report capacity. Some drivers preferred
to report 'infinite' or 'unknown' capacity because they were doing
thin-provisioning or the total capacity kept increasing. Now that we
have better support for thin-provisioning and we do find unrealistic
capacity couldn't do us any good in making optimal scheduling decision,
because 'infinite' and 'unknown' would always have the highest weight
when the weight multiplier is positive, which in most cases it is.

Drivers are expected to avoid sending 'infinite' 'unknown' capacity
anymore, instead, should report an actual real number for total/free
capacity.

This fix doesn't fix the driver, instead a small tweak is added to
CapacityWeigher in order to downgrade those drivers who report
'infinite' or 'unknown' as free capacity.  In particular, those who
report 'infinite'/'unknown' free capacity will be adjusted to be the
one has lowest weight, no matter in 'spreading' (weight multiplier>0)
or 'stacking' (weight multiplier<0) mode.

DocImpact

Change-Id: Ied087386a1a2f43e6a77499a817d5c637ef448f6
Partial-bug: #1350638

Remove unused py33 tox env

Based on review comments in https://review.openstack.org/118771 it's
apparent that Cinder is quite a ways from Py3K support, and
developers are not expected to run the py33 tox env. Rather than add
more envs for later Python interpreter versions which will be
equally broken, just remove it for now.

Change-Id: I2bcc345bb62c0e08677fbf70b722b6a841650e53

Merge "Typo "asscoiated" should be "associated""

Add unit test to cinder cgsnapshot api

This patch adds unit tests to cgsnapshot create api,
in case cgsnapshot is invalid or can not be found.

Change-Id: I6ec73b8db413e5c085f8a48830f5e1446c2d7240

Merge "Allow scheduler pool information to be retrieved"

Merge "Timeout triggers failures running tempest for ZFSSA driver."

DB migration 25->24 failed when dropping column

"cinder-manage db sync 24" failed when dropping column cgsnapshot_id
from the snapshots table.

The reason that drop column failed was because of the foreign key
constraint. MySQL cannot drop column until the foreign key constraint
is removed. So the solution is to remove the foreign key first, and
then drop the column. This affects the cgsnapshot_id column in the
snapshots table and the consistencygroup_id column in the volumes table.

Change-Id: I89d5016be450ec91c7a7b1c42803add3f62c88df
Closes-Bug: #1368213

Allow scheduler pool information to be retrieved

With pool support added to Cinder, now we are kind of in an awkward
situation where we require admin to input exact location for volumes
to-be managed (imported) or migrated, which must have pool info, but
there is no way to find out what pools are there for backends except
looking at the scheduler log.  That causes bad user experience, and
thus is a bug from UX POV.

This change simply adds a new admin-api extension to allow admin to
fetch all the pool information from scheduler cache (memory), which
closes the gap for end users.

This extension provides two level of pool information: names only or
detailed information:

Pool name only:
GET http://CINDER_API_ENDPOINT/v2/TENANT_ID/scheduler-stats/get_pools

Detailed Pool info:
GET http://CINDER_API_ENDPOINT/v2/TENANT_ID/scheduler-stats/get_pools
\?detail\=True

Closes-bug: #1364279

Change-Id: I445d4e472c83db2f2d8db414de139c87d09f8fda

Merge "Increase the 3PAR hostname length"

Merge "Revert iSCSI Target objects as independent objects"

Increase the 3PAR hostname length

The latest 3PAR firmware supports a hostname of 31 characters.
This patch increases the hostname on the 3PAR from 23 characters to
31.

The driver currently has a fallback mechanism in place for detecting
existing hosts.   This handles the case where upgrading from
Icehouse to Juno where Icehouse hosts have a limit of 23 characters.

Change-Id: I171e54b2e03a4ae11d2bf07c9c48febab268ce84
Closes-Bug: 1371242

Timeout triggers failures running tempest for ZFSSA driver.

Adding a property to setup the RESTAPI connection timeout with
ZFS Storage Appliance, allow tempest to pass with slower network links.

DocImpact: New config parameter is added to allow configuring timeout value.
Closes-Bug: #1369136

Change-Id: I8de19f56a18106324ed414cf41ee2323de639359