Merge "VMware: Relocate volume to compliant datastore"

Merge "VMware: Implement retype for VMDK driver"

Merge "VMware: Improve datastore selection logic"

Merge "Failed to re-detach volume when volume detached."

Fixing format for log messages

code_cleanup_batching for EQL driver
Follow log essage format for i18n - http://docs.openstack.org/developer/oslo.i18n/guidelines.html#adding-variables-to-log-messages

Closes-Bug: 1362337

Change-Id: Ic3726f725efa4d29204e8530a8f191b801a4aac8

Update /etc/cinder/cinder.conf.sample for memcache

It appears that an update to keystone middleware earlier today
added options for memcache_secret_key, memcache_pool_dead_retry,
memcache_pool_maxsize, memcache_pool_socket_timeout,
memcache_pool_unused_timeout, memcache_pool_conn_get_timeout and
memcache_use_advanced_pool.  The commit that added these options
was: a7beb50b38be5c3dd4c44d68ad79d1bb206dab6b - "Add an optional
advanced pool of memcached clients".

This has once again caused the check_uptodate.sh script to fail.

This patch updates cinder.sample.conf .

Change-Id: Ibcf19ccc81a56a9a3e795022e3e07bc061fa9401
Closes-bug: 1374154

Merge "Fix unnecessary WSGI worker warning at API startup"

VMware: Relocate volume to compliant datastore

During attach to a nova instance, the backing VM corresponding to the
volume is relocated only if the nova instance's ESX host cannot access
the backing's current datastore. The storage profile is ignored and
the volume's virtual disk might end up in a non-compliant datastore.
This patch fixes the problem by checking storage profile compliance of
the current datastore.

Change-Id: I3865654e219c05dcec3aaab07c4cee0658fe181e
Closes-Bug: #1301348

Failed to re-detach volume when volume detached.

When first request command detach the volume, but the back-end
storage state is in-processing or busy. Next retry command will
got the error code that describe the volume already detached.

Change-Id: If340980ab2dcc844398254ff368ca6b78ca40ff6
Closes-Bug: 1373317

Merge "Imported Translations from Transifex"

Merge "Add unit test to cinder cgsnapshot api"

Merge "Downgrade 'infinite' and 'unknown' capacity in weigher"

Imported Translations from Transifex

Change-Id: If1cff4924585a11e5545cd8f3b206d574f5a4558

Merge "DB migration 25->24 failed when dropping column"

Merge "Fix confusing exception message in NetApp iscsi driver"

Merge "Fix ssh_host_key_file default in help and config.sample.conf"

Fix unnecessary WSGI worker warning at API startup

There was a bug in WSGIService in the way that it was
checking the osapi_volume_workers option.  It was using
getattr() to see if the option was set, if not it was supposed
to set the value to processutils.get_worker_count().  This,
however, never happened because getattr interpreted the default
'None' value to be a value.  So, on any system with no value set
the self.workers < 1 check would be hit and a warning would be
output.

Nova had changed their approach to this option to avoid this
problem.  This patch pulls Nova's approach into Cinder for
consistency.  Cinder will now use processutils.get_worker_count()
if no option is set in /etc/cinder/cinder.conf and when the user sets
osapi_volume_workers to 0.  A negative value will cause an
InvalidInput exception to be thrown.

Unittests have been added for this functionality.

Change-Id: I4ec2fdd0d19195cccffd63cdd1af1b9ca9884c7d
Closes-bug: #1367454

Merge "Remove XenAPI driver"

Merge "Set socket options in correct way"

Remove XenAPI driver

The XenAPI driver does not have known users and does not meet
the minimum requirements for Cinder drivers.

This patch removes the driver from the tree.

Closes-bug: 1372836

Change-Id: I2123b2d52180bbdffe90c458f115c67f50dfd5e9

Fix ssh_host_key_file default in help and config.sample.conf

The commit message and the actual default say the default value for
ssh_host_key_file is $state_path/ssh_known_hosts, but the
config.conf.sample and the config opts help say it is
"$state_path/known_hosts".

Fix the help and config.conf.sample to match the actual default.

Closes-Bug: 1372765
Change-Id: I51a2918155a27afcf48eda01f32774ce0d346d06

Downgrade 'infinite' and 'unknown' capacity in weigher

When FilterScheduler was first introduced into Cinder, drivers were
required for the first time to report capacity. Some drivers preferred
to report 'infinite' or 'unknown' capacity because they were doing
thin-provisioning or the total capacity kept increasing. Now that we
have better support for thin-provisioning and we do find unrealistic
capacity couldn't do us any good in making optimal scheduling decision,
because 'infinite' and 'unknown' would always have the highest weight
when the weight multiplier is positive, which in most cases it is.

Drivers are expected to avoid sending 'infinite' 'unknown' capacity
anymore, instead, should report an actual real number for total/free
capacity.

This fix doesn't fix the driver, instead a small tweak is added to
CapacityWeigher in order to downgrade those drivers who report
'infinite' or 'unknown' as free capacity.  In particular, those who
report 'infinite'/'unknown' free capacity will be adjusted to be the
one has lowest weight, no matter in 'spreading' (weight multiplier>0)
or 'stacking' (weight multiplier<0) mode.

DocImpact

Change-Id: Ied087386a1a2f43e6a77499a817d5c637ef448f6
Partial-bug: #1350638

Merge "Typo "asscoiated" should be "associated""

Add unit test to cinder cgsnapshot api

This patch adds unit tests to cgsnapshot create api,
in case cgsnapshot is invalid or can not be found.

Change-Id: I6ec73b8db413e5c085f8a48830f5e1446c2d7240

Merge "Allow scheduler pool information to be retrieved"

Merge "Timeout triggers failures running tempest for ZFSSA driver."

DB migration 25->24 failed when dropping column

"cinder-manage db sync 24" failed when dropping column cgsnapshot_id
from the snapshots table.

The reason that drop column failed was because of the foreign key
constraint. MySQL cannot drop column until the foreign key constraint
is removed. So the solution is to remove the foreign key first, and
then drop the column. This affects the cgsnapshot_id column in the
snapshots table and the consistencygroup_id column in the volumes table.

Change-Id: I89d5016be450ec91c7a7b1c42803add3f62c88df
Closes-Bug: #1368213

Allow scheduler pool information to be retrieved

With pool support added to Cinder, now we are kind of in an awkward
situation where we require admin to input exact location for volumes
to-be managed (imported) or migrated, which must have pool info, but
there is no way to find out what pools are there for backends except
looking at the scheduler log.  That causes bad user experience, and
thus is a bug from UX POV.

This change simply adds a new admin-api extension to allow admin to
fetch all the pool information from scheduler cache (memory), which
closes the gap for end users.

This extension provides two level of pool information: names only or
detailed information:

Pool name only:
GET http://CINDER_API_ENDPOINT/v2/TENANT_ID/scheduler-stats/get_pools

Detailed Pool info:
GET http://CINDER_API_ENDPOINT/v2/TENANT_ID/scheduler-stats/get_pools
\?detail\=True

Closes-bug: #1364279

Change-Id: I445d4e472c83db2f2d8db414de139c87d09f8fda

Merge "Increase the 3PAR hostname length"

Merge "Revert iSCSI Target objects as independent objects"

Increase the 3PAR hostname length

The latest 3PAR firmware supports a hostname of 31 characters.
This patch increases the hostname on the 3PAR from 23 characters to
31.

The driver currently has a fallback mechanism in place for detecting
existing hosts.   This handles the case where upgrading from
Icehouse to Juno where Icehouse hosts have a limit of 23 characters.

Change-Id: I171e54b2e03a4ae11d2bf07c9c48febab268ce84
Closes-Bug: 1371242

Timeout triggers failures running tempest for ZFSSA driver.

Adding a property to setup the RESTAPI connection timeout with
ZFS Storage Appliance, allow tempest to pass with slower network links.

DocImpact: New config parameter is added to allow configuring timeout value.
Closes-Bug: #1369136

Change-Id: I8de19f56a18106324ed414cf41ee2323de639359

Merge "Add tests for consistency groups DB migration"

Merge "HP 3PAR drivers should not claim to have 'infinite' space"

Merge "HP 3PAR: Allow retype when the old snapshot CPG (3PAR pool) is None"

Merge "Verify requested size in volume.api create"

Merge "Fix a problem with 'volume list' when 'all_tenants=0'"

HP 3PAR drivers should not claim to have 'infinite' space

The HP 3PAR drivers report 'infinite' space when there is not a limit
set on the CPG. In this case, it would be better to at least use the
free space estimate of the array instead of 'infinite'.

Change-Id: I8c34ea3982fe61a1b6fa01245ca6da23ca5b8b7b
Closes-Bug: 1369057

Add tests for consistency groups DB migration

The consistency group patch added 2 new DB migration versions:
025 and 026. However, there were no unit tests to support them in
cinder/tests/test_migrations.py. This patch added missing tests.

Change-Id: I670825980fddd4b6dc400e5a17e1003ad47ace1a
Closes-Bug: #1370756

Verify requested size in volume.api create

Currently we're not checking that the input value requested
for size on volume create is valid, but taskflow portion of
the code expects it to be and as a result when it receives invalid
input we litter the logs with Trace messages.

This patch adds a check that verifies that if we pass in a
size to create_volume in the volume.api that it is in fact
an int or a string representation of an int.

Worst commit ever

Change-Id: I81bf515360eacf63e6f3cdb672ec7f37001aa4fb
Closes-Bug: 1370773

Typo "asscoiated" should be "associated"

Misspelling of "associated" found in docstring of the method
update_host in class VolumeCommands.

Change-Id: I813c3f776a1555924b99bc8022de727b838ee947

Updated from global requirements

Change-Id: I948862c12267ac530c5aa136ac490b134b81d41d

Set socket options in correct way

Currently socket options, socket.SO_REUSEADDR and socket.SO_KEEPALIVE
are set only if SSL is enabled.
The above socket options should be set no matter SSL is enabled or not.

Closes-Bug: #1369418

Change-Id: Ia5f6603918bda40be9965387bf464c581449d912

Merge "Some tcp configuration paramters are ignored"

Merge "Stop using intersphinx"

HP 3PAR: Allow retype when the old snapshot CPG (3PAR pool) is None

A common provisioning group (CPG) is a virtual pool of logical disks.
A volume is stored in a CPG. The volume's snapshots may be stored in
the same CPG or in a separate CPG. In 3PAR this is the "snapCPG".

Before the 3PAR driver supported "manage", the snapCPG was never None in
OpenStack because when we create volumes, we explicitly default snapCPG
to match the volume CPG unless otherwise specified. So, the original
retype pre-checks raised an exception if this unexpected case occurred
and a unit test was provided for that exception.

Now that we support manage_existing(), it should be a valid use case
to manage an existing volume created outside of OpenStack with a snapCPG
set to None. Unfortunately, when we applied volume-type settings to this
volume we would hit that old exception.

That exception has been removed.

Removing it required the following changes:

1. When retype pre-checks validate the domain of the new snapCPG, it
   will not use the optional old snapCPG. Instead it will compare the
   new snapCPG domain with the old volume CPG domain. This satisfies
   the requirement that domains cannot be mixed and avoids the need
   to have an old snapCPG setting.

2. Remove the no longer used old_snap_cpg parameter and remove the
   code that raised an exception "if not old_snap_cpg".

3. Remove the unit test that was just to test that obsolete exception.

4. Adjust the exiting test_retype_across_snap_cpg_domains to
   verify that a snapCPG domain that does not match the volume
   CPG domain will still raise Invalid3PARDomain

Change-Id: Icd2c66898ef64f81116df102f5529a8da30c14d5
Closes-Bug: 1368927

Merge "Remove executable bits on various files"

Merge "Updated from global requirements"

Merge "Sync latest strutils from oslo-incubator for mask_password fix"

Merge "Use right body for test_create_missing_specs_name"

Merge "Volume types need to be specified when creating CG"

Merge "Getting iscsi_ip_address from cinder.conf"

Merge "Handle config file with newlines and whitespaces"

Merge "Check replication status failed for non-replication"

Check replication status failed for non-replication

Need to check self.replication whether is None before the
function get_replication_status be called.

Closes-bug: #1365392

Change-Id: I6f6939a98091e40537f2355bb716b4b3205845e2

VMware: Implement retype for VMDK driver

This patch adds support for retype operation in the VMDK driver.

The VMDK driver uses the extra spec keys 'vmware:vmdk_type' and
'vmware:storage_profile' to determine the disk provisioning type
and storage policy of the backing VM. Currently it is not possible
to change the disk provisioning type or storage policy after volume
creation. With retype support, user can change the disk provisioning
type and storage policy by changing the volume's type to another type
with extra spec keys set to desired values.

Closes-Bug: #1275682
Partial-Bug: #1288254

Change-Id: If4b868af7b91373b2b36fd5cd2f0dda12d604d99

VMware: Improve datastore selection logic

The current datastore selection logic is not modularized and difficult
to extend. The retype API implementation has a requirement to specify
hard anti-affinity requirement with the current backing datastore. Some
of the bug fixes also need to specify hard affinity with one or more
datastore types. To support such requirements and to enable future
extensions, this patch introduces a new module which contains datastore
selection logic. The existing code for datastore selection is reused as
much as possible. The dependency on existing datastore selection logic
will be removed in a separate patch.

The current datastore selection iterates over a list of hosts, for each
host, queries the connected valid datastores and tries to select a
suitable datastore. The filtering is based on space, storage profile,
number of connected hosts and space utilization. The space utilization
is used only for breaking ties. If a suitable datastore is found, further
processing of list of hosts is skipped, which could result in uneven space
utilization. To solve this, the new selection logic introduces a requirement
called 'preferred_utilization_threshold' which can be exposed as a driver
config option.

Partial-bug: #1275682
Partial-bug: #1301943
Partial-bug: #1293955

Change-Id: I17e90aa09a303fbb8d4ad90037f440c8c4e7d072

Sync latest strutils from oslo-incubator for mask_password fix

This sync pulls in:
   1131b56 Enable mask_password to handle byte code strings

This is the only update since the last sync:
   beca4db Sync latest strutils from oslo-incubator

This is needed to fix a delete volume failure when processutils
calls mask_password with a byte code string.

Change-Id: Ie8a8c8e26abc0e387830bc9246e9a44913ae9b24
Closes-bug: #1368527

Remove executable bits on various files

During the Juno cycle we landed a number of commits
making files executable that shouldn't be.

Change-Id: If2c5279b263b35526a41f4f026386b75329ff9a7

Merge "Avoid using the disk cache on volume initialisation"

Merge "HP 3PAR configurable ssh-host-key-policy"

Fix a problem with 'volume list' when 'all_tenants=0'

This change checks the value of 'all_tenants' and returns a list of volumes
for all tenants when 'all_tenants' is 1 (or True). A tenant-specific volume
list is returned when 'all_tenants' is 0 (or False).

An InvalidInput exception is thrown if the 'all_tenants' value is not 0, 1,
True, or False (case insensitive).

Provided new unit tests for the get_all api which check the all_tenants, and
limits parameters.

Fixed pep8 compliance test fails with code being improperly indented, and
changed calls using str() to use six.text_type()

Change-Id: If0b8c343ee7e4e05c9aec89241458dbdf2e4734b
Closes-Bug: #1342046

IBMNAS: Remove call to set r/w permissions to all

During cinder volume create operation from a volume snapshot or
from an existing volume (volume clone operation), the ibmnas
driver sets 'rw' permissions to all, which is unnecessary and
also poses security concerns.
Fixing this issue, removing the calls to set rw permissions to
all during these operations and adding a call to set 'rw'
permissions only to the owner to make sure even if umask is set
at the filesystem level, which might deny 'rw' access to the owner
we explicitely set the required permissions on the volume file.

Change-Id: I0e5ba9262a298e088f7724ddeda3537afa4b023e
Closes-Bug: #1367238

Updated from global requirements

Change-Id: Ie85ed9ad591edc3e38352fe0c7ee751a43557a38

Merge "Fix help for running specified unit tests"

Merge "Don't clear _mounted_shares list in remoteFS while updating"

Getting iscsi_ip_address from cinder.conf

In the current version (2.0) of the VMAX driver, we retrieve iSCSI IP
addresses dynamically from SMI-S. However, we ran into situations where
we can't get them reliably during testing. The fix is to get this
information from cinder.conf, just like in version 1.0.

Change-Id: If474f44e99cc45592bacfdec9e1eb2fa48c41e68
Closes-Bug: #1369355

Handle config file with newlines and whitespaces

EMC VMAX driver does not handle newlines and whitespaces
consistently in the XML config file. This patch addressed
this issue.

Change-Id: I45f61f167feee9174ba2bc3229695b680f8e946d
Closes-Bug: #1364232

Merge "Add reset-state function for backups"

Merge "VMware: Remove redundant extend disk API call"

Merge "Destroy Datera export target after detach"

Volume types need to be specified when creating CG

When creating a consistency group, the scheduler will find a backend that
supports all input volume types. If volume types are not provided, the
default_volume_type in cinder.conf will be used, however, this could cause
inconsistent behavior in a user environment where the default_volume_type
is defined in some places but not in others. This fix removed the use of
default_volume_type for CG creation, added a check to verify that volume
types are provided when creating a CG.

When creating a volume and adding it to a CG, we need to make sure a
volume type is provided as well.

Change-Id: I078d4fdd8d92529e853be16272ad74d1e130f712
Closes-Bug: #1366371

Merge "EMC VNX Direct Driver Consistency Group support"

Merge "coraid: fix snapshot deletion"

Merge "Add test case for volume_types.py"

Merge "fix a small typo in development.environment.rst"

Merge "Log an error on nfs mount failure"

Merge "Netapp drivers support for pool-aware scheduling"

Merge "Fixing leaking sessions in 3PAR on attach/detach"

Merge "Unit test for restore with different hosts"

Merge "Delete consistency group failed"

Merge "Fixes Windows Volume Driver upload volume fails"

Merge "Adds CA cert file path option for glance connections"

Merge "Add filter to volume transfer REST api"

Merge "VMware: Implement backup/restore for VMDK driver"

Merge "Sync service.py and its dependencies to Cinder"

Merge "Update oslo.config and oslo.messaging requirements"

Stop using intersphinx

Remove intersphinx from the docs build as it triggers network calls that
occasionally fail, and we don't really use intersphinx (links other
sphinx documents out on the internet)

This also removes the requirement for internet access during docs build.

This causes docs jobs to fail because we error out on warnings.

Change-Id: I71e941e2a639641a662a163c682eb86d51de42fb
Related-Bug: #1368910

Netapp drivers support for pool-aware scheduling

Adds pools support for all NetApp drivers: eseries, 7mode (iscsi and nfs), and
cmode (iscsi and nfs). With 7mode and cmode drivers, a pool is one-to-one with a
Ontap flexvol. With eseries, a pool is one-to-one with a dynamic disk pool.

DocImpact
Implements: blueprint pool-aware-cinder-scheduler-support-in-netapp-drivers

Change-Id: Ie6f155df7bc1ae2cd5f7fa39f1b1a0ad38075988

coraid: fix snapshot deletion

Currently, a request to ESM API for a snapshot deletion looks this way:

{'addr': 'cms',
 'data': {
    'repoName': repository_name,
    'lvName': snapshot_name},
 'op': 'orchStrLunMods',
 'args': 'delClSnap'}

This is correct, however, some versions of the ESM API have a bug that
prevents it from validation this valid request and it fails with:

Must define the new LV name to be assigned to the clone/clSnap.

As a workaround for this bug, provide an 'newLvName' property with a
'noop' value to make the validation pass even on buggy versions.

Fixes bug #1365417

Change-Id: I3fd7f3c6a64cac992735b098368b52b9ab21d85c

Add reset-state function for backups

Since there are volume reset-state function and snapshot reset-state
function, backup also needs reset-state as well.
When creating or restoring backup, it may leave the backup stuck in
creating or restoring status due to database down or rabbitmq down, etc.
Currently we could only solve these problems by restarting cinder-backup
service.

This BP is to provide another means for administrators to solve these
problems by calling backup reset state API, instead of directly
restarting cinder-backup service.

DocImpact: Support reset backup status

blueprint support-reset-state-for-backup

Change-Id: Icd677a0b48083894bcd969d5199fa91b307080de

Add test case for volume_types.py

Test coverage for volume_types.py is not enough.
Here I added some test case.

Change-Id: I3a78c87437044cb2b3697fcb7c126f4fc2422a21

Block sqlalchemy-migrate 0.9.2

Breaks unit tests.

Closes-Bug: #1368391

Change-Id: Ic814a91038800201603baf33ca40e4586944343b

Destroy Datera export target after detach

Since there is only one lun associated with each target export object in
the Datera backend, we will destroy the target export object after
detaching the volume so they don't build up. This patch also fixes some
missing values for formatted strings.

Closes-Bug: #1368381
Change-Id: Id44ac4bb385ab39af50865a295938861ca977fa3

EMC VNX Direct Driver Consistency Group support

Consistency Group support is newly introduced in Juno.

This commit is to add the changes in EMC VNX Direct Driver to
support CG.

Implements: blueprint emc-vnx-direct-driver-cg-support

Change-Id: I6c30ef2609ca8a559f5635129ce6a7c960a9f0a7

Update oslo.config and oslo.messaging requirements

Need to land the sample config update with these
updates so that the global requirements update can
pass tests.

Change-Id: Iaae306f05098165d80a7398a22038b322e9f7935

Fixes Windows Volume Driver upload volume fails

The copy_volume_to_image requires in some cases an intermediary
conversion, which takes place in the configured image conversion
dir. If this folder is not created, the operation will fail.

This patch ensures that method will create the folder if it does
not exist.

Change-Id: I82b5e76c6d6f3114666f184672667dc3b95bab8b
Closes-Bug: #1356415

Log an error on nfs mount failure

Change from a log warning to a log error when an nfs driver
cannot mount the backend share. Add tests to ensure the error is
logged correctly.

Change-Id: Id9d51aebe349e7a4e09d1211b17efd8d47af97f5

Merge "Fixes Cinder fails to upload volume to vhd image"

Sync service.py and its dependencies to Cinder

Bug 1362455 made note that our sevice.py was out of sync
from what is currently in oslo-incubator.  We have been syncing
things piece meal.  It would be good to get this code synced up.

----------------------------------------------

Head of oslo-incubator:

commit 820752a10d8277464261661ca211f2c3e7282ce0
Merge: 8ebe497 422e94b
Author: Jenkins <jenkins@review.openstack.org>
Date:   Wed Sep 10 14:14:28 2014 +0000

    Merge "Switch to using pbr's autodoc capability"

-----------------------------------------------

This commit pulls in the following changes listed by file,
ordered from newest to oldest:

cinder/openstack/common/eventlet_backdoor.py
------------------------------------------------
90ae24bf Remove redundant default=None for config options
fcf517d7 Update oslo log messages with translation domains

cinder/openstack/common/jsonutils.py
------------------------------------------------
d9060f69 Check for namedtuple_as_object support before using it
ad248f66 Specify namedtuple_as_object=False when using simplejson

cinder/openstack/common/log.py
------------------------------------------------
037dee00 Set stevedore log level to WARN by default

cinder/openstack/common/loopingcall.py
------------------------------------------------
e3773930 Changes calcuation of variable delay
ab5d5f1c Use timestamp in loopingcall
bc48099a Log the function name of looping call
fb4e863c Remove deprecated LoopingCall
fcf517d7 Update oslo log messages with translation domains

cinder/openstack/common/service.py
------------------------------------------------
5f12bba4 Implement stop method in ProcessLauncher
8c00b361 Merge "Remove duplicated "caught" message"
f718e404 Remove duplicated "caught" message
356ecd4d Move notification point to a better place
e2634a75 Add missing _LI for LOG.info in service module
0150ad75 Merge "Reap child processes gracefully if greenlet thread gets killed"
53e1214c notify calling process we are ready to serve
a6fec438 Reap child processes gracefully if greenlet thread gets killed
fcf517d7 Update oslo log messages with translation domains
1e700782 Revert "service: replace eventlet event by threading"
0644073e Simplify launch method
6b4d255e Merge "service: replace eventlet event by threading"
a4f145e4 Merge "Allow configurable ProcessLauncher liveness check"

cinder/openstack/common/threadgroup.py
------------------------------------------------
5a1a0166 Make stop_timers() method public
fdc88831 Add graceful stop function to ThreadGroup.stop
5f8ace05 Merge "threadgroup: use threading rather than greenthread"
2d06d6ca Simple typo correction
4d18b57a threadgroup: use threading rather than greenthread

cinder/openstack/common/systemd.py
-------------------------------------------------
17c4e21e  Fix docstring indentation in systemd
667d1bac Fixed spelling error - occured to occurred
53e1214c notify calling process we are ready to serve

Change-Id: I163f0b80c32c3b8485d9c007fa6e4474494ba31f
Closes-bug: 1362455