Switch to use oslo.db

oslo.db first stable release has been cut and we can start using it
instead of openstack/common/db/* code which is now marked obsolete.

Change-Id: Ib350e8d1dcec3be707e3b1679c70202619256269

Merge "Fix performance issues with brocade zone driver."

Merge "Add some log info for NoValidHost"

Merge "Don't leave snapshots on the floor"

Remove hard coded reference from gettextutils.py

The following commit 4fdcbff96790753a4c1a508600e5d78b2c3b7172
introduced a few hard coded references to
'/home/jsbryant/cinder-dev/gettextutilsSync/' in
cinder/openstack/common/gettextutils.py. This patch will
removed those references.

Change-Id: Ib880863d275ac102c1eb723972d1ebd2eb3405a1
Closes-Bug: #1344072

Merge "XIV volume manage/unmanage support"

Enable lazy translation for Cinder

This patch is the final step for getting lazy translation
re-enabled for Cinder.  It removes the use of gettextutils.install()
which is no longer needed with the addition of the explicit import
of _() in all of Cinder's files.  The configuration of 'cinder' catalog
is handled by gettextutils.

The install() function is replaced by gettextutils.enable_lazy() which
properly enables lazy translation when _() or _LX() is used.

Change-Id: I79e705f3852e8aa34034015199d56a8b23aeb8ef
Implements-Blueprint: i18n-enablement

Explicitly import _() in Cinder code

To ensure that logs are properly translated and logged to
the Cinder log files (using the Cinder message catalogs)
we need to explicitly import _() in any python files that
use the _() function.

Closes-bug: 1306275
Related-Blueprint: i18n-enablement
Change-Id: I3cf1f1d63d5f8bd8ffd007104691f914e3fd8538

Merge "Remove definition of Python Source Code Encodings"

Fix performance issues with brocade zone driver.

Removed firmware checks from common path as the ssh invoke_shell
was taking 5 seconds to complete for each firmware check.
Refactored to only do cfgsave in non-activate case.
Removed extra calls to switch to get the active zoneset.

Closes-Bug: #1292119

Change-Id: Ie1c2c0c603f6dd68439f2c2db74b21ea2dd0fc11

Don't leave snapshots on the floor

The current cloning process in the LVM
driver uses a snapshot to do the data
copy in the background.  Trouble here
is that if the creation or activation
of the new volume fails, we don't
cleanup the snapshot we created.

Just move the create_volume and activate
calls down into the try block so the finally
clause can do the cleanup for us.

Change-Id: If0fbab9d9f39102cdc7d287527be22c4a2b35934
Closes-Bug: #1312718

Add some log info for NoValidHost

Currently when a create call fails due to a
misconfiguration on the backend, or a problem
with satisfying the extra-specs from the filter
scheduler, the only thing you get in the logs is
a "No valid host".

This patch just adds a tiny bit more info to give us
a better idea where we're at.

First the exception shouldn't be setup with "reason=""",
so at least add "reason=no weighed hosts found".

Second, add a warning message prior to getting to that
point when we fail to find a host that satisfies the
{extra/qos}-specs that were requested, and include what
was being requested.

Change-Id: I2ce65b973196f673bac455613a6f8626320339ba

Merge "Cinder-api service throws error on SIGHUP signal"

Merge "Add affinity/anti-affinity filters"

Merge "Update cinder generate_sample script"

Merge "Fix the section name in CONTRIBUTING.rst"

Merge "Ensure FC ZoneManager is called"

Update cinder generate_sample script

Cinder's generate sample script has fallen a
bit out of date and was no longer working properly
in local venv.

This patch updates it with a working version that
reads the rc file and makes some other updates.

Even better, we'll update the tox.ini file here so
that it actually works, and finally add some more
info to the error message when update check fails
to make is obvious how to run these appropriately.

Change-Id: I2389910d8ece6f737a9609ce4aa05263d9293e14

XIV volume manage/unmanage support

XIV support for managing and unmanaging volumes.

Partially Implements: blueprint add-export-import-volumes

Change-Id: I305d2652709181bacd9f5b21f0201858f91f7a15

Add affinity/anti-affinity filters

Cinder has done a good job hiding the details of storage backends from end
users by using volume types.  However there are use cases where users who
build their application on top of volumes would like to be able to 'choose'
where a volume be created on.  How can Cinder provide such capability without
hurting the simplicity we have been keeping?  Affinity/anti-affinity is one
of the flexibility we can provide without exposing details to backends.

The term affinity/anti-affinity here is to to describe the relationship
between two sets of volumes in terms of location.  To limit the scope, we
describe one volume is affinity with the other one only when they reside in
the same volume back-end (this notion can be extended to volume pools if
volume pool support lands in Cinder); on the contrary, 'anti-affinity'
relation between two sets of volumes simply implies they are on different
Cinder back-ends (pools).

This affinity/anti-affinity filter filters Cinder backend based on hint
specified by end user.  The hint expresses the affinity or anti-affinity
relation between new volumes and existing volume(s).  This allows end
users to provide hints like 'please put this volume to a place that is
different from where Volume-XYZ resides in'.

This change adds two new filters to Cinder - SameBackendFilter and
DifferentBackendFilter.  These two filters will look at the scheduler hint
provided by end users (via scheduler hint extension) and filter backends by
checking the 'host' of old and new volumes see if a backend meets the
requirement (being on the same backend as existing volume or not being on
the same backend(s) as existing volume(s)).

For example:
  Volume A is on 'backend 1', to create Volume B on the same backend as A,
  use:
    cinder create --hint same_host=VolA-UUID SIZE

  To create Volume C on different backend than that of A, use:
    cinder create --hint different_host=VolA-UUID SIZE

  Now, to create Volume D on different backend other than those of A and C,
  use:
    cinder create --hint different_host=VolA-UUID --hint
    different_host=VolC-UUID SIZE
  or:
    cinder create --hint different_host="[VolA-UUID, VolC-UUID]" SIZE

implements bp: affinity-antiaffinity-filter

DocImpact

Change-Id: I19f298bd87b0069c0d1bb133202188d3bf65b770

Mock out time.sleep in storwize unit tests

The Storwize driver has issues that required them
to add a sleep 1 on init of the driver.

No big deal, but causes unit tests to take a very long
time waiting for the "time.sleep(1)" on every single
unit test that calls init.

This patch just mocks out the time.sleep so we don't have
to do the silly waiting in unit tests.

Change-Id: I10fc3d00252a7e7b90085cb308fb9c6c7e1f5ea7

Merge "Sync gettextutils.py from oslo-incubator"

Fix the section name in CONTRIBUTING.rst

The name of the section "If you're developer, start here"
has changed in the wiki, now is "If you're a developer".
This commit updates it to correctly refer to the
proper section.

Change-Id: Ibc5899d2577187b854213690731136edd4cd74ab

Cinder-api service throws error on SIGHUP signal

Added reset method in WSGIService class.

After adding reset method when SIGHUP signal is sent to
wsgi service parent process,then it sends SIGHUP signal
to all of its child processes. Each child process handles
SIGHUP signal by first stopping the service and then calls
service start method again. When it stops the service, it
kills the eventlet thread, which internally closes the wsgi
server socket object. This server socket object is now not
usable again and it throws following error, while restarting
the service:

error: [Errno 9] Bad file descriptor

To resolve 'Bad file descriptor' error, creating duplicate
socket object, every time service starts.

Closes-Bug: #1337796

Change-Id: Iab32a3fe230a11692a8cad274304214247d6c2c6

Merge "Clean up base Volume Driver"

Merge "Correct misspelled word"

Merge "Fixes EqualLogic volume live migration."

Merge "Fix begin_detach logic"

Merge "Sync processutils and log from oslo"

Merge "volume_image_metadata missing from volume list"

Clean up base Volume Driver

This is a preliminary cleanup of the base
Volume Driver to prepare for adding new
architecture which keeps the Control calls
and connection portions of the drivers
seperated from each other.

This doesn't break existing compatability or drivers
but just makes some of the necessary tweaks and additions
to enable implementation of decoupled Control and Data
sides of the Volume drivers.

POC for this proposal is here:
https://review.openstack.org/#/c/104701/

FYI check-up2-date is going to be the death of us all!

Change-Id: Ifc844c49ee9ff1580d5da0879e7d499bed72dac1

Fixes EqualLogic volume live migration.

Fixes the issue by enabling the multihost flag for the volume and also
discovering the correct access record to delete when terminating
the connection from the source vm and then deleting the record.

Change-Id: If3580c84a4efd3a58c19e9e74d0a13eb68e67031
Closes-Bug: 1296677

Merge "Fixed some typos in the cinder codebase"

Correct misspelled word

Change-Id: I1bb54e96376a23aa3b28a06ec93fd13cc9dc5438

Merge "Remove $sqlite_db from default database connection"

Merge "Use PyCrypto to generate randomness passwords"

Remove definition of Python Source Code Encodings

The definition of Python Source Code Encodings is no longer needed.
This patch remove those.

Change-Id: I3eebb245e9e41b92c9ec82ebbd2dd6b417704819

Fixed some typos in the cinder codebase

Change-Id: Ifb8778d20aa1534a7abca3fd6705493327d2893e

Sync gettextutils.py from oslo-incubator

This pulls in the latest gettextutils.py from oslo-incubator.
The primary reason for this sync is to get commit
3d90045d2d1ce1df89f75937f415e3982e111063 which backports a
change from the new i18n library to check lazy enablement
at runtime.  Adding this change makes it possible to remove
the global enablement of lazy translation through
gettextutils.install().  Instead we will use gettextutils.enable_lazy()
with explicit imports of _() in each file where _() is used.

The change to remove gettextutils.install() and to add the
explicit _() imports will come in a dependent patch.

Current HEAD in OSLO:
--------------------
Merge: 3d90045d2d1ce1df89f75937f415e3982e111063
Date: Mon, 07 Jul 2014 17:55:18 +0000
Merge "Backport code for i18n to check lazy at runtime"
--------------------

Additional changes being merged (newest to oldest):
--------------------
de4adbc4 - pep8: fixed multiple violations
9912e5df - Add API for creating translation functions
6cc96d05 - Fix test_gettextutils on Python 3
--------------------

related - blueprint: i18n-enablement
Change-Id: I4706b89b0b64c5816a1a022b6cd1dfa01b29b5dc

Merge "Updated from global requirements"

Merge "Fix unsaved exception in backup/drivers"

Use PyCrypto to generate randomness passwords

Standard random generator is not secure enouph. Use PyCrypto instead.
Updated requirements.txt with pycrypto>=2.6 according to
global-requirements

Change-Id: I38fd47a30893a946de30fad95c57759781312be6
Closes: bug #1319639

Merge "Enable E121,E122,E123,E126,E128 hacking rules"

Remove $sqlite_db from default database connection

sqlite_db used to be a config option in the DEFAULT section. This
allowed it to be used in config template substitution. Now that it is in
the database section, the template substitution fails with a
NoSuchOptError.

The quick fix is to just hardcode the default connection option to refer
directly to 'cinder.sqlite' instead.

Closes bug: 1339295

Change-Id: Ifd2267aaa8c55d78f88ce6648badefe3f9f664ee

Merge "Use (# of CPUs) osapi_volume_workers by default"

Sync processutils and log from oslo

This change syncs in:

33afb20 Fix broken formatting of processutils.execute log statement
5e3d3a5 Mask passwords included without quotes at the ends of commands
6751b30 Remove extra whitespace

The most important part is '33afb20' which was broken cinder debug logging
on running commands after last oslo sync.

Change-Id: I77e0f943d39bb34ff95bac1e9d63d7450f8c24bf

Merge "Remove cinder.context warning logging"

Merge "Only warn about deprecation warnings once"

Merge "Enhance docstring for iscsi_helper"

Enhance docstring for iscsi_helper

The helptext for the iscsi_helper option did not mention the
potential to use lioadm (or fake). This patch simply amends
the text so this functionality is more discoverable.

Change-Id: I4bf4a6f77191a7f42d5b38f71759944e4997ccc6

Merge "Replace tearDown with addCleanup - Part 3"

Updated from global requirements

Change-Id: I92903d6cc83df1127bd9fbd5db77441def43f9dd

Merge "Ceph rbd volume manage/unmanage support"

Merge "Restore osapi_volume_workers config option"

Merge "sync periodic_task fix from incubator"

Ensure FC ZoneManager is called

This patch ensures that the FC ZoneManager
is called during for all cases in Cinder
that does a volume attach/detach for FC
enabled drivers.
The problem was that we had code in the volume
manager that manually called the ZoneManager,
after initialize_connection and terminate_connection,
but other places in Cinder were not calling the
ZoneManager.
This patch creates 2 new decorators that can
be used for any driver's initialize_connection
and terminate_connection call.   The decorator
checks to make sure that the return value is for
a fibre_channel attachment and then calls the
ZoneManager's add_connection or delete_connection.
Change-Id: Ie3ae70785f500a140003ad3a8495e0ddc3516ea8
Closes-Bug: 1321798

Remove cinder.context warning logging

The code removed creates a large volume of log entries that are of
limited use. Removing them should improve the readability of the logs.

Change-Id: I2a7f20cfa6cd57aa7ae05bf9685947207cbb9502
Closes-Bug: #1329156

sync periodic_task fix from incubator

Set the value of time the periodic task was last run to a multiple of
the spacing value rather than the actual last time run. This ensures
tasks runs regularly but avoids synchronizing that interval with other
nodes.

This patch also removes the coalescing of tasks which are _nearby_ (0.2
seconds away).

Changes:

periodic_task
-------------
4dbd3aa Make periodic tasks run on regular spacing interval
21249f1 Fix parenthesis typo misunderstanding in periodic_task

Change-Id: I6c06ae73b18d4425a987a215a050bc70335e490e

Slow down Storwize driver initialization

Storwize has the limitation that can not burst more than
3 new ssh connection within 1 second.So slow down storwize
driver initialization.

Closes-Bug: #1335722
Change-Id: Id442cd6421ef23b953a3cb45a5f6dd6969064a6e

Merge "Imported Translations from Transifex"

Updated from global requirements

Change-Id: I218171b2e3581ea05a14719a821c131dd47c8eb5

Imported Translations from Transifex

Change-Id: Ic5c214bb7e55322c1b32c52691535bef4ac23937

Merge "Fix retyping attached volumes requiring migration"

Imported Translations from Transifex

Change-Id: I7295f2dda30117f7fca31c83aae799f885756cc4

Merge "Correct lvm_mirrors help message"

Merge "Fix host option isn't set when using multiple backend"

volume_image_metadata missing from volume list

The volume_image_metadata field was missing from the volume list
because we tried to filter VolumeGlanceMetadata against a non-existent
project_id field. Filtering should be done on the Volume associated
to the VolumeGlanceMetadata instead.

Move project_id filtering out of model_query as it assumes
the project_id field is in the queried model itself.
Build the filter ourselves against Volume.

Change-Id: I6053708296f2b5e24513dc87ed63da0f67c220ae
Closes-bug: #1337526

Correct lvm_mirrors help message

The description is not correct if someone sets
lvm_mirrors=0.  Also clarify LVs vs. lvms.

Change-Id: I7ec74fc8beaef5e638bc1a5dac3d7d97f1c474d3

Merge "Support Volume Num Weighter"

Ceph rbd volume manage/unmanage support

Ceph rbd support for managing and unmanaging volumes.
Partially Implements: blueprint add-export-import-volumes

Change-Id: I272f65621a3dac50a154b7f2caa545ae6fb0e54f

Enable E121,E122,E123,E126,E128 hacking rules

This change enables E121,E122,E123,E126,E128 hacking rule and fixes
all violations found in Cinder.

Change-Id: Ibfdcb3e286393d932e1534500e31a5f90c031adf

Replace tearDown with addCleanup - Part 3

Replace tearDown with addCleanup in some cinder unit tests.

Infra team has indicated that tearDown should not be used and should
be replaced with addCleanup in all places.

Implements blueprint replace-teardown-with-addcleanup

Change-Id: I8469ffb5c896d40f9979cd6d1f8da81be763ec14

Merge "Remove rootwrap module"

Fix begin_detach logic

Fix begin_detach logic so it checks that a volume is in-use AND
attached.

Change-Id: I6f0e584070a5fc02c55c26ea92cb8b0c2a2cda3e
Closes-Bug: #1337088

Use (# of CPUs) osapi_volume_workers by default

This changes the default number of cinder API workers to be equal to the
number of CPUs available on the host, rather than defaulting to 1 as it
did before.

Commit 75c96a48fc7e5dfb59d8258142b01422f81b0253 did the same thing in
Nova in Icehouse. Similar changes are being made to Glance and Trove as
well.

DocImpact: osapi_volume_workers will now be equal to the number of
           CPUs available by default if not explicitly specified
           in cinder.conf.

UpgradeImpact: Anyone upgrading to this change that does not have
           osapi_volume_workers specified in cinder.conf will now be
           running multiple API workers by default when they restart
           the cinder-api service.

Closes-Bug: #1333370

Change-Id: I8dec104800c18618e0c8422bbb93d5dc19c12876

Restore osapi_volume_workers config option

osapi_volume_worker was introduced when enabling multi-process API
support for Cinder. However, this config option was accidentally
dropped in commit 464277220ddb800ac69562649fde62e5ca9358c4
(https://review.openstack.org/#/c/67657/20/cinder/service.py).
As a result, the value in cinder.conf wouldn't be honored.  This
change restore this config option.

Closes-bug: #1335295

Change-Id: Ib2d8532d3e6d0f48da0bc4dd6f6e64bfff8973ea

Merge "Fix docstring for snapshots API"

Merge "Ensure rbd connect exception is properly caught"

Merge "3PAR Only remove FC Zone on last volume detach"

Fix host option isn't set when using multiple backend

When using multiple volume backend, and volume driver is
cinder.volume.drivers.block_device.BlockDeviceDriver, host
option isn't set so a call to get volumes of a host returns none,
This patch changes to use self.host instead of self.configuration.host

Change-Id: Ide34ed29adad14b778b1a7388e9dc313241fa243
Closes-Bug: 1332909

Merge "Add optional_args to fix Volume Import failure"

Merge "Don't use ModelBase.save() inside of transaction"

Add optional_args to fix Volume Import failure

Commit 971a63bd9cf675a00bce1244ec101577b5c17cac added a new
parameter 'optional_args' to execute method of QuotaReserveTask
and QuotaCommitTask. So the new parameter should be needed where
those Tasks are used. This changed volume create task flow to
provide the new parameter. We need the samiliar change to get_flow
method in cinder/volume/flows/manager/manage_existing.py

Trigger EMC VNX CI

Change-Id: Ifed7bd146eec82ba35c2b2c19e9bacd2259ae3ed
Closes-Bug: #1334086

Merge "Add cinder-manage cmd to update host column"

Merge "Use a task subclass instead of a functor + task wrapper"

3PAR Only remove FC Zone on last volume detach

This patch checks to make sure that we don't
include the initiator_target_map in the return
of terminate_connection if there are volumes
still attached for a particular host.  The
FibreChannel ZoneManager doesn't remove zones
if there isn't an initiator_target_map in the
return of terminate_connection.

Change-Id: I98db5adb6da38454933a6e4b78085193f1d37680
Partial-Bug: #1308318

Merge "Sync processutils from oslo with deps"

Ensure rbd connect exception is properly caught

If the rbd driver fails to connect to Ceph the exception
was not being properly caught resulting in the volume
remaining in the 'creating' state until the corresponding
task eventually times out (on top of the time it took
for the connect to fail).

Also added config option for rados connect timeout.

DocImpact: new config option 'rados_connect_timout'
Closes-Bug: 1211839
Change-Id: I5e6eaaaf6bed3e139ff476ecf9510ebe214a83f9

Merge "Fixes cinder volume from snapshot on Windows"

Merge "Fixes cinder volume create on Windows Server 2012 R2"

Merge "Enable hacking rule E111,E112,E113"

Merge "Bump minimum hacking version to 0.9.2"

Merge "Adding filter options to backup list"

Add cinder-manage cmd to update host column

If you deploy Cinder as per the default using the docs,
you can't later decide to add backends using the
multi-backend functionality. The reason is that multi-backend
is implemented by appending a backend-name to the host entry.

So if you convert the config to multi-backend the hostname
for any volumes that you have created are no longer
associated with a valid volume-driver (ie you can no
longer perform operations including delete on these
volumes).

In addition, in the case of using a SAN attached backend if
one redeploys their cinder-volume service to another node
they'll have the same issue.

This patch adds a cinder-manage command that will go through
volumes that are located on a specified host and update
the host column on each of them.

Change-Id: I8758fb8ef3fccbba2a598240c42d625b997e2db6
Closes-Bug: 1320688

Merge "Synced jsonutils from oslo-incubator"

Merge "3PAR volume manage/unmanage support"

Merge "Fix dropped exception for create_export in vol manager"

Sync processutils from oslo with deps

The main target for the sync is to pick up the get_worker_count()
method in commit 85f178489a128a04a7ee3ed44018403caa109ef0 so that we can
set osapi_volume_workers equal to the number of CPUs on the host.

Changes:

processutils
------------
85f1784 Move nova.utils.cpu_count() to processutils module
cdcc19c Mask passwords that are included in commands
8a0f567 Remove str() from LOG.* and exceptions
51778f9 Allow passing environment variables to execute()
fcf517d Update oslo log messages with translation domains
af41592 Catch OSError in processutils
f773ea2 Fix i18n problem in processutils module
8b2b0b7 Use hacking import_exceptions for gettextutils._
3b71f46 Fixed misspellings of common words
12bcdb7 Remove vim header
a4dab73 Correct execute() to check 0 in check_exit_code

importutils
-----------
1173e46 Remove ValueError when accessing sys.modules

jsonutils
---------
0d7296f Add kwargs to jsonutils.load(s) functions

log
---
109e325 Use oslo.messaging to publish log errors
de4adbc pep8: fixed multiple violations
eac71f5 Fix common.log.ContextFormatter for Python 3
d78b633 Fixes a simple spelling mistake
621d831 always log a traceback in the sys.excepthook
90ae24b Remove redundant default=None for config options
af36c2a Fix logging setup for Python 3.4
cdcc19c Mask passwords that are included in commands

strutils
--------
8a0f567 Remove str() from LOG.* and exceptions
fd18c28 Fix safe_encode(): return bytes on Python 3
302c7c8 strutils: Allow safe_{encode,decode} to take bytes as input

timeutils
---------
250cd88 Fixed a new pep8 error and a small typo

Partial-Bug: #1333370

Change-Id: I7115cb1ae341a995502ca8ba988c12e9168259e0

Synced jsonutils from oslo-incubator

The sync includes change that drastically enhances performance on Python
2.6 with fresh simplejson library installed.

The latest commit in oslo-incubator:
- 0f4586c0076183c6356eec682c8a593648125abd

The following changes are included with this patch:
-> 18f2bc1 Enforce unicode json output for jsonutils.load[s]()
--> cinder/openstack/common/jsonutils.py

Change-Id: Ib3dc0b713ed90396919feba018772243b3b9c90f
Closes-Bug: 1314129

Merge "Add cgroups related commands to rootwrap filters"