Integrate OSprofiler and Cinder

*) Add osprofiler wsgi middleware
This middleware is used for 2 things:
1) It checks that person who want to trace is trusted and knows
secret HMAC key.
2) It start tracing in case of proper trace headers
and add first wsgi trace point, with info about HTTP request
*) Add initialization of osprofiler at start of serivce
Set's olso.messaging notifer instance (to send notifications to Ceilometer)

*) Fix fake notifier

NOTE to test this:

You should put to localrc:

  RECLONE=no

  CEILOMETER_NOTIFICATION_TOPICS=notifications,profiler

  ENABLED_SERVICES+=,ceilometer-acompute,ceilometer-acentral,ceilometer-anotification,ceilometer-collector
  ENABLED_SERVICES+=,ceilometer-alarm-evaluator,ceilometer-alarm-notifier
  ENABLED_SERVICES+=,ceilometer-api

You should use python-cinderclient with this patch:

  https://review.openstack.org/#/c/103359/

Run any command with --profile SECRET_KEY

  $ cinder --profile SECRET_KEY create 1
  # it will print <Trace ID>

Get pretty HTML with traces:

  $ osprofiler trace show --html <Profile ID>

note that osprofiler should be run from admin user name & tenant.

Change-Id: Ic3ce587946eaa7e6b19cf35a2cc905ae5de29dd3

Merge "Rewrite ionice command filter using ChainingRegExpFilter"

Merge "Failed to initialize connection"

Merge "Mock out image source file in image_utils tests"

Failed to initialize connection

Failed to initialize connection when the storage server heavy loading.
Changed related on:
  dpl_iscsi and dpl_fc
    initialize_connection
    terminate_connection

When storage server busy, the request api will receive httplib response
code accepted and the response body include event uuid. The operation
request use the event uuid to comfirm the job is completed or not.

Change-Id: I4ad8283d355d6b53390e69123ed7b3ed873d4c4e
Closes-Bug: 1357635

Mock out image source file in image_utils tests

Change 202ebc2d987c86984ba9cf8e8e36c32899baaa3b
added some metrics gathering around time to fetch
and convert images.  To do this it uses os.stat,
and when it was written and tested on Linux everything
was cool.

Turns out however there were a few more methods that needed
mocks for the stat command.  This patch adds them.

Also, it was pointed out that for this specific set of tests
we don't actually need to set the class stat_results, mock
will just work for us here since we're not checking an explicit
value.  So this patch also removes those class decl's from
previous methods as they're not needed and we should keep
things consistent.

Change-Id: I31e85694bd167c08a585594b2675dc7232429e05

Merge "Prevent tenant viewing volumes owed by another"

Merge "Imported Translations from Transifex"

Merge "Adds barbican keymgr wrapper"

Merge "Provide a quick way to run flake8"

Merge "Fix exception handling in PureISCSIDriver"

Merge "HP 3PAR manage_existing with volume-type support"

Provide a quick way to run flake8

"run_tests.sh -p" always checks every file for errors even though you
have probably only changed a handful. This patch adds "run_tests.sh -8"
which only checks the files that were modified in the HEAD commit or
the current working tree.

Copied from Matthew's work in Nova here:
  https://review.openstack.org/#/c/110746/15

Change-Id: I84f6a522da5352a703caa59975643043ec1911fe
Co-Authored-By: Matthew Gilliard <matthew.gilliard@gmail.com>

Merge "Change the froce delete volume flage to True"

Merge "Fix LOG string formatting in image_utils"

Adds barbican keymgr wrapper

Adds a barbican keymgr wrapper to the key manager interface in
cinder.  This allows barbican to be configured as the key manager
for encryption keys in cinder.  The wrapper translates calls from
the existing key manager interface to python-barbicanclient.

There are two new configuration variables: encryption_auth_url
(the authentication URL for the encryption service) and
encryption_api_url (the api URL for the encryption service).

Change-Id: Ifd0d9b073d7f1c3c92d318c20a080b253008b50c
Implements: blueprint encryption-with-barbican
DocImpact

Merge "VMware: Update default task_poll_interval value"

Merge "Add iSCSI Target objects as independent objects"

Merge "fix atom link in XML Version API"

Imported Translations from Transifex

Change-Id: Ife372e61181d68ef2073d77e6af5d9db8563bf26

Merge "Catch vol not found in SolidFire transfer"

Merge "Catch DBDuplicateEntry instead of IntegrityError"

Merge "Put result in quotes"

Catch vol not found in SolidFire transfer

The accept_transfer call in SolidFire wasn't catching
the volume_not found exception like it should be (and
like other methods do).

This patch just adds a check for volume is None on the
get_volume call during accept_transfer and raises an
appropriate exception if we run into that case.

While we're at it, add some more detail to the "NotFound"
error messages to include the driver operation as per
request of reviewers.

Change-Id: Ie6b56953028865eb06ebdaae3416339b8a371351
Closes-Bug: #1357261

Fix LOG string formatting in image_utils

My recent change to report stats on image fetch and
conversion used an incorrectly formatted log message.
The result is Trace messages with Key errors in the c-vol
log files.

This change fixes those messages and gets rid of the key error
exception messages in the Logs.

Change-Id: Id8377dd7761d93fd854f5f7871c997418c6e4554
Closes-Bug: 1357726

Change the froce delete volume flage to True

The ProphetStor storage volume unable to remove if this has
assignee on other service or application. We make sure the volume
created by the cinder, and the cinder has the privileges to delete
volume.

Change-Id: I06fa7097f4c2320c346e286b0e0fc73ada1c7f8e
Closes-Bug: 1357629

Merge "Update ref used for notifications"

Merge "Use abstract class for the backup driver interface"

Merge "Ignore HTTP_PROXY during test requests"

Merge "Fixes wrong usage of mock.assert_not_called()"

Update ref used for notifications

When we update a volume status in the db, we need to
use the newly updated volume-ref object in the following
notification method call.  Otherwise we're sending a
notification message with the old/outdated status
information.

Change-Id: I4d92b340cf5e20aaa885377dfb6bd6fc4ed87d69
Closes-Bug: #1349808

HP 3PAR manage_existing with volume-type support

Make manage_existing() modify and tune the volume based
on the volume-type.  Leverages retype() code.

Partially Implements: blueprint add-export-import-volumes

Change-Id: I2923596a6f2299788a7182fb86a5dfc897436302

Add iSCSI Target objects as independent objects

This patch is a step in decoupling the target
methods and the Volume Driver's Control methods.

This adds the targets directory and the new target objects
that we use with the exception of IET (follow up for that later).
TgtAdm and LIO drivers have been tested with the new LVM object.

All existing drivers are still able to be specified and use the
same objects and code-path they were using previously.  New
connector objects are only used when specifying the new driver.

Next step will be mapping current ref LVM driver to the new
LVM object and target model and working on the unit-tests.

After that mark the "old" methods and objects as deprecated
and we can then begin working on some other improvements.

Partial-Bug: #1329139

Change-Id: Iaa55e31e3dadc7dcb58112302c3807a8f92bcada

Merge "Implement import/export for SolidFire Driver"

Rewrite ionice command filter using ChainingRegExpFilter

Currently, the ionice command prepended to a dd command is allowed by three
rootwrap RegExpFilter's that cover 3 arguments patterns. However, this
doesn't support if either 'iflag=direct' or 'oflag=direct' is omitted.
Because of this problem, deletion of volumes may fail if volume_clear_ionice
is set, as 'iflag=direct' is omitted.

This commit fixes this problem by replacing the filters with
ChainingRegExpFilter's, which allow to execute ionice to be combined with the
other allowed commands, including 'dd'.

Originally '-c[0-3]( -n[0-7])?' was allowed as an ionice option, but it is
invalid to specify -n[0-7] in a single option (for example, when '-c2 -n7'
is specified, ionice causes an error "invalid class argument: '2 -n7'").
In this patch, 2 filters are provided to cover the case only with -c option
and the case with both -c and -n options.

Change-Id: Ia074bf3244b7f010bd9e3b5e46c3152c1848f3d3
Signed-off-by: Tomoki Sekiyama <tomoki.sekiyama@hds.com>
Closes-Bug: 1334422

Use abstract class for the backup driver interface

Instead of using NotImplementedError exceptions to define the interface
it's better to use python abc class [1]. The advantage that it fails
faster if a class doesn't implement the needed interface.
See also [2].

[1]: http://legacy.python.org/dev/peps/pep-3119/
[2]: http://dbader.org/blog/abstract-base-classes-in-python

Change-Id: I625a73f70ac5c6ca68ee38a70c98d999454a817e
Partial-Bug: #1346797

Put result in quotes

When a result is the empty string is is hard/confusing
to look at the logs and determine what the task result
was, to avoid this put the result in quotes so that it
is clear in the log message what is the result and what
is not.

Change-Id: I6f9c30e30999dcd8d7f0df26f8066d9f392fe1b9

Fix exception handling in PureISCSIDriver

PureISCSIDriver had some error logging messages that make use of empty
replacement fields "{}" in strings on which the .format() method is
called, as allowed in Python 2.7+. Python 2.6 requires explicitly
naming or enumerating fields, i.e., "{}" must be replaced with "{0}".
This change fixes this so PureISCSIDriver is Python 2.6 compatible.

PureISCSIDriver.terminate_connection() also changed to catch
errors raised by _get_host_name(). Exception handling generally changed
to be more correct.

This change also adds testing of these code path to the unit tests,
to make sure it's actually correct.

Change-Id: I84179a8bc59dcf5593664ab11c90b07c451fd360
Closes-Bug: 1357004

Merge "Fix unit test test_import_record_with_verify"

Merge "Sync latest oslo-incubator log for debug fixes"

Catch DBDuplicateEntry instead of IntegrityError

'iscsi_target_create_safe' method didn't catch DB exceptions
correct.

Need to catch both db_exc.DBError and db_exc.DBDuplicateEntry
due to current oslo.db limitations: it doesn't handle correct
DBDuplicateEntry with different SQLite versions

Related-Bug: #1187367

Change-Id: Ie412ecabd3cbcac301340c82b4275adb7a7206c3

Merge "Enable import group hacking rule"

Merge "VMware: Check snapshot and rename backing"

Enable import group hacking rule

This change enables H305, H307 included in newly updated hacking 0.9
all violations are fixed.

H305, H307 will check if imports are grouped in stdlib, 3rd libs and
OpenStack components.

Change-Id: I612cae64982450a9be5207dbe26a2b52da49dac6

Merge "Actually encode the SolidFire json dump result"

Merge "Enable F402 checks and fix violations"

Actually encode the SolidFire json dump result

The SolidFire driver intends to do a encode on the json data to utf-8,
unfortunatly it's not really doing anything because the syntax of the
calls is wrong.

This patch changes things to actually perform the encoding.

Change-Id: I2bc94ed1fdc1dd5f9a6371ae5f63a955f213bc15
Closes-Bug: #1355622

Sync latest oslo-incubator log for debug fixes

This patch pulls in the changes in openstack/common/log.py that
fix the problems that popped up after we removed _() from
around LOG.debug messages.  The change in log ensures that any
text that is not of six.text_type is converted to six.text_type.

Current HEAD in OSLO:
---------------------
commit 759bd8791ec6a4b0e89f649a4179d177530e7536
Merge: 71d072f 631f880
Author: Jenkins <jenkins@review.openstack.org>
Date:   Wed Aug 13 13:37:27 2014 +0000

Merge "Set keystonemiddleware and routes.middleware to log on WARN level"
---------------------

Additional changes being merged (newest to oldest):
---------------------
759bd879 -
Merge "Set keystonemiddleware and routes.middleware to log on WARN level
71d072f1 -
Merge "Except socket.error if syslog isn't running"
37c00918 -
Add unicode coercion of logged messages to ContextFormatter
66144135 -
Correct coercion of logged message to unicode
1188d88a -
Except socket.error if syslog isn't running
ac995bec -
Fix E126 pep8 errors

Note that this change required an update to config.sample due to change
759bd879 -  Merge "Set keystonemiddleware and routes.middleware to log
on WARN level"

Change-Id: I4b849981c65300b327076d68fbf8601d46ec61f0
Closes-Bug: 1348244

Merge "Make manage.py usable"

Merge "Fix bad indentation in netapp and san.hp volume drivers"

Merge "Add timer info for copy operations"

Enable F402 checks and fix violations

This change enables F402 hacking check and fixes all violations found.

[F402] import module from line N shadowed by loop variable

Basically this rule tries to avoid loop variables using the same name as
imported module, for example:

    from cinder import volume
    ...

    for volume in volumes:
        ...

Change-Id: Ie3010616ca87fda113d452fe684e6cff3d5fd978

Prevent tenant viewing volumes owed by another

Bug introduced by 0505bb268942534ad5d6ecd5e34a4d9b0e7f5c04 allows any
tenant to get the details of a volume belonging to any other tenant
if the UUID is known.

This commit allows only the tenant or an admin to get a volume.

Change-Id: I0268d374f7529d89068dcbf3c1cb9ab3d60d4115
Closes-Bug: #1356368

VMware: Check snapshot and rename backing

This patch adds methods for: a) checking existence of backing VM snapshots;
and b) rename backing.

Change-Id: Iede168e28d9569a5a3331479c8096c3cca5140e9
Partial-Bug: #1275682
Implements: blueprint vmdk-backup

Fix bad indentation in netapp and san.hp volume drivers

Closes-Bug: #1356223

Change-Id: I4e9fb3c6b3e098998f41e266b2cfc51a4af1fc65
Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Ignore HTTP_PROXY during test requests

urllib2 follows http_proxy/HTTP_PROXY by default.  If a (non-local)
proxy is set and a test tries to connect to localhost:$port, it will
instead attempt to connect to $port on the proxy and (presumably) fail.

This change forces the two tests that failed in the presence of
HTTP_PROXY to connect directly.

Change-Id: Ia12c91b356f0ccebf874933ff459aa2faa190655

Issue one SQL statement per execute() call

Some sqlalchemy drivers don't support multiple SQL statements in a
single execute() call.  The sqlalchemy author has confirmed that one
statement per execute() is the intended API.

Change-Id: I527780765371dcc9645a721d60ed9ac67ddde29f

Merge "Add ProphetStor DPL Storage server volume driver for Cinder"

Add ProphetStor DPL Storage server volume driver for Cinder

ProphetStor DPL Storage server enables x86 commodity hardware as
enterprise-grade storage systems.
*[2014/07/14] Remove roll-back function.
*[2014/07/16] Add decorate fiber zone manage utils in initialize_connection and
              terminate_connection.
              Use mock instead of mox in tests.
*[2014/07/21] Update cinder volume certification report.
*[2014/07/29] Openstack continuous integration platform test.
              Retry: 27
*[2014/07/31] Rebase
*[2014/08/06] Refine code
*[2014/08/11] Rebase and enhance to support thin/thick volume
Implements: blueprint prophetstor-dpl-driver
cinder-cert-results: https://bugs.launchpad.net/cinder/+bug/1354066
Change-Id: Iced5e45362aef4286bb7f1c848ab7cb3573b5c02

Add timer info for copy operations

This is just an add of some useful info to monitor
how much time we spend on various operations during
clear volume and copy image_to_volume.

Change-Id: Ie9d199769e63f5a91270e3fc2e5f58766d1bd41c

Merge "Enable Swift backup driver for auth 2.0"

Merge "Enable H104, F841 hacking rule and fix violations"

Merge "Update help strings"

Make manage.py usable

It's not possible to use manage.py in its current state due to
an exception thrown by oslo.config:

  oslo.config.cfg.ArgsAlreadyParsedError:
    arguments already parsed: cannot register CLI option

This exception is a side-effect of including
cinder.openstack.common.logging in most of the migration scripts.

This change therefore suggests removing oslo.config and other imports
from manage.py to make it usable again.

It is now possible to use manage.py:

  tox -evenv -- python cinder/db/sqlalchemy/migrate_repo/manage.py \
    version_control --url=sqlite:///./cinder.db

  tox -evenv -- python cinder/db/sqlalchemy/migrate_repo/manage.py \
    upgrade --url=sqlite:///./cinder.db

Closes-bug: #1355297
Change-Id: I843cfa9a4e4758a6bc8e5c04f064e9d3107b01fa

Merge "Do not translate debug messages"

Enable H104, F841 hacking rule and fix violations

This change enables hacking check H104 and F841, and fixes all
violations.

[H104]    Files with no code shouldn’t contain any license header nor
          comments, and must be left completely empty.
[F841]    local variable name is assigned to but never used

Change-Id: If7fcb737d121fd13b2b103d63f5f26dfaa79c59b

Enable Swift backup driver for auth 2.0

This patch adds support for Swift auth 2.0 to the cinder-backup
Swift driver.

DocImpact

Change-Id: I99585661792420e363b5259c9ed45a853a939a74
Closes-Bug: #1354801

Updated HACKING.rst so that it is accurate

We haven't been very good at enforcing putting new hacking checks
into HACKING.rst.  This change brings the file up to date.

Change-Id: I95ef533d031d333da5615ead997b54c6506c2c2a

Merge "Add hacking check for use of LOG.audit"

Update help strings

Fix capitalization of help strings to make help strings consistent.

Change-Id: I04341c31cbb21b01229916cef7bc8ccb199614a2

Merge "Update ref used for notifications"

Merge "Fix snapshot id for snapshot_destroy"

Add hacking check for use of LOG.audit

Commit 4dc37abc removes the few instances of LOG.audit that
were in Cinder.  Given that the plan is to remove LOG.audit messages
from OpenStack, I am adding this hacking check to ensure that such
messages do not sneak their way back into Cinder.

Unit tests are included with this change.

Change-Id: Icc416a68f958f60260f1c55af0d8605c95913bf1

Merge "Imported Translations from Transifex"

Merge "Use oslo.i18n"

Imported Translations from Transifex

Change-Id: I39d60d1cc7d6c37455852de24356e3e262da8a86

Merge "VMware: Volume from non-streamOptimized image"

Merge "Enable checks for E711, E712 and E713"

Merge "Add CHAP support for 3PAR ISCSI"

Merge "EMC: Fix minor issue in VNX driver and unit tests"

Use oslo.i18n

oslo.i18n provides the i18n function that were provided by
oslo-incubator's gettextutils module.

Change-Id: I1f361a8321fb02f03b4f3f3e2ef688fcf19514a3

Merge "Improve regex for _ import hacking check"

Add CHAP support for 3PAR ISCSI

Adds CHAP support to 3PAR ISCSI.  Volume metadata will store
CHAP credentials to allow volumes to be attached to hosts on
a 3PAR backend.  Credentials are generated when the first volume
is attached.  Subsequent volumes lookup the CHAP credentials
from an existing volume already attached to the host.

Implements: blueprint add-chap-support-3par-iscsi
DocImpact

Change-Id: I45d77c4243339e8fc76969042634c6c45899fbae

Merge "Fixing LeftHand live migration error"

EMC: Fix minor issue in VNX driver and unit tests

There were some minor issues in initial commit of VNX Direct Driver
Juno Update (https://review.openstack.org/#/c/104413/), such as typo,
unclear config option help message and missing period.

This change fix these issues.

Change-Id: I82bac9695c8138cff858013b3affeb0557dfcc02
Closes-Bug: #1354272

Merge "VMware:Disk type conversion during clone backing"

Merge "VMware:Support for attaching disk to backing"

Do not translate debug messages

LOG.debug messages do not need to be translated. The rdb driver
has a couple of debug messages that are translated. This patch
removes those debug translations.

Also, logging exception.ImageUnacceptable can contain non-ascii
characters. This patch fixes this by using six.text_type to
properly translate the exception.

Change-Id: I4ed36173f42b7bf487463f148ae94bd061f6bebb

Merge "General cleanup of unused objects"

Merge "RPC client lazy initialization"

Fixing LeftHand live migration error

Fixed a bug in the LeftHand driver that was causing an error to occur during
live migration of an instance that is attached to a volume. The solution was
to make sure server access is only requested for a volume if the iSCSI
session doesn't already have access enabled on the LeftHand backend.

Change-Id: I41046beb66f2a6138659ec3e4d1d3f37b37859b8
Closes-Bug: 1311350

Improve regex for _ import hacking check

Commit 3e2b1117 added a check to make sure that the _
function was being explicitly imported so that translation would
work properly.

I have discovered that those regexes/code would not work in some cases.
Particularly if the import line imported multiple things from
gettextutils or i18n.  Also the check being used to find lines using
the _ function was not right.

This commit fixes the issues and adds appropriate tests.  It also
adds the hacking check to HACKING.rst which should have been done the
first time around.

Change-Id: I7227bb0051836e537bff2f0f97662c06452d5af6

General cleanup of unused objects

* Remove unused function fake_get_remote_image_service
* Remove unused local function fake_execute2
* stub_out_key_pair_funcs() does nothing, remove it.
* Removed usage of enumerate()

Closes-Bug: #1286714
Closes-Bug: #1286712
Closes-Bug: #1286742
Closes-Bug: #1286809
Change-Id: I76413c886f6903df2adcf4a4ceb8990486a2ff2f

Merge "EMC VNX Direct Driver Update for Juno"

Merge "Change the exception type for Storwize/SVC driver"

Merge "Use auth_token from keystonemiddleware"

Merge "Add retry_on_deadlock to db update methods"

RPC client lazy initialization

All *Command classes are instantiating for each cinder-manage command
execution. RPC client should be initialized for VolumeCommands usage.
Some custom RPC clients (oslo.messaging backends) could init RPC
connection after client initialization so it is no need to create RPC
client for every cinder-manage command invoke.

Related-Bug: #1348787
Change-Id: I7b3388dded6eeec972d9949538e1608c3a538734

Fix snapshot id for snapshot_destroy

The id passed to snapshot_destroy should be snapshot['id'],
not volume['id'].

CCLA SCHEDULE B SUBMISSION

Change-Id: I1d84f1d596ebf014c0e3ea4202902ff515b3172a
Closes-Bug: 1351997

Use auth_token from keystonemiddleware

auth_token middleware in python-keystoneclient is deprecated and has
been moved to the keystonemiddleware repo.

Closes-Bug: #1342274
Change-Id: I1aadbe24db63eb2507b088cd53886d7f2e192cab