Fix potential access to missing key

This patch puts a simple check around the 'extra_specs'
key, and makes sure it's there, while trying to inject
the multiattach capabilities filtering.

If we want to change the approach, we can do so in early
Liberty, when we enable multiattach for drivers.   At this
stage of the release, lets just do the simple and safe thing.

Change-Id: I45496e4325122ba20e79351f85945ca9804eaa61
Closes-Bug: 1438141

Merge "SMBFS: Fix missing volume provider location"

Merge "Properly remove host object from ISE"

Merge "Use cached values for stats on query failures for vmem drivers"

VMware: Fix ImageNotAuthorized during copy volume

Copy volume to image by non-admin user fails with ImageNotAuthorized.
This is because we are setting image's is_public meta-data to True
while calling image update (for writing to image). This patch fixes
this by setting is_public using the image-meta passed in by Cinder.

This bug was introduced by commit 960cbb21e359a3526e9ff9bf4ca78db1eca3a743.

Note: The oslo.vmware API which we use for upload requires is_public
meta-data which may not be needed at all for writing to image.
Till we update oslo.vmware API, we have to pass a value for is_public.

Change-Id: Ib7778b6c7a3e8dd501216173a26d7ba246aa85e4
Closes-Bug: #1437319

SMBFS: Fix missing volume provider location

In case of cloning volumes or creating volumes from snapshots, the
volume provider location is not set, making the volumes unusable.

This also leads to disk image leaks, because the delete volume
operation will pass without deleting the disk image if the provider
location is not present.

The SMB driver wraps base RemoteFS methods in order to set locks.
The issue is that it does not return the wrapped method return
value, which signals volume updates, in this case the provider
location.

Change-Id: Id7435676052885d301a48fa5ac224071e18ecf5b
Closes-Bug: #1437271

Merge "Properly use obj_extra_fields in objects"

Merge "Create unit tests for volume objects"

Merge "Windows: Fixes wintypes import issue in vhdutils"

Merge "Windows iSCSI: fix volume clone"

Merge "Eager load volume extra specs"

Properly use obj_extra_fields in objects

The following patch fixes a bug in the snapshot object,
where fields that are not part of the Snapshot model,
i.e. name and volume_name, were not specified as
obj_extra_fields in the object. It also fixes the same
problem in the volume object, i.e. name and name_id.
With this patch, those extra fields are properly loaded,
e.g. snapshot.volume_name or volume.name.

Change-Id: Ie2b8dc66c897f89f941e9ad3b80ec4f4ab346430
Closes-Bug: #1429889

Create unit tests for volume objects

This is a follow up patch to cinder objects that adds
missing unit tests for volume objects. It also adds
a @base.remotable decorator to the volume save method,
which makes sure a context is properly supplied to the
method, whether it is passed in or taken from the
context stashed in the object.

Change-Id: I9febfdf94c4d8c82defedf0ceaec03800552affe
Implements: blueprint cinder-objects
Closes-Bug: #1434571

Merge "VMware: Fixed usage of volume instance_uuid"

Merge "Imported Translations from Transifex"

Merge "Move to hacking 0.10"

Merge "Syncing versionutils from oslo-incubator"

VMware: Fixed usage of volume instance_uuid

instance_uuid and attached_host no longer exist in the volume object.
They have been moved into the volume_attachment list attachments.

This patch now tests for non-empty volume_attachment list instead of
testing the existence of a non None value of instance_uuid.

Change-Id: I04c46dc49849fb1e0abf955dcc6d7ec1ce5e57a5
Closes-Bug: 1436603

Merge "The value of netapp_storage_protocol should default to none"

Merge "Fixed access to instance_uuid in retype"

Merge "Sort list of cinder_object.changes"

Merge "Fix typo in cinder/cinder/volume/drivers/emc_vmax"

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I77d55f05ea387e764539231006a35ec46b7c18aa

Fixed access to instance_uuid in retype

We missed an access to volume['instance_uuid']
in the multiattach patch.   The instance_uuid and attached_host
were moved into the volume_attachment table.

This patch changes how we test to see if a volume is available
or not, but checking the new location.

Change-Id: I8844cd8c2947845f9efb11a2a1371efee2d28bbe
Closes-Bug: 1436604

Merge "Added the missing attachment to detach_volume"

Eager load volume extra specs

The Linux SMBFS driver uses volume extra specs in order to determine
the according image format when creating new volumes.

Accessing the extra_specs attribute can raise DetachedInstanceError
as this attribute is lazy loaded and the session might close by the
time this attribute is accessed.

This can be avoided by simply eager loading the volume extra specs.

Change-Id: Iffdb160a4a968067261aa90638832782caed5ed0
Closes-Bug: #1436418

Added the missing attachment to detach_volume

I must have missed this driver in the multiattach
patch.   The attachment object is passed in to
detach_volume to give drivers a chance to deal with
a detach call.

This patch just updates the signature of the method
to be the same as the parent.

Change-Id: I895c163e67d35df202a5490a7a31ee7fc13a0cb4
Closes-Bug: #1436367

Make lio iSCSI changes persistent to avoid lost

To avoid losing iSCSI configuration when target.service is
started/restarted we make persistent any change Cinder makes to the
configuration.

This will allow us to coordinate access from multiple rtslib users
(target daemon, targetcli, cinder...)

This patch changes rtstool and adds an additional command "save" with
optional parameter the filename where we want to save current
configuration. If no parameter is provided it saves to default location
defined by rtslib.

Closes-Bug: #1427301
Change-Id: I74bd09ed16a2e0e584d3e04762aec8cbdf101f6d

Merge "Updated from global requirements"

Sort list of cinder_object.changes

If PYTHONHASHSEED is set to a non-zero value,
test_objects.TestObject.test_base_attributes unit test
fails.  This is because 'cinder_object.changes' key is
an unsorted list when the object is converted to a
primitive.  The following patch fixes this by sorting
cinder_object.changes.

Change-Id: I3a80396c5c897de26e982fa6426e7720a09c1375
Closes-Bug: #1434154

Move to hacking 0.10

Release notes: http://lists.openstack.org/pipermail/openstack-dev/2015-January/054165.html

Ignore some new rules that have more then 10 failures, fix ones that
have fewer.

Removed deleted hacking rules from tox.ini

Note: One of the main benefits of the new hacking, is flake8 enables
concurrency by default now, so it should be much faster.

Change-Id: Ie650fa3dc91434967ad05e61edd3bcc1d833bfb1

Syncing versionutils from oslo-incubator

This is to fix deprecation warnings caused by a fact that version
that's currently in Cinder imports oslo.config instead of
oslo_config.

Change-Id: Iaf0bea76e5bb389cb052de1ecb34a8b24ae39343
Closes-Bug: 1436270

Merge "Enable request-id in cinder API logs"

Merge "Fix: Synchronise Quobyte Share mounting"

Merge "Dell Storage Center API change fails init_conn"

Merge "Simplify cxt test_create_export() unit test"

Properly remove host object from ISE

This removes host object from ISE when terminate_connection
detects no more allocations for that host.

Change-Id: I31cc27bc95efaab3dca0c9a4c833655c43b73abf
Closes-Bug: 1433450

Dell Storage Center API change fails init_conn

An attribute in the dell storage center REST API containing
the world wide name of the target device changed.  This meant
that on intialize connection we were returning None instead of
the wwn.

The driver has been changed to look for the new attribute and
to fall back to the old.  If neither is found it will not
return a target wwn of None.

Change-Id: I6ae6870d46937089bd6ed8799895f7068eebf01d
Closes-Bug: 1435935

Windows iSCSI: fix volume clone

In some environments, volume cloning fails when using the Windows
iSCSI volume driver. This involves creating a new VHD image and
copying the data from the source volume on top.

This can raise an error, caused by the fact that the destination
path exists.

This patch slightly changes the workflow used when cloning an image.
Instead of first creating a new WT disk and then copying the cloned
image data on top, the source image is copied, resized if needed
and then imported as a WT disk.

Change-Id: I07d45fa9324a34ef45ed2aa8051338ee6a0f8a5b
Closes-Bug: #1435865

Enable request-id in cinder API logs

Using common.local:store.context doesn't work correctly with
the new oslo_log module.  This change removes the calls to
common.local and removes the file altogether which allows the
proper settings to be passed in to the logging module and give
us back our request-id in the API logs.

Change-Id: If312f419fb465c9128bcfa0a280d6c35a46cb29b
Closes-Bug: #1435588

Use cached values for stats on query failures for vmem drivers

This change allows vmem drivers to return previously cached
values for free_capacity_gb and total_capacity_gb if the queries
to the backend for those stats succeed but do not contain
the data.  This can happen when the mgmt plane is under heavy load.

Change-Id: I218a54897361d739c04963b4c36d93620be01fb3
Closes-Bug: 1433990

Merge "Change leftover oslo.* to oslo_*"

Merge "Tests: Fix az test failure when PYTHONHASHSEED != 0"

The value of netapp_storage_protocol should default to none

The value of netapp_storage_protocol was changed from 'None' to 'iscsi'
in a recent commit. It needs to be reverted back to its correct default
value of 'None'.

Closes-bug: 1433842

Change-Id: I7f7bff8d8cbd8671ee52cb9225f496ff6e679398

Change leftover oslo.* to oslo_*

Use oslo_i18n instead of "from oslo import i18n"
Use oslo_messaging instead of "from oslo import messaging"

Partial-Bug: 1409733

Change-Id: If119603e4f89965d0c9e5917b2772ae0e7ddf3d2

Updated from global requirements

Change-Id: I6f506eaa69ba7ae26cd13403d0dec491848db3c6

Fix: Synchronise Quobyte Share mounting

Quobyte ci tests show random failures with multiple similar shares.
A single share is listed in mounted shares twice after two (or more)
chronologically close successive calls to
_ensure_shares_mounted (examples see bug or similar Quobyte ci error
reports).
This is now prevented by synchronizing the method.

Closes-Bug: #1434502

Change-Id: Iae5cfb529c56681eaaf5868042264e4f8d71c0fb

Fix typo in cinder/cinder/volume/drivers/emc_vmax

Change-Id: I0eff3be00a267a2ddbdc0e72d7c8da35d158cee8

Update file doc string for pure.py

The PureISCSIDriver now requires a higher version of the REST API, this
causes the required Purity version to go up to 4.0.0. The doc string
for the pure.py file was not updated to reflect this.

Change-Id: Ibb133a6ab689c98aee0ac16946d059a647f482d3
Closes-Bug: 1434580

Merge "Remove chap secret DEBUG logging in PureISCSIDriver"

Merge "update oslo policy to remove policy.d log spam"

Merge "Scality SOFS : Use ensure_tree from fileutils"

update oslo policy to remove policy.d log spam

After oslo policy added config dirs it started spamming the logs
relentlessly on if you didn't have a policy.d directory on your
system. This is a very unfriendly upgrade to operators.

A fix was provided in the incubator just before incubator policy was
deleted. This syncs in that fix.

Change-Id: Idf9c63c52561acdfe5463fee35dbc497c5e1fde5
Related-Bug: #1421863

Merge "Logging not using oslo.i18n guidelines"

Merge "Fix logging mistake in swift backup driver"

Merge "Fix SAN generic driver ssh whitespaced commands"

Merge "Removing Windows drivers for no reported CI"

Merge "Remove error messages from multipath command output before parsing"

Merge "Removing Huawei drivers for no reported CI"

Remove chap secret DEBUG logging in PureISCSIDriver

We are removing a small piece of code that caused the CHAP secret to be logged
in plain text in the log file when DEBUG level logging is turned on in Cinder.
This is undesirable so it is being taken out.

Change-Id: I119800e2c3695201e9fca544f597ea9a577a2809
Closes-Bug: 1434320

Merge "Removing Zadara driver for no reported CI"

Removing Windows drivers for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Idd348bb81680c3f06a3a732d7e2ae657cceaa6f2

Merge "Removing Netapp FC drivers for no reported CI"

Merge "Removing DRBD driver for no reported CI"

Merge "Removing Fujitsu driver for no reported CI"

Merge "Removing FusionIO driver for no reported CI"

Merge "Removing Nexenta driver for no reported CI"

Merge "Removing Symantec NFS driver for no reported CI"

Merge "Removing StorPool driver for no reported CI"

Merge "Removing ZFSSA driver for no reported CI"

Merge "Removing Coraid driver for no reported CI"

Merge "Removing HP MSA driver for no reported CI"

Merge "Make the 3PAR drivers honor the pool in create"

Merge "Add retry to create resource in Datera driver"

Fix logging mistake in swift backup driver

After recent swift driver refactoring a small mistake was introduced
causing c-bak to log an exception because of wrong number of arguments
to format a string. This commit fixes the issue.

Change-Id: I2e322ae6a2495771c89fa25ab5474da20eecc80d
Closes-Bug: 1434188

Removing Zadara driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]-
http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I016e22c857f520a7eb79e1ed5b36735a97f68b68

Removing Huawei drivers for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I0599a8721b14ba4f2a255188b71be6d62ae8cc1a

Removing Netapp FC drivers for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I85ed137ddb1929509f9930cd1de91671dde3db42

Removing Fujitsu driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer has chosen not to respond
to the CI deadline email and report a CI to ensure their driver
integration is successful. Therfore, we can not validate the driver is
working in Cinder today in a continuous way.

DocImpact
[1] - http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Ibe9a3cc9831a1ef4aa7cbdb15e09bced353c738a

Removing DRBD driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: If4b119ec6ca80dcf28530e77e1f98bda04ba6eab

Removing FusionIO driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer has chosen not to respond
to the CI deadline email and report a CI to ensure their driver
integration is successful. Therfore, we can not validate the driver is
working in Cinder today in a continuous way.

DocImpact
[1] - http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Ic5881eec84e3069f80543bb20b0132ddb20d90ad

Removing Nexenta driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I732612e671c57c0b611f1016f22c89a886a317f7

Removing Symantec NFS driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I38b66f8df30508704df6081f18a09a3a12853858

Removing StorPool driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I024d97038f6e027bd5f154d2933438847962fcb4

Removing ZFSSA driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer does not have a CI
reporting to ensure their driver integration is successful. Therfore, we
can not validate the driver is working in Cinder today in a continuous
way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html
Change-Id: I5126ee5c56d2a7382e67626d28197eafa5940be5

Merge "Revert "Datera's export to avoid deprecated keys""

Make the 3PAR drivers honor the pool in create

Currently, the 3PAR drivers rely on the pool (CPG) existing
in the extra specs of a volume type.   This is the way that the
3PAR drivers supported the idea of 'pools' prior to Cinder
itself supporting pools.

Now, the 3PAR drivers will not use the CPG specified in the
extra specs of a volume type.   The drivers will log a warning
explaining that CPG is deprecated, and then override the CPG
setting with the pool name specified by the scheduler in the
volume['host'] entry.    This fixes a few bugs in the 3PAR
drivers.

Existing 3PAR deployments will need to update their cinder.conf
to specify the list of CPGs they want the driver to support as
pools in the hp3par_cpg=[list of cpgs] entry.  hp3par_cpg can be
a single CPG, or a comma separated list of CPGS.

The 3PAR best practice guide will be updated for the Kilo release
explaining how to upgrade from existing deployments and describe
how best to use CPGS as pools.

Closes-Bug: #1432876
DocImpact

Change-Id: I2c733ff3f13ba309cc07e07331b4945b1981a07a

Removing HP MSA driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because it's not supported, so it won't have
a CI reporting to ensure their driver integration is successful.
Therfore, we can not validate the driver is working in Cinder today in
a continuous way.

DocImpact
[1]- http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: Ia6681e943ffb807ff6b3064976f6ef8eb3259e65

Merge "Fix retype return value in volume driver base class"

Merge "Fix retype arguments in volume driver base class"

Merge "Fix allocated_capacity tracking when rescheduling"

Removing Coraid driver for no reported CI

CI deadlines were set and pushed since last year. An email about this
requirement and the deadline of March 19th 2015 has been sent to each
individual driver maintainer, as well as the mailing list [1]. This
driver is being removed because the maintainer has chosen not to respond
to the CI deadline email and report a CI to ensure their driver
integration is successful. Therfore, we can not validate the driver is
working in Cinder today in a continuous way.

DocImpact
[1] - http://lists.openstack.org/pipermail/openstack-dev/2015-January/054614.html

Change-Id: I033960c21db91c3150daeffa3dae38005b7ef39b

Add retry to create resource in Datera driver

If the volume is still in a creating state, wait, and retry a few times.
Otherwise, raise an exception for the manager to set the volume into an
error state.

Closes-Bug: #1433543
Change-Id: If49fd9229f08301cedbd63399fe46475e73a83ef

Logging not using oslo.i18n guidelines

Part of multi-patch set for easier chunks.

There have been quite a few instances found where the
i18n guidelines are not being followed. I believe this
has helped lead to some of the confusion around how to
correctly do this. Other developers see this code and
assume it is an example of the correct usage.

This patch attempts to clean up most of those violations
in the existing codebase to hopefully help avoid some of
that confusion in reviews.

Some issues address:
* Correct log translation markers for different log levels
* Passing format values as arguments to call, not preformatting
* Not forcing translation via six.text_type and others

Guidelines can be found here:
http://docs.openstack.org/developer/oslo.i18n/guidelines.html

Hacking checks will not be able to identify all violations of
the guidelines, but it could be useful for catching obvious ones
such as LOG.info("No markers!").

Change-Id: I38f52c6408b47ccb59ec2064b360f7d4427d6830
Partial-bug: 1433216

Merge "Windows iSCSI driver: Fixes copy disk method exception handling"

Tests: Fix az test failure when PYTHONHASHSEED != 0

The test_list_availability_zones_enabled_service test calls
a method which returns a tuple that is generated from a dict.
This is compared to a tuple in the test, which can fail when
PYTHONHASHSEED is not 0, due to the tuples containing elements
in different orders.  (Because the dict used to build the tuple
was ordered differently.)

For this test, we can convert to lists and sort them to do the
comparison, since the ordering is not important.

Partial-Bug: #1348818

Change-Id: Ib7e5d59073e5e243450e28492d68942f6088bb5f

Merge "Change datetime.now() to timeutils.utcnow() from oslo_utils"

Change datetime.now() to timeutils.utcnow() from oslo_utils

We use an UTC time to avoid the difference with time zones.

Change-Id: I15aa3b5d3337b90ccdcc6c4ac5d3c7d78108fe21
Related-Bug: #1288979

Merge "Update Violin REST client library name"

Merge "Add minimum qemu-img version check functions"