Merge "Added Cinder volume backup to Ceph support"

Merge "Calculate count for customized dd blocksize"

Added Cinder volume backup to Ceph support

Added new Ceph backup service to allow backup
of Cinder volumes to a Ceph object store. This
driver is compatible with the existing backup
interface provided by the Swift backup service.

Implements: blueprint cinder-backup-to-ceph

Change-Id: I299f033347cb263e7169c4a4efb758d19e753f46

Merge "Add os-availability-zone extension"

Add os-availability-zone extension

* Query /os-availability-zone to get an object representing the configured
  availability zones and their state
* This implements a subset of Nova's os-availability-zone extension

Fixes bug 1195461

Change-Id: Ic0a8eb5a82ca0a4eed3b1e1cd6cf3a4665589307

Merge "Fix service alive information in os-services extension"

Merge "Imported Translations from Transifex"

Merge "Run flake8 also on cinder/*/openstack"

Merge "Add Brick iSCSI attach/detach."

Run flake8 also on cinder/*/openstack

exclude=openstack also matches cinder/api/openstack,
which is however not merged from oslo-incubator.
Exclude=common instead, and explicitely include
cinder/common

Change-Id: I331d8c0d17e519386ae72caeca8a336eecde3ad3

Imported Translations from Transifex

Change-Id: I1f87c3138e95a1da654a22425e07cd1b0ad1cdb7

Merge "Fix check_for_setup_error for sheepdog driver"

Save some more image attributes to volume_glance_metadata.

Current issue: When copying an image to a volume, attributes like size, disk_format, container_format,
checksum, min_disk and min_ram have not been copied so far. When booting a VM from a volume, we are
not able to check these atrributes without giving the image id. Furthermore, if the original
image is deleted, we will lose all the information.

This patch saves these attributes into volume_glance_metadata. We can still check these attributes
without giving the image id when booting a VM from a volume.

Fixed Bug 1159824.

Change-Id: I42ce676026d32be6e3f4bec6fd269908e2df0a8c

Merge "Added volume backup and restore to Ceph RBD driver"

Fix check_for_setup_error for sheepdog driver

Current implementation of check_for_setup_error() of sheepdog driver
cannot work correctly with the latest version of sheepdog cluster.
This patch fixes it and adds tests for both old and new version.

Fixes: bug #1195098
Change-Id: Ia710789e4bedd7c83cd47eff6b2fc532af39d94a

Merge "Raise an error if iSCSI is not supported"

Add Brick iSCSI attach/detach.

This patch adds the new brick initiator connector object
which contains the code to do volume attach and detach to a host
machine.  It includes hooks to work in both cinder and nova.
Nova has different exec wrapper and it also needs to talk to a
hypervisor at certain points during detach.

This patch also pulls the copy/pasted code from nova in the base
ISCSIDriver's _attach_volume method to use this new brick library.

This patch also includes a fix in the ISCSIDriver's
copy_volume_to_image code that didn't actually detach a volume
when it was done with the operation.
Bug 1194962

This patch also includes a fix for iSCSI detaches where the
iSCSI LUN wasn't being removed from the system until the very
last detach issues an iscsiadm logout.
Bug 1112483

This patch includes a fix for iSCSI multipath detaches where
the multipath device and the iSCSI LUNs for the multipath device
were never removed from the kernel.
Bug 1112483

Blueprint cinder-refactor-attach

Change-Id: Ieb181f896adb9230bbb6a2e5c42f261d61a0f140

Added volume backup and restore to Ceph RBD driver

It is now possible to backup and restore volumes
when using volume.drivers.rbd.RBDDriver

Implements: blueprint cinder-backup-to-ceph

Change-Id: Ic1b8db8f0acd7974423414171b8fb45197d05dc6

Fix service alive information in os-services extension

Service alive information need to be compared with service_down_time
value and updated accordingly.

Change-Id: I9b9798c108a2da07ab78d5d05cbb51a73b14363e

Calculate count for customized dd blocksize

In previous commit we introduce a configurable blocksize option for
'dd' command, however the 'count' value wasn't updated accordingly.
As a result, count could be too small which is bug.  This patch
introduce a private method to 1) validate custom dd blocksize; 2)
calculate correct count value.

Fix bug: 1192258

Change-Id: Icfd2d80e8f615ed585bd1d40c741a97cf55299d3

Content-length missing in put_object

Radosgw returns a "411 Length Required" in case the content-length is not
specified. The parameter content_type is not set which leads to the problem
that content_length cannot be determined. Since the content length is already
computed in backup/services/swift it shouldn't be a problem to set this
parameter.

Conflicts:
cinder/backup/services/swift.py

Change-Id: I4c56823d70fcd1a801a75bfd14f474a2780dc1ac

Merge "Update kombu requirement"

Merge "Register used CONF entries in cinder.api.common.py"

Merge "Replace glance_metadata check with bootable column."

Merge "Imported Translations from Transifex"

Replace glance_metadata check with bootable column.

This patch adds a column to indicate if a volume is bootable or not.

Cinder API V1 was using get.volume_glance_metadata to determine
if a volume was bootable for translate_view.

This is fine until you put a heavy load on the system and things
can fall apart, particularly the backref of the glance meta is no longer
available and the call blows up.  Also this results in a bit of extra
unnecessary data being passed around with every create and get call.
This is especially an issue when creating hundreds or thousands of volumes.
Even better we can now reliably create thousands of volumes.

Fixes bug: 1192390

Change-Id: Idd47a0a8069ee905b81c7aae562b82767ad91930

Merge "Added extra-spec key scoping to the 3PAR drivers"

Imported Translations from Transifex

Change-Id: Ib1f73f11952a60695f49cf8c6cd8fbca9946bd6f

Merge "Do not raise NEW exceptions"

Merge "        cinder.[brick,db,image] Replace 'locals()'"

Merge "Avoid winning the useless use of cat award"

Merge "Fix up trivial H103 license check mismatches"

Avoid winning the useless use of cat award

We can use file operations directly, no need
to run cat(1)

Change-Id: Id8a9f615dfb11d1bd7acd4a7d6f40545c246e5cd

Fix up trivial H103 license check mismatches

Adjust a few trivial typos in the license headers
in the source files.

Change-Id: I907df4ece8e589e930fd788e3f33201537938572

Register used CONF entries in cinder.api.common.py

After change: I2114d5fc45f5299c3b2011270034a3370e0ec388 we
were no longer registering defaults for cinder.api.common.py settings.

The result is that you're unable to run individual unit tests like
cinder.tests.api.test_volume_metadata.py.

Register the needed CONF options and we're all set again.

Fixes bug: 1194315

Change-Id: I6df6c5ec5687c8156a9f3794cc7f04d8d28065d9

Fix and enable gating on H401

H401  docstring should not start with a space

Change-Id: Iaf63af75b0534cae1bac3c931ef5f51f1644aec9

Do not raise NEW exceptions

Raising NEW exception is bad practice, because we lose TraceBack.
So all places like:

except SomeException as e:
    raise e

should be replaced by

except SomeException:
    raise

If we are doing some other actions before reraising we should
store information about exception then do all actions and then
reraise it. This is caused by eventlet bug. It lost information
about exception if it switch threads.

fixes bug 1191730
Change-Id: Ic2be96e9f03d2ca46d060caf6f6f7f713a1d6b82

    cinder.[brick,db,image] Replace 'locals()'

        Replace use of 'locals()' with explicit values.
        Help bring source code into compliance with the
        Cinder Style Commandments:
        https://github.com/openstack/cinder/blob/master/HACKING.rst

        This change covers all affected soruce in the
        cinder brick, db, and image modules, i.e.
        cinder/brick/*.py and subdirectories
        cinder/db/*.py and subdirectories
        cinder/image/*.py and subdirectories

        Partially fixes: bug #1190758

Change-Id: Ibc111ab5ef53a2316e868c9cba8b94b323ba31c0

Merge "Add support for swift user/key authentication"

Merge "Remove usage of locals() for formatting from cinder.tests.*"

Update kombu requirement

The minimum version of kombu in the requirements
list has been updated to ensure that compatible
kombu and msgpack libraries are used across all
projects. This update also requires a bump for
anyjson.

Addresses bug #1134575

Change-Id: Ic33a5bbc8d1cdf1effd41c1c2aebc7ef6988c39e
Signed-off-by: Doug Hellmann <doug.hellmann@dreamhost.com>

Merge "Add the project name into CinderKeystoneContext."

Remove usage of locals() for formatting from cinder.tests.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: I67aa5bff650b55484ca76adf5be8555f72a4c426

Merge "Adds create_from_volume test cases"

Merge "NetApp:iSCSI drivers reserved percent need to change to 0."

Merge "Use list comprehensions when possible"

Adds create_from_volume test cases

  For tests.test_volumes,
  added 3 test cases:
     create_from_volume
     create_from_volume_with_glance_metadata
     create_from_volume_failed_on_cloning
  refactored an internal api:
     _create_volume_from_image

  The reason not to test a non-exist volume as source_vol is
  the uplayer(volume api) has already checked and ensured the
  source_vol exists

Change-Id: I9c345bc29cae31f1a22236a4849f13d7289ea49e

Use list comprehensions when possible

Replace some for loops with list comprehensions for compacting

Change-Id: Ia80a013735c595d7c4d40172b34beb18b4383ee0

NetApp:iSCSI drivers reserved percent need to change to 0.

The iscsi drivers reserved percent is 100 as of now. This needs
to be changed to 0 for default values. It needs to be corrected
so that filter scheduler does not discard netapp backend.

bug 1182015

Change-Id: Id80584e5d478c83de97735706994206e024f8bf6

Add support for swift user/key authentication

By default the swift backup service uses keystone authentication to
communicate with the swift endpoint. This patch adds three optional
parameters to allow username/key authentication

Change-Id: I54ad7d91785ade5375f317aceb80b3374b59f5fe

Refactor the backup method of SwiftBackupService

Export functionalities of backup to 3 new methods:
prepare_backup backup_chunk and finalize_backup. The original
backup function calls those functions. This allows other
drivers to combine them in a different logic.
e.g for the RBDDriver

Change-Id: I4f335bfcd03cd1da52a9e5c5c689d97581614af6

Merge "NetApp unified driver implementation."

Merge "cinder.backup: Replace 'locals()' with explicit values"

Imported Translations from Transifex

Change-Id: I188f3cd9a415361fa07289977d35406e8f9786f3

NetApp unified driver implementation.

NetApp has growing number of multiple drivers depending on storage families
and technologies. NetApp unified driver simplifies configuration
and provides single entry point for all storage technologies/drivers.
It provides new mechanism to support multiple NetApp technologies
and block drivers related to them. Deprecated 7mode dfm and c mode
webservice based drivers.

blueprint netapp-unified-driver

Change-Id: Ife3cb12ef2256e0124c9a02a968c20a580b5df93

Merge "Add _create_volume to ThinLVMVolumeDriver"

Add _create_volume to ThinLVMVolumeDriver

Previously, _create_volume from LVMISCSIDriver would be called
when the volume manager calls create_volume_from_snapshot.

Fixes bug: 1192601

Change-Id: I5cca287e8204c4647a5f09df961d9a76d0b38c42

Merge "Add build directory to flake8 ignore dirs."

Merge "Add missing extend volume test (rpcapi)."

Merge "Modify check for volume-type-id to a get w/default"

Merge "Don't perform retry_execute in certain cases."

Add the project name into CinderKeystoneContext.

Fixed Bug 1178576.

Change-Id: I35cbd40c6f4aba45aeb8722ae5e10db8349d4510

Add build directory to flake8 ignore dirs.

No need to run flake8 on the build dir, so add it
to ignore list.

Change-Id: I0f6d3d3b889616f12ae2c52bbc65e528f3786996

Add missing extend volume test (rpcapi).

Add test that was missing to test the volume rpcapi call for
extend_volume.

Change-Id: Idffc18cad60afe6e8864fd93d36f9ec23a402b73

fix error class path in logging sample

class path for NullHandler should be
cinder.openstack.common.log.NullHandler.

Fixes bug: 1192765
Change-Id: I552fe25cb89fa911dcbacb733013097b6e3c4ef3

Modify check for volume-type-id to a get w/default

While implementing Fix for a previous bug to enable setting
volume type on a cloned volume and reading it's info we added
a vref['volume_type_id'], problem is that the _do_clone method
is shared for both clone and create from snapshot.

In the create from snapshot case however that key doesn't exist
in the vref (which is a snapshot object).

This change turns this into a key.get with a default return.

Fixes bug: 1192745

Change-Id: I1a6d38de614f54fcaa31ea7cc4250aacc85b0796

Don't perform retry_execute in certain cases.

Certain cases like "LVM not found" and "Insufficient space"
in LVM create/delete shouldn't be retried.

Change-Id: I1a0891f769d37dc858c70b07c838f9fc4111a76c

Merge "Use Python 3.x compatible except construct"

Merge "Implement capability to extend existing volume."

Merge "Update attach status when instance id invalid."

Update attach status when instance id invalid.

In cinder.manager do_attach we have a check to make sure the
supplied instance id is a valid UUID which is great, but if it's
not we just raise and dump out, leaving the volume in an attaching
state.

We should update the status to error_attaching in this case and then
raise/return.

Fixes bug: 1192370

Change-Id: Ia759ea7a387544913953ca84e9ed927480c4edfd

Fix and enable gating on H403

Fix occurrences of
H403 - multi line docstring end on new line

Change-Id: I79a818095e9f64a18ded1686fb152b9d58f3c8b1

Use Python 3.x compatible except construct

Use except x as y:, which works with any
Python version >= 2.6

Change-Id: Ibf0f9aa8fb9725c1c9c00558ec217db96301678f

cinder.backup: Replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source in the cinder backup module, i.e.
cinder/backup/*.py and subdirectories.

Partially fixes: bug #1190748

Change-Id: I3e0f3806030f1813d055135f15e64b5a719970ed

Merge "cinder.schedule: Replace 'locals()' with explicit values"

Merge "Use common.processutils.execute"

Merge "Use Python 3.x compatible octal numbers"

Merge "cinder/.: replace 'locals()' with explicit values"

Merge "Editable default quota support for cinder"

Merge "Imported Translations from Transifex"

cinder/.: replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source directly in the top-level directory
of the cinder module, i.e. cinder/*.py

Partially fixes: bug #1190748

Change-Id: Ice5efc5eda7189969af6a9b722344fad7aa49ff0

Editable default quota support for cinder

Implement blueprint edit-default-quota

DocImpact

Using the class quotas named `default` as the default editable quotas.

We can use the following cinderclient command to update default quota:

cinder quota-class-update default <key> <value>

Change-Id: I9f97506b41157066026dd43163ec4b1827d5b9cf

Merge "Remove usage of locals() for formatting from cinder.volume.*"

Imported Translations from Transifex

Change-Id: I33655108153839dc27a906ad757e5e447a84bcce

Merge "Imported Translations from Transifex"

Use common.processutils.execute

This patch replaces the cinder.utils.execute method
with a wrapper around openstack.common.processutils.execute.

With the wrapper I'm also converting the processutils exceptions
to maintain compatability with the existing exceptions that are
caught/raised in the code.

Change-Id: Ibc36a1e83191e7c888ea62c55d28b7023535d9fa

Merge "Start using Pyflakes"

Remove usage of locals() for formatting from cinder.volume.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: I806c530851527db9da251352be45b97c183241a8

cinder.schedule: Replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source in the cinder scheduler module, i.e.
cinder/scheduler/*.py and subdirectories.

Partially fixes: bug #1190748

Change-Id: I75ad858ee62317bef6c59b9c0896f8a94a989d52

Merge "Remove the 'migrate' option from cinder-manage"

Imported Translations from Transifex

Change-Id: I79a7551378872d60bea0b516dd6ed59bf6cdcc39

Merge "Update and add notifiers in create volume"

Merge "Imported Translations from Transifex"

Merge "Use Python 3.x compatible except: construct"

Merge "Remove usage of locals() for formatting from cinder.api.*"

Merge "Replace utils.to_bytes() with strutils.to_bytes()"

Remove the 'migrate' option from cinder-manage

The 'migrate' option was only appropriate for use migrating
databases for volumes from Nova-Folsom-->Cinder-Folsom.  The
code hasn't been tested since.

Given the above facts, this commit removes the migrate code from
cinder-manage.  The man page for cinder-manage was already
updated to remove the option in a previous commit.

(fixes bug #1187134)

Change-Id: I7bf378cd4b0dd4f6d1bdf475b826a59a31112638

Use Python 3.x compatible octal numbers

Unfortunately, Python 3.x deprecated support for 0755
octal numbers. Use 0o755 instead.

Change-Id: I70403d382d6e6569445b6a99954ea24d436f29ad

Use Python 3.x compatible except: construct

Per (proposed) H203 check, convert all uses of
the deprecated except x,y: construct to except
x as y:, which works with any Python version >= 2.6

Change-Id: I5528dc556f3ef8d356e01d59df04ba57f66c95b7

Update and add notifiers in create volume

1. Change status from 'creating' to 'available' when the volume is created
2. Add a notifier when it fails to create the volume

Implements: notifiers for create volume
Fixes: bug #1190754
Change-Id: I3a7d118630b32cfa7efb6bc8984418ca9836764a