Merge "cinder.backup: Replace 'locals()' with explicit values"

Imported Translations from Transifex

Change-Id: I188f3cd9a415361fa07289977d35406e8f9786f3

Merge "Add _create_volume to ThinLVMVolumeDriver"

Add _create_volume to ThinLVMVolumeDriver

Previously, _create_volume from LVMISCSIDriver would be called
when the volume manager calls create_volume_from_snapshot.

Fixes bug: 1192601

Change-Id: I5cca287e8204c4647a5f09df961d9a76d0b38c42

Merge "Add build directory to flake8 ignore dirs."

Merge "Add missing extend volume test (rpcapi)."

Merge "Modify check for volume-type-id to a get w/default"

Merge "Don't perform retry_execute in certain cases."

Add build directory to flake8 ignore dirs.

No need to run flake8 on the build dir, so add it
to ignore list.

Change-Id: I0f6d3d3b889616f12ae2c52bbc65e528f3786996

Add missing extend volume test (rpcapi).

Add test that was missing to test the volume rpcapi call for
extend_volume.

Change-Id: Idffc18cad60afe6e8864fd93d36f9ec23a402b73

fix error class path in logging sample

class path for NullHandler should be
cinder.openstack.common.log.NullHandler.

Fixes bug: 1192765
Change-Id: I552fe25cb89fa911dcbacb733013097b6e3c4ef3

Modify check for volume-type-id to a get w/default

While implementing Fix for a previous bug to enable setting
volume type on a cloned volume and reading it's info we added
a vref['volume_type_id'], problem is that the _do_clone method
is shared for both clone and create from snapshot.

In the create from snapshot case however that key doesn't exist
in the vref (which is a snapshot object).

This change turns this into a key.get with a default return.

Fixes bug: 1192745

Change-Id: I1a6d38de614f54fcaa31ea7cc4250aacc85b0796

Don't perform retry_execute in certain cases.

Certain cases like "LVM not found" and "Insufficient space"
in LVM create/delete shouldn't be retried.

Change-Id: I1a0891f769d37dc858c70b07c838f9fc4111a76c

Merge "Use Python 3.x compatible except construct"

Merge "Implement capability to extend existing volume."

Merge "Update attach status when instance id invalid."

Update attach status when instance id invalid.

In cinder.manager do_attach we have a check to make sure the
supplied instance id is a valid UUID which is great, but if it's
not we just raise and dump out, leaving the volume in an attaching
state.

We should update the status to error_attaching in this case and then
raise/return.

Fixes bug: 1192370

Change-Id: Ia759ea7a387544913953ca84e9ed927480c4edfd

Fix and enable gating on H403

Fix occurrences of
H403 - multi line docstring end on new line

Change-Id: I79a818095e9f64a18ded1686fb152b9d58f3c8b1

Use Python 3.x compatible except construct

Use except x as y:, which works with any
Python version >= 2.6

Change-Id: Ibf0f9aa8fb9725c1c9c00558ec217db96301678f

cinder.backup: Replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source in the cinder backup module, i.e.
cinder/backup/*.py and subdirectories.

Partially fixes: bug #1190748

Change-Id: I3e0f3806030f1813d055135f15e64b5a719970ed

Merge "cinder.schedule: Replace 'locals()' with explicit values"

Merge "Use common.processutils.execute"

Merge "Use Python 3.x compatible octal numbers"

Merge "cinder/.: replace 'locals()' with explicit values"

Merge "Editable default quota support for cinder"

Merge "Imported Translations from Transifex"

cinder/.: replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source directly in the top-level directory
of the cinder module, i.e. cinder/*.py

Partially fixes: bug #1190748

Change-Id: Ice5efc5eda7189969af6a9b722344fad7aa49ff0

Editable default quota support for cinder

Implement blueprint edit-default-quota

DocImpact

Using the class quotas named `default` as the default editable quotas.

We can use the following cinderclient command to update default quota:

cinder quota-class-update default <key> <value>

Change-Id: I9f97506b41157066026dd43163ec4b1827d5b9cf

Merge "Remove usage of locals() for formatting from cinder.volume.*"

Imported Translations from Transifex

Change-Id: I33655108153839dc27a906ad757e5e447a84bcce

Merge "Imported Translations from Transifex"

Use common.processutils.execute

This patch replaces the cinder.utils.execute method
with a wrapper around openstack.common.processutils.execute.

With the wrapper I'm also converting the processutils exceptions
to maintain compatability with the existing exceptions that are
caught/raised in the code.

Change-Id: Ibc36a1e83191e7c888ea62c55d28b7023535d9fa

Merge "Start using Pyflakes"

Remove usage of locals() for formatting from cinder.volume.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: I806c530851527db9da251352be45b97c183241a8

cinder.schedule: Replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source in the cinder scheduler module, i.e.
cinder/scheduler/*.py and subdirectories.

Partially fixes: bug #1190748

Change-Id: I75ad858ee62317bef6c59b9c0896f8a94a989d52

Merge "Remove the 'migrate' option from cinder-manage"

Imported Translations from Transifex

Change-Id: I79a7551378872d60bea0b516dd6ed59bf6cdcc39

Merge "Update and add notifiers in create volume"

Merge "Imported Translations from Transifex"

Merge "Use Python 3.x compatible except: construct"

Merge "Remove usage of locals() for formatting from cinder.api.*"

Merge "Replace utils.to_bytes() with strutils.to_bytes()"

Remove the 'migrate' option from cinder-manage

The 'migrate' option was only appropriate for use migrating
databases for volumes from Nova-Folsom-->Cinder-Folsom.  The
code hasn't been tested since.

Given the above facts, this commit removes the migrate code from
cinder-manage.  The man page for cinder-manage was already
updated to remove the option in a previous commit.

(fixes bug #1187134)

Change-Id: I7bf378cd4b0dd4f6d1bdf475b826a59a31112638

Use Python 3.x compatible octal numbers

Unfortunately, Python 3.x deprecated support for 0755
octal numbers. Use 0o755 instead.

Change-Id: I70403d382d6e6569445b6a99954ea24d436f29ad

Use Python 3.x compatible except: construct

Per (proposed) H203 check, convert all uses of
the deprecated except x,y: construct to except
x as y:, which works with any Python version >= 2.6

Change-Id: I5528dc556f3ef8d356e01d59df04ba57f66c95b7

Update and add notifiers in create volume

1. Change status from 'creating' to 'available' when the volume is created
2. Add a notifier when it fails to create the volume

Implements: notifiers for create volume
Fixes: bug #1190754
Change-Id: I3a7d118630b32cfa7efb6bc8984418ca9836764a

Imported Translations from Transifex

Change-Id: Ifdb8f90abd6ece7e3cc47e27c0c4e8fd29e89b4d

Fix up the test framework

When trying to test a bug the cinder test framework was
running all the tests when I just wanted one to run.

Instead of fixing this problem in nose I tried to move cinder to
testr. I copied a fair bit of code from nova to get this to work.
This way at least if some one makes an improvement to the nova
test framework cinder can improve here also.

Note that now all the tests a thread safe. Added a concurrency argument
to run_tests.sh that defaults to 1. You can specify your own level then
and take the risk of intermittent failures. Tell jenkins to use a
concurrency level of 1 to avoid failing gate jobs.

Note One of these tests is broken and I have disabled for now. There
is a bug for this here: https://bugs.launchpad.net/cinder/+bug/1173266

Note: cinder.api.openstack.FaultWrapper is deprecated and is causing
a circular import when I try and import cinder.tests.test_wsgi. This
is fixed by only importing the openstack.FaultWrapper during the
__init__ phase of the wsgi middleware.

Fixes: bug 1183434
Fixes: bug 1177924
Change-Id: I5e10b55c5b236eb81a6a3e0e9ea56af8ca4ef8e1

Remove usage of locals() for formatting from cinder.api.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: Id6a900899db328be067b8139a49c12ce802dd415

Implement capability to extend existing volume.

This patch adds the core components to implement extending
the size of an existing available volume.

Volume status must be available, and the format is:
    extend <vol-id> <new-size>

where new-size must be > current size.

Adding support to drivers will be handled in follow up
patches for each of the existing drivers.

Implements blueprint: volume-resize

Change-Id: I40026083e564ea2074757e11e13cd07cdae3e6cc

Merge "Flatten Volume from Snapshot"

Merge "Imported Translations from Transifex"

Merge "Replace FLAGS with cfg.CONF in volume"

Replace utils.to_bytes() with strutils.to_bytes()

The to_bytes() function have moved to oslo.
Replaced/removed the to_bytes() function with the one in strutils.

Change-Id: I53947b7a333057fec738a02f5643be59e563290d

Merge "Fix various Sphinx warnings"

Flatten Volume from Snapshot

Implements: blueprint flatten-volume-from-snapshot

Change-Id: I77b0a9bf8cfbe4881a75909d2749d0c3f17561c9

Merge "Replace FLAGS with cfg.CONF in other modules, unless tests"

Imported Translations from Transifex

Change-Id: I0a33030fb608d564eb0717f5107553254c888e78

Merge "Fix some unittest cases failed on osx"

Replace FLAGS with cfg.CONF in volume

Replace all the FLAGS with cfg.CONF in cinder/volume
Large commit was split into several parts

Change-Id: I435fe91f414fda027531076bdbcb6660a3c635af
Fixes: bug #1182037

Replace FLAGS with cfg.CONF in other modules, unless tests

Replace all the FLAGS with cfg.CONF in cinder/
Large commit was split into several parts

Change-Id: Iacd645997a0c50aa47079c856e1b4e33e3001243
Fixes: bug #1182037

Merge "Fixes 3PAR drivers terminate_connection issue."

Merge "Elevate volume/snap "is busy" log message for volume/snap_delete"

Merge "Added policy check for backup operations"

Elevate volume/snap "is busy" log message for volume/snap_delete

If deletion fails because the volume is busy, log at "error" level
rather than "debug" to ensure that the error is logged and visible
to a user.

Change-Id: I04031ee6b1f6647a126baa8a29c15a00b84b27b1

Merge "Update to the latest stevedore"

Merge "Imported Translations from Transifex"

Merge "Merge from oslo-incubator"

Imported Translations from Transifex

Change-Id: Idadd30ca29eaf2da44c670722060b28ad8028c4a

Fixes 3PAR drivers terminate_connection issue.

3PAR drivers now default the third parameter when terminate_connection
is called after copying a volume to image.
Fixes: bug #1190056
Change-Id: Icadacc9e083c6e97a919857d735ec16068d0f0c6

Merge from oslo-incubator

Change-Id: Ie5d9d2c1938e58125b58e64a3363f1e1e8ce2ba2

Merge "Re-set default sql_connection and sqlite_db."

Merge "Remove direct call to utils.execute."

Added policy check for backup operations

This patch adds policy checks for operations in the backup extension
consisting of create, delete, restore, get and get_all.  It also adds
policies into the policy.json files in the tests and etc directories.

Fixes Bug: 1188386

Change-Id: I847640051c5d25cebf06b8658b27d4b82603d796

Update to the latest stevedore

Use a version of stevedore that does not try to
install distribute.

The requirements change is in
https://review.openstack.org/#/c/32738/

Change-Id: I74bc6013710965401b7e64abc8827a46c817fd56
Signed-off-by: Doug Hellmann <doug.hellmann@dreamhost.com>

Merge "Remove explicit distribute depend."

Fix various Sphinx warnings

Change-Id: I68c9ff6fdf9115d1abb0fb756eb806b92af29286

Merge "Fix the after subscription size checks."

Merge "Replace functions in utils with oslo.fileutils"

Fix some unittest cases failed on osx

dd shouldn't actually be called in the unit tests to begin with. Stub these
improper calls out.

Fixes bug: 1188972

Change-Id: I2966382a66eebbf49ce74e091e444a91ab274869

Merge "Replace FLAGS with cfg.CONF in tests"

Merge "Removing service_* options from authtoken"

Merge "Allow disabling ssl compression for glance client"

Merge "Add missing attributes to xml deserializer for volume request"

Merge "Add missing exception from volume/api.py"

Fix the after subscription size checks.

It seems like the calculation was incorrect previously.

Fixes bug: #1190094

Change-Id: Iaec3c2ece6fc80e6bb87fde0a408608825212b49

Merge "Add policy checking for transfer create/accept."

Re-set default sql_connection and sqlite_db.

The defaults seem to have been lost in the migration to Oslo's
DB code.  Re-set them to pre-grizzly defaults.

Fixes bug: #1190036

Change-Id: I7fca70e67d67905b15c2faaa745a86e957bec06e

Merge "Fix LVM logging error."

Merge "Add availability zone checking in the api service"

Remove explicit distribute depend.

Causes issues with the recent re-merge with setuptools. Advice from
upstream is to stop doing explicit depends.

Change-Id: Ib1a81596971a1db38f11bc5afbe98c9da68c938f

Add missing exception from volume/api.py

Add InvalidSourceVolume exception that is used in the volume/api.py
without being defined.

Fix bug 1189987

Change-Id: Ifcea41e882e259416c91c91d9b202b3a939eb12f

Merge "Integrate oslo's periodic tasks."

Allow disabling ssl compression for glance client

Add a new parameter 'glance_api_ssl_compression' which allows
disabling ssl layer compression negotiation for glance requests.

This may improve data throughput, eg when high network bandwidth is
available and you are using already compressed image formats such as
qcow2 .

Addresses bug 1189903.

Change-Id: I180501cc25a1ea177d0d8c52a879682b8a3921c6

Add availability zone checking in the api service

This patch adds availability zone checking for api request period.
If the availability zone the request specified isn't exist in the
Cinder services, the response returned to the user will give an
error immediately.

Fixes bug: 1185714

Change-Id: I842eec7b500c3ff6a7e5d8fc5e397d61617b0eea

Add missing attributes to xml deserializer for volume request

The v1 and v2 xml deserializers for volume requests are missing
support for the imageRef, snapshot_id and source_volid attributes
resulting in xml format create volume requests which specify any
of those attributes being silently ignored. This fix adds support
to v1 and v2 and extends the volumes unit tests to check for this.
Also includes some minor debug logging enhancements to make this
easier to find in future.

Fixes bug #1188581

Change-Id: Ib661c4a961c57e682e0e4e6db98d863b3a99cf71

Merge "Replace FLAGS with cfg.CONF in api"

Integrate oslo's periodic tasks.

Cinder use old style invocation of periodic tasks, which not based on oslo library.
It will be better to use main idea of periodic tasks for all services.

Blueprint: oslo-periodic-tasks

Change-Id: I6ac1ca28abefcc9d0bbfd41873c8f57d40b4a97a

Fix LVM logging error.

Missed a %s, which caused an exception.

Change-Id: Ib6fcabebdcf70430f3e46095da6c5e13b3e3a4ff
Fixes: bug 1189455

Merge "NFS drivers don't honor vm size with volume from an image"