Fix service alive information in os-services extension

Service alive information need to be compared with service_down_time
value and updated accordingly.

Change-Id: I9b9798c108a2da07ab78d5d05cbb51a73b14363e

Merge "Update kombu requirement"

Merge "Register used CONF entries in cinder.api.common.py"

Merge "Replace glance_metadata check with bootable column."

Merge "Imported Translations from Transifex"

Replace glance_metadata check with bootable column.

This patch adds a column to indicate if a volume is bootable or not.

Cinder API V1 was using get.volume_glance_metadata to determine
if a volume was bootable for translate_view.

This is fine until you put a heavy load on the system and things
can fall apart, particularly the backref of the glance meta is no longer
available and the call blows up.  Also this results in a bit of extra
unnecessary data being passed around with every create and get call.
This is especially an issue when creating hundreds or thousands of volumes.
Even better we can now reliably create thousands of volumes.

Fixes bug: 1192390

Change-Id: Idd47a0a8069ee905b81c7aae562b82767ad91930

Merge "Added extra-spec key scoping to the 3PAR drivers"

Imported Translations from Transifex

Change-Id: Ib1f73f11952a60695f49cf8c6cd8fbca9946bd6f

Merge "Do not raise NEW exceptions"

Merge "        cinder.[brick,db,image] Replace 'locals()'"

Merge "Avoid winning the useless use of cat award"

Merge "Fix up trivial H103 license check mismatches"

Avoid winning the useless use of cat award

We can use file operations directly, no need
to run cat(1)

Change-Id: Id8a9f615dfb11d1bd7acd4a7d6f40545c246e5cd

Fix up trivial H103 license check mismatches

Adjust a few trivial typos in the license headers
in the source files.

Change-Id: I907df4ece8e589e930fd788e3f33201537938572

Register used CONF entries in cinder.api.common.py

After change: I2114d5fc45f5299c3b2011270034a3370e0ec388 we
were no longer registering defaults for cinder.api.common.py settings.

The result is that you're unable to run individual unit tests like
cinder.tests.api.test_volume_metadata.py.

Register the needed CONF options and we're all set again.

Fixes bug: 1194315

Change-Id: I6df6c5ec5687c8156a9f3794cc7f04d8d28065d9

Fix and enable gating on H401

H401  docstring should not start with a space

Change-Id: Iaf63af75b0534cae1bac3c931ef5f51f1644aec9

Do not raise NEW exceptions

Raising NEW exception is bad practice, because we lose TraceBack.
So all places like:

except SomeException as e:
    raise e

should be replaced by

except SomeException:
    raise

If we are doing some other actions before reraising we should
store information about exception then do all actions and then
reraise it. This is caused by eventlet bug. It lost information
about exception if it switch threads.

fixes bug 1191730
Change-Id: Ic2be96e9f03d2ca46d060caf6f6f7f713a1d6b82

    cinder.[brick,db,image] Replace 'locals()'

        Replace use of 'locals()' with explicit values.
        Help bring source code into compliance with the
        Cinder Style Commandments:
        https://github.com/openstack/cinder/blob/master/HACKING.rst

        This change covers all affected soruce in the
        cinder brick, db, and image modules, i.e.
        cinder/brick/*.py and subdirectories
        cinder/db/*.py and subdirectories
        cinder/image/*.py and subdirectories

        Partially fixes: bug #1190758

Change-Id: Ibc111ab5ef53a2316e868c9cba8b94b323ba31c0

Merge "Add support for swift user/key authentication"

Merge "Remove usage of locals() for formatting from cinder.tests.*"

Update kombu requirement

The minimum version of kombu in the requirements
list has been updated to ensure that compatible
kombu and msgpack libraries are used across all
projects. This update also requires a bump for
anyjson.

Addresses bug #1134575

Change-Id: Ic33a5bbc8d1cdf1effd41c1c2aebc7ef6988c39e
Signed-off-by: Doug Hellmann <doug.hellmann@dreamhost.com>

Merge "Add the project name into CinderKeystoneContext."

Remove usage of locals() for formatting from cinder.tests.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: I67aa5bff650b55484ca76adf5be8555f72a4c426

Merge "Adds create_from_volume test cases"

Merge "NetApp:iSCSI drivers reserved percent need to change to 0."

Merge "Use list comprehensions when possible"

Adds create_from_volume test cases

  For tests.test_volumes,
  added 3 test cases:
     create_from_volume
     create_from_volume_with_glance_metadata
     create_from_volume_failed_on_cloning
  refactored an internal api:
     _create_volume_from_image

  The reason not to test a non-exist volume as source_vol is
  the uplayer(volume api) has already checked and ensured the
  source_vol exists

Change-Id: I9c345bc29cae31f1a22236a4849f13d7289ea49e

Use list comprehensions when possible

Replace some for loops with list comprehensions for compacting

Change-Id: Ia80a013735c595d7c4d40172b34beb18b4383ee0

NetApp:iSCSI drivers reserved percent need to change to 0.

The iscsi drivers reserved percent is 100 as of now. This needs
to be changed to 0 for default values. It needs to be corrected
so that filter scheduler does not discard netapp backend.

bug 1182015

Change-Id: Id80584e5d478c83de97735706994206e024f8bf6

Add support for swift user/key authentication

By default the swift backup service uses keystone authentication to
communicate with the swift endpoint. This patch adds three optional
parameters to allow username/key authentication

Change-Id: I54ad7d91785ade5375f317aceb80b3374b59f5fe

Refactor the backup method of SwiftBackupService

Export functionalities of backup to 3 new methods:
prepare_backup backup_chunk and finalize_backup. The original
backup function calls those functions. This allows other
drivers to combine them in a different logic.
e.g for the RBDDriver

Change-Id: I4f335bfcd03cd1da52a9e5c5c689d97581614af6

Merge "NetApp unified driver implementation."

Merge "cinder.backup: Replace 'locals()' with explicit values"

Imported Translations from Transifex

Change-Id: I188f3cd9a415361fa07289977d35406e8f9786f3

NetApp unified driver implementation.

NetApp has growing number of multiple drivers depending on storage families
and technologies. NetApp unified driver simplifies configuration
and provides single entry point for all storage technologies/drivers.
It provides new mechanism to support multiple NetApp technologies
and block drivers related to them. Deprecated 7mode dfm and c mode
webservice based drivers.

blueprint netapp-unified-driver

Change-Id: Ife3cb12ef2256e0124c9a02a968c20a580b5df93

Merge "Add _create_volume to ThinLVMVolumeDriver"

Add _create_volume to ThinLVMVolumeDriver

Previously, _create_volume from LVMISCSIDriver would be called
when the volume manager calls create_volume_from_snapshot.

Fixes bug: 1192601

Change-Id: I5cca287e8204c4647a5f09df961d9a76d0b38c42

Merge "Add build directory to flake8 ignore dirs."

Merge "Add missing extend volume test (rpcapi)."

Merge "Modify check for volume-type-id to a get w/default"

Merge "Don't perform retry_execute in certain cases."

Add the project name into CinderKeystoneContext.

Fixed Bug 1178576.

Change-Id: I35cbd40c6f4aba45aeb8722ae5e10db8349d4510

Add build directory to flake8 ignore dirs.

No need to run flake8 on the build dir, so add it
to ignore list.

Change-Id: I0f6d3d3b889616f12ae2c52bbc65e528f3786996

Add missing extend volume test (rpcapi).

Add test that was missing to test the volume rpcapi call for
extend_volume.

Change-Id: Idffc18cad60afe6e8864fd93d36f9ec23a402b73

fix error class path in logging sample

class path for NullHandler should be
cinder.openstack.common.log.NullHandler.

Fixes bug: 1192765
Change-Id: I552fe25cb89fa911dcbacb733013097b6e3c4ef3

Modify check for volume-type-id to a get w/default

While implementing Fix for a previous bug to enable setting
volume type on a cloned volume and reading it's info we added
a vref['volume_type_id'], problem is that the _do_clone method
is shared for both clone and create from snapshot.

In the create from snapshot case however that key doesn't exist
in the vref (which is a snapshot object).

This change turns this into a key.get with a default return.

Fixes bug: 1192745

Change-Id: I1a6d38de614f54fcaa31ea7cc4250aacc85b0796

Don't perform retry_execute in certain cases.

Certain cases like "LVM not found" and "Insufficient space"
in LVM create/delete shouldn't be retried.

Change-Id: I1a0891f769d37dc858c70b07c838f9fc4111a76c

Merge "Use Python 3.x compatible except construct"

Merge "Implement capability to extend existing volume."

Merge "Update attach status when instance id invalid."

Update attach status when instance id invalid.

In cinder.manager do_attach we have a check to make sure the
supplied instance id is a valid UUID which is great, but if it's
not we just raise and dump out, leaving the volume in an attaching
state.

We should update the status to error_attaching in this case and then
raise/return.

Fixes bug: 1192370

Change-Id: Ia759ea7a387544913953ca84e9ed927480c4edfd

Fix and enable gating on H403

Fix occurrences of
H403 - multi line docstring end on new line

Change-Id: I79a818095e9f64a18ded1686fb152b9d58f3c8b1

Use Python 3.x compatible except construct

Use except x as y:, which works with any
Python version >= 2.6

Change-Id: Ibf0f9aa8fb9725c1c9c00558ec217db96301678f

cinder.backup: Replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source in the cinder backup module, i.e.
cinder/backup/*.py and subdirectories.

Partially fixes: bug #1190748

Change-Id: I3e0f3806030f1813d055135f15e64b5a719970ed

Merge "cinder.schedule: Replace 'locals()' with explicit values"

Merge "Use common.processutils.execute"

Merge "Use Python 3.x compatible octal numbers"

Merge "cinder/.: replace 'locals()' with explicit values"

Merge "Editable default quota support for cinder"

Merge "Imported Translations from Transifex"

cinder/.: replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source directly in the top-level directory
of the cinder module, i.e. cinder/*.py

Partially fixes: bug #1190748

Change-Id: Ice5efc5eda7189969af6a9b722344fad7aa49ff0

Editable default quota support for cinder

Implement blueprint edit-default-quota

DocImpact

Using the class quotas named `default` as the default editable quotas.

We can use the following cinderclient command to update default quota:

cinder quota-class-update default <key> <value>

Change-Id: I9f97506b41157066026dd43163ec4b1827d5b9cf

Merge "Remove usage of locals() for formatting from cinder.volume.*"

Imported Translations from Transifex

Change-Id: I33655108153839dc27a906ad757e5e447a84bcce

Merge "Imported Translations from Transifex"

Use common.processutils.execute

This patch replaces the cinder.utils.execute method
with a wrapper around openstack.common.processutils.execute.

With the wrapper I'm also converting the processutils exceptions
to maintain compatability with the existing exceptions that are
caught/raised in the code.

Change-Id: Ibc36a1e83191e7c888ea62c55d28b7023535d9fa

Merge "Start using Pyflakes"

Remove usage of locals() for formatting from cinder.volume.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: I806c530851527db9da251352be45b97c183241a8

cinder.schedule: Replace 'locals()' with explicit values

Help bring source code into compliance with the Cinder Style Commandments:
https://github.com/openstack/cinder/blob/master/HACKING.rst

This change covers all affected source in the cinder scheduler module, i.e.
cinder/scheduler/*.py and subdirectories.

Partially fixes: bug #1190748

Change-Id: I75ad858ee62317bef6c59b9c0896f8a94a989d52

Merge "Remove the 'migrate' option from cinder-manage"

Imported Translations from Transifex

Change-Id: I79a7551378872d60bea0b516dd6ed59bf6cdcc39

Merge "Update and add notifiers in create volume"

Merge "Imported Translations from Transifex"

Merge "Use Python 3.x compatible except: construct"

Merge "Remove usage of locals() for formatting from cinder.api.*"

Merge "Replace utils.to_bytes() with strutils.to_bytes()"

Remove the 'migrate' option from cinder-manage

The 'migrate' option was only appropriate for use migrating
databases for volumes from Nova-Folsom-->Cinder-Folsom.  The
code hasn't been tested since.

Given the above facts, this commit removes the migrate code from
cinder-manage.  The man page for cinder-manage was already
updated to remove the option in a previous commit.

(fixes bug #1187134)

Change-Id: I7bf378cd4b0dd4f6d1bdf475b826a59a31112638

Use Python 3.x compatible octal numbers

Unfortunately, Python 3.x deprecated support for 0755
octal numbers. Use 0o755 instead.

Change-Id: I70403d382d6e6569445b6a99954ea24d436f29ad

Use Python 3.x compatible except: construct

Per (proposed) H203 check, convert all uses of
the deprecated except x,y: construct to except
x as y:, which works with any Python version >= 2.6

Change-Id: I5528dc556f3ef8d356e01d59df04ba57f66c95b7

Update and add notifiers in create volume

1. Change status from 'creating' to 'available' when the volume is created
2. Add a notifier when it fails to create the volume

Implements: notifiers for create volume
Fixes: bug #1190754
Change-Id: I3a7d118630b32cfa7efb6bc8984418ca9836764a

Imported Translations from Transifex

Change-Id: Ifdb8f90abd6ece7e3cc47e27c0c4e8fd29e89b4d

Fix up the test framework

When trying to test a bug the cinder test framework was
running all the tests when I just wanted one to run.

Instead of fixing this problem in nose I tried to move cinder to
testr. I copied a fair bit of code from nova to get this to work.
This way at least if some one makes an improvement to the nova
test framework cinder can improve here also.

Note that now all the tests a thread safe. Added a concurrency argument
to run_tests.sh that defaults to 1. You can specify your own level then
and take the risk of intermittent failures. Tell jenkins to use a
concurrency level of 1 to avoid failing gate jobs.

Note One of these tests is broken and I have disabled for now. There
is a bug for this here: https://bugs.launchpad.net/cinder/+bug/1173266

Note: cinder.api.openstack.FaultWrapper is deprecated and is causing
a circular import when I try and import cinder.tests.test_wsgi. This
is fixed by only importing the openstack.FaultWrapper during the
__init__ phase of the wsgi middleware.

Fixes: bug 1183434
Fixes: bug 1177924
Change-Id: I5e10b55c5b236eb81a6a3e0e9ea56af8ca4ef8e1

Remove usage of locals() for formatting from cinder.api.*

Using of locals() for formatting string is a nasty thing because:
1) It is not so clear as using explicit dicts
2) It could produce hidden errors during refactoring
3) Changing name of variable causes change in message
4) Creating a lot of unused variables

Fix bug 1171936

Change-Id: Id6a900899db328be067b8139a49c12ce802dd415

Implement capability to extend existing volume.

This patch adds the core components to implement extending
the size of an existing available volume.

Volume status must be available, and the format is:
    extend <vol-id> <new-size>

where new-size must be > current size.

Adding support to drivers will be handled in follow up
patches for each of the existing drivers.

Implements blueprint: volume-resize

Change-Id: I40026083e564ea2074757e11e13cd07cdae3e6cc

Merge "Flatten Volume from Snapshot"

Merge "Imported Translations from Transifex"

Merge "Replace FLAGS with cfg.CONF in volume"

Replace utils.to_bytes() with strutils.to_bytes()

The to_bytes() function have moved to oslo.
Replaced/removed the to_bytes() function with the one in strutils.

Change-Id: I53947b7a333057fec738a02f5643be59e563290d

Merge "Fix various Sphinx warnings"

Flatten Volume from Snapshot

Implements: blueprint flatten-volume-from-snapshot

Change-Id: I77b0a9bf8cfbe4881a75909d2749d0c3f17561c9

Merge "Replace FLAGS with cfg.CONF in other modules, unless tests"

Imported Translations from Transifex

Change-Id: I0a33030fb608d564eb0717f5107553254c888e78

Merge "Fix some unittest cases failed on osx"

Replace FLAGS with cfg.CONF in volume

Replace all the FLAGS with cfg.CONF in cinder/volume
Large commit was split into several parts

Change-Id: I435fe91f414fda027531076bdbcb6660a3c635af
Fixes: bug #1182037

Replace FLAGS with cfg.CONF in other modules, unless tests

Replace all the FLAGS with cfg.CONF in cinder/
Large commit was split into several parts

Change-Id: Iacd645997a0c50aa47079c856e1b4e33e3001243
Fixes: bug #1182037

Merge "Fixes 3PAR drivers terminate_connection issue."

Merge "Elevate volume/snap "is busy" log message for volume/snap_delete"

Merge "Added policy check for backup operations"

Elevate volume/snap "is busy" log message for volume/snap_delete

If deletion fails because the volume is busy, log at "error" level
rather than "debug" to ensure that the error is logged and visible
to a user.

Change-Id: I04031ee6b1f6647a126baa8a29c15a00b84b27b1

Merge "Update to the latest stevedore"