LeftHand: Add default SSH timeout and key values

Currently if ssh_conn_timeout or san_private_key is not specified
in the remote_array object, the client creation fails. This should not
be the case. Instead, we can add default values to allow the creation
to succeed.

In addition, this patch removes some redudent lines of code and
moves a call to a more logical place.

Change-Id: I0bb32c2ea9a16ea568059ff7a5a5f07a95c718eb
Closes-Bug: #1556331

Merge "Fix ScaleIO driver does not honor clone size"

Merge "Host selection in backup service"

Merge "Imported Translations from Zanata"

Merge "Remove circular import to fix config generation"

Merge "Add the key 'replication' and set the correct 'replication_status'"

Merge "Trival: Remove 'MANIFEST.in'"

Remove circular import to fix config generation

Patch https://review.openstack.org/278354 created a circular import when
added an "import cinder.db" line to cinder/api/common.py since
cinder/db/api.py imports cinder.api.common back, which breaks genconfig.

Change-Id: Ic60866822e74687101a3885f6000f89d901bb17a
Closes-Bug: #1556889

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ie8b2605ed4e5a1cb5c12f4011f6fdf1fa11783e2

Merge "DRBD driver: resize volume if cloned image is larger"

Merge "Delete deprecated configuration in NFS tests"

Fix ScaleIO driver does not honor clone size

Fixed a bug that when creating a volume from source the driver didn't honor the new volume size.
Added unit test.

Change-Id: I3a39953002432ac70a4ee2eccedd6737d9c3b019
Closes-Bug: #1554777

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Ia0b6cf6b58b5798254271d2f5bf8e19243375a87

Merge "Imported Translations from Zanata"

Merge "Remove remaining oslo-incubator code from Cinder"

Delete deprecated configuration in NFS tests

Change-Id: Ica13ca935fdee62511c85f3d9f62b29955653845

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Idcfbb5ad74036755b51e6c633b0ffa79f4495512

Merge "Allow clone volume with different size"

Merge "register the config generator default hook with the right name"

Merge "Fixup stats key for replication in init_host_with_pc"

Merge "Remove empty directories and unused files from unit tests"

Merge "RBD: remove duplicate clone test"

Merge "Dell SC: Incorrect values in REST API Login call"

Merge "Fixup for Pure drivers cheesecake replication setup"

Merge "Fix for Pure drivers not checking full client version"

Fixup stats key for replication in init_host_with_pc

We were looking for just ‘replication’ in stats, but that key isn’t
used by anyone and would always be false. We instead want to be keying
off of just replication_enabled.

Change-Id: I8f4ef8d5c6594c1548958ebac2ff63b79429cd0b
Closes-Bug: #1556315

Merge "Cleanup 3PAR/LeftHand failover_host exceptions"

Add the key 'replication' and set the correct 'replication_status'

This patch fixes the minor issues following the implementation
of replication v2.1 for storwize driver. It adds the key
'replication' to make sure of that the cinder-volume service
can have a successful restart and sets the 'replication_status
'back to enabled for failback.

Change-Id: I1ddb715e72336378434b7ee5ffe617cbb94cd16b
Closes-Bug: #1556285

register the config generator default hook with the right name

No config generator hooks should ever be registered with a name that
belongs to another project. In this case, using oslo.middleware.cors
means that *every other project* that loads the middleware gets this
application's defaults when the generator is run on a system with
everything installed (such as a dev box with devstack). Use the name
of the app instead, to ensure that the defaults are only set when this
app's sample config and documentation are being generated.

Change-Id: I6a8c7d44b9db9325003ff2fdb667b0ced7739e96
Signed-off-by: Doug Hellmann <doug@doughellmann.com>

Merge "Fix 500 error if 'offset' is out of range"

Fix for Pure drivers not checking full client version

We were only looking at major and minor versions… we needed to be
looking at the whole thing. This change allows for checking against
all three version parts, and for even differing schemes as time goes on.

Change-Id: Ib369d1d67fab5ba07d66c60f3fbc9c02afcbf3d4
Closes-Bug: #1556234

Fixup for Pure drivers cheesecake replication setup

We had a remnant of the past replication design left behind in the setup
methods which was causing the arrays to be setup with bi-directional
replication. With the switch to cheesecake we do not need the secondary
arrays to be replicating to the primary. This change removes the step
which would configure that.

Change-Id: I5a0472bec8ccdf3af1e7ce42163b42289b1810bb
Closes-Bug: #1556211

Merge "Use googleapiclient import instead of apiclient"

Merge "Block subtractive operations in DB migrations"

Merge "EMC VMAX - SnapVX and other snapshot improvements"

Remove empty directories and unused files from unit tests

1. Files from cinder/tests/unit/var are not used anywhere
2. cinder/tests/unit/wsgi/ and cinder/tests/unit/xenapi/ contain only
empty __init__.py files

Change-Id: I14e1b1cc345f84db007819349d9671dd9651cf11

Cleanup 3PAR/LeftHand failover_host exceptions

The 3PAR and LeftHand drivers were raising the wrong exception,
VolumeBackendAPIException, instead of InvalidReplicationTarget,
which was putting the host in an unrecoverable state,

Change-Id: I1c0ee4adb399dd1e89669477c53f79332a9f79ef
Closes-Bug: #1556150

Merge "VNX: Update replication for v2.1"

Merge "Enable api.view.test_versions unit tests"

Merge "Imported Translations from Zanata"

Merge "rbd: Change capacity calculation from integer to float"

Merge "Pass new volume size when cloning (blockbridge)"

Merge "Allow api_version_request.matches to accept a string"

Use googleapiclient import instead of apiclient

apiclient alias will be removed upstream in the future according
to the changelog.

Change-Id: I896a52c5e17632ab7a65cf0f9b894cccf0f5687b
Closes-Bug: #1556020

Enable api.view.test_versions unit tests

This commit adds a init file so that this unit test module gets run
and modifies test_generate_href_defaults so that it works with our
codebase.

Change-Id: I39bbdb0ca5da5dd5867923491ca8e843289a476a

Allow clone volume with different size

Previously when cloning new volume, VNX driver ignores the size
of new volume, and take the size of source volume.

This fix will allow new size to be set for new cloned volume.

Closes-bug: #1554776
Change-Id: Ib75e1b5caa434746864b66bb79b532120aed0f20

DRBD driver: resize volume if cloned image is larger

Extend volume if during create_cloned_volume() the new
volume is larger than the image it was cloned from.

Closes-Bug: #1554756

Change-Id: Id43e18c32c241a30cb35effe1fab8effe4517ba9
Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Fix 500 error if 'offset' is out of range

If large value is passed as offset to snapshots, volumes,
backups, consistencygroups and qos_specs list api then it
throws 500 internal server error.

Moved existing validate_integer() method from
cinder.api.openstack.wsgi.Controller to cinder.utils so
that it can also be used for validating offset param for
integer value in _get_offset_param() method and return 400
error if value is out of range.

Please refer:
https://bugs.launchpad.net/cinder/+bug/1535708/comments/1

APIImpact: Return 400 status code if offset is out of range.

Closes-Bug: #1535708
Change-Id: I07a5292645f24c381217d43b71510b3352964b8b

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I46c051ac9f979b1caeacc64a3331d817b55194e1

Merge "Move replication_status update to init_with_rpc"

Merge "Add release note for delete volume with snaps"

Merge "Fix up failover_host exceptions to preserve states"

Merge "Permit volume type operations for policy authorized users"

Merge "Correcting thin provisioning behavior"

Fix up failover_host exceptions to preserve states

UnableToFailOver and InvalidReplicationTarget do not save the state
of replication_status currently. This patch adds host.save() in
order to write the change to the db.

In addition, the manager should honor the current replication state
of the host when InvalidReplicationTarget is raised instead of forcing
it into 'enabled' state.

Change-Id: I01af6d70539e518936c74e425c3fad60f4b94581

Merge "Dell SC: Active_backend_id wrong type"

Add release note for delete volume with snaps

Blueprint: del-vols-with-snaps

Change-Id: Iaa2c2c05986575f2067ddcb4ad14cdb0e028a09b

RBD: remove duplicate clone test

A more robust test for clone() recently added and there is no need to
keep the lesser (and nearly duplicate) version.

Change-Id: I34675f40b2bfdc709d985415454881b502d0436f

EMC VMAX - SnapVX and other snapshot improvements

Using snapVX VMAX3 for creating snapshot and volume from
snapshot. Improvements in wait_for_sync to determine when
the max number of retries has been reached.

Change-Id: Ifc5f80637ef7b86a6d3719b3a1b152556c6919a6
Closes-Bug: #1522821

Move replication_status update to init_with_rpc

We were using host_init to read replication_status from the
driver and update the service entry in the DB.  It turns out
that on a fresh install this doesn't actually work, because
while we have multiple init methods for the backend, the
Service entry isn't actually created in a fresh deploy until
AFTER init_host.  The result was that in some cases we were
trying to update a column on a non-existent Service in the
DataBase.

This patch moves the replication_status updates for the
service into the init_with_rpc method.  That method was
just a noop stub in the parent manager class, so we just
implement it in cinder.volume.manager and do what we need
with the replication update info.

Change-Id: I18b2658e2f93959f74377ccb86ce8b01b6970c60
Closes-Bug: #1555370

Merge "NetApp: volume resize using clone fails with QoS"

Merge "Show qos_specs_id based on policy"

Merge "Switch failover-host from rpc call to cast"

Merge "DRBD: Policy-based waiting for completion"

Merge "Add volume_type to volume object expected_attrs"

Merge "Moved CORS middleware configuration into oslo-config-generator"

Permit volume type operations for policy authorized users

Currently, following volume type operations are not
permitted for non admin users because these db operations
require admin context.

* create
* update
* delete
* type-access-add
* type-access-remove

In order to allow a cloud operator to use the policy based
user access control for these operations, a context during
these operations should be elevated before db operations.

After applying this change, the cloud operator can manage
policy for volume type operations like this.

1. To permit volume type operations for specific user,
   add "storage_type_admin" role.

2. Add "admin_or_storage_type_admin" rule to policy.json.
   "admin_or_storage_type_admin":
       "is_admin:True or role:storage_type_admin",

3. Modify rule for types_manage.
   "volume_extension:types_manage":
       "rule:admin_or_storage_type_admin",

Change-Id: I1e91ad6573f78cfa35c36209944ea1d074a17604
Closes-Bug: #1538305

Merge "Cleanup Mitaka release notes"

Merge "Storwize: Update replication to v2.1"

Merge "LeftHand: Create cloned volume didn't honor size"

Merge "Imported Translations from Zanata"

Merge "Fix invalid UUID warnings for test_volume_*"

Host selection in backup service

With scaling backup service, it introduces a config called
backup_use_same_backend which indicates whether customers use
same backup driver in their environments. If the value is
set to True, Cinder selects any backup host to do backup task. If
the value is False, cinder can only select backup.host for a backup
task. Currently the default value is set to False.

This patch is to change above config to backup_use_same_host which
means whether selecting same host for tasks of a backup. The
default value is set to False. It indicates that we don't care
about backup.host when running backup task, and choose any available
host in same az.

As currently Cinder doesn't support multiple backup drivers, the change
is to make the config more sensible.

Change-Id: I1a43df251a18006363162ee8e7c5aa891f44fa3a
Closes-bug: #1554845

Add volume_type to volume object expected_attrs

We haven't had volume_type in expected_attrs for volume objects lists.
This resulted in situation in which although we were joining the
volume_type explicitely in DB API, the object just dropped the data.
Volume type was then lazy loaded when needed, so every "cinder list"
call was making additional DB queries per returned volume, causing
massive performance drop.

Actually there were two unnecessary DB calls per volume, because not
only volume_type was fetched, but also volume_type.extra_specs as a result
of passing 'extra_specs' in expected_attrs when calling
VolumeType._from_db_volume in Volume._from_db_volume (wow, that's
complicated…).

This commit sorts this out by adding volume_type to expected_attrs to
match what we join in the DB. Please note that I'm not adding
consistencygroup and volume_attachment on purpose - addition causes some
unit tests failure and that late in the release it seems risky to try
fixing that. The changes also required minor rework of expected_attrs
infrastructure in the o.vo layer to be able to pass different values
when we query for just a single volume and when we fetch whole list (as
we're doing different joins in the DB layer in both cases).

Change-Id: Iabf9c3fab56ffef50695ce45745f193273822b39
Closes-Bug: 1555153

VNX: Update replication for v2.1

Supporting replication v2.1 specification as well
as failback capability.

Change-Id: Idb2fae7f5caa240f6c347e60953d5dd1cdf3f8c8
Closes-Bug: #1547543

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I3dad75695b0e525fafd5770ffb766813b08c1387

Pass new volume size when cloning (blockbridge)

When creating a cloned volume (using the Blockbridge driver), pass the
new volume capacity to the backend. After a successful clone, the
backend extends the new volume to the requested size.

Update unit test to ensure capacity param is supplied to the backend
API.

Change-Id: I5e9527691b4575e355143e61fd8ed0354ac2c3d9
Closes-Bug: #1554750

Merge "FlashSystem reports error in _find_host_exhaustive()"

Merge "Huawei: Check before delete host"

Merge "Report versions in cinder-manager service list"

Merge "Pass RBD order to clone call"

Merge "Remove "sqlite_clean_db" option"

Merge "Exclude test.py from sample conf"

Merge "Updated from global requirements"

Storwize: Update replication to v2.1

This patch updates replication to match the v2.1 spec. This makes
it possible to replicate an entire backend, and upon failover, all
replicated volumes will be failed over together.

cinder.conf should have the replication config group:

The replication can be configured via either multi-backend on one
cinder volume node, or on separate cinder volume nodes.

Options to be put in cinder.conf, where the primary back-end is
located:

enabled_backends = sv1, sv2 (if enabling multi-backends)

[sv1]
san_login = admin
san_password = admin
san_ip = 192.168.0.11
volume_driver = cinder.volume.drivers.ibm.storwize_svc.\
                storwize_svc_iscsi.StorwizeSVCISCSIDriver
volume_backend_name = sv1
storwize_svc_volpool_name=cinder
replication_device = managed_backend_name:second_host@sv2#sv2,
                     backend_id:svc_backend_id,
                     replication_mode:global,
                     san_ip:192.168.0.12,san_login:admin,
                     san_password:admin,pool_name:cinder_target

Options to be put in cinder.conf, where the secondary back-end is
connected:

[sv2]
san_login = admin
san_password = admin
san_ip = 192.168.0.12
volume_driver = cinder.volume.drivers.ibm.storwize_svc.\
                storwize_svc_iscsi.StorwizeSVCISCSIDriver
volume_backend_name = sv2
storwize_svc_volpool_name=cinder_target

DocImpact
Closes-Bug: #1544611

Change-Id: I8a4963fa4b30f2df1903697909deece762228257

LeftHand: Create cloned volume didn't honor size

If the volume being created was larger than the cloned volume
the new volume was not being extended.

Change-Id: I65cbf76ca6c4b11b82cc992f731b868c511e653e
Closes-Bug: 1554746

Switch failover-host from rpc call to cast

There is some concern that with large numbers of volumes it will be
difficult for drivers to failover the host before the rpc timeout hits.

To avoid asking admins to bump the timeout just for these cases we can
switch it to do a non-blocking cast instead of call. The difference now
being that the active_backend_id is not returned from the API call to
failover-host. An admin will have to look at the service-list output
to see when it has changed states from ‘failing-over’ and then check
what its active_backend_id is at that time.

Change-Id: I69b4908fe783cf785d3e1612422fca15fea01c6f
Closes-Bug: #1555342

Dell SC: Active_backend_id wrong type

Needed to convert the active_backend_id to an int for use by the
Dell Storage Center API driver dell_storagecenter_api.py.

Also updated the active_backend_id from the failover_host call.

Change-Id: I3a0cc870057f289a5d7309f18bd29f9659ae4b25
Closes-Bug: 1555279

Show qos_specs_id based on policy

Right now qos_specs_id is only shown to an admin user
when showing a volume type. This patch changes that to
be based on policy to allow for more flexibility. It
also adds unit tests for showing a volume type
with policy permissions for qos_specs_id as well as
extra_specs.

APIImpact

Change-Id: I4e6e99b8992b6941ba247bee90493cc2adba7f0b
Closes-bug: #1512876

Merge "Dell SC: create_cloned_volume didn't honor size"

Merge "Imported Translations from Zanata"

Merge "Fix failure with rbd on slow ceph clusters"

Remove remaining oslo-incubator code from Cinder

Most of the parts for oslo-incubator have moved to
oslo libraries.  Cinder only had imageutils.py and
_i18n.py remaining in cinder/openstack/common.  I
was to able remove both of these remaining incubator
components.

oslo_utils now has imageutils available.  I moved
cinder/image/image_utils.py to use the new
imageutils from oslo_utils and updated all the other
places that were using the old imageutils import.

_i18n was only being used in scheduler/base_filter.py
which appears to have been accidentally left when the
scheduler was previously pulled out of incubator.  I
fixed this oversight.

Finally, this patch deletes cinder/openstack/common
cinder/openstack and the openstack-common.conf file.

Change-Id: I8fe0b5d6c278715620f93f682289df7ae60dbeba
Closes-bug: 1517861

Updated from global requirements

Change-Id: I0d858b4e6a55b509cf3ed05d2dde486f99034358

Pass RBD order to clone call

For cloning of a RBD the rbd_store_chunk_size information from
the cinder.conf should be used to calculate and pass the correct
order information to the clone() call of the rbd library.

Added new test to check for correctly from rbd_store_chunk_size
calculated order while cloning.

Closes-Bug: #1489134

Change-Id: Ic5714d3e0d6961bce6ff588006661618130dca07
Co-Authored-By: Logan V <logan2211@gmail.com>
Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Remove "sqlite_clean_db" option

This only affects unit tests and is not likely
to be configured by anyone.

Just remove the option to simplify and clean up
a bit.

Change-Id: I6baf8e3aeb08d28568079457cd900acbe7c63c5d

Exclude test.py from sample conf

This removes "sqlite_clean_db" from the sample conf
file, which is only applicable for unit tests.

Closes-Bug: #1554575

Change-Id: Ic877f490274d773c53bd107da173752a5f63d43d

Merge "Huawei: Check the real size before extend volume"

Fix invalid UUID warnings for test_volume_*

Currently running 'tox -epy27 -- --regex test_volume' emits over 50
FutureWarnings from oslo_versioned_objects about invalid UUIDs [1].

This commit modifies relevant unit tests so that these warnings are
no longer emitted.

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField

Change-Id: Id165450ff4c1c7c6aac13a8916e2e72cfade199e

Huawei: Check before delete host

Currently we delete the host without checking
whether the host already belongs to a host
group. If a host already belongs to a hostgroup,
an error will occur. So we should do the check
before delete it.

Closed-Bug: #1548183
Change-Id: Ibfa0bb4930e6d932c332aacb19ae81f9daad55ce