Merge "Add volume_type to volume object expected_attrs"

Merge "Moved CORS middleware configuration into oslo-config-generator"

Merge "Cleanup Mitaka release notes"

Merge "Storwize: Update replication to v2.1"

Merge "LeftHand: Create cloned volume didn't honor size"

Merge "Imported Translations from Zanata"

Merge "Fix invalid UUID warnings for test_volume_*"

Add volume_type to volume object expected_attrs

We haven't had volume_type in expected_attrs for volume objects lists.
This resulted in situation in which although we were joining the
volume_type explicitely in DB API, the object just dropped the data.
Volume type was then lazy loaded when needed, so every "cinder list"
call was making additional DB queries per returned volume, causing
massive performance drop.

Actually there were two unnecessary DB calls per volume, because not
only volume_type was fetched, but also volume_type.extra_specs as a result
of passing 'extra_specs' in expected_attrs when calling
VolumeType._from_db_volume in Volume._from_db_volume (wow, that's
complicated…).

This commit sorts this out by adding volume_type to expected_attrs to
match what we join in the DB. Please note that I'm not adding
consistencygroup and volume_attachment on purpose - addition causes some
unit tests failure and that late in the release it seems risky to try
fixing that. The changes also required minor rework of expected_attrs
infrastructure in the o.vo layer to be able to pass different values
when we query for just a single volume and when we fetch whole list (as
we're doing different joins in the DB layer in both cases).

Change-Id: Iabf9c3fab56ffef50695ce45745f193273822b39
Closes-Bug: 1555153

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I3dad75695b0e525fafd5770ffb766813b08c1387

Merge "FlashSystem reports error in _find_host_exhaustive()"

Merge "Huawei: Check before delete host"

Merge "Report versions in cinder-manager service list"

Merge "Pass RBD order to clone call"

Merge "Remove "sqlite_clean_db" option"

Merge "Exclude test.py from sample conf"

Merge "Updated from global requirements"

Storwize: Update replication to v2.1

This patch updates replication to match the v2.1 spec. This makes
it possible to replicate an entire backend, and upon failover, all
replicated volumes will be failed over together.

cinder.conf should have the replication config group:

The replication can be configured via either multi-backend on one
cinder volume node, or on separate cinder volume nodes.

Options to be put in cinder.conf, where the primary back-end is
located:

enabled_backends = sv1, sv2 (if enabling multi-backends)

[sv1]
san_login = admin
san_password = admin
san_ip = 192.168.0.11
volume_driver = cinder.volume.drivers.ibm.storwize_svc.\
                storwize_svc_iscsi.StorwizeSVCISCSIDriver
volume_backend_name = sv1
storwize_svc_volpool_name=cinder
replication_device = managed_backend_name:second_host@sv2#sv2,
                     backend_id:svc_backend_id,
                     replication_mode:global,
                     san_ip:192.168.0.12,san_login:admin,
                     san_password:admin,pool_name:cinder_target

Options to be put in cinder.conf, where the secondary back-end is
connected:

[sv2]
san_login = admin
san_password = admin
san_ip = 192.168.0.12
volume_driver = cinder.volume.drivers.ibm.storwize_svc.\
                storwize_svc_iscsi.StorwizeSVCISCSIDriver
volume_backend_name = sv2
storwize_svc_volpool_name=cinder_target

DocImpact
Closes-Bug: #1544611

Change-Id: I8a4963fa4b30f2df1903697909deece762228257

LeftHand: Create cloned volume didn't honor size

If the volume being created was larger than the cloned volume
the new volume was not being extended.

Change-Id: I65cbf76ca6c4b11b82cc992f731b868c511e653e
Closes-Bug: 1554746

Merge "Dell SC: create_cloned_volume didn't honor size"

Merge "Imported Translations from Zanata"

Merge "Fix failure with rbd on slow ceph clusters"

Updated from global requirements

Change-Id: I0d858b4e6a55b509cf3ed05d2dde486f99034358

Pass RBD order to clone call

For cloning of a RBD the rbd_store_chunk_size information from
the cinder.conf should be used to calculate and pass the correct
order information to the clone() call of the rbd library.

Added new test to check for correctly from rbd_store_chunk_size
calculated order while cloning.

Closes-Bug: #1489134

Change-Id: Ic5714d3e0d6961bce6ff588006661618130dca07
Co-Authored-By: Logan V <logan2211@gmail.com>
Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Remove "sqlite_clean_db" option

This only affects unit tests and is not likely
to be configured by anyone.

Just remove the option to simplify and clean up
a bit.

Change-Id: I6baf8e3aeb08d28568079457cd900acbe7c63c5d

Exclude test.py from sample conf

This removes "sqlite_clean_db" from the sample conf
file, which is only applicable for unit tests.

Closes-Bug: #1554575

Change-Id: Ic877f490274d773c53bd107da173752a5f63d43d

Merge "Huawei: Check the real size before extend volume"

Fix invalid UUID warnings for test_volume_*

Currently running 'tox -epy27 -- --regex test_volume' emits over 50
FutureWarnings from oslo_versioned_objects about invalid UUIDs [1].

This commit modifies relevant unit tests so that these warnings are
no longer emitted.

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField

Change-Id: Id165450ff4c1c7c6aac13a8916e2e72cfade199e

Huawei: Check before delete host

Currently we delete the host without checking
whether the host already belongs to a host
group. If a host already belongs to a hostgroup,
an error will occur. So we should do the check
before delete it.

Closed-Bug: #1548183
Change-Id: Ibfa0bb4930e6d932c332aacb19ae81f9daad55ce

Merge "Remove those unnecessary statements "return True""

Merge "Trim 5s+ from storwize unit tests"

Fix failure with rbd on slow ceph clusters

Make rados connection interval and retries configurable
for _try_remove_volume() function

Otherwise on slow ceph clusters, we can get following problem:

"ImageBusy error raised while deleting rbd volume. This may have been
caused by a connection from a client that has crashed and, if so,
may be resolved by retrying the delete after 30 seconds has elapsed."

Change-Id: I1230715663ea00c3eb4241154e6f194dee0e23d4
Co-Authored-By: Dirk Mueller <dirk@dmllr.de>
Closes-Bug: #1554045

Remove those unnecessary statements "return True"

The reasons to remove them:
* These asynchronous API is not necessary to return a value.
* We do not see the purpose of the statements, because it always
  returns true regardless of success or failure.

These statements are unnecessary and misleading, this commit we will
remove these "return True" (Or just remove "True" if it's not at the
end of a function, in order not to change the execution path).

Affected methods:
* delete_volume
* delete_snapshot
* delete_consistencygroup
* update_consistencygroup
* delete_cgsnapshot

Closes-Bug: #1533997
Change-Id: I38bac64b9eb1be6a4756cfcd3894615d2b849551

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I0c02d02205ce469f81a19d610287e50536f93dc1

Report versions in cinder-manager service list

We set rpc_current_version and object_current_version
in Mitaka.

This patch is to show these two fields in command
'cinder-manage service list' to help admin know the
versions of each service. It helps during upgrade.

Change-Id: Idb17bd0aafaf1cb44b6291ff74b234e83be96461
Closes-bug: #1548152

Merge "Storwize/SVC: Clone between different size volumes"

Dell SC: create_cloned_volume didn't honor size

If the volume being created was larger than the cloned volume
the new volume was not being resized.

Change-Id: I43b9da93d8770a5630f7a6b2af2c164c3ed1f4ec
Closes-Bug: 1554741

Cleanup Mitaka release notes

Various cleanups and corrections in the release notes.

Change-Id: I5864c81dc11323282e6245e341dbc04fca4f8ea4

Merge "Fix for glance_metadata during volume migration"

Merge "Fixes creating volume issue for multiple management IPs"

Merge "Add volumes table definition when migrating to 67"

Moved CORS middleware configuration into oslo-config-generator

The default values needed for cinder's implementation of cors
middleware have been moved from paste.ini into the configuration
hooks provided by oslo.config. Furthermore, these values have been
added to cinder's default configuration parsing. This ensures
that if a value remains unset in cinder.conf, it will be set
to use sane defaults, and that an operator modifying the
configuration file will be presented with a default set of
necessary sane headers.

Depends-on: I658e54966c390b41e3b551dd9827606c2e013511
Change-Id: Ia8735d5952d7e03b6948f748afead13e6f890271
Closes-Bug: 1551836

Merge "Imported Translations from Zanata"

Merge "Fixup release notes for v2 -> v2.1 replication impls"

Merge "Use get_by_args instead of host_and_topic"

Fixes creating volume issue for multiple management IPs

Currently there is an issue with the multiple management IPs in
Storwize SVC where volume creation would fail when
storwize_san_sencondory_ip switch to san_ip.
This patch adds a condition to check the sshpool.ip, if the
sshpool.ip equals to storwize_san_sencondory_ip, switch it back
to san_ip.

Change-Id: I44f056b59109db24441c62a55f3da35424cade3a
Closes-Bug: 1553045

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I485c19474d4aadaa27d4cf22f97f3bc8e13d53fb

Add volumes table definition when migrating to 67

When migrating DB to 67 readd_iscsi_targets_table,
we will add foreign key "volumes.id", but we miss
to define the volumes table, that will cause the
migrating process fail: 'NoReferencedTableError'.

Fix this issue by adding volume table definition
before creating iscsi_targets table. test is
added as well.

Change-Id: Id0e0970517a5d3414e0ed124b2b7b3a5b1973761
Closes-Bug: #1554329

Merge "Fix backup import"

Trim 5s+ from storwize unit tests

The test test_run_ssh_fail_to_secondary_ip test case in the StorWize
Driver does a greenthread.sleep(random.randint()) inside a retry loop.
Its execution time often approaches 5s.

This commit mocks random.randint() in this test so that the
greenthread.sleep() duration is always zero, reducing execution time for
the test to under half a second.

The various test_storwize_consistency_group* tests trigger
FixedIntervalLoopingCalls.  Mocking them with ZeroIntervalLoopingCalls
reduces their total execution time from about 8s to under 3s.

We also fix the fake user and project ids in this file so that
it no longer emits FutureWarnings from oslo.versionedobjects about
invalid uuids as documented here [1].

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField

Change-Id: I05dc3c4a5a886ce323430055f34d6c578c0f4443

Merge "microversion header for legacy endpoints removed"

Merge "Update quotas to handle domain acting as project"

microversion header for legacy endpoints removed

With the current implementation, a microversion header will be returned
even if /v1 or /v2 API endpoints are used.
This is wrong, and constitutes an API change. Remove this header for
legacy endpoints /v1 and /v2.

Change-Id: Ided4fb35bd5cd5af512e777f9e4af275754097be
Closes-Bug: #1553194

Merge "Update quota_utils with import for keystone_auth"

Merge "Add missing requirements"

Update quotas to handle domain acting as project

The Keystone change Ib22a0f3007cb7ef6b4df6f48da5f4d018e905f55 sets
the domain_id as the top-level parent project. However, since a
domain is not a project and therefore has no effect on quota nesting,
the domain "parent" should not be considered in the nested quota code.
This patch updates the quota code to ignore the domain_id if it's
present in the parent tree.

Change-Id: I221cfc14b886ea9819e065d4c79e8c4bfc94df45
Closes-Bug: #1551911

Merge "Unset executable bit in release note"

Fix backup import

During importing backup, Cinder finds out the backup
with same id, including deleted backup. There is problems
in current codes to get backup.

This patch is to transfer read_deleted parameter in
backup_get.

Change-Id: Ie13dfe5980b1c60b44e03267b88cfc056b30043b
Closes-bug: #1554055

Unset executable bit in release note

One of the release notes YAMLs was added with executable bit. YAML isn't
really executable, so this patch unsets it.

TrivialFix

Change-Id: I736f4fa603d3ed3fc878a4369de6e4be7662c8c7

Merge "Make query to quota usage table order preserved"

Merge "Handle exceptions about snapshot in backup create"

Merge "Replace logging with oslo_log"

Merge "Make nullable of fields in db model and object match"

Merge "Readd iscsi_target table"

Handle exceptions about snapshot in backup create

With snapshot backup, exceptions about Snapshot will
be raised.

This patch is to add handler about SnapshotNotFound
and InvalidSnapshot.

APIImpact
This bug is changes return code of creating backup request
when snapshot doesn't exist or is invalid.

Change-Id: Ib6a80df5496f93fb8967ed01e40d214c0c38aabc
Closes-Bug: #1549658

Replace logging with oslo_log

Some modules are still using logging, this
patch is going to replace it.

Change-Id: Id79913376b946f4aff1be6a24b7c95dc21fc28cf

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I149b3a4764a2637e26106f3456f182d3eab9460c

Merge "Remove QoS settings from SolidFire attributes"

Merge "Don't fail on clearing 3PAR object volume key"

Merge "Dell SC: Support Replication V2.1"

Merge "CONF add suppress_requests_ssl_warnings"

Merge "Huawei: Create snapshot have a log error"

Merge "support new HTTP microversion header"

Merge "Allow for Pure drivers to verify HTTPS requests"

Fixup release notes for v2 -> v2.1 replication impls

A few drivers got changes in for v2 replication in with release notes
and then didn’t update them once v2.1 came into the picture.

Change-Id: Ia3ba872aa8f7868f572b5cf45714639c2c079e7f

Merge "Add backend id to Pure Volume Driver trace logs"

Merge "Fix issue with Pure drivers delete_snapshot exception handling"

Merge "EMC VMAX - Recreating SG when it has been deleted"

Merge "Convert huawei ISCSIDriver unit tests to RFC5737 addrs"

support new HTTP microversion header

According to API working group guidelines:
https://review.openstack.org/#/c/243414

microversion headers should be of the form:
OpenStack-API-Version: [SERVICE_TYPE] 2.114

i.e OpenStack-API-Version: volume 3.22

Two extra headers are always returned in the response:

    OpenStack-API-Version: [SERVICE_TYPE] version_number
    Vary: OpenStack-API-Version

note: Servers must be prepared to deal with multiple
  OpenStack-API-Version headers. This could happen when a client
  designed to address multiple services always sends the headers it
  thinks it needs. Most Python frameworks will handle this by setting
  the value of the header to the values of all matching headers,
  joined by a ',' (comma). For example ``compute 2.11,identity
  2.114``.

Closes-Bug: #1551941
Change-Id: I658e54966c390b41e3b551dd9827606c2e013511

Merge "Fix invalid uuid warnings in backup unit tests"

Fix for glance_metadata during volume migration

This patch allows to transfer glance_metadata together with volume
during the migration process, when the volume is created from the
image.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: Ifee5f2c53865076f43556d9dd6b6cbef77494bc8
Closes-Bug: 1538926

Readd iscsi_target table

Rolling upgrades was broken when iscsi_target table was dropped on
https://review.openstack.org/268320

We cannot stop using a table and drop it in the same release for rolling
upgrades to work, we have to stop using it in one release and then drop
it in the next or in the post rolling upgrade mechanism (which is still
not in place).

So this patch fixes this by removing the dropping and adding another
migration that ensure that the table is really there.  That way we can
be sure that anyone using M will have the table, which then will get
dropped in N.

Closes-Bug: #1553079
Change-Id: I26586549485a8d745a25161d97d33426fdd52576

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I1a99dec00a593d4d22f057114261f3521a4e8ac4

Fix issue with Pure drivers delete_snapshot exception handling

We were checking for only a single possible error that can occur when
the snapshot was missing. We now check for both which helps prevent
any snapshots or volumes deleted out from underneath Cinder to get
things stuck in an error state.

This also adjusts the warning message to be a little more descriptive.

Change-Id: I26f393a3e5232fc508b9f34921e9f53f8b5a77ef
Closes-Bug: #1553029

Merge "EMC VMAX - Limit SG and MV to 64 characters"

Merge "3PAR use same LUN id for each export path"

Merge "Update unittest for Storwize pool-aware-cinder-scheduler"

Merge "Tintri image direct clone"

Add backend id to Pure Volume Driver trace logs

With multi-backend deployments it was very hard to follow which backend
was making which calls. When there was an error it was often unhelpful
to look at the tracing to know which backend had the problem.

This will now print out the active backend id with the tracing log
messages.

Change-Id: Iaa1ec1c9027f6ba8aeb2574b92a416ae4bd86455
Closes-Bug: #1552966

Don't fail on clearing 3PAR object volume key

The 3PARs drivers write a key value pair on the 3PAR backend volumes
to track the instance that the volume is exported to. However, in
certain cases the key is not present and we would throw an
exception and not allow the detach to continue. If the key is not
present then we do not need to clear it. This patch will just
log a warning that it wasn't present and continue with the detaching
the volume.

Change-Id: Ie19c9050d514d68ba162bcbfa95dfc6e96d5d7bb
Closes-Bug: #1546392

Fix invalid uuid warnings in backup unit tests

Currently, 'tox -epy27 -- --regex cinder.tests.unit.backup' and
'tox -epy27 -- --regex cinder.tests.unit.test_backup' emit
188 FutureWarnings from oslo.versionedobjects aout invalid uuids
as documented here[1].

This commit changes these tests to use valid uuids so that when they
are run these warnings are no longer emitted.

[1] http://docs.openstack.org/developer/oslo.versionedobjects/api/fields.html#oslo_versionedobjects.fields.UUIDField

Change-Id: I356a38791de06164ec634c463713df9000268194

Merge "Fix invalid uuid warnings in test_volume.py"

Merge "Remove a vol in error state from a CG"

Merge "VMAX-Replacing deprecated API EMCGetTargetEndpoints"

Merge "Remove an useless and wrong call"

Merge "VMware: Fix volume copy across vCenter datacenters"

Merge "Fix call to Barbican Secrets create()"

Update quota_utils with import for keystone_auth

Currently, keystone_auth config group is only getting defined in
the cinder-api service. In order to be able to use the quota_utils
helper from both the c-api and c-vol, we need to make sure that
the CONF.keystone_authtoken always gets imported. This is needed
to properly handle nested quota deletes which occur in the c-vol
service.

Change-Id: I3ebb9979d37f62db161e2929fe2cff5a8ba2bf96

Merge "Revert "Remove Cisco FC Zone Manager Driver""

Merge "Add 'conf' param for TextGuruMeditation autorun setup"