Fix for showing default quotas to non-admin user

Earlier, when non-admin user wanted to get quotas for his own
projects, if there were no custom quota values set, the API
used to return zero values.

Change-Id: I753af89aa5aae5ad20abe48441df3dbd02b8e05e
Closes-Bug: 1523928

Merge "Retype functionality in Tintri driver"

Merge "VNX: Fix issue in deleting cg/cgsnapshot"

Merge "Use wild card for passing env variable"

Merge "Check context before returning cached value"

Merge "Add validation for volume_type of volume object"

Merge "Fix non-migration swap with error"

Merge "XtremIO: fix iscsi chap discovery bug"

Use wild card for passing env variable

Change-Id: Ia8908941d5619d8c79fa7373c63ff37725fcc4f5

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: Id780e343cc582168bfa2554e25513e94475d776b

Merge "Use Cinder API v2 for Rally scenarios"

VNX: Fix issue in deleting cg/cgsnapshot

If user deletes a cg/cgsnapshot quickly after its creation,
driver would report 'not found' warning, and return success
for the deletion, but actually, the object underlying the VNX
is not deleted.

This fix tries to wait the cg and cg snapshot to be available
to make sure it's eligible for deletion.

liberty-backport-potential
Closes-Bug: 1499615
Change-Id: Ifae57b9e95e01b1789a37ac7c03e9aad65cd50f7

Add validation for volume_type of volume object

During copy_volume_to_image(), this tries to return
volume['volume_type'] attribute in a volume object, but
if the volume does not have a volume type, this would
trigger a db call which raise an 404 not found error.

Volume object should check volume_type_id at first and
then decide whether returning volume_type or None to
avoid VolumeTypeNotFound exception.

Also this change includes LOG.info messages fix to show
right behavior of copy_volume_to_image().

Change-Id: Id2372621962406282eece2bcbc56c242f9dff8a0
Closes-Bug: #1523362

Updated from global requirements

Change-Id: I115d45ba9f112ea8824eb7686cb1af69fadc72ff

Retype functionality in Tintri driver

At this point default retype behavior is as follows. If a volume changes
type on the same backend then that volume will be migrated. Since Tintri
VMstore does not differentiate between volume types, we can avoid this
migration by implementing retype functionality.

Change-Id: I40b28327e13821d6fb45f89b15267b21ed4c2e8c
closes-bug: 1524435

Merge "Python 3: fix a lot of tests"

Fix non-migration swap with error

The fix I242c2c7c4a7197bbce04d0b3d75688f989ea1fd5 for non-migration
swap volume caused drivers which don't support volume swapping,
e.g. Ceph, to put the volumes in an incorrect state (additional
details can be found in bug #1489744 report).  This patch adds an
additional check to ensure no errors occurred during the swap before
it completes the volume status updates, as well a test-case for
the non-migration swap scenario.

Change-Id: Ic2fddbcb12b4c9d251f9c3aab08a73e12d4d73e2
Closes-Bug: #1489744

Merge "Update migrate_volume API to use versionedobjects"

Merge "Dynamically Pull Out Option Sections"

Merge "Volume driver for Coho Data storage solutions"

Merge "3PAR: Implement v2 replication (managed)"

Merge "XtremIO: fix missing multiattach flag"

Check context before returning cached value

The key manager caches the value of barbican client to be reused,
saving an extra call to keystone.  The cached value is only
applicable to the current context, so the context must be checked
before returning the cached value.

Change-Id: Ib10909a098fb2cd070129c239b6d3b95edc8fea0
Closes-Bug: #1523646

Merge "Fix StrOpts with integer defaults"

3PAR: Implement v2 replication (managed)

This patch implements the managed side of v2 replication in the HPE
3PAR driver.

Both sync and periodic replication modes are supported. Each
replication_device entry should have a replication_mode value set
to sync|periodic.

A volume type extra_spec value of replication:mode
should also be set. If replication:mode is periodic,
replication:sync_period should be set as well. Which replication_device
entry(s) are used is determined by the value of replication:mode set for
each volume type.

cinder.conf should have the replication config group (3parfcrep)
and at least one other target group (3parfc) as such:

[3parfcrep]
hpe3par_api_url = http://10.10.10.10:8008/api/v1
hpe3par_username = user
hpe3par_password = pass
hpe3par_debug = False
san_ip = 10.10.10.10
san_login = user
san_password = pass
volume_backend_name = 3parfcrep
hpe3par_cpg = REMOTE_COPY_CPG2
volume_driver = cinder.volume.drivers.hpe.hpe_3par_fc.HPE3PARFCDriver
replication_device = managed_backend_name:alex-devstack@3parfc#REMOTE_COPY_DEST2,
                     replication_mode:periodic,target_device_id:eos7,
                     cpg_map:REMOTE_COPY_CPG2:REMOTE_COPY_DEST2,
                     hpe3par_api_url:http://11.11.11.11:8008/api/v1,hpe3par_username:user,
                     hpe3par_password:pass,san_ip:11.11.11.11,san_login:user,
                     san_password:pass

[3parfc]
hpe3par_api_url = http://11.11.11.11:8008/api/v1
hpe3par_username = user
hpe3par_password = pass
hpe3par_debug = False
san_ip = 11.11.11.11
san_login = user
san_password = pass
volume_backend_name = 3parfc
hpe3par_cpg = REMOTE_COPY_DEST2
volume_driver = cinder.volume.drivers.hpe.hpe_3par_fc.HPE3PARFCDriver

Change-Id: Ie965349af719eaacc287a17c9720ad65464002c0
Implements: blueprint hp-3par-v2-replication
DocImpact

Use Cinder API v2 for Rally scenarios

Cinder API v1 is deprecated so it feels good to test API v2 only to
decrease gating time.

Closes-Bug: #1523583
Change-Id: I91a233e8423ba878ed33b7d89812a416cbacdc95

Python 3: fix a lot of tests

As of this commit, the following tests should now be working with Python 3:

- cinder.tests.unit.api.contrib.test_cgsnapshots
- cinder.tests.unit.api.contrib.test_scheduler_hints
- cinder.tests.unit.api.contrib.test_snapshot_actions
- cinder.tests.unit.api.contrib.test_snapshot_manage
- cinder.tests.unit.api.contrib.test_snapshot_unmanage
- cinder.tests.unit.api.contrib.test_volume_encryption_metadata
- cinder.tests.unit.api.contrib.test_volume_host_attribute
- cinder.tests.unit.api.contrib.test_volume_manage
- cinder.tests.unit.api.contrib.test_volume_migration_status_attribute
- cinder.tests.unit.api.contrib.test_volume_tenant_attribute
- cinder.tests.unit.api.contrib.test_volume_unmanage
- cinder.tests.unit.api.v2.test_volumes

Most changes in this patch:
- make sure that Request.body is set to bytes;
- replace jsonutils.dumps with jsonutils.dump_as_bytes;
- replace json.loads with oslo_serialization.jsonutils.loads;
- replace dict.iteritems with dict.items.

Partial-Implements: blueprint cinder-python3
Change-Id: Icbb96ff84b7012b58f7296eea4fbcd620e081614

Volume driver for Coho Data storage solutions

This patch introduces Coho Data volume driver along with unit tests.

Implements: blueprint coho-cinder-driver

DocImpact
Documentation for setting up the Coho driver and enabling it
in Cinder will be provided in a separate patch.

Change-Id: I06a66d10add9132d0f3afca054d68094ddfb4da0
Signed-off-by: Bardia Keyoumarsi <bardia.keyoumarsi@cohodata.com>

Merge "Address potential races in SolidFire VAG"

XtremIO: fix iscsi chap discovery bug

* The set and get parameters for discovery auth have different
  names and caused a confusion that led to a bug, fixed in this
  commit.
* Add unit test to make sure the right parameters are used

Change-Id: I8e61394ba5109f2a6c7018855f8b85133bc76412
Closes-Bug: #1518945

XtremIO: fix missing multiattach flag

* add missing multiattach flag from capabilities

Change-Id: I46bcf503e741063979528ecc96d4810a23f8fc05
Closes-Bug: 1521498

Fix StrOpts with integer defaults

A couple config options sneaked in defined as strings but
really expecting integer values. This causes errors with the
latest oslo.config that expects the appropriate type.

This patch changes these instances to be the expected IntOpt.

Change-Id: I449c1f0057d6f4afabfb8b71040427dbcb0ca4ee

Dynamically Pull Out Option Sections

Previously in the generation of the opts.py file, the option groups
were hard coded. Now, they are pulled out as the lines are parsed.
If a group doesn't already exist in the dictionary it gets added and
then the options are added to the section. If the group already exists,
the options are added to the proper section as you would expect, and if
the options being registered don't have a group, they are added to the
default section.

This patch also moves the check for a non-zero exit code from
oslo-config-generator to the right location in the file.  This
logic had been put too late in the file and was not catching
oslo-config-generator failures as it should have been.

Change-Id: I59c8067e8091d8bb212e3609f3a174ddc287707e

Merge "Use proper config option to connect to keystone"

Merge "Remove version per M-1 release instructions"

Merge "Adding devref about genconfig"

Merge "Remove deprecated LVM ISCSI and ISER Drivers"

Merge "VMware: Unit test refactoring (image to vol - 2/2)"

Merge "VMware: Replace mox with mock"

Merge "VMware: Unit test refactoring (image to vol - 1/2)"

Address potential races in SolidFire VAG

While building the initial volume access group solution I realized there were
race conditions present. This patch attempts to address those by being far
more careful during VAG creation and removal. Tracking multiattach volume
detaches around VAG volume removal introduced all sorts of future race
conditions so instead multiattach volumes are treated differently and are only
removed from VAGs on volume removal. Not ideal but it'll get the job done.

Think I covered all the new branches with unit tests. Complexity was introduced
but it should be worth it due to the safety that was also introduced.

Change-Id: I80034cdf759295c8d379c02ed9e42659590b41a9

Update migrate_volume API to use versionedobjects

The following patch updates migrate_volume,
migrate_volume_completion, and update_migrated_volume
APIs to use volume versionedobjects.  Changes were
made to be backwards compatible with older RPC clients.
It only includes changes to the core cinder code.
Changes in the drivers are left to each driver
maintainer to update.

Note that this patch DOES NOT try to use object dot
notation everywhere, since it would increase the
size of the patch.  Instead, it will be done in
subsequent patches.

Change-Id: I21fe68193c934a7ef3688274ab35f664a08cac7e
Partial-Implements: blueprint cinder-objects
Closes-Bug: #1521085

Remove version per M-1 release instructions

http://lists.openstack.org/pipermail/openstack-dev/2015-November/080692.html

Change-Id: I4b86c46c8fee6edad8e450c7b9f1606ff62af64e
Depends-on: Icce2f139b5ae88eab294f6547df766f9eceb03a6

Use proper config option to connect to keystone

Earlier, quotas used to authenticate to endpoint from not required
option located in keymgr.encryption_auth_url. Now, the required
auth_uri option from config file is used to authenticate to
keystone.

Co-Authored-By: Michal Dulko <michal.dulko@intel.com>
Change-Id: I1076527704f8def2c6755c060df49232e5ebe805
Closes-Bug: 1516085

Merge "Robustify writing iscsi target persistence file"

Merge "Add a FakeGateDriver"

Merge "LIO: Handle initiator IQNs as case insensitive"

Robustify writing iscsi target persistence file

With the current code, it's possible to end up with a zero-size
persistence file (or even corruption of the contents) if the
process gets killed or the system takes a power outage.

Switch to a "write to temp file and rename" model for writing the
persistence file.  This will make it more robust against unclean
process termination or unclean system shutdown.

Change-Id: Ic4fdb5a9f6f622b2ab9658f7d4206e4c8ca55046
Closes-Bug: #1499795

Merge "Fix dictionary key error"

Merge "Port Windows drivers to Python 3"

Adding devref about genconfig

This adds a description of the generation of opts.py and
cinder.conf.sample, the commands to generate them, and the scripts
that do the work generating them.

Change-Id: I6217e81acb9ee49c66cd510d55b40e1fd6fc3b3b

LIO: Handle initiator IQNs as case insensitive

If there is a mismatch in case between the stored
initiator IQN in the LIO ACL vs. the IQN provided
in a later call, rtstool would fail to find the
existing ACL.

Compare IQNs in a case insensitive manner to ensure
they will always match as intended.  (Refer to RFC
3720 section 3.2.6.1 for details on this.)

Closes-Bug: #1522053

Change-Id: I6f535f3f4fbfcbbb49da30cffb08d17b3cac778a

Fix dictionary key error

The key 'multipath' was being referenced in the 'connector' dictionary
in initialize_connection(), even though the key was not always set.

Change-Id: Ia3c7640a24ebe9bedec3402f6cefb7e457c66ecd
Closes-Bug: #1522062

Merge "Imported Translations from Zanata"

VMware: Replace mox with mock

This patch replaces usages of mox with mock in the VMDK driver unit tests.
It also refactors the unit tests for copy_volume_to_image so that those
tests test only a single method.

Closes-Bug: #1261097
Change-Id: I50925a3aed1df12a283e9ec20f2bc2add1aad162

VMware: Unit test refactoring (image to vol - 2/2)

There are cases where a single test tests multiple methods. This
patch refactors the unit tests for the following methods in the
vmdk module to fix this issue:
   * _create_virtual_disk_from_preallocated_image
   * _create_virtual_disk_from_sparse_image
   * _fetch_stream_optimized_image

There will be follow-up patches to fix the remaining unit tests.

Change-Id: I6b738f08b89e518c78a26a934fead42cc86e0c24
Depends-On: Icd2c3d506647b7b9405d83612433fea735d13cc9

VMware: Unit test refactoring (image to vol - 1/2)

There are cases where a single test tests multiple methods. This
patch refactors the unit tests for the following methods in the
vmdk module to fix this issue:
   * copy_image_to_volume
   * _create_volume_from_non_stream_optimized_image

There will be follow-up patches to fix the remaining unit tests.

Change-Id: Icd2c3d506647b7b9405d83612433fea735d13cc9

Merge "Fix typo in LIO terminate_connection error msg"

Merge "Delete unused codes in rbd.retype"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I88351b055df8fe0f973b9cf48b1276981ef07a2e

Merge "Fix the bug of can't get the desired image info"

Remove deprecated LVM ISCSI and ISER Drivers

The LVMISCSIDriver and LVMISERDrivers were deprecated in the Kilo
release. This removes both drivers and related test code.

Any existing users of LVMDriver should switch to using the
LVMVolumeDriver and set the iscsi_helper to the desire iSCSI helper
(tgtadm, lioadm, or iseradm).

Some unit tests under these driver test classes were not actually
specific to these drivers. Relevant unit tests were moved to a
different test class if they looked useful.

Change-Id: I30aec59e639cdbbb50daa2caacc243518e593418

Delete unused codes in rbd.retype

Before rbd.retype is called, encryption and host have
been checked so that encryptions are different and
host are same.
Meanwhile, as extra_spec is not used during the
rbd driver. As a result, even if they are different
rbd.retype can still return True which means no need
to do further migration.

Change-Id: Id025a51631676389203b8e3892a5826c834105ca
Closes-Bug: #1515493
Closes-Bug: #1514775

Merge "EMC VMAX - Change naming convention for MV and SG for FAST"

Merge "Add some missing fields to Volume object"

Merge "Sheepdog: Optimization of error handling"

Merge "Add retype in lvm driver"

Merge "Add Mitaka-1 release notes"

Merge "xio: fix regression in authentication"

Merge "Cleanup orphaned code in sqlalchemy API"

Merge "Take into consideration races in XtremIOClient3"

Add Mitaka-1 release notes

This adds release notes for changes up to the Mitaka-1
milestone for reno release note generation.

Change-Id: I8cd65b41994631d96c5d4cf4c0531a3c0f74149f

Merge "Update compression license check"

Merge "Imported Translations from Zanata"

xio: fix regression in authentication

The change I75a5dee2fd1f8cf45dbf416b0353736a43efd8e8 replaced
base64.encodestring(auth_key)[:-1] with
oslo_serialization.base64.encode_as_text(auth_key)[:-1]. It's wrong
because base64.encodestring() adds '\n' to the output, wheras
oslo_serialization.base64.encode_as_text() doesn't add '\n'.

This change removes '[:-1]' to strip the newline, it's no more
needed.

Partial-Implements: blueprint cinder-python3
Change-Id: Ib015a850d7cc2e1259518fecfe66c836002b28d9

Add some missing fields to Volume object

Volume object was missing fields that were defined on
the SQLAlchemy model as relationships or backrefs such as
consistencygroup, glance_metadata and snapshots.
This commit adds fields representing these relationships.

Partial-Bug: 1509012
Co-Authored-By: Szymon Borkowski <szymon.borkowski@intel.com>
Change-Id: I2f4cae34833b6b97278adf2abb52cef44405c093

Merge "Cleanup orphaned code from ceph backup driver"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I3b3c0a26c4b16174e22b7a4d5b17a9b9195693cd

Merge "Optimize "open" method with context manager"

Merge "Fix ZFSSA drivers' local cache bugs"

Merge "Remove db access in VNX driver"

Merge "Declare multiattach is True in Dell Eqlx driver"

Add retype in lvm driver

During retype operation, it makes sure that volume
types have same encryption, and same backend qos
before moving on.

In lvm driver, no extra_spec and qos are used. As
a result, if retype a volume to same host, it just
needs to return True, and no needs to migrate the
volume.

Change-Id: Id6273046424190ee3e36dabd4bfcf69466bf23ad
Closes-Bug: #1515840

Merge "Updated from global requirements"

Merge "Force releasenotes warnings to be treated as errors"

Merge "Improve metadata update operations"

Take into consideration races in XtremIOClient3

When working with FC and xtremio is using XtremIOClient3 on FC's
terminate_connection we can get VolumeBackendAPIException saying a
resource could not be found when we shouldn't.

The cause is that Client3 is open to race conditions on 2 methods,
find_lunmap and num_of_mapped_volumes, where a list of mappings is first
retrieved and then we iterate this list to retrieved additional info on
the mappings.

The race would happen if one of the mappings is removed from the backend
in the time it takes to retrieve the additional info after we have
retrieved the list.

This patch fixes this issue by ignoring any mappings that have been
removed and are now NotFound when retrieving additional information for
a mapping in those 2 methods.

This patch also fixes this kind of race problems on volume creation
since it uses find_lumap method.

Closes-Bug: #1521143
Change-Id: I40831e04093ff475395870a333211dd0cb60440f

Merge "Add atomic conditional updates to objects"

Optimize "open" method with context manager

Replace the classic open() with opening context manager to open
files which is in the create_iscsi_target methods of volume targets.

Change-Id: I12e19801a21b1279308983fd0257dae9c9653641

Updated from global requirements

Change-Id: Ie81ad596ae6b473c90e01f91f293895532ca0756

Sheepdog: Optimization of error handling

Since each place where _run_dog() is called needs to handle a
connection error, it would be more efficient to handle it inside
the _run_dog() method.

Change-Id: Ib1eb3044e583b46a8a42f820bf780600415122e8

Fix the bug of can't get the desired image info

When we use 'qemu-img info' command to get image info, some kinds
of image may show an 'unavailable' disk size. For example:

$qemu-img info sheepdog:volume-1af1afa0-7820-4063-9b90-4fa6161a74a9
image: sheepdog:volume-1af1afa0-7820-4063-9b90-4fa6161a74a9
file format: raw
virtual size: 10G (10737418240 bytes)
disk size: unavailable

$qemu-img info -f rbd rbd:data/foo
image: rbd:data/foo
file format: rbd
virtual size: 10G (10737418240 bytes)
disk size: unavailable
cluster_size: 4194304

The current code didn't consider 'unavailable' size, and it will
raise a ValueError in this case. This patch fixed this bug by
adding the judgment of 'unavailable' size.

Change-Id: Ic5f3b80e172baaafc07432319f8aa24bf117b392
Closes-Bug: #1516083

Merge "ScaleIO extend volume round up capacity"

Cleanup orphaned code in sqlalchemy API

There were several methods in the sqlalchemy code that were no longer
being used anywhere. While some of these have potential for being useful,
they are not in use and should not be sitting around the codebase waiting
for someone to need them.

Change-Id: Ic30d27b29d19de5470c9fffadc136988899525ca

Cleanup orphaned code from ceph backup driver

The method _num_backup_snaps was not being called anywhere in the source.
This removes the unused call from the driver.

Change-Id: Ib094edff6c26a21177405a988f132c3c6c8c9646

Merge "Nexenta Edge iSCSI backend driver"

Merge "Update list_replication_targets"

Merge "RBD: Make snapshot_delete more robust"

Merge "Fix quotas issue during volume transfer"

Merge "Hacking Checks for assertTrue/IsNone()"