NetApp E-Series driver: Remove caching logic

This patch removes unnecessary API caching logic from the NetApp
E-Series driver. The cache, represented as the _objects dictionary,
is refreshed nearly every API call and therefore provides no value.
This refactor is also preparation for refactoring the class structure
so we can easily add an E-Series Fibre Channel driver.

Change-Id: I5a1a8c9bab3abff58a876a1da3575b1c329fdfba

Merge "Replace urllib and urllib2 with six.moves.urllib"

Merge "Dispose DB connections between backend proc starts"

Merge "Replace unicode with six.text_type"

Merge "Switch from MySQL-python to PyMySQL"

Merge "Add iSCSI protocol support for IBM FlashSystem"

Merge "Add missing unit test for goodness weigher"

Replace urllib and urllib2 with six.moves.urllib

The Python 2 urllib and urllib2 modules changed a lot in Python 3. On
Python 3, the urllib functions are now grouped into submodules of
urllib: urllib.parse, urllib.error, etc. The urllib2 has been removed.
Replace urllib and urllib2 with six.moves.urllib to make the Cinder code
compatible with Python 2 and Python 3.

The new code now looks like Python 3 code (ex: "urllib.parse.urlsplit"),
but it also works on Python 2.

Replace also "import six.moves.urllib.parse as urlparse" with "from
six.moves import urllib" to uniformize the code:
"urlparse.urlsplit(href)" becomes "urllib.parse.urlsplit(href)".

This patch was generated by the urllib operation of the sixer tool version 0.4:
https://pypi.python.org/pypi/sixer

Manual changes:

* Add a try/except ImportError to get the parse_http_list function
  in cinder/api/urlmap.py
* Import the socket module instead of using urllib2.socket
  in cinder/volume/drivers/huawei/rest_common.py
* test_nimble.py: replace NIMBLE_URLLIB2 value with
  'six.moves.urllib.request'
* Remove "from six.moves.urllib import parse as urlparse", it was
  replaced with urllib.parse from six.moves.
* Reformat to respect the 80 columns constraint

Change-Id: Ibd1e7bc83bbbd93a3634207fb277d25ef1b8a086

Replace unicode with six.text_type

The "unicode" type was renamed to "str" in Python 3. Use six.text_type
to make Cinder compatible with Python 3.

The initial patch was generated by the unicode operation of sixer tool:
https://pypi.python.org/pypi/sixer

Manual changes:

* cinder/volume/drivers/san/hp/hp_3par_iscsi.py:
  replace "isinstance(value, str) or isinstance(value, unicode)"
  with "isinstance(value, six.string_types)"
* cinder/volume/drivers/san/hp/hp_3par_iscsi.py:
  bump the version to 2.0.17
* Revert changes on hacking: hacking explicitly searchs the "unicode"
  pattern for Python 2. Hacking may require more work to be ported to
  Python 3.
* Revert changes on docstrings and strings

Change-Id: I68ea8a81a66c9377b2fe20e3f545dce8b691c398

Merge "Merge tag '2014.2'"

Merge "Add 'source-id' and 'source-name' support in VNX driver"

Merge "Merge tag '2015.1.0'"

Dispose DB connections between backend proc starts

Currently we do not dispose the existing DB pools before
forking off additional storage backend processes.  This can
result in timing issues and DB errors.

This change simply ensures that we do a dispose_engine() in
the loop where we are forking off processes for the storage
backends.

Change-Id: I4ce67e1ce7853fafe5318393482d841583e42098
Closes-bug: 1463580

Merge "remotefs: Fix doc string for _create_snapshot"

Merge tag '2015.1.0'

This is a null-merge of the 2015.1.0 release tag back into the master
branch so that the 2015.1.0 tag will appear in the git commit history of
the master branch. It contains no actual changes to the master branch,
regardless of how our code review system's UI represents it. Please
ask in #openstack-infra if you have any questions, and otherwise try
to merge this as quickly as possible to avoid later conflicts on the
master branch.

Change-Id: I76a736bd12372cff6c7fb3936b0eeb520a96ba08

Merge tag '2014.2'

This is a null-merge of the 2014.2 release tag back into the
master branch. It contains no actual changes to the master branch,
regardless of how our code review system's UI represents it. Please
ask in #openstack-infra if you have any questions, and otherwise try
to merge this as quickly as possible to avoid later conflicts on the
master branch.

Change-Id: I16744c997f71f3680b2e12aaee8631f0e6b6b3d5

Merge "Fixes 3PAR snapshot failure with optional params"

Add iSCSI protocol support for IBM FlashSystem

This change implements iSCSI protocol for Cinder driver.
It is inherited from driver.ISCSIDriver and flashsystem.py.
We will separate flashsystem.py into common and FC protocol.

iSCSI test result:
https://bugs.launchpad.net/cinder/+bug/1406442

Implements: blueprint ibm-flashsystem-driver-iscsi
Change-Id: Ie6cc2315e9d770302fcdfb63873da1b0dea12bda

Merge "ConsistencyGroup: Return 400 instead of 500 for invalid body"

Merge "Remove unused find_attribute_or_element()"

Fixes 3PAR snapshot failure with optional params

Create snapshot fails when HP3PAR hp3par_snapshot_retention and/or
hp3par_snapshot_expiration parameters were set in cinder.conf. The
params were being sent to the backend as strings instead on integers.

Change-Id: I24d0bc133c48b47a27f5c112e9cd924dd0fa3bcc
Closes-bug: #1461640

Merge "Prophetstor driver needs to return snapshot objects"

ConsistencyGroup: Return 400 instead of 500 for invalid body

If invalid request body is passed to the delete
consistencygroups api, then it returns 500 error.

Validated request body using 'is_valid_body()' method
and also added validation to check 'force' is of bool type.

APIImpact

Closes-Bug: #1458868
Change-Id: Iaaa4409233bfed6ae3e67be5df8cc5ada28e054f

Add 'source-id' and 'source-name' support in VNX driver

Currently, VNX driver only supports 'id' as the id-type in manage/unmanage volume.
With release of new version python-cinderclient, 'source-id' and 'source-name' are
preferred id-type when using cinder manage.

This fix is to add 'source-id' and 'source-name' support
and obsolete the self-defined 'id' support.

Change-Id: Ia0619123ff56e44da98c4f12c554474c8fe6093c
closes-bug: 1450280

Merge "Dell SC: Added support for alternate iscsi portals"

Merge "Revert "Adds drivers for DotHill Storage Arrays.""

Merge "Handle ineffective backup compression"

Revert "Adds drivers for DotHill Storage Arrays."

Coordinating with the DotHill folks on some corrections that need to be
made for this patch.

This reverts commit f09c4b1aa0d76d5063d63b12a597da7fead0b93e.

Change-Id: I24a8892ae97b7d874fdfeab50065577f7857c8c6

Merge "Windows SMBFS: Fix image resize errors during volume creation"

Merge "Fix exception parameter name"

Dell SC: Added support for alternate iscsi portals

Added support for returning alternate target portals,
luns and iqns in a non multipath setup.  This was done
per https://review.openstack.org/#/c/140877/  Tests
were modified to support this change.

The iscsi initialize_connection and find_iscsi_properties
functions took the brunt of this.  The full list of portals,
luns and iqns are returned along with the preferred portal,
lun and iqn rather than a single iqn, lun and portal.

Some minor log message changes for clarity.  (Removed the
one character vars.)

Comment cleanup and clarification.

Implements: blueprint dell-sc-add-alternate-iscsi-portals
Change-Id: I40ad7c2e9b92fd6c6780ad181fcbccd25021d312

Merge "Complete switch to snapshot objects"

Merge "Dell: Added verify cert option for REST calls"

Merge "Don't send heartbeats if Manager reports a problem"

Merge "Multiple pools support enhancement in VNX cinder driver"

Dell: Added verify cert option for REST calls

If one goes through the trouble to create a cert and
install it on the Dell Data Collector and on the cinder
node then we can enable certificate verification on the
request calls to the Dell REST API.

This simply makes dell_sc_verify_cert a cinder.conf option
for a Dell backend and directly uses that as the verify
option on the REST requests.  Default is False.

The update_migrated_volume function arrived via a rebase
and had a merge issue that was fixed.  Specifically the
dell_sc_ssn value is no longer part of the api.find_sc
call.

Spelling error also corrected in a LOG message.

SecImpact

Change-Id: I22348d5e0b55d56f44f1fc4f0c830790a6670494
Implements: blueprint dell-sc-add-verify-cert

Merge "Move Dothill tests out of root test directory"

Merge "Add Pure Storage FibreChannel driver"

Handle ineffective backup compression

Don't compress chunks when compressed length is not a gain over
original, uncompressed length.

With incremental backups, where chunks can be built from short
"extents", the likelihood of this situation has significantly
increased.

Closes-Bug: 1462268
Change-Id: Id960cb22ae74f19154f49a0c19ee07a00145067f

Merge "Non-admin user to query volume filter by az"

Merge "Fix remaining memory issues with nfs backup unit tests"

Prophetstor driver needs to return snapshot objects

Use snapshot objects instead of snapshot dictionaries of
create_cgsnapshot and delete_cgsnapshot.

Change-Id: I416cb53483c9106ff434dc659667c398868c91e6
Partially-Closes-Bug: #1458127

Complete switch to snapshot objects

The following patch switches the remainder of cinder internals
to use snapshot object instead of direct db calls.  Note that
db calls within cinder drivers were not switched over.  This
is left to driver maintainers to do themselves and to
properly test out the changes on their hardware.

Also, note that there are three occurrences of
db.snapshot_update and one of db.snapshot_destroy left in
cinder/volume/manager.py.  This is intentional because
driver.create_cgsnapshot and driver.delete_cgsnapshot returns
a list of snapshot dicts.  Each driver needs to switched over
occurences of db.snapshot_get_all_for_cgsnapshot() to
SnapshotList.get_all_for_cgsnapshot() in create_cgsnapshot
and delete_cgsnapshot.  Once each driver has done so, a follow
up patch can be created to remove db.snapshot_update and
db.snapshot_destroy in cinder/volume/manager.py.  There are
bugs filed for these to be fixed -
https://bugs.launchpad.net/cinder/+bugs?field.tag=
cgsnapshot-objects.

Change-Id: I64004ac404f67eecee51361dc8edd3f149e1b987
Partial-Implements: blueprint cinder-objects

Merge "DriverFilter: don't check volume_backend_name"

DriverFilter: don't check volume_backend_name

Currently DriverFilter checks if host_state.volume_backend_name
matches type.extra_specs.volume_backend_name.  The same check has
already been done in CapabilitiesFilter and done more thoroughly and
gracefully, for example, volume_backend_name can be a set of names
not limited to one to one match.  DriverFilter should just do one
thing, that is evaluating filter_function supplied by backend.

This change removes the volume_backend_name check from DriverFilter
without touching its core function, thus has no impact on existing
documentation because the checking of volume_backend_name is an
undocumented side-effect of this filter.  This change also reduces
one warning log to debug log when no filter_function found in
host_state, for the reason it would generate a lot of warning log
for those backends don't supply filter_function.

UpgradeImpact:
DriverFilter had an undocumented side-effect before it evaluates
filter_function - it checked if volume_backend_name in host_state
reported by backend matches volume_backend_name in volume type
extra specs, and if they don't, the backend would fail to pass
the filter.  Now that this side-effect has been removed, it
would impact users only under following circumstance: 1) user
enabled DriverFilter but not CapabilitiesFilter; 2) user relied
on DriverFilter to filter backends based on exact match of
'volume_backend_name' in type extra spec.  If unfortunately this
is the case for user, enabling CapabilitiesFilter by adding
it to 'scheduler_default_filters' configure option and restart
cinder scheduler service then everything should work just fine.
CapabilitiesFilter actually does a much better job checking
volume_backend_name.

Change-Id: Ie5c48587368856faa538eebb1b6611d464bd69bd
Closes-bug: #1461770

Merge "Changes in rally-jobs/README.rst"

Add Pure Storage FibreChannel driver

    This commit adds a FibreChannel driver for Pure Storage. The driver shares
    the majority of functionality with base driver and only has the code
    necessary to support connection to FibreChannel.

Implements: blueprint pure-fc-driver
Change-Id: Ia4ce76d6a2ec754951c13d3620f9f47d6920058b

Merge "Refactor scheduler's create_volume flow"

Fix exception parameter name

Trivial fix for an exception parameter being passed in via the
wrong named parameter.

Change-Id: I55cb8b181dea58b7feea8f715ae06942d6e4c784
Closes-Bug: 1462096

Move Dothill tests out of root test directory

The Dothill code merged but unfortunately had it's
unit tests in the base tests directory.

This patch just moves it to tests/unit/volume/drivers

Change-Id: I010ed2f784384e272599ec3139957989f8838e6f
Closes-Bug: #1462106

Fix remaining memory issues with nfs backup unit tests

Here we fix another place in the nfs backup unit tests where
the configured file size was larger than the chunk size in
the corresponding Swift backup tests.  I missed this one in

   https://review.openstack.org/#/c/165394

and even though code with that fix ran fine in a bare 1GB VM,
there are still memory issues when run in CI with a VM of that
size.

Closes-Bug: 1452811
Change-Id: I20dcfb657699e1b415ae2e36ec63f8c6b0049285

Merge "Removed explicit return from __init__ method"

Don't send heartbeats if Manager reports a problem

This commit adds is_working method to base Manager class that can be
used to indicate that service has some problems and isn't running
correctly. This is used to block refreshing Service heartbeats if
Manager will return False from is_working.

The method is implemented in c-vol Manager to return initialization
state of the underlying volume driver.

Closes-Bug: 1446750
DocImpact

Change-Id: I809b2b777a0f84d12f39f2233920ec961f74f846

Changes in rally-jobs/README.rst

Changes:
 * fix broken links
 * add link to release notes

Change-Id: I01b360bab2ea08f3f940ea5992ac6981b68074b5

Merge "Tintri Cinder Volume driver"

Removed explicit return from __init__ method

As per python documentation [1], removed explicit return keyword
from __init__ method.

[1] https://docs.python.org/2/reference/datamodel.html#object.__init__

Closes-Bug: 1461931
Change-Id: I654d7786e1971304789bbb376f8ced2b5646370e

Merge "Return provider_id in SolidFire model update"

Merge "Clean up unused exceptions"

Merge "Fix issues with extra specs in VMAX driver"

Merge "Port ProphetStor driver to use ABCMeta driver model"

Merge "Remove un-used import at test_volume_transfer.py"

Merge "Adds FC and ISCSI Cinder drivers for DotHill Storage Arrays."

Merge "Allow provisioning to reach max oversubscription"

Return provider_id in SolidFire model update

The provider_id field was added in
commit: 9f34d34d0ab92400223e3cc87285d0d4fbdf21f9

This patch adds provider_id to the returned model
update and uses it to provide the internal SolidFire
volume ID mapping.

Next step will be to rewrite the awkward list search
of volume names to find the corresponding volume on
the SolidFire backend.

Change-Id: Ia44d46362bb1b688c4ac266afecca9ce66dcef25

Deprecate the HPLeftHandISCSIDriver CLIQ driver

This patch adds a deprecation message to the HPLeftHandISCSIDriver CLIQ
driver with the plan of removing it in the 2016.1 release. The
HPLeftHandISCSIDriver REST based driver should be used instead.

Change-Id: I9eb1fc71d7be4848f116e0585964af97cae210b5

Allow provisioning to reach max oversubscription

Currently if provisioned ratio is equal to max_over_subscription_ratio,
the capacity filter does not allow any more thin provisioning. This patch
makes a change so that thin provisioning is allowed if provisioned ratio
is equal to max_over_subscription_ratio; it will only stop provisioning
if provisioned ratio is greater than max_over_subscription_ratio.

Change-Id: Ibf13ef97472b80a1b59ffd4389a4ed2eacf67205
Partial-Bug: #1458976

Port ProphetStor driver to use ABCMeta driver model

Use new ABCMeta driver model for ProphetStor driver.

Change-Id: Ic8ecbecb661971a4535a6899b0d104ef5bdf0011
Implements: blueprint abc-driver-update

Clean up unused exceptions

Over the last cycle several drivers were removed. There
have also been changes over time in the code. As a
result, there were quite a few exception class declarations
that were no longer being used anywhere in the code base.

This removes Exception classes that were not referenced.

Change-Id: Ieed6e6e81196e7fe62d0ce22bab5620ac4a1269d

Refactor scheduler's create_volume flow

Removing duplicated code path in exception handling and fixing untrue
or unclear statements in the comments.

Change-Id: I4e3a05b503fa3b3fd20acd43571995da4c48d491

Adds FC and ISCSI Cinder drivers for DotHill Storage Arrays.

DocImpact
Implements: blueprint dothill-fc-cinder-driver
Implements: blueprint dothill-iscsi-cinder-driver

Change-Id: I6a852ee6f1df29606aca5fe6fe3c5ef427359b5c

Merge "Bump SolidFire version number"

Merge "Dell SC: update_volume_stats could use uninitialized vars"

Bump SolidFire version number

Should have bumped version in this commit:
    Ia67b2b9e3c0bf3b0b1f991e958f8eac13830f9cc

Forgot, so do it now.

Change-Id: If3ef470c8d5c3b2c178d8f7f7ad6bed1df68fef9

Merge "Disable backup progress notifications for unit tests"

Dell SC: update_volume_stats could use uninitialized vars

In _update_volume_stats in dell_storagecenter_common.py totalcapacitygb
and freespacegb are not necessarily initialized in the LOG.debug call.
Changed to data['total_capacity_gb'] and data['free_capacity_gb'].

Also initialized to total_capacity_gb and free_capacity_gb dict entries
to 'unavailable' which allowed the removal of two conditionals in the
same function.

Change-Id: Ib699e0d1cf67645298628aa96656888193843509
Closes-Bug: #1461230

Merge "Fix assertRaisesRegexp deprecation warnings in UT"

Merge "Switch get_all_snapshots to use objects"

Disable backup progress notifications for unit tests

We have code somewhere which is firing backup createprogress
notifications into the notifier, which causes random unit
test failures.

Until we determine exactly why this happening, attempt to
avoid this problem in the gate by disabling these notifications.

Related-Bug: #1412513

Change-Id: I50b7946562e757ee26cb68b17b4a5ffcd5f3fabd

Tintri Cinder Volume driver

* Volume Create/Delete
* Volume Attach/Detach
* Snapshot Create/Delete
* Create Volume from Snapshot
* Get Volume Stats
* Copy Image to Volume
* Copy Volume to Image
* Clone Volume
* Extend Volume

Implements: blueprint tintri-cinder-driver

Change-Id: I4d9f2805e02524e0e271a263376b446565294d28

Merge "Refactor PureISCSIDriver into base and iSCSI classes."

Merge "EMC VMAX Manage/Unmanage Volume"

Fix assertRaisesRegexp deprecation warnings in UT

This commit changes assertRaisesRegexp occurrences to
assertRaisesRegex to fix deprecation warnings.

Change-Id: I22fb6224057716f734a8ac69da72ccdb9b464289
Closes-Bug: 1461171

Refactor PureISCSIDriver into base and iSCSI classes.

This adds in a new class called PureBaseVolumeDriver that contains
all of the generic shared methods that utilize the management REST API.

The PureISCSIDriver now inherits from the base driver and implements
the functionality required for iSCSI hosts/initiators.

As part of this we’ve cleaned up some of the logging where it would
previously have hard coded the drivers class name in it, and moved some
static non-class helper methods into the base class.

These changes will ease future work to add additional drivers or split
them into separate files.

Implements: blueprint pure-base-driver
Change-Id: Iaf3979e5cccc150d09ca00daa3d9c3471f9795a0

Merge "Use SolidFire snapshots for Cinder snapshots"

Add missing unit test for goodness weigher

Add a unit test for goodness weigher to test unset goodness
function in host capabilities.

Change-Id: I67f86d065f2c740a7beef641250b0881cf63deaa

Non-admin user to query volume filter by az

Now cinder limits non-admin user to query volume just filtered by 'name',
'status', and 'metadata', those are hard coded in cinder-api. So improve
this using config option and allow non-admin to query volume filtered by
'availability zone'.

DocImpact

Change-Id: Ia4a324959e16d7e6effe7afb18fe57562231d879
Implements: blueprint allow-non-admin-to-query-volume-filter-by-az

Merge "Fix volume creation from image with allowed_direct_url_schemes"

Merge "Add chap support to CloudByte cinder driver"

Merge "NetApp FC driver shims missing manage/unmanage"

Fix cinder concurrency issues on rtstool

Since there's no synchronized access to configfs in rtslib it can happen
that rtstool or rtslib access an element that no longer exists because
it has been removed just in the middle of a loop by another Cinder
request.

This results in quite a different number of exceptions:
- .dump()
- KeyError
- IOError
- RTSLibError on storage_object

This patch synchronizes access to all rtstool calls that access or
modify configfs using utils.synchronized decorator.

Change-Id: I341a10da54ab01be68a0cae843f35e5c841c6d81
Closes-Bug: #1460692

Use SolidFire snapshots for Cinder snapshots

This patch just replaces the use of clones on the SolidFire
backend for SolidFire Snapshot objects.  This isn't necessarily
an issue, but it is important necessary to do things like
consistency group snaps.

Note, that we have to keep compatability for things like
create_from_snapshot where the system may have clones that
were used for snapshots prior to updating the driver.

While we're here, we also removed the logging calls in the test
which shouldn't really be there, as well as the overly chatty
debug messages like "entering/leaving".  More cleanup work
can be done to logs but should be in their own patch.

Change-Id: Ia67b2b9e3c0bf3b0b1f991e958f8eac13830f9cc

Switch get_all_snapshots to use objects

The following patch switches direct db calls in
volume/api.py get_all_snapshots to use SnapshotList
instead.

Partial-Implements: blueprint cinder-objects
Change-Id: Ifdccc81a087f9797fcfbf098d3ecea3875ad7bd9

Merge "Add volume ID to fake volumes in Gluster tests"

Merge "Notification with volume and snapshot metadata"

Merge "VMware: insecure option should be exposed"

Notification with volume and snapshot metadata

Now notify message to ceilometer do not contain volume
metadata/glance_metadata and snapshot metadata, which are
useful to bill and enrich resource information in ceilometer.

This feature will add the metadata/glance_metadata of volume
and metadata of snapshot to notification usage info.

Change-Id: I04097be9f2da1d6bc45a2d5770bcd543a3f41887
Implements: blueprint notification-with-volume-and-snapshot-metadata

Merge "Create iSCSI lio portals with right IPs and port"

Merge "Fix capacity filter to allow oversubscription"

Add volume ID to fake volumes in Gluster tests

This adds the volume ID field to the fake volume objects
in the GlusterFS tests.  Turning up concurrency exposes some
issues where access of this field is attempted but doesn't
exist.

Parital-Bug: #1459854

Change-Id: I0edb4fc7f2d6d4a3c23f395b4c2a611c0e954425

Fix capacity filter to allow oversubscription

Currently the capacity filter does not allow oversubscrition
if the free physical capacity is less than the new volume size.
This was based on the assumption that a new thinly provisioned
volume will be consumed right away. This assumption does not
allow us to take full advantage of thin provisioning.

The fix is to allow oversubscription if thin provisioning is
supported and max_over_subscription_ratio is greater than or
equal to 1. The free physical capacity will not be used to
compare with the new volume size for a backend that supports
oversubscription in thin provisioning. The oversubscription
ratio and virtual free capacity will still be used to decide
whether a backend can be chosen for thin provisioning.

Closes-Bug: #1458976
Change-Id: I4c8904445654db839c25ded420915f83c3756f94