Create ipset set_name_exists() method

All the callers of set_exists() already know the set name,
so there's no reason to re-calculate it based on the id and
ethertype. Renamed to set_name_exists() to be clear on what
it is checking.

Change-Id: Ifd2a2c7877c81a440067f9e8a654b49e63199f8c

Merge "Fix rule generation for single and all host rules"

Merge "Correct MAC representation to match iptables output"

Merge "Removed release_port_fixed_ip dead code"

Merge "Removed neutronclient option from metadata agent"

Merge "Remove remaining uses of load_admin_roles flag in tests"

Merge "Removed a pile of debtcollector removals from neutron.context"

Merge "Consume ConfigurableMiddleware from oslo_middleware"

Merge "Validate local_ip for linuxbridge-agent"

Merge "Move gateway processing out of init_router_port"

Merge "Imported Translations from Zanata"

Merge "Only lock in set_members on mutating operations"

Merge "test_create_router_gateway_fails fixes"

Imported Translations from Zanata

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I5362373b349baa17bedb7347c649e70151ca375e

Merge "Fix iptables comments for bare jump rules"

Merge "Remove excessive fallback iptables ACCEPT rules"

Merge "Cleaned up remaining incorrect usage for LOG.exception"

Merge "Effective: avoid mocking open() if you can"

Merge "Mock oslo policy HTTPCheck instead of urllib"

Merge "Consume sslutils and wsgi modules from oslo.service"

Merge "Update gate dashboard URLs"

Merge "Add the functional-py34 and dsvm-functional-py34 targets to tox.ini"

Only lock in set_members on mutating operations

ipset was locking on every set_members call with an external
filesystem lock. This was expensive when lots of ports that
were a part of the same security group were on the same agent.

This patch adjusts it to check if it needs to make a change before
acquiring the semaphore.

Closes-Bug: #1502930
Change-Id: I2553ab74b7d0fbada5d573246194f83d58bd7d56

Merge "Code refactor for generating integer in testcase"

Merge "Remove usage of WritableLogger from oslo_log"

Consume ConfigurableMiddleware from oslo_middleware

Middleware class in neutron/wsgi.py can be replaced with
ConfigurableMiddleware from oslo_middleware.

Remove the Debug helper class as it doesn't seem to be used
anywhere. Instead, one can use oslo_middleware.debug.Debug.

Added a note about possible implications for out-of-tree plugins
to neutron_api.rst.

Change-Id: If7360608f94625b7d0972267b763f3e7d7624fee

Remove excessive fallback iptables ACCEPT rules

The previous code was generating a fallback ACCEPT rule for every
port when there should only be one at the very end. The reason that
this wasn't causing a bug is because we have a duplicate rule remover
that was silently throwing away the extras and it happened to get them
in the right order.

Closes-Bug: #1502906
Change-Id: I83cf574f93b512be1ccefdc8da63e1783d279233

Consume sslutils and wsgi modules from oslo.service

sslutils and basic WSGI functionality have been moved to
oslo.service and now Neutron can reuse them.

Marked ssl options that were renamed in oslo.service as
deprecated.

Added a note about possible implications for out-of-tree plugins
to neutron_api.rst

Bumped oslo.service version to 0.9.0.

Related-Bug: #1482633

Depends-On: I0424a6c261fae447dbc25b3abf00258c860a88f5
Change-Id: Ibfdf07e665fcfcd093a0e31274e1a6116706aec2

test_create_router_gateway_fails fixes

- Use the existing network.  Otherwise this test fails earlier than
  intended.  (with NetworkNotFound)

- Use a dedicated exception to avoid accepting other exceptions
  like NetworkNotFound

- Move the test for L3_NAT_dbonly_mixin into a separate class.
  Skip it if the plugin does not inherit L3_NAT_dbonly_mixin.

Change-Id: Ic5d5162320bf3ff1bb8b09de3e8200ca46023b32

Code refactor for generating integer in testcase

This will remove the need of import random in unit/objects/test_base.py
as its already done in tests/tools.py and some of the functions are
called from there.

Change-Id: Icf1d5518f9f394b534e3b75cfe55f2adf7fe5169

Effective: avoid mocking open() if you can

Change-Id: Idcf1d1a410be10c5a557ab89a5dc83e3649cd086

Merge "Fixed multiple py34 gate issues"

Cleaned up remaining incorrect usage for LOG.exception

- callers should not explicitly pass exceptions into LOG.exception
  because it's already implicitly included in the message by stdlib
  logging module.
- callers should not call to LOG.exception when there is no exception to
  log about (known to fail in Python 3.x < 3.5).

Change-Id: I58e7e01ed152028ad43bb3ada87d719caa2ab08d
Related-Bug: #1504053

Remove usage of WritableLogger from oslo_log

With Eventlet 0.17.2, we can directly pass the logger instance. This
allows us to deprecate/remove the WritableLogger class from oslo.log.

Closes-Bug: #1440773
Change-Id: I3985b30b499a1e676d39c2a6cd3a31ac13c0ab47

Fixed multiple py34 gate issues

1. Scope mock of 'open' to module

By mocking 'open' at the module level, we can avoid affecting
'open' calls from other modules.

2. Stop using LOG.exception in contexts with no sys.exc_info set

Python 3.4 logger fills in record.exc_info with sys.exc_info() result
[1], and then it uses it to determine the current exception [2] to
append to the log message. Since there is no exception, exc_info[1] is
None, and we get AttributeError inside traceback module.

It's actually a bug in Python interpreter that it attempt to access the
attribute when there is no exception. It turns out that it's fixed in
latest master of cPython [3] (the intent of the patch does not seem
relevant, but it removes the offending code while reshuffling the code).
Note that now cPython correctly checks the exception value before
accessing its attributes [4].

The patch in cPython that resulted in the failure is [5] and is present
since initial Python 3k releases.

The patch in fixtures that broke us is [6].

[1]: https://hg.python.org/cpython/file/tip/Lib/logging/__init__.py#l1412
[2]: https://hg.python.org/cpython/file/tip/Lib/logging/__init__.py#l575
[3]: https://hg.python.org/cpython/rev/73afda5a4e4c
[4]: https://hg.python.org/cpython/rev/73afda5a4e4c#l6.484
[5]: https://hg.python.org/cpython/rev/2ee09afee126
[6]: https://github.com/testing-cabal/fixtures/commit/67dd2956943261e845a866dab155208c51da937e

Closes-Bug: #1503847
Closes-Bug: #1504053
Co-Authored-By: Ihar Hrachyshka <ihrachys@redhat.com>
Change-Id: I456b7846b8a53e4d3f8c91583685e0e1eaa84719

Removed release_port_fixed_ip dead code

It's not used since I822cc4a92cb05cdef88679bb628fad4e5063cddd.

Closes-Bug: #1212520
Change-Id: I1bb0755fa1379f3dad4241e7ae8d50c4c842d89e

Validate local_ip for linuxbridge-agent

When tunneling is enabled, check the availability
of the IP address in local_ip belonging to the host
interface.

Change-Id: Ic1b893d61d5efef397773cdba3b7418ef70a0417
Closes-Bug: #1483497

Merge "Adding headers to the devref docs"

Merge "Add testresources used by oslo.db fixture"

Removed neutronclient option from metadata agent

The new RPC interface has proved itself for two cycles, I don't
recollect any serious issues with it, so let's just clean up the
obsolete neutronclient based fallback mechanism.

The metadata agent configuration documentation should be updated
to not require API configuration values for the agent to talk to
neutron-server.

DocImpact
Change-Id: I254c575c66214f50fb93a94c46c4c9caebfc2937
Closes-Bug: #1502947

Merge "Updated from global requirements"

Merge "Improvements to the RFE management process"

Adding headers to the devref docs

This patch adds missing headers to all the devref documents.

Change-Id: Ice2f93f37a2cade7d5af552aaae6cd9f66dc953c

Add testresources used by oslo.db fixture

If we use oslo.db fixtures, we'll need the package or
the next version of oslo.db release will break us.

Closes-Bug: #1503501
Change-Id: I7dfbf240333095d91a414ba15a439bdc4804eb25

Add the functional-py34 and dsvm-functional-py34 targets to tox.ini

This will allow us to run the functional tests on the gates using Python 3.

Change-Id: I218c73398c6ed6cff776b65a66cb9336219cba77
Partial-Bug: #1500400

Improvements to the RFE management process

The Drivers team realized that with the current model, RFE
bugs were never off their radar even though RFE proposals were
approved and ready to be worked on. As a result it was becoming
tricky to handle the RFE backlog during the drivers meeting.

These changes are aimed at keeping the list of RFE bugs to a
manageable size, irrespective of how fast code gets submitted
and merged: the responsibilities of vetting feature proposals
and reviewing code are very much different, and this policy
changes try to reflect that.

Change-Id: I37b7f1b7c3538e871cb9bc5cbfba61d99858f16f

Mock oslo policy HTTPCheck instead of urllib

We were mocking internal behavior of oslo policy by
patching urllib. This will break with the upcoming oslo
release that switches to requests.

This patch changes the mock to the HTTPCheck level and we
can leave implementation details testing up to oslo_policy.

Change-Id: I07957f01307e25f1547197c720eea6e3e7f0ef5a
Closes-Bug: #1503890

Add py34 tags to the list of official tags

Whilst the porting is in progress, there can be a number
of issues popping up, so it's good to have a way to capture
them all at once.

Change-Id: I7a92bbbc67f93270f898c5dfa38d1962226c32a0

Merge "DHCP: protect against case when device name is None"

Updated from global requirements

Change-Id: Ic6f9bc83375b97b02f6f92bbdec39de96801fc40

Merge "Remove OneConvergence plugin from the source tree"

Merge "Add networking-bgpvpn lieutenants"

Merge "L3 Agent support for routers with HA and DVR"

Fix rule generation for single and all host rules

iptables outputs single-host rules with a prefix on the
end (/32 or /128) and completely omits /0 rules since they
allow everything.

This patch fixes our rule generation to match that pattern
so iptables counters don't get destroyed on these rules on
every reload.

Closes-Bug: #1502917
Change-Id: Ifbdfbafd6cf37c6ef7385cd5f1d2df65cc19797a

Fix iptables comments for bare jump rules

This fixes the order of arguments in iptables rules that
are bare jumps (e.g. '-j other-chain').

The previous code was only catching jump rules that appeared
after a chain definition.

Closes-Bug: #1502932
Change-Id: I490792eb08c67a32f9b286d933a776fb76840b6b

Merge "Add some test guidelines to 'effective neutron'"

Merge "Adding Effective tips for plugin development"

Merge "Add note in database section of 'effective neutron'"

Merge "Refactoring devstack script"

Merge "Add a logging guideline to 'effective neutron'"

Merge "Add a patch scope section to 'effective neutron'"

Removed a pile of debtcollector removals from neutron.context

The next dev cycle is up, so let's get rid of that old stuff.

Related-Bug: #1449462
Related-Bug: #1446021
Change-Id: I0561a6c4ea420ba06029a88db442bf7165f755df

L3 Agent support for routers with HA and DVR

The main difference for DVR HA routers is where
the VRRP/keepalived logic is run and which ports
fall in the HA domain for DVR.  Instead of running
in the qrouter namespace, keepalived will run inside
the snat-namespace.  Therefore only snat ports will
fall under the control of the HA domain.

Partial-Bug: #1365473

Change-Id: If2962580397d39f72fd1fbbc1188a6958f00ff0c
Co-Authored-By: Michael Smith <michael.smith6@hp.com>
Co-Authored-By: Hardik Italia <hardik.italia@hp.com>
Co-Authored-By: Adolfo Duarte <adolfo.duarte@hp.com>
Co-Authored-By: John Schwarz <jschwarz@redhat.com>

Adding Effective tips for plugin development

Change-Id: I4384e4476e7081b0ebfabc7367d32c683cc4d58d

Add networking-bgpvpn lieutenants

Change-Id: I7e47805281feea694ed5ed4e029d51f361f1f38a

Update gate dashboard URLs

Match up dashboard URLs that purport to show gate job status
with what is currently running in the gate

Change-Id: Ie49459463e2268d38f6db53440c5e49b726611a7
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

Add some test guidelines to 'effective neutron'

Change-Id: I6253f2e3dc3c723eadf17a9ed40c7ddbdb4627b1

Fix capitalization nit in patch 230218

Fixes the Neutron capitalization nit found by Paul Carver
in patch 230218 after it was in the gate.

Signed-off-by: Ryan Moats <rmoats@us.ibm.com>
Change-Id: I27481b70dbd313ba1fa54708d46db8b99a7e670d

Merge "Use assertIsNone(observed) instead of assertEqual(None, observed)"

Merge "Add a note about agent/server compat to 'effective neutron'"

Merge "Add neutron-linuxbridge-cleanup util"

Merge "Execute ipset command using check_exit_code"

DHCP: protect against case when device name is None

There are edge cases when the agent attempts to unplug an interface and
the device does not exist.

Change-Id: I6917ec94f685f3dd3bff6aa1d43dc56aab76274a
Closes-bug: #1498370

Merge "Add note about negative feedback to 'effective neutron'"

Merge "Fix missing parent start() call in RpcWorker."

Add note in database section of 'effective neutron'

Add note about usage aggregate functions with GROUP BY for
PostgreSQL.

Change-Id: I50af8e8e19f638f774d0f1cfb30f56f6cecad65e

Merge "Document self.assertEqual(expected, observed) pattern"

Correct MAC representation to match iptables output

We were previously using the netaddr's mac_unix format
(which leaves off leading 0's) to generate iptables rules
based on MAC addresses. While iptables accepts this format,
it's not returned this way in the output so the iptables
rule matching code would never find the match for these
rules, causing the loss of counters on these rules on every
reload.

This patch corrects this with a custom dialect that matches
the iptables format.

Closes-Bug: #1502901
Change-Id: Ia45ebde8c4684e12030469323e18367a54d1518b

Add note about negative feedback to 'effective neutron'

Change-Id: I7808d23779c09f492eef5f024e19285820db57b0

Add a note about agent/server compat to 'effective neutron'

Change-Id: I4e7476c4cf29aa0eb2722885c7d407d8ea197f1b

Add a patch scope section to 'effective neutron'

Change-Id: I99d82d25d72689b8e1212267ae346e87862a9006

Add a logging guideline to 'effective neutron'

LOG statements should only receive unicode.

Change-Id: I6a6d9fdbcc3ed9c7eee4889bfa6f328f1bd6d729

Fix missing parent start() call in RpcWorker.

Patch 5be613490deebf494f2ecbbcd8cb5dd0d6f5e1b3 erroneously removed this
line that is still needed which broke networking-ovn, at least.

Change-Id: I31981e905f892df474c57b45d3e70ebfbeeae1db
Signed-off-by: Russell Bryant <rbryant@redhat.com>

Merge "Deprecate max_fixed_ips_per_port"

Merge "Use assertIn and assertNotIn"

Remove OneConvergence plugin from the source tree

This plugin didn't decompose in the last two cycles, I failed
to spot a functional CI, and there hasn't been any meaningful
activity done in the subtree for the past couple of cycles

I think it is time to implement the eviction.

Related-blueprint: core-vendor-decomposition

Change-Id: I949a51873ee5af654b577952d423dd29a6ced8e7

Use assertIsNone(observed) instead of assertEqual(None, observed)

Neutron should use the specific assertion:

  self.assertIsNone(observed)

instead of the generic assertion:

  self.assertEqual(None, observed)

as it raises more specific errors.

Closes-Bug: #1503055
Change-Id: Ib7e5875bd0a95320d89a7504f951998fb210acc1

Document self.assertEqual(expected, observed) pattern

Tests should use the following pattern to help reviewers:

  self.assertEqual(expected, observed)

This change documents it in effective_neutron.rst and corrects some test
modules[1] including nonobvious ones[2] as an example.

[1] neutron.tests.unit.agent.l3.test_.*
[2] neutron.tests.unit.agent.l3.test_router_processing_queue

Change-Id: I6d6363541e3fef6f66e808aab00507825205b209

Merge "Make OVS interface name hashing algorithm common and extend it"

Move gateway processing out of init_router_port

This method is a bit overloaded

Change-Id: Idc8526c3714856feb3e75d7bab9f6acc33499e3f
Partially-Implements: blueprint address-scopes

Merge "Add periodic agents health check."

Merge "Simplify join to rbac_entries for subnets"

Merge "Don't register agents for QoS l2pop fullstack test"

Merge "Consume service plugins queues in RPC workers."

Use assertIn and assertNotIn

Neutron tests should use:

  self.assertIn(value, list)
  self.assertNotIn(value, list)

instead of:

  self.assertTrue(value in list)
  self.assertFalse(value in list)

because assertIn and assertNotIn raise more meaningful errors:

  self.assertIn(3, [1, 2]
  >>> MismatchError: 3 not in [1, 2]

  self.assertTrue(3 in [1, 2])
  >>> AssertionError: False is not true

Closes-Bug: #1218713

Change-Id: Ic8492a88935bf005feb9dae726a4bee604a8bd09

Deprecate max_fixed_ips_per_port

This option does not have a clear use case since we prevent
users from setting their own IP addresses on shared networks.

DocImpact
Change-Id: I211e87790c955ba5c3904ac27b177acb2847539d
Closes-Bug: #1502356

Merge "Changes in Neutron defect management"

Don't register agents for QoS l2pop fullstack test

Not registering agents (And waiting for them) shaves a couple
of seconds off the test run. More importantly it sets the correct
precedent / usage pattern for future copy/pastes.

Change-Id: I7f91a9d44af28ac0652ed0b054419a71ed7bb1b1

Merge "The option force_metadata=True breaks the dhcp agent"

Updated from global requirements

Change-Id: I4dc58137eaa84049330d70a4f3b8664479de5608