Add OVSDB abstract API

Abstract all existing run_vsctl calls to an abstract OVSDB API.
This will allow the future addition of a native OVSDB protocol
implementation of the API without breaking backward compatibility.

Partially-Implements: blueprint vsctl-to-ovsdb

Change-Id: I2c1b5bc9cb6b9860676bb5e3eaca0402d7e99b01

Merge "Initialize dist_fip_count after agent restart"

Merge "Add notes on how to deal with stable branches"

Merge "Added comments, and refactored _add_rule_by_security_group"

Merge "If router is HA, get current_cidrs from keepalived object"

Merge "Configure IPv6 LLADDR only on master L3 HA instance"

Merge "Functional test IPAM DB operation"

Merge "Implements ProcessMonitor in the dhcp_agent"

Add notes on how to deal with stable branches

This patch provides further details related to importing stable branches,
as well as how to deal with backports.

Partially-implements: blueprint core-vendor-decomposition

Change-Id: I4ccde019ee9d86a93a956e42b866ff9b2dc5aedb

Configure IPv6 LLADDR only on master L3 HA instance

HA standby routers must never transmit traffic from
any of their ports. This is because we allocate the same
port on all agents. For example, for a given external interface,
we place the same port with the same IP/MAC on every agent
the HA router is scheduled on. Thus, if a standby router
transmits data out of that interface, the physical switches
in the datacenter will re-learn the MAC address of the external
port, and place it on a port that's looking at a standby and
not at the master. This causes 100% packet loss for any incoming
traffic that should be going through the master instance of the
router.

Keepalived manages addresses on the router interfaces, and makes
sure that these addresses only live on the master. However, we
forgot about IPv6 link local addresses. They are generated
from the MAC address of the interface, and thus are identical on
all agents.

This patch tries to treat IPv6 link local addresses the same
as IPv4 addresses - define them as VIPs and let keepalived
move them around.

Closes-Bug: #1403860
Change-Id: Ia5071552239c9444c5105a150b268fb0437e4b85

Merge "Add index generation for IPv6 rules for DVR"

Merge "Corrected singulars/plurals in iptables_firewall.py"

Merge "Drop SecurityGroupServerRpcApiMixin"

Merge "sriovnicagent: drop usage of SecurityGroupServerRpcApiMixin"

Merge "sriovnicagent: untangle SecurityGroupAgentRpcMixin"

Merge "mlnx: drop usage of SecurityGroupServerRpcApiMixin"

Merge "mlnx: untangle SecurityGroupAgentRpcMixin"

Merge "linuxbridge: drop usage of SecurityGroupServerRpcApiMixin"

Implements ProcessMonitor in the dhcp_agent

The ProcessMonitor class will watch over spawned external processes,
taking the administrator configured action in the case of any
of the external processes die unexpectedly.

It covers both the neutron-ns-metadata-proxy for isolated metadata
and dnsmasq in the dnsmasq driver.

ProcessMonitor has been extended to allow specific pid files
for backwards-compatible dnsmasq pid file location.

Implements: blueprint agent-child-processes-status
Change-Id: I0a4a509b65aadf825799c98dfa48a655b123b403

Functional test IPAM DB operation

Add a functional test to check that the IPAM logic is correct and
that the data stored in the DB are sane.

Partial-bug: #1331564
Change-Id: I7776a50824184663abd37e210d08a63eb5519cea

Merge "Ignore 404 error and lower a warning log to info"

Merge "linuxbridge: untangle SecurityGroupAgentRpcMixin"

Merge "Use db constraint to ensure mac address uniqueness"

Merge "Added test_dvr_router_lifecycle to cover dvr"

If router is HA, get current_cidrs from keepalived object

When using L3 HA and keepalived neutron is no longer directly managing
the floating IP addresses itself. Neutron should not check against
which addresses are currently configured on the system, but the
addresses the keepalived object has configured.

Co-Authored-By: Benoit Page-Guitard <benoit.page@gmail.com>
Change-Id: I56045ede3a3dc1a7044a22913ee38ed382a81052
Closes-Bug: #1400217

Merge "Move process monitor settings to neutron.conf AGENT section"

Merge "SIGHUP keepalived if L3 agent restarts"

Move process monitor settings to neutron.conf AGENT section

Instead of defining specific settings on each agent configuration
file for later patches in the series, we provide a single
point of configuration in the AGENT section of the neutron.conf
file, which could yet be overriden per agent config file if needed.

Partially Implements: blueprint agent-child-processes-status

Change-Id: I8a6351c96b8699fdba50009fa9eace337b937a34

Merge "Remove DBDuplicateEntry columns check"

Drop SecurityGroupServerRpcApiMixin

The code base has now been migrated away from using this class, so it
can be removed.  This was a prerequisite to being able to put this rpc
api into a messaging namespace.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I967339c4579d42c5ca9cea7f1ef3ba2233a6ff9d

sriovnicagent: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in sriovnicagent.
This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as
a mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I157866bb65f884f80a9c3d70ffdcd487644caaef

sriovnicagent: untangle SecurityGroupAgentRpcMixin

This patch separates the use of SecurityGroupAgentRpcMixin out to its
own class.  This matches most of the rest of the code base.  This
separation is needed to be able to eventually move this rpc API into
its own messaging namespace.  Now that it's separate, a future change
can pass the new class an instance of SecurityGroupServerRpcApi
instead of assuming that the PluginApi instance includes
SecurityGroupServerRpcApiMixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I46bdf2132bfed582df85bb302f55b1840e7a7a18

mlnx: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the mlnx agent.
This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as
a mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Iba96bddf30f33569a96548a5f116d66a4db6fc8f

mlnx: untangle SecurityGroupAgentRpcMixin

This patch separates the use of SecurityGroupAgentRpcMixin out to its
own class.  This matches most of the rest of the code base.  This
separation is needed to be able to eventually move this rpc API into
its own messaging namespace.  Now that it's separate, a future change
can pass the new class an instance of SecurityGroupServerRpcApi
instead of assuming that the PluginApi instance includes
SecurityGroupServerRpcApiMixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Ie850a262bc7e4b697003cf6d91780dc819c688e0

linuxbridge: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the linuxbridge agent.
This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as
a mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I736468ebd32822352e44eda8c5f1a25972a70fda

linuxbridge: untangle SecurityGroupAgentRpcMixin

This patch separates the use of SecurityGroupAgentRpcMixin out to its
own class.  This matches most of the rest of the code base.  This
separation is needed to be able to eventually move this rpc API into
its own messaging namespace.  Now that it's separate, a future change
can pass the new class an instance of SecurityGroupServerRpcApi
instead of assuming that the LinuxBridgePluginApi includes
SecurityGroupServerRpcApiMixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I913ef0e2f981b258ea03a519f53a55b4afe80daa

Use db constraint to ensure mac address uniqueness

Currently port mac address uniqueness per network is checked before Port
db object create but without locking. It implies 2 port create requests
can allocate the same mac address on a network if each request performs
mac address uniqueness check before the other creates the Port db object.

This change replaces the check by a db unique constraint on Port
(network_id, mac_address).

Change-Id: Iad7460356ceb74d963cddf5ec33268d77792f1fe
Closes-Bug: #1194565

Merge "tests: drop usage of SecurityGroupServerRpcApiMixin"

Merge "ovs: drop usage of SecurityGroupServerRpcApiMixin"

Merge "oneconvergence: drop usage of SecurityGroupServerRpcApiMixin"

Merge "ofagent: drop usage of SecurityGroupServerRpcApiMixin"

Merge "nec: drop usage of SecurityGroupServerRpcApiMixin"

Ignore 404 error and lower a warning log to info

Ignore an expected 404 error. Lower the severity of an informational log entry
from warning to info to avoid polluting the server.log

Closes-Bug: #1413457
Change-Id: Ib6316cdda0aed10d8f430790b0c4f909ad833eb0

Merge "Don't log a warning if an iptables chain doesn't exist"

Merge "Remove useless constant from l3 agent module"

Merge "Use constants from networking_odl project"

Remove useless constant from l3 agent module

This change removes the RPC_LOOP_INTERVAL which is never used.

Change-Id: I9bb380ad2ef0c1ab0f96904625e6d228f2e505da

Added test_dvr_router_lifecycle to cover dvr

Several additions were necessary to support testing the lifecycle of a
dvr router. Added new function _dvr_router_lifecycle and necessary
supporting  functions to avoid impacting any other section of the code
or tests.
Tests Added:
test_dvr_router_lifecycle_without_ha_without_snat_with_fips
test_dvr_router_lifecycle_without_ha_with_snat_with_fips

Change-Id: I1bb4bf6969e18ed345f208ed099a692ada5aa4c0

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I1919ac5e3285a422387bae282ac7d88bd2ee599c

Merge "DHCP agent restructuring"

Use constants from networking_odl project

Instead of redefining ODL_NETWORKS, ODL_SUBNETS, and ODL_PORTS,
use these from the networking_odl project.

Change-Id: I39a20dbae85b2fb671682e0cf94d67f06b9b8535

Merge "Improve agent-based flat/vlan ml2 port binding failure logging"

Merge "Add ovsdb-related functional tests"

Initialize dist_fip_count after agent restart

Runtime router variable dist_fip_count has been
used to keep track of FIPs for DVR routers.
This variable is not re-initialized correctly on
agent restart and can get stale from other errors
which cause problems with namespace and port cleanup.

This patch will initialize the ri.dist_fip_count
once in process_router for dvr routers only.  This
method was selected instead of the _router_added or
_router_removed path because it is the one central
entry point for rotuer add, delete, and update.

The object self.agent_gateway_port also needs to be
properly handled after an agent restart and this
patch will handle that as well.

When needed, the system will be read via system
calls to determine the state of namespaces and ports
since the variables cannot be relied on.
System calls will be kept to a minimum to reduce
and possible performance hits.

Change-Id: Iae5ebf5249f8e16ab57df78e042293ca2855ddf1
Closes-bug: #1367039

Merge "Replace FLOATING_IP_CIDR_SUFFIX constant with utils"

Merge "Fix IP allocation for multiple slaac subnets"

Merge "Create DvrRouter and HaRouter as a sub-class of Router"

Replace FLOATING_IP_CIDR_SUFFIX constant with utils

FLOATING_IP_CIDR_SUFFIX is a global constant used in manipulating ip
addresses and cidrs as string.  This patch replaces that with
well-tested utilities for doing the conversions more safely and
readably.

Change-Id: I96c79b1ada549ed4bd09a853a8019ff54b2888e2
Partially-Implements: bp/restructure-l3-agent

tests: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the unit tests.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I2b66545ebfe5e7acf0a89fac58dc22e72d0df099

ovs: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the ovs plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I6c3f3325b4337e55aed2316dade8025425c4e919

oneconvergence: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the oneconvergence
plugin.  This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I635fbeb57f4d5ee8a7ce4ca353a32b543e7d2433

ofagent: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the ofagent plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I932072bd5ab40c58c0706264cf5087d4f5786fce

nec: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the nec plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Id76c3fd22a0e847660f58e4d3c8a1001e3654918

hyperv: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the hyperv plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Idad9732be1c225262b39e07455d41bd61477c39d

bigswitch: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the bigswitch plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Ib1c06d5b79c51fb63131efdf6ed83a7e85a7b820

Create SecurityGroupServerRpcApi and add some docs

Create SecurityGroupServerRpcApi, which is intended to replace
SecurityGroupServerRpcApiMixin over time.  The new class is the same
code, but used as a standalone class.  This is needed to be able to
eventually move this API into a messaging namespace.

In passing, add docstrings that show where to find the corresponding
other side of this interface in the code base.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: If959b2f8bf21b4963bf6876a3eedc0a4b06c6400

Improve agent-based flat/vlan ml2 port binding failure logging

Port binding failure is an error and should be reported as such.
Additionally, if a port binding fails on a host due to missing
bridge mappings, it's currently quite a mystery to find out. This
should be logged instead of requiring users to debug code. Not
everyone enjoys debugging Python, as weird as that is!

I refactored out the common code in check_segment_for_agent
in order to make logging more robust for all agent-based mechanism
drivers. The OVS and LB mech drivers already log due to a bridge
mappings mismatch and the other agent based mech drivers
will now log as well.

Closes-Bug: #1377710
Change-Id: I451a0763908adcd845721e8cda7f3189da6c8b81

Merge "Updated from global requirements"

Merge "Improve test coverage of dhcp agent scheduling"

Merge "Remove unused self.sync_progress attribute"

Merge "Switch to using abc in the retargetable client"

Merge "Catch StaleDataError in update_device_down"

Merge "Fix outstanding failures with Neutron API job"

Merge "common_db_mixin.py: simplify CommonDbMixin"

Merge "Fix pylint unbalanced-tuple-unpacking warning"

Merge "tools/split.sh: Tweak commit message"

Merge "make delete_router send delete_port to core_plugin"

Updated from global requirements

Change-Id: I175e1423cbc9f69ded8baf8b8398cc33285c87e3

SIGHUP keepalived if L3 agent restarts

Currently restarting the L3 agent does not SIGHUP any running
keepalived processes. This is an issue if the L3 agent crashes
and is then restarted by an external tool. In this case, the L3
agent resyncs with the controller but does not SIGHUP keepalived.

It's also an issue during upgrades.

Closes-Bug: #1412542
Change-Id: Iec29b483f499f02c593f6e0663c7f3504c615c1a

Added comments, and refactored _add_rule_by_security_group

Added some comments, and extracted fixed egress rules
addition to a separate function.

Partially implements blueprint refactor-iptables-firewall-driver

Change-Id: If71b2b9f22f036138e0fddd496ae86ed08ea2ae1

Improve test coverage of dhcp agent scheduling

This patch adds few unit test cases and functional test cases
for schedule() and auto_schedule_networks() of DHCP agent
ChanceScheduler.

Change-Id: I6ed7c48bcf5fc43d805c7898c7d6f019b6792e18
Closes-bug: #1331516

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I6148f56f1a6bc4e541745f4a536c3c38e3badaac

tools/split.sh: Tweak commit message

No period in the summary line.

Change-Id: Ic79bc85a92b43c60894b9e7e3423beeca5d832a8
Related: blueprint core-vendor-decomposition

Switch to using abc in the retargetable client

abc is preferable to raising NotImplementedError because it will
prevent instantiation of a subclass that doesn't implement the
required methods rather than failing only when a missing method is
called.

Change-Id: I1043eefde675dd3b653d5b508be22cfd52d2fe8f
Implements: bp retargetable-functional-testing

Merge "Move Monkey patch back to being as early as possible"

common_db_mixin.py: simplify CommonDbMixin

Simplfy register_model_query_hook() and register_dict_extend_funcs().
Move register_dict_extend_funcs() into CommonDbMixin attribute
because the related class attribute, _dict_extend_functions, is
defined in CommonDbMixin. They should be defined in same class.

Change-Id: Ib7b6df0c236f1d0804941147cc7cd7902a611311

Merge "Fix missing spaces in error messages"

Merge "Drop _test_rootwrap_exec test"

Merge "Migrate to oslo.concurrency"

Drop _test_rootwrap_exec test

It's not a unit test and didn't participate in gating. The test would belong to
functional suite, though since it's pretty trivial, and rootwrap is already
tested as part of other functional tests, it's better to drop it then adopt to
new requirements.

Change-Id: I1667f2127b045cf002ae8516624afe9efe919fb7

Fix pylint unbalanced-tuple-unpacking warning

Pylint last version(1.4.1), at least, reports an
unbalanced-tuple-unpacking warning[1] in keepalived[2] module because
self.authentication is defined as an empty tuple in __init__ method and
unpacked in build_config method as if it was a 2-tuple.

self.authentication references an empty tuple (defined in __init__
method) or a 2-tuple (updated in set_authentication method). Such
warning is a false positive because the unpacking is only performed if
self.authentication is not evaluated to false which only appends if
self.authentication is a 2-tuple.

Defining self.authentication as None in __init__ avoids such warning
without disabling unbalanced-tuple-unpacking warning check.

[1]
W:252,12: Possible unbalanced tuple unpacking with sequence defined at
line 153: left side has 2 label(s), right side has 0 value(s)
(unbalanced-tuple-unpacking)

[2] neutron.agent.linux.keepalived

Change-Id: Ifcdf08e574ef44a65c6d121323cbe31d9af2f921
Closes-Bug: #1411865

Corrected singulars/plurals in iptables_firewall.py

Partially implements blueprint refactor-iptables-firewall-driver

Change-Id: I640ac161bfe5db476c4bc3a383998ef002529095

Create DvrRouter and HaRouter as a sub-class of Router

This commit creates them as simple sub-classes and instantiates them
when appropriate.  It also moves the basic mixin classes from
RouterInfo.  Since all of the properties and attributes from these
mixins are only used in the ha or dvr contexts, this is safe.  Future
refactoring will further tease things out until they are properly
encapsulated.

They inherit everything else from their base class so that they all
still share the same code.  Creating them up front provides a place
for dvr and ha specific logic to land as methods are moved from the L3
agent and mixins to the new router classes.  Eventually, all of the
specific logic will be teased in to the specific classes.

Change-Id: I8c485e74ae06b10fd284797359bc6d1115361713
Partially-Implements: blueprint restructure-l3-agent

Remove unused self.sync_progress attribute

It was never used for anything since initial commit and is a leftover from one
of intermediate patchsets of I0978d1c38ac5c38c4548e5b1877857bb5cac3b81.

Change-Id: I3732aebf9029f62b4c5beb18dea4216804f9aa5d

DHCP agent restructuring

Wrap dhcp agent into its own module and break out configurations and
entry point for better seperation. This lead to some test cleanup
that revealed that options were registered unnecessarily.

When/if the dhcp agent goes through a restructuring along the same
lines of the L3 agent's, this would be the step to start from.

Related-blueprint: restructure-l3-agent
Related-blueprint: core-vendor-decomposition

Change-Id: I87d9f1079ed4e71c731984ec00e2f785024fd5f8

Merge "Revert "Change transaction isolation so retry logic could work properly""

Move Monkey patch back to being as early as possible

Commit 6ca8cb84fd8 moved the patching early in the loading process.
After some reshuffling in the agents, this might not be as early
as possible, so move them closer to their main()'s.

Change-Id: Ifddd3a3d87ef6cc06788e9b4c40d6a6d981ebe0c

Fix outstanding failures with Neutron API job

In order to run the API job successfully, must be installed and
configured. Today when using devstack-vm-gate.sh this means that
Tempest will run as well, which we do not want. To fix this problem
there are changes needed both in project-config and devstack-gate.

As a stop-gap solution, we bring in the scripts required and run
them directly within the gate hooks that we already have.

Once changes in devstack-gate and project-config will be accepted, this
solution can be dropped.

Supports-blueprint: retargetable-functional-testing

Change-Id: If04641ca6a12e956d7baff427e50816fd1a65fbe

Disable unbalanced-tuple-unpacking

This check seems to have changed and started to break in Neutron.
Disabling it is one way we could get back to good.

Change-Id: I6d06d43cb2e78501cd69fcb3940694d04d936fa8
Closes-bug: #1411865

Revert "Change transaction isolation so retry logic could work properly"

This reverts commit 6617f8fccc8d99520a87cd84a598c4f9a1a43761.

Nip bug #1411816 in the bud, until we figure out what's going on.

Change-Id: Iccae2e06d79221583c79bd9fab4f5eda52979124