Ensure ofports are converted to string before trying to use join()

Change-Id: Idfe0bf8bedbe4bc165a33f66785eb6b5b38a5a0e
Closes-bug: #1415043

Merge "Move shared metadata driver related config options"

Merge "drop unused test rootwrap filter file"

Merge "Update comment about metadata_proxy_shared_secret config"

Merge "Add index on db "allocated" columns"

Merge "Update _cur names to _current in iptables_firewall.py"

Merge "Add coverage for extra routes extension"

Merge "Extract l2pop/DVR controller logic to common method"

Merge "ML2: Driver API changes for hierarchical port binding"

Merge "Add functional tests for IptablesManager using tcp/udp"

Merge "Add OVSDB abstract API"

Add coverage for extra routes extension

Test the extra routes extension for legacy and HA routers
in the L3 agent functional tests.

Partially-Implements: bp/restructure-l3-agent
Change-Id: I26444acf32652d1845ad0325a3a10b8a17c510c9

Merge "Imported Translations from Transifex"

Merge "Use DVRServerRpcApi instead of a mixin"

Merge "Scope secgroup rpc api using a messaging namespace"

Merge "Add and use SecurityGroupAgentRpc"

Merge "pep8: cleaned up excludes"

Merge "Remove check_i18n tox target"

Add OVSDB abstract API

Abstract all existing run_vsctl calls to an abstract OVSDB API.
This will allow the future addition of a native OVSDB protocol
implementation of the API without breaking backward compatibility.

Partially-Implements: blueprint vsctl-to-ovsdb

Change-Id: I2c1b5bc9cb6b9860676bb5e3eaca0402d7e99b01

Add functional tests for IptablesManager using tcp/udp

This commit adds tests for filter table using tcp and udp protocols.
Part of it is a NetcatTester class providing ability to test connection
between two veth pairs in namespaces.

Change-Id: I6db1e7ffef5e1243478e15a994787396b0908656
Related-Bug: 1243216

Use DVRServerRpcApi instead of a mixin

Replace DVRServerRpcApiMixin with a standalone rpc client class,
DVRServerRpcApi.  Also convert the one user of this code (the ovs
agent) to use it.  This is a prerequisite to being able to put this
rpc interface into a messaging namespace.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I33b8bff78fd9ca0223c5e48713f7e8f2db026752

Scope secgroup rpc api using a messaging namespace

This patch scopes the agent to plugin security group rpc interface
using a messaging namespace.  Right now some plugins expose several
interfaces via the default namespace.  This effectively means they are
a single API and should be managed with a single version stream.  It's
much more managable to just treat these as separate interfaces and
this change makes that explicit and functionally true.  Now when a
method is invoked, the only classes considered for handling that
request will be ones marked with the right namespace.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Iaee934646c9da7d32968406a583a5718fffc893b

Add and use SecurityGroupAgentRpc

Add a new class, SecurityGroupAgentRpc, which is based on
SecurityGroupAgentRpcMixin.  Most uses of SecurityGroupAgentRpcMixin
follow the same pattern, so this class makes it possible to cut
down on some duplicated code.

Make use of SecurityGroupAgentRpc in: linuxbridge, openvswitch, mlnx,
nec, ofagent, oneconvergence, sriovnicagent, bigswitch, and hyperv.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I2aaa55e8e539e47427e56b4da42321cfcfcde622

hyperv: drop useless messaging.Target on HyperVSecurityAgent

HyperVSecurityAgent includes a messaging.Target() definition.
However, this is unnecessary as this class is not an rpc API endpoint.
Just remove it.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I8402079c1992453aaab1f989d70f2c5c37ebc2bd

Extract l2pop/DVR controller logic to common method

Regular ports and DVR ports are treated almost the same, extract the
l2pop logic to treat them to a unified method that gets an argument if
the FDB entries are needed or not, in order to reduce code duplication.

Change-Id: I1f2a1de4cb7c29724e2354577f915a48173a1966

Merge "Do not duplicate message consumers"

Merge "Mention networking_odl in README.odl"

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I9483c5f2006aac17efb2a0d4446f0d0f4e42330c

attributes: Additional IP address validation

Introduce an additional IP address validation instead of assuming
that netaddr provides it.  Namely, it ensures that an address
either has ':' (IPv6) or 3 periods like 'xx.xx.xx.xx'. (IPv4)

The "'1' * 59" test case recently introduced by
commit 1681f62ec91b6c3705a14393815542dc1746de71 fails on
some platforms because it's considered a valid address by
their inet_aton.  Examples of such platforms: NetBSD, OS X

While one might argue it's a fault of the platforms, this is
a historical behavior which is probably too late to change there.

(The breakage has been hidden by later UT changes in
commit 35662d07628452d14306f5197871ad64f6396ff3 .
This commit includes a UT change to uncover the problem again.)

Closes-Bug: #1394867
Related-Bug: #1378450
Change-Id: Ibe02f8b7c4d437bf7abbe7304ca138bdcf4bfdb9

Mention networking_odl in README.odl

Change-Id: If7f7cffd454864fb9b531dd3b56460517a35f3ad
Closes-Bug: #1413439

Updated from global requirements

Change-Id: Ic12622394dd31d9df60aad72c68473ecad7ac844

Merge "Initialize dist_fip_count after agent restart"

Merge "Add notes on how to deal with stable branches"

Merge "Added comments, and refactored _add_rule_by_security_group"

Merge "If router is HA, get current_cidrs from keepalived object"

Merge "Configure IPv6 LLADDR only on master L3 HA instance"

Merge "Functional test IPAM DB operation"

Merge "Implements ProcessMonitor in the dhcp_agent"

Add notes on how to deal with stable branches

This patch provides further details related to importing stable branches,
as well as how to deal with backports.

Partially-implements: blueprint core-vendor-decomposition

Change-Id: I4ccde019ee9d86a93a956e42b866ff9b2dc5aedb

Configure IPv6 LLADDR only on master L3 HA instance

HA standby routers must never transmit traffic from
any of their ports. This is because we allocate the same
port on all agents. For example, for a given external interface,
we place the same port with the same IP/MAC on every agent
the HA router is scheduled on. Thus, if a standby router
transmits data out of that interface, the physical switches
in the datacenter will re-learn the MAC address of the external
port, and place it on a port that's looking at a standby and
not at the master. This causes 100% packet loss for any incoming
traffic that should be going through the master instance of the
router.

Keepalived manages addresses on the router interfaces, and makes
sure that these addresses only live on the master. However, we
forgot about IPv6 link local addresses. They are generated
from the MAC address of the interface, and thus are identical on
all agents.

This patch tries to treat IPv6 link local addresses the same
as IPv4 addresses - define them as VIPs and let keepalived
move them around.

Closes-Bug: #1403860
Change-Id: Ia5071552239c9444c5105a150b268fb0437e4b85

Do not duplicate message consumers

Oslo.messaging creates node topic (with node name as suffix)
and fanout topic automatically. There's no need to do this
in Neutron code.

Closes bug 1413156

Change-Id: Ic790cab648b213b55679038967fef12eb5cec606

Merge "Add index generation for IPv6 rules for DVR"

Add index on db "allocated" columns

ml2_vxlan_allocations, ml2_gre_allocations, ml2_vlan_allocations tables
have the 'allocated' field.

There are a lot of similar queries to these tables which look
like the following:

SELECT ml2_vxlan_allocations.vxlan_vni
AS ml2_vxlan_allocations_vxlan_vni,
ml2_vxlan_allocations.allocated
AS ml2_vxlan_allocations_allocated
FROM ml2_vxlan_allocations
WHERE ml2_vxlan_allocations.allocated = 0 LIMIT 1;

Performing such selects can take quite a lot of time and if a transaction
which performs allocation is executed in parallel, it can lead to
allocation failure and retry.

Adding an index on "allocated" column significantly improves
the performance. For ml2_vlan_allocations table created
an index on (physical_network, allocation) together.

Example for MySQL for execution of query
select * from ml2_vxlan_allocations where allocated = 0;
when on the table with ~3 mln entries, ~500K of which
have allocated = 0:
+-----------------------+---------------------+
|No index on "allocated"| Index on "allocated"|
+---------------------------------------------+
|      2.02 sec         |       0.43 sec      |
+-----------------------+---------------------+

Closes-Bug: #1412348
Change-Id: Ie90ba611dcae6bd0cb7686a0c7b29b9484eae693

Merge "Corrected singulars/plurals in iptables_firewall.py"

Merge "Drop SecurityGroupServerRpcApiMixin"

Merge "sriovnicagent: drop usage of SecurityGroupServerRpcApiMixin"

pep8: cleaned up excludes

Don't over-exclude files from pep8 automation. Specifically, tools/*
should maintain common Python style as any other Neutron code.

Don't exclude every single dot-file/dot-dir separately but instead
apply .* wildcard.

Drop rally-scenarios exclusion. First, the directory is now rally-jobs,
so exclusion didn't work. Second, it's better to also apply pep8 checks
for those files (there are some Python files inside the directory).

Change-Id: Ife1d8a538c1bdddac30ca1c30c48a71564860624

Remove check_i18n tox target

Now that we have hacking rules to check proper localization, drop the
target.

Change-Id: Idf6e6c9e6096c4b7b2034be94c88460b744b7532

Merge "sriovnicagent: untangle SecurityGroupAgentRpcMixin"

Merge "mlnx: drop usage of SecurityGroupServerRpcApiMixin"

Merge "mlnx: untangle SecurityGroupAgentRpcMixin"

Merge "linuxbridge: drop usage of SecurityGroupServerRpcApiMixin"

Implements ProcessMonitor in the dhcp_agent

The ProcessMonitor class will watch over spawned external processes,
taking the administrator configured action in the case of any
of the external processes die unexpectedly.

It covers both the neutron-ns-metadata-proxy for isolated metadata
and dnsmasq in the dnsmasq driver.

ProcessMonitor has been extended to allow specific pid files
for backwards-compatible dnsmasq pid file location.

Implements: blueprint agent-child-processes-status
Change-Id: I0a4a509b65aadf825799c98dfa48a655b123b403

Functional test IPAM DB operation

Add a functional test to check that the IPAM logic is correct and
that the data stored in the DB are sane.

Partial-bug: #1331564
Change-Id: I7776a50824184663abd37e210d08a63eb5519cea

Merge "Ignore 404 error and lower a warning log to info"

Merge "linuxbridge: untangle SecurityGroupAgentRpcMixin"

Merge "Use db constraint to ensure mac address uniqueness"

Merge "Added test_dvr_router_lifecycle to cover dvr"

If router is HA, get current_cidrs from keepalived object

When using L3 HA and keepalived neutron is no longer directly managing
the floating IP addresses itself. Neutron should not check against
which addresses are currently configured on the system, but the
addresses the keepalived object has configured.

Co-Authored-By: Benoit Page-Guitard <benoit.page@gmail.com>
Change-Id: I56045ede3a3dc1a7044a22913ee38ed382a81052
Closes-Bug: #1400217

Merge "Move process monitor settings to neutron.conf AGENT section"

Merge "SIGHUP keepalived if L3 agent restarts"

Move process monitor settings to neutron.conf AGENT section

Instead of defining specific settings on each agent configuration
file for later patches in the series, we provide a single
point of configuration in the AGENT section of the neutron.conf
file, which could yet be overriden per agent config file if needed.

Partially Implements: blueprint agent-child-processes-status

Change-Id: I8a6351c96b8699fdba50009fa9eace337b937a34

Merge "Remove DBDuplicateEntry columns check"

Drop SecurityGroupServerRpcApiMixin

The code base has now been migrated away from using this class, so it
can be removed.  This was a prerequisite to being able to put this rpc
api into a messaging namespace.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I967339c4579d42c5ca9cea7f1ef3ba2233a6ff9d

sriovnicagent: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in sriovnicagent.
This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as
a mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I157866bb65f884f80a9c3d70ffdcd487644caaef

sriovnicagent: untangle SecurityGroupAgentRpcMixin

This patch separates the use of SecurityGroupAgentRpcMixin out to its
own class.  This matches most of the rest of the code base.  This
separation is needed to be able to eventually move this rpc API into
its own messaging namespace.  Now that it's separate, a future change
can pass the new class an instance of SecurityGroupServerRpcApi
instead of assuming that the PluginApi instance includes
SecurityGroupServerRpcApiMixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I46bdf2132bfed582df85bb302f55b1840e7a7a18

mlnx: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the mlnx agent.
This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as
a mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Iba96bddf30f33569a96548a5f116d66a4db6fc8f

mlnx: untangle SecurityGroupAgentRpcMixin

This patch separates the use of SecurityGroupAgentRpcMixin out to its
own class.  This matches most of the rest of the code base.  This
separation is needed to be able to eventually move this rpc API into
its own messaging namespace.  Now that it's separate, a future change
can pass the new class an instance of SecurityGroupServerRpcApi
instead of assuming that the PluginApi instance includes
SecurityGroupServerRpcApiMixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Ie850a262bc7e4b697003cf6d91780dc819c688e0

linuxbridge: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the linuxbridge agent.
This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as
a mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I736468ebd32822352e44eda8c5f1a25972a70fda

linuxbridge: untangle SecurityGroupAgentRpcMixin

This patch separates the use of SecurityGroupAgentRpcMixin out to its
own class.  This matches most of the rest of the code base.  This
separation is needed to be able to eventually move this rpc API into
its own messaging namespace.  Now that it's separate, a future change
can pass the new class an instance of SecurityGroupServerRpcApi
instead of assuming that the LinuxBridgePluginApi includes
SecurityGroupServerRpcApiMixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I913ef0e2f981b258ea03a519f53a55b4afe80daa

Use db constraint to ensure mac address uniqueness

Currently port mac address uniqueness per network is checked before Port
db object create but without locking. It implies 2 port create requests
can allocate the same mac address on a network if each request performs
mac address uniqueness check before the other creates the Port db object.

This change replaces the check by a db unique constraint on Port
(network_id, mac_address).

Change-Id: Iad7460356ceb74d963cddf5ec33268d77792f1fe
Closes-Bug: #1194565

Merge "tests: drop usage of SecurityGroupServerRpcApiMixin"

Merge "ovs: drop usage of SecurityGroupServerRpcApiMixin"

Merge "oneconvergence: drop usage of SecurityGroupServerRpcApiMixin"

Merge "ofagent: drop usage of SecurityGroupServerRpcApiMixin"

Merge "nec: drop usage of SecurityGroupServerRpcApiMixin"

Ignore 404 error and lower a warning log to info

Ignore an expected 404 error. Lower the severity of an informational log entry
from warning to info to avoid polluting the server.log

Closes-Bug: #1413457
Change-Id: Ib6316cdda0aed10d8f430790b0c4f909ad833eb0

Merge "Don't log a warning if an iptables chain doesn't exist"

Merge "Remove useless constant from l3 agent module"

Merge "Use constants from networking_odl project"

Move shared metadata driver related config options

This change moves metadata driver related config options to metadata
driver module to prepare the use of metadata driver method in the dhcp
agent (daughter change). The metadata_port option is not moved as the
dhcp agent uses a non-configurable port (80).

Change-Id: Ie45fdad86f33d35fca3096c4c52fae941a279e76
Partial-Bug: #1187107

Remove useless constant from l3 agent module

This change removes the RPC_LOOP_INTERVAL which is never used.

Change-Id: I9bb380ad2ef0c1ab0f96904625e6d228f2e505da

Added test_dvr_router_lifecycle to cover dvr

Several additions were necessary to support testing the lifecycle of a
dvr router. Added new function _dvr_router_lifecycle and necessary
supporting  functions to avoid impacting any other section of the code
or tests.
Tests Added:
test_dvr_router_lifecycle_without_ha_without_snat_with_fips
test_dvr_router_lifecycle_without_ha_with_snat_with_fips

Change-Id: I1bb4bf6969e18ed345f208ed099a692ada5aa4c0

Imported Translations from Transifex

For more information about this automatic import see:
https://wiki.openstack.org/wiki/Translations/Infrastructure

Change-Id: I1919ac5e3285a422387bae282ac7d88bd2ee599c

Merge "DHCP agent restructuring"

Use constants from networking_odl project

Instead of redefining ODL_NETWORKS, ODL_SUBNETS, and ODL_PORTS,
use these from the networking_odl project.

Change-Id: I39a20dbae85b2fb671682e0cf94d67f06b9b8535

Merge "Improve agent-based flat/vlan ml2 port binding failure logging"

Merge "Add ovsdb-related functional tests"

Initialize dist_fip_count after agent restart

Runtime router variable dist_fip_count has been
used to keep track of FIPs for DVR routers.
This variable is not re-initialized correctly on
agent restart and can get stale from other errors
which cause problems with namespace and port cleanup.

This patch will initialize the ri.dist_fip_count
once in process_router for dvr routers only.  This
method was selected instead of the _router_added or
_router_removed path because it is the one central
entry point for rotuer add, delete, and update.

The object self.agent_gateway_port also needs to be
properly handled after an agent restart and this
patch will handle that as well.

When needed, the system will be read via system
calls to determine the state of namespaces and ports
since the variables cannot be relied on.
System calls will be kept to a minimum to reduce
and possible performance hits.

Change-Id: Iae5ebf5249f8e16ab57df78e042293ca2855ddf1
Closes-bug: #1367039

Merge "Replace FLOATING_IP_CIDR_SUFFIX constant with utils"

Merge "Fix IP allocation for multiple slaac subnets"

Merge "Create DvrRouter and HaRouter as a sub-class of Router"

Replace FLOATING_IP_CIDR_SUFFIX constant with utils

FLOATING_IP_CIDR_SUFFIX is a global constant used in manipulating ip
addresses and cidrs as string.  This patch replaces that with
well-tested utilities for doing the conversions more safely and
readably.

Change-Id: I96c79b1ada549ed4bd09a853a8019ff54b2888e2
Partially-Implements: bp/restructure-l3-agent

tests: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the unit tests.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I2b66545ebfe5e7acf0a89fac58dc22e72d0df099

ovs: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the ovs plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I6c3f3325b4337e55aed2316dade8025425c4e919

oneconvergence: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the oneconvergence
plugin.  This is required to be able to eventually move this API into
a messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I635fbeb57f4d5ee8a7ce4ca353a32b543e7d2433

ofagent: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the ofagent plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: I932072bd5ab40c58c0706264cf5087d4f5786fce

nec: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the nec plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Id76c3fd22a0e847660f58e4d3c8a1001e3654918

hyperv: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the hyperv plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Idad9732be1c225262b39e07455d41bd61477c39d

bigswitch: drop usage of SecurityGroupServerRpcApiMixin

Drop usage of SecurityGroupServerRpcApiMixin in the bigswitch plugin.
This is required to be able to eventually move this API into a
messaging namespace.  It needs to use its own messaging client
instance, instead of a different one it gets after being used as a
mixin.

Part of blueprint rpc-docs-and-namespaces.

Change-Id: Ib1c06d5b79c51fb63131efdf6ed83a7e85a7b820