Merge "DVR: when updating port's fixed_ips, update arp"

Merge "Move L2populationDbMixin to module-level functions"

Merge "Updated from global requirements"

Merge "Make sure datapath_type is updated on bridges changed"

Merge "fix get_ha_sync_data_for_host for non-dvr agent"

Merge "Fix get_subnet_for_dvr() to return correct gateway mac"

Merge "Fix params order in assertEqual"

Merge "Make security_groups_provider_updated work with Kilo agents"

Merge "doc: Update Ryu Ishimoto's IRC nick"

Merge "Revert "Change function call order in ovs_neutron_agent.""

Merge "Introduce new query to return all hosts for DVR router"

Merge "Retry port create/update on duplicate db records"

Merge "L3 agent: paginate sync routers task"

Merge "Make neutron pecan server an option instead of binary"

Updated from global requirements

Change-Id: Ia4001c53f4c2c3d1076fa7533dfd095245ef8082

Merge "Fix regression with unbound ports and l2pop"

Merge "dhcp: handle advertise_mtu=True when plugin does not set mtu values"

Merge "Unify using assertIsInstance"

Merge "Use oslo.utils.reflection extract the class name"

Merge "OVS: Reorder table-id constants"

Merge "Unify exceptions for assign router to dvr agent"

Move L2populationDbMixin to module-level functions

None of the L2populationDbMixin methods actually use 'self' for
anything. As the class is basically just used as a namespace and
modules already provide that, this patch gets rid of the mixin. This
makes the code simpler and easier to debug as inheritance doesn't buy
us anything in this case.

Change-Id: Ibf4dfe49a2ebc32d3909d3d7b579d2bb2ea3f61d

Merge "Fix Linux bridge test_report_state_revived failure on OSX"

Merge "Added Keystone and RequestID headers to CORS middleware"

Merge "Provide kwargs for callback abort"

Merge "Pecan controller loads service plugins"

Revert "Change function call order in ovs_neutron_agent."

This reverts commit 9c72bac0ea37971b2d5430246295c5e8b859b4ed.

Change-Id: I9b6b588b68f63f6688749d011dc8b20ef80edadc
Closes-Bug: #1534322

Make security_groups_provider_updated work with Kilo agents

Initially, we bumped the required version for the agent endpoint from
1.1 (the initial version that implemented security groups) to 1.3
without considering that the code should work with old agents that do
not yet know about the new devices_to_update argument.

Actually, there was no need to bump the version: old agent side code
already captures all unknown arguments that could be passed from the
server, ignoring them:

https://github.com/openstack/neutron/blob/608b54137fb67512c07099089ea7e074176e12df/neutron/agent/securitygroups_rpc.py#L155

(^ the link shows the latest Kilo code as of writing)

Note: some people may argue that the approach that is taken in Neutron
to support backwards compatibility for server notifications is wrong,
and we instead should adopt some stricter mechanism like nova version
pinning. While that is a noble thing to do, it's out of scope for the
patch that is designed to be easily backportable to stable/liberty.

Note: some people may also argue that the patch should go straight into
stable/liberty because we don't claim support for rolling upgrade
scenarios that span multiple releases. That's indeed true, though my
take on it is that if we have a way to handle more unofficial scenarios
without more coding effort, it's worth doing it.

Change-Id: I741e6e5c460658ac17095551040e67e8d1990812
Closes-Bug: #1531772

Introduce new query to return all hosts for DVR router

When we remove explicit binding of dvr routers to compute nodes
we'll need a way to know all hosts where a dvr router should be
hosted in order to send notifications.
This patch adds such a query and updates l3 rpc notifier to use it.

Partially implements blueprint improve-dvr-l3-agent-binding
Change-Id: Ic6680bb42455189f14c4c913b1d4adeebda83180

fix get_ha_sync_data_for_host for non-dvr agent

get_ha_sync_data_for_host will call _get_dvr_sync_data
even given agent is not in DVR agent_mode.
_get_dvr_sync_data has additional processing for dvr
like:
    dvr_router_ids = set(router['id'] for router in routers
                         if is_distributed_router(router))
    floating_ip_port_ids = [fip['port_id'] for fip in floating_ips
                                if fip['router_id'] in dvr_router_ids]
which should only work for DVR scenario.

That will increase neutron-server processing time for
non-DVR scenario. Adding logic to judge whether given
agent is in DVR agent_mode, call get_sync_data directly.

Closes-Bug: #1510796
Change-Id: I5572e19b7cd8b2ea63fde4463705ab1c56fe5e68

dhcp: handle advertise_mtu=True when plugin does not set mtu values

DHCP agent may be used by plugins that don't set mtu value for networks.
Handle the case by not passing the DHCP option when network does not
have the value set.

Most plugins do set the value though, since it's enforced in base db
plugin class.

Closes-Bug: #1534197
Change-Id: I282b3d6b81f91eb8cea901d955cbcca6ecb2a95d

Merge "Add --dry-run mode to code review abandon tool"

Merge "HACKING: update HACKING.rst file to include latest changes"

Merge "Add systemd notification after reporting initial state"

Merge "Do not prohibit VXLAN over IPv6"

Merge "Add 'ovs' to requirements.txt"

Merge "Use admin context when removing DVR router on vm port deletion"

Merge "ML2: verify if required extension drivers are loaded"

Retry port create/update on duplicate db records

Even though we have a duplicate IP check before creating an IP
allocation, there is a window between when that check is completed
and when the record is committed to the database. During this window,
another thread or server may use the same IP address, which will result
in the database commit failing with a DBDuplicateEntry exception.

This patch adds a decorator to convert the exception into a
RetryRequest, which will be caught at the API layer to start the
operation over, at which point the normal duplicate check will find
the IP and return the correct error to the user.

This was done instead of trying to convert the DBDuplicate to the
correct exception since it's on commit and there are possibly many
different sources of the duplicate record beyond the IP allocation
(depending on what mechanism drivers did during pre-commit, etc).
By retrying the request, we ensure that the prechecks run again that
will raise the appropriate exception.

Change-Id: I37a964497bf60a61bc49bdeec94a008f167c384f
Closes-Bug: #1534447

doc: Update Ryu Ishimoto's IRC nick

It seems he prefers this nick these days.

Change-Id: I726448149fa534cde717278bb42a2108dcd3742e

Merge "Updated from global requirements"

Make neutron pecan server an option instead of binary

Launch pecan server instead of home-grown wsgi server using
a new config option. This will make it easier to test out
pecan without invasive changes to devstack.

Related Blueprint: wsgi-pecan-switch
Change-Id: I99261e6bfc9b16c0d601828f97553a9192804216

Merge "Pecan: fix quota management"

Merge "Pecan: Fixes and tests for the policy enforcement hook"

Merge "Static routes not added to qrouter namespace for DVR"

Merge "Scope get_tenant_quotas by tenant_id"

Merge "Adopt oslotest BaseTestCase as a base class for DietTestCase"

Merge "Pass environment variables of proxy to tox"

DVR: when updating port's fixed_ips, update arp

Currently, when updating a port's fixed_ips, the l3 agents fail to
update the arp tables of this change, which can lead to east-west
connectivity issues when a router is connected to more than one tenant
network.

Closes-Bug: #1512199
Change-Id: Ic7a4bbfca8b477c41b233235d2e2a2864f7af411

Fix Linux bridge test_report_state_revived failure on OSX

Mock-out the Linux-specific bridge check in the class so
it succeeds on all OSes.

Change-Id: Id48845b3e73caa7ea6fad692feb21dc1f2b12ecc
Closes-Bug: #1534281

Added Keystone and RequestID headers to CORS middleware

CORS middleware's latent configuration feature, new in 3.0.0,
allows adding headers that apply to all valid origins.
This patch adds headers commonly used in openstack to neutron's paste
pipeline, so that operators do not have to be aware of additional
configuration magic to ensure that browsers can talk to the API.

For more information:
http://docs.openstack.org/developer/oslo.middleware/cors.html#configuration-for-pastedeploy

Change-Id: Ic08fcb7833563bbeca3e0ba2d03438d4be594418

Unify exceptions for assign router to dvr agent

validate_agent_router_combination use two different exceptions
for assigning a router to an agent in 'dvr' mode:
  RouterL3AgentMismatch: assign dvr router to legacy agent.
  DVRL3CannotAssignToDvrAgent: assign dvr router to (another) dvr agent.

This should be unified to one single exception, for routers on agent in
'dvr' mode should be only scheduled, not allowed to be manually assigned.

Change-Id: I3673c4c6852105f86b3aac390d0aabc75944de9d
Closes-Bug: #1529439

Unify using assertIsInstance

Use assertIsInstance(A, B) to replace assertTrue(isinstance(A, B)).

Prefer specific assertions such as assert(Not)IsInstance over generic ones
(assertTrue/False, assertEqual) because they raise more meaningful errors.

Change-Id: I56278b1a74108e2765a8a740658f33954f5404c7
Closes-bug: #1268480

HACKING: update HACKING.rst file to include latest changes

Commit 3491cbc0c510404bfb4ddc2e60fde5c5d23400fd updated a hacking
check but did not update the HACKING.rst file.

Change-Id: Ie9be701f61da93686b79df23f1acf14008e4d486

Do not prohibit VXLAN over IPv6

9fc45cee in introduced a regression prohibiting using VXLAN over
IPv6. Relax restriction on local_ip, but validate that both
local_ip and vxlan_group of the same address family. Move existing
validation of vxlan_group into validate_vxlan_group_with_local_ip()
method and refactor existing tests for that validation.

Change-Id: I3d67732d2e1f3e079fee336b403744596fb7db77
Depends-On: I6440445b80637a5a9f4de052cf5ea1fbd8dcf7d1
Closes-Bug: #1531660

Updated from global requirements

Change-Id: I96df4154c7f1305fbf15974a2e6b4eef7eae78af

tests: stop validating neutronclient in neutron-debug tests

In neutronclient 4.0.0, any command executed triggers DeprecationWarning
on stderr (to be fixed by I77f168af92ae51ce16bed4988bbcaf7c18557727 and
a new client release including it).

The test cases assumed that if command is successful, it never writes to
stderr though. Making the test failing when using the latest client.

Instead of fixing the test class not to assume there is no output on
stderr, remove it because we are not meant to validate neutronclient in
neutron gate at all and should rely on the library as shipped. Client
should already have reasonable coverage for its CLI.

Change-Id: I6440445b80637a5a9f4de052cf5ea1fbd8dcf7d1
Closes-Bug: #1533638

Merge "Fix URLs for pep8, and unit tests jobs"

ML2: verify if required extension drivers are loaded

This change ensures extension drivers required by service plugins are loaded
when using ML2 plugin: we check that ML2 loads QoS extension driver when QoS
service plugin is enabled.

Change-Id: Ibf19e77b88ce34c58519ae157c852c9e2b30e31f
Closes-bug: #1496787

Add --dry-run mode to code review abandon tool

Usually I edit the script every time, to see what it would do
before the actual run. Add that mode via a flag.

Change-Id: I3ea50b905217947a43e4437b4925bb79c45a3d18

Fix typo in test path in Testing.rst

Change-Id: I8e9f250bb2f9d2781cfcaf7058fbc77ace42f063

Fix URLs for pep8, and unit tests jobs

We switched to constrained jobs a while back, but these links were
showing the non constrained ones, making these graphs useless.

This patch updates them to reflect the jobs that are currently
running, however the docs job is left for later as right now
switching would make graphite fail with:

'TypeError: reduce() of empty sequence with no initial value'

I suspect that's because the job has never failed so far.

Change-Id: I60cab40f3c12099d8437616d8301aecd858ef54c

Static routes not added to qrouter namespace for DVR

Today static routes are added to the SNAT namespace
for DVR routers. But they are not added to the qrouter
namespace.

Also while configuring the static routes to SNAT
namespace, the router is not checked for the existence
of the gateway.

When routes are added to a router without a gateway the
routes are only configured in the router namespace, but
when a gateway is set later, those routes have to be
populated in the snat_namespace as well.

This patch addresses the above mentioned issues.

Closes-Bug: #1499785
Closes-Bug: #1499787

Change-Id: I37e0d0d723fcc727faa09028045b776957c75a82

Pass environment variables of proxy to tox

When a development environment is under a proxy, tox is failed
even if environment variables of the proxy are set. This is a
new feature above tox 2.0, you can check it from [1].

This patch fix this problem.

[1]. https://tox.readthedocs.org/en/latest/example/basic.html#passing-down-environment-variables

Change-Id: I9dae04de7053773cb5ba13a809145b86cb149614

Pecan: fix quota management

This patch fixes quota management APIs in the Pecan framework.
To this aim:

1) an ad-hoc pair of collection/item controllers are introduced
   for the quota resource; as the new controllers have been added
   in a separate module, the neutron.pecan_wsgi.controllers.utils
   module has been added as well for helpers, routines and classes
   used by all pecan controllers;
2) the quota API extension is made pecan-aware, meaning that it
   simply returns a Pecan controller instance rather than deferring
   the task to the startup process that builds controllers using the
   home-grown WSGI framework ext manager;
3) the quota resource is now "almost" a standard neutron resource;
   unfortunately since it does not yet have its own service plugin a
   special provision is made in the attribute population hook in
   order to ensure the object is loaded for allowing correct
   policy enforcement.
4) Functional tests for the quota controller have been added.

Closes-Bug: #1505843

Change-Id: I44a1fd73f678e493d5b1163e5f183d9efdc678ac

Pecan: Fixes and tests for the policy enforcement hook

As PolicyNotAuthorizedException is raised in a hook, the
ExceptionTranslationHook is not invoked for it; therefore a 500
response is returned whereas a 403 was expected. This patch
explicitly handles the exception in the hook in order to ensure
the appropriate response code is returned.

Moreover, the structure of the 'before' hook prevented checks
on DELETE requests from being performed. As a result the check
was not performed at all (checks on the 'after' hook only pertain
GET requests). This patch changes the logic of the 'before' hook
by ensuring the item to authorize acces to is loaded both on PUT
and DELETE requests.

This patch also adds functional tests specific for the policy
enforcement hook.

Change-Id: I8c76cb05568df47648cff71a107cfe701b286bb7
Closes-Bug: #1520180
Closes-Bug: #1505831

Scope get_tenant_quotas by tenant_id

Using model_query in the operation for retrieving tenant limits
will spare the need for explicit authorization check in the
quota controller. This is particularly relevant for the pecan
framework where every Neutron API call undergoes authZ checks
in the same pecan hook.

This patch will automatically adapt by eventuals changes
introducing "un-scoped" contexts.

Closes-bug: #1505406

Change-Id: I6952f5c85cd7fb0263789f768d23de3fe80b8183

Add 'ovs' to requirements.txt

It is needed by neutron/agent/ovsdb/impl_idl.py.

Closes-Bug: #1523845
Change-Id: If44b649949c686b589859fc1d4d2bb510afb64fd

Fix params order in assertEqual

Fix params order to correspond to real signature:
assertEqual(expected, actual)

Change-Id: I7888ca97afad663185a508002c6d9c62357e0cde
Closes-Bug: #1277104

Use admin context when removing DVR router on vm port deletion

In case non-admin tenant removes last VM on a shared network (owned
by admin) connected to a DVR router (also owned by admin) we need
to remove the router from the host where there are no more dvr
serviceable ports. Commit edbade486102a219810137d1c6b916e87475d477
fixed logic that determines routers that should be removed from host.
However in order to actually remove the router we also need admin
context.

This was not caught by unit tests and one reason for that is so called
'mock everything' approach which is evil and generally useless.
This patch replaces unit tests with functional tests that we able
to catch the bug.

Closes-Bug: #1424096
Change-Id: Ia6cdf2294562c2a2727350c78eeab155097e0c33

Merge "Log INFO message when setting admin state up flag to False for OVS port"

Merge "Allow tox to pass more arguments to ostestr command"

Provide kwargs for callback abort

The callback mechanism allows notifiers to provide keyword args in
the notification. If this is a create callback, and there is an
exception, then the notifier will call an abort callback.

However, currently, the keyword arguments are not provided to the
abort callback. This information could be useful for the callbacks,
and would make the mechanism consistent. This commit provides that
information.

Change-Id: I2ee0363b52f9de5fcd72905957e8f7e7796f630e

Pecan controller loads service plugins

The pecan controllers were not parsing out the case when a service
plugin is being used that changes the URI to
/v2.0/service_plugin/resource

This will check to see if the first resource after v2.0 is an
extension to a service plugin, and if it is it'll check the next
resource for a controller.

Change-Id: I9b6bd7afbbe91f1c8f0c1835b320dc41bfccff3f

Merge "portbindings: use constants for extension keys"

Make sure datapath_type is updated on bridges changed

When changing datapath_type in the config, physical and tunnel bridges
do not have their datapath_type updated. Calling create() on already
created bridges should be safe as it passes '--may-exist' when adding
the bridge, which will do nothing if the bridge already exists, but
the second part of the transaction will still update things like
datapath_type.

It should be noted that ancillary bridges (like br-ex) are not
modified by this patch as datapath_type was never applied to them to
begin with.

Incidentally, the native and vsctl versions behaved slightly
differently when handling datapath_type: vsctl builds the multi-cmd
transaction with add-br ... -- set ..., so that the second cmd would
actually complete. The native just bailed if may_exist and the bridge
existed. This is fixed as part of this patch.

Change-Id: Ib8bc817c7bc724d80193d0ca7af480a7ea103f77
Closes-Bug: 1532273

Merge "Remove duplicate for check_ports_exist_on_l3agent"

Log INFO message when setting admin state up flag to False for OVS port

Disabling admin state can cause confusion in OVS agent logs as to why
VLAN 4095 is set to a particular port. This commit adds an extra INFO
log message when admin state is disabled. There is no log emitted
upon enabling admin state as there is already a detailed log entry
logged in treat_devices_added_or_updated() function.

Change-Id: I1301db8fea75af211f66a1914d1f0b706a6d5b36
Closes-Bug: 1463891

Fix regression with unbound ports and l2pop

When l2pop is enabled and an unbound port is deleted l2pop mech
driver raises an exception as a result of patch:
https://review.openstack.org/#/c/263471/

As a result of the same patch, when an unbound port's IP
address is changed l2pop sends a fanout RPC message needlessly.

Change-Id: Ia81c03dcdf7aef9528c9c2b9527399251fa6aad7
Closes-Bug: #1533013

Merge "remove openstack-common.conf"

Merge "Add README with links on how to create release notes"

L3 agent: paginate sync routers task

In case there are thousands of routers attached to thousands of
networks, sync_routers request might take a long time and lead to timeout
on agent side, so agent initiate another resync. This may lead to an endless
loop causing server overload and agent not being able to sync state.

This patch makes l3 agent first check how many routers are assigned to
it and then start to fetch routers by chunks.
Initial chunk size is set to 256 but may be decreased dynamically in case
timeouts happen while waiting response from server.

This approach allows to reduce the load on server side and to speed up
resync on agent side by starting processing right after receiving
the first chunk.

Closes-Bug: #1516260
Change-Id: Id675910c2a0b862bfb9e6f4fdaf3cd9fe337e52f

Merge "Call _allocate_vr_id outside of transaction"

Merge "Don't call add_ha_port inside a transaction"

Merge "Rename _get_vm_port_hostid in dvr to reflect the right functionality"

Merge "Pecan: Streamline request body processing"

Merge "Remove L2populationDbMixin parent"

Merge "Add unit test cases for linuxbridge agent when prevent_arp_spoofing is True"

Merge "Move notifications before DB retry decorator"

Merge "make floating IP specification test robust to races"

Merge "Make neutron-debug command follow cliff command convention"

Merge "ML2: Simplified boolean variable check"

Merge "Remove unnecessary argument in limit manage"

Merge "Add a link of availability zone document into releasenote"

Remove duplicate for check_ports_exist_on_l3agent

This removes check_ports_on_host_and_subnet which mostly duplicates what
check_ports_exist_on_l3agent is doing.
Also rename check_ports_exist_on_l3agent to check_dvr_serviceable_ports_on_host
for more clarity.

Closes-Bug: #1524291
Change-Id: Ie02c68279c2bbafffc7be4d9a81fe25a0e983d58

Merge "Ensure that decomposed plugins do not break"

Merge "Fix Security-rule's port should not set to 0 when Protocol is TCP/UDP"

Merge "DVR: optimize check_ports_exist_on_l3_agent()"

Merge "Remove check on dhcp enabled subnets while scheduling dvr"

ML2: Simplified boolean variable check

Currently 'flows' is being checked for empty list in
a non standard way 'if flows == []:'. This patch
simplifies logic so that above check is unnecessary.

TrivialFix

Change-Id: I0eac42e425213b6588090e7e2379b14446308361