Merge "Fix dhcp option distribution by dnsmasq"

Ensure proper validation for l3 API attributes

Fixes bug1042042

This patch introduces validation for uuid and ip fields in l3 api
data structures.

Change-Id: Ibc4913e0bcf5b33cb5e4bd42c89b82ec374f5437

Fix dhcp option distribution by dnsmasq

Fixes bug 1022737 host route per subnet distribution
Fixes bug 1028647 --no-gateway support on dhcp agent
Fixes bug 1043022 dns distribution

Change-Id: I567f1f8d1f5d386a253be1965d29f2533f7e88c8

fix bug where network owned resources block delete

bug 1028174

This patch fixes a bug in delete_network and delete_subnet where the InUse
exception was being thrown for resources owned by the network and not
the tenant.  This patch force deletes network resources if they are the
only blocker to deleting the parent resource.

Change-Id: I822cc4a92cb05cdef88679bb628fad4e5063cddd

Merge "clear db._ENGINE for each plugin init in Metaplugin"

Merge "Fix Metainterface driver with namespace"

Merge "Add DHCP RPC API support to Ryu plugin"

Merge "Add lease expiration script support for dnsmasq"

Execute unit tests for Cisco plugin with Quantum tests

Bug #1041917

On account of the new requirement to run plugin-specific tests also
along with the Quantum tests, changes are being made to
incorporate the Cisco plugin unit tests into the Quantum unit test
suite. Earlier unit tests have been moved and modified.

Change-Id: I099bcaf0b2ca2f7ed7d25176dfaa75966b90dd71

Merge "Allow tox to run plugin specific unit tests"

prevent OVS + LB plugins from clearing device_id and device_owner

bug 1041669

the fact that these plugins ever cleared this field is probably just a
misunderstanding of how the field is supposed to be used, as I don't think
it ever makes sense for the L2 plugin logic to change this field.

Change-Id: Ie9579e2f88d322cfdce51a2ca126f4dfab680022

Merge "updated outdated comments in base v2 plugin class"

Merge "Enable tox to run OVS plugin unit tests"

Merge "Remove 'verbose' API capability"

updated outdated comments in base v2 plugin class

bug 1011841

Change-Id: Iddcb1cb365391b3c3e8b8f06cbf714baa3e64a02

clear db._ENGINE for each plugin init in Metaplugin

Fixes bug 1036996

Change-Id: I7f289b4ccda281a66666ec1dbf7fc01156b0512c

Merge "Move metaplugin test for common test directory"

Enable tox to run OVS plugin unit tests

Fix bug 1029142

Unit tests have been moved into /quantum/tests/unit

Change-Id: I5d0fa84826f62a86e4ab04c3e1958869f24a1fcf

Allow tox to run plugin specific unit tests

Fixes bug 1041316

This patch covers linuxbridge, nec, nicira, and ryu plugins.

Change-Id: I024a46bc9b49ffe60cdbe9fa275f30ac9d829a9a

fixes cisco nexus plugin delete network issue

Fixes bug 1039687

Removes the vlan from the nexus interface corresponding to the network that has been deleted.
unit tests added.

Change-Id: Ib58a01c7b5bbdd7aac8591b4fb4db123cbe8f55b

Fix Metainterface driver with namespace

Fixes bug 1037239

Change-Id: I4b812c850fd31333ebbafc28c4a621f15188eb1c

Add lease expiration script support for dnsmasq

Fixes bug 1022804

This is phase 2 of the bug fix.  This changeset adds support for dnsmasq
 --dhcp-script to notify Quantum of lease renewals.  Communication between
dnsmasq and the Quantum DHCP agent occurs via UNIX domain socket since dnsmasq
may run in a network namespace.  The DHCP agent is responsible for
relaying the updated lease expiration back the Quantum server.

Change-Id: If42b76bbb9ec7543e681e26b9add8eb1d7054eeb

Remove 'verbose' API capability

Fixes bug 1040568

Remove parsing of "verbose" query param from API layer
Remove "verbose" fetching from db in db_base_plugin
Remove "verbose" parameter from plugin methods

Change-Id: I5826fd64c7d8c48f4da605f32d21d96280c4c9f2

PEP8 issues fixed

Fix some pep8 problems in doc/source/conf.py and make the code
more pretty.

Change-Id: Iff1333441b67addb38533ba061aa89f59533fdb2

Merge "Enable users to list subnets on shared networks"

Merge "Update TESTING file"

Merge "Run core unit tests for each plugin"

removed some unused global variable

Fixes bug 1037082.

Change-Id: Id8e5df04cc0183cd4b2a9ab23cd403a83a2db637

Update TESTING file

Fixes bug 1040566

Change-Id: Iff7a97532e1a6012d9d5cafb82ad7babfb9fd080

Typo fix in quantum: existant => existent

Impact:
* Test function names
* Variables in test function

Change-Id: Idb7ba131dabb8cc7e483cb06fa52feb9a9c7c676

Add DHCP RPC API support to Ryu plugin

It is necessary to add DHCP RPC API support to Ryu plugin to use
DHCP with Ryu plugin.

Fixes bug 1040398

Change-Id: I00caf6f36025a21d10b8a96c5f7272d12393c277
Signed-off-by: Yoshihiro Kaneko <ykaneko0929@gmail.com>

Run core unit tests for each plugin

Fixes bug 1040277

Execute the test cases in test_db_plugin.py for each plugin.
Each plugin now get its own test_<plugin_name>_plugin test module.
This commit excludes cisco and metaplugin plugins, which do not run
the "core" unit tests at all.

Change-Id: I137411f47d8cfcc753aa3a88359f5b1590ca8237

OVS plugin tunnel bridges never learn

This patch installs a flow_mod to handle each vm
with the normal action which allows OVS to do mac learning.
Fixes bug 1011467

Change-Id: Ib6500813d4111ae42675459fac64dfb2e9c40d91

Merge "Linuxbridge support for L3 agent"

Merge "Ensure that LB agent does not terminate if interface already exists in bridge"

Merge "Treat exceptions when invoking ovs-vsctl"

Merge "enable router deletion logic in l3-agent"

Merge "Add nosehtmloutput as a test dependency."

Merge "Fix IP allocation on shared networks ports."

Add nosehtmloutput as a test dependency.

Adding nosehtmloutput as a test dependency allows nose to output its
results to an html file. This will be used by Jenkins to save logs on
a different server.

Change-Id: If88ca04bf7e45aa25aaea3cc01bb0f457224c117

fix typo in OVS plugin from recent bugfix

bug 1039393

this demonstrates why we need plugin unit tests merged into the main set
of unit tests.

Change-Id: I132c706a7c69c8c779727835be4319c5ed649385

Merge "Remove v1.0 and v1.1 API from version info."

enable router deletion logic in l3-agent

bug 1039387

related to bp quantum-l3-fwd-nat

previous diff logic did not attempt to detect that a router was deleted.

Also, enabled actual deletion of namespace, since 066e48be08f155c29887f5846902fbf5e41b8c89 fixed the issue that was causing that to break.

Also, make router loop pay attention to admin_state_up on router ports.

Change-Id: Id76736dd3207472dfc282097e5b27740e05aaa3a

Merge "Enable DHCP agent to work with plugin when L2 agents use DB polling"

Enable users to list subnets on shared networks

Fixes bug 1039591

This patch will enable regular users to list subnets on a shared
network by exposing the subnet's "shared" attribute to the policy
engine, and letting it applying different rules if the subnet is
shared or private.

Change-Id: If204f1e352c114e16251586c743f5b7fe2d1ad7d

Fix IP allocation on shared networks ports.

Fixes bug 1037589

Ensure non-owner ports on shared networks get an IP address for
each subnet configured on the shared network.

Change-Id: Ib687444b7ad75f3c773b0cb41c25ac3f700fbf0f

Move metaplugin test for common test directory

Fixes bug 1037284

Change-Id: Id26dfe5d01088790c046ce10b787c3d37100da8a

Enable DHCP agent to work with plugin when L2 agents use DB polling

Fixes bug 1039393

By default the plugins will enable the RPC support. If and only if
the agent RPC is enabled will RPC notification messages be sent to the
agents

Change-Id: I4fb003a2b477e5e647c3ee408b449e71b3f5a883

fix associating a floating IP during floating IP creation.

bug 1038962

also add check to make sure that floating IP's are only associated if
the upstream router has a external network gateway to the appropriate
external network.

Change-Id: Ie4cb632296ce4a1cb989242eb894d73a7488cdb3

Merge "Get OVS port details from port ID"

Merge "Fixing unit test failures in Cisco plugin"

Merge "fix netns delete so that it works when a ns is set"

Ensure that LB agent does not terminate if interface already exists in bridge

Fixes bug 1038783

Change-Id: Iaa4778562b4efc13919341832f5281b1516f8f8c

Treat exceptions when invoking ovs-vsctl

Fixes bug 1037902

Change-Id: I3f5bbac2f0c390fd7eaae4eb6338e5ac600c9aba

Remove v1.0 and v1.1 API from version info.

Fixes bug 1038905.

Change-Id: Ifbb991eef528808ecb3543c3db862f4ca3c29f32

Get OVS port details from port ID

Fixes bug 1037443

This address the issue when a Quantum interface does not start with the
prefix "tap" (for example interfaces created by the l3 agent)

Change-Id: Ie2c98940d921606906015914ce6b23d3095e91f2

Fix undefined variables.

Fixes bug 1038585

Change-Id: Ie38d2fd9408a3efaf876ff100d1576a170ff9f8d

Fixing unit test failures in Cisco plugin

Bug #1038565

The tests for bulk resource creation failure were failing since the bulk
API calls were not getting relayed correctly to the virt_phy_sw.py, that
has been fixed
There tests for the network_multi_blade_v2.py were failing since DB
initialization order was incorrect.
The tests in test_api_v2.py were failing since the plugin instance was
not being reset for each test.

Change-Id: I449bd8a61c1f61f98a97acf489574624fe309caa

fix netns delete so that it works when a ns is set

bug 1038759

This fixes the bug by ensuring that the netns deletion always runs in the root
namespace.  Tests were updated to reflect the change in execute
invocation.

Change-Id: I008e8ecbc4bae86129af7f4a7b5d33c6ae423e5c

Linuxbridge support for L3 agent

Fixes bug 1037245

For the linux bridge this changes the generic interface name prefix
from "dhc" to "ns-".

Change-Id: I37078dadcbffa7e0b45d1523e7a03bb7c0d36919

Merge "quantum l3 + floating IP support"

Fix exception message for bulk create failure.

Bug 1038256

Change-Id: I52ae9a7540f07f62174d51382a77ac0997c8f388

quantum l3 + floating IP support

bp quantum-l3-fw-nat

router & floating IP API calls, plugin db, and agent implemented
and unit tested

Change-Id: I6ee61396d22e2fd7840aa2ff7d1f6f4a2c6e54d4

Merge "Add missing conversion specifiers in exception messages."

Add missing conversion specifiers in exception messages.

Fixes bug 1037881

Change-Id: I05760707f28545d9593d30b5c5fe69a21636ba90

Use a common constant for the port/network 'status' value

Fixes bug 1036054.

'status' have four values 'ACTIVE/DOWN/ERROR/BUILD' in v2 spec.
However, some plugins still using 'UP/DOWN' from v1. In order to
consistent the use of 'status' value. A common constant file was
created and modified all plugins to use the same constant value.

Change-Id: I865dffbe031d9a3e76e52e334db3050a3ef11ed0

Remove unused variable

'reqs_in' in openstack.common.setup.get_reqs_from_files is unused.

Change-Id: I789f380fdbd0fd001196bcebe1568197d4590b92

Log message missing parameter causes exception

Fixes bug 1037545

Change-Id: Ica6109d676c23ff2e9469ca2ea5441550ff9afc2

Merge "Fix flavor extension based on new attribute extension spec"

Update README for v2 API.

Fixes bug 1032548

Change-Id: I0509df99d655b4e3a50899b992c7ef3b56339ce5

Fix flavor extension based on new attribute extension spec

Fixes Bug 1037152

Change-Id: I6a92bb6c40d0d4f3ddb438c658d596993f5011f9

Merge "Enhancements to Cisco v2 meta-plugin"

Merge "Add model support for DHCP lease expiration"

Merge "Convert DHCP from polling to RPC"

Update the Nicira NVP plugin to support the v2 Quantum API

blueprint: quantum-nvp-plugin-v2

Change-Id: I848ad7b7b99a24e19ea28e65b7d88261c21eac3a

Enhancements to Cisco v2 meta-plugin

Implements blueprint cisco-v2-meta-plugin

This patch allows a stand alone plugin to be configured as a device sub-plugin.
(changes are contained within the cisco plugin only)

Change-Id: I4de53afc3a7e8c79ab8637fe04a90da1d1b05342

Merge "Enables Cisco NXOS to configure multiple ports Implements blueprint cisco-nxos-enables-multiple-ports"

Merge "Allow extra config files in unit tests"

Merge "NEC OpenFlow plugin support."

Merge "Trivial openvswitch plugin cleanup."

Merge "Reset device owner when port on agent is down"

Add model support for DHCP lease expiration

bug 1022804

This fix is phase 1 of a fix that to address re-allocation of a fixed_ip before
the DHCP lease expires.  The next phases will add RPC and recycling
support.

Change-Id: I3c907ade5cde562ff5a222bd97e56ffef367c722

Trivial openvswitch plugin cleanup.

Part of provider-networks phase 3 development, but merging separately
to avoid confusion later.

- eliminate target_v2_api config variable
- eliminate old V1 version of Port
- remove unused import

Change-Id: I913def752ec537a7e74a6173f2b6f82372a4dce8

Convert DHCP from polling to RPC

blueprint non-polling-dhcp-impl

This requires a change to devstack/stack.sh.
See https://review.openstack.org/#/c/11278/ for the required changes.

Change-Id: I1ea22c8e1b80e630bcb83f27a31aaeef482aff6c

Merge "Fix visual indentation for PEP8 conformance."

Add quota per-tenant.

blueprint quantum-api-quotas

We implement it as an extension for linux bridge and ovs plugins.
We also expose the /quotas/Xx url to client to operate the quota.
We need admin role to show other tenant's quota, and to update quota data.
Any user can show its own tenant's quota. An DB table is used to save the
quota for each tenant.

To use it, we have in quantum.conf:
quota_driver = quantum.extensions._quotav2_driver.DbQuotaDriver

The default quotas for each tenant are defined in quantum.conf too.

In addition, modify extension framework to allow exposing a new resource and
its controler. The extension can check the environment, such as configuration
in global cfg.CONF to decide if it can be enabled.

Also, we can define enabled extensions for each plugin in extensions.py
New resources can be put into quota framework via quota_items in nova.conf

Change-Id: I54d6107fdb2808cdae1a40b501ed8c7f379dedee

Reset device owner when port on agent is down

Fixes bug 1036690

Change-Id: If96d2c129a8d5f258ebf8213d3720f2a9809cce2

Allow extra config files in unit tests

Fixes bug 1036669

Change-Id: Ic091ab012fbf6c80d2355806b6cd03a63fbfe4ca

Fix visual indentation for PEP8 conformance.

Corrects misindented continuations (PEP8 E127, E128).

The run_tests.sh script's PEP8 pass (with current 1.3.3) was
reporting under- or over-indented visual continuations in a handful
of files, all of which are fixed with this trivial patch.

Change-Id: I19388dc0011546abe65b37d31df02debb3676003

Merge "Updates pip requirements"

Merge "Implementation of second phase of provider extension."

Updates pip requirements

Fixes bug 1036533

Change-Id: I8e1522ac0d1fbb08f7c9200323fbb1fef3fd0e9a

NEC OpenFlow plugin support.

blueprint quantum-nec-openflow-plugin

Change-Id: Ib6d6f658bbf6d653527fa7820685f9bed1412a18

Merge "deal with parent_id not in target."

Enables Cisco NXOS to configure multiple ports
Implements blueprint cisco-nxos-enables-multiple-ports

Change-Id: I4e8bccff19eb5b13895d7083623b7291b8c8bf7e

Implementation of second phase of provider extension.

Enhances provider extension to support flat networks and VLANs on
multiple physical networks. Implements blueprint provider-networks.

To create a flat network using the CLI with admin rights:

net-create --tenant_id <tenant-id> <net-name> --provider:network_type flat --provider:physical_network <physical-network>

To create a VLAN network using the CLI with admin rights:

net-create --tenant_id <tenant-id> <net-name> --provider:network_type vlan --provider:physical_network <physical-network> --provider:vlan_id <vlan-id>

The provider extension is supported by the linuxbridge and openvswitch
plugins and their agents [openvswitch phase 2 implementation is
in-progress, and does not yet support flat networks or multiple
interfaces].

Ranges of VLANs available on named physical networks for normal
allocation are specified in the plugin's config file via the
ListOpt syntax:

network_vlan_ranges = <physical_network>:<vlan_min>:<vlan_max>

The mapping of each named physical network to its physical network
interface is specified (per-agent-host) in the agent's config file via
the ListOpt syntax:

physical_interface_mappings = <physical_network>:<physical_interface>

See quantum/plugins/linuxbridge/README for details and examples of
network_vlan_ranges and physical_interface_mappings usage.

Also, bulk operations are enabled for the linuxbridge plugin.

Change-Id: I93402bd5cc6316e9408ea71c3b3989d06898ee30

deal with parent_id not in target.

bug 1036425

If we filter the fields of the requested resource, we have no parent_id in the target, which we must be tolerant with.

Change-Id: Ieb591d9208f16a0d3e05bda00bf45ae7aca846a5

remove old gflags config code

blueprint remove-gflags

This code removes the old gflag based configuration tools.  There was
no code out of the unit tests that were using it.

Change-Id: Id3f2e9bcfc5abcfd29ef683684f56c69c058bdc8

Merge "improve test_db_plugin so it can be leveraged by extension tests"

Merge "implementation for bug 1008180"