netlink-socket: Avoid use-after-free in nl_lookup_genl_mcgroup().

Commit e408762f "netlink-socket: New function nl_lookup_genl_mcgroup()"
modified do_lookup_genl_family() to return the Netlink attributes to the
caller, but it still freed the Netlink message itself, which meant that
the attributes pointed into freed memory.  This commit fixes the problem.

This commit is not a minimal fix.  It refactors do_lookup_genl_family(),
changing the return value from "negative errno value or positive genl
family id" to the more common "zero or positive errno value".

Found by valgrind.

bridge: Avoid reading uninitialized data in bridge_pick_local_hw_addr().

Commit 3a48ace3 "bridge: Make bridge_pick_local_hw_addr() easier to reason"
didn't initialize 'ea' before trying to compare against it.  We need to
check that an address has been found.

Found by valgrind.

cfm: Write remote MPIDs to the database.

A controller may want to know which MPIDs are reachable from an
interface configured with CFM.  This patch regularly writes this
information to the database.

Bug #7014.

cfm: Eight byte MPIDs in extended mode.

802.1ag only allows for MPIDs in the range [1, 8191].  This is
restrictive enough to make assignment of MPIDs to instances of OVS
awkward.  This patch allows eight byte MPIDs when running in
extended mode.

Bug #7014.

cfm: Allow accurate transmission intervals in extended mode.

The standard CFM protocol only allows a handful of transmission
rates.  This is particularly problematic if you want to support a
transmission rate slower than 100 ms and faster than 1000 ms.

This patch allows arbitrary transmission rates (between 1 ms and
65535 ms).  It does this by commandeering parts of a reserved
"zero" field in the ccm message.  This breaks wire compatibility
with standard 802.1ag implementations, and thus is only supported
in extended mode.

Bug #7014.

cfm: New cfm extended mode.

The new extended mode introduced in this patch will be used for
features which break wire compatibility with 802.1ag compliant
implementations.

Bug #7014.

cfm: Remove cfm_remote_mpid configuration.

According to the 802.1ag specification, users should be able to
configure the CFM module with a list of remote endpoints with which
the local endpoint should have connectivity.  Commit 93b8df3853
"cfm: Remove Maintenance_Point and Monitor tables." changed the
behavior so that only one remote endpoint could be specified.  This
commit takes it further, by disallowing specification of any
remote endpoints.

Due to this change, the semantics of the fault flag are slightly
different.  Before, a fault was triggered if any of the configured
remote endpoints were unreachable (or with RDI), or if any
unconfigured remote endpoints were reachable.  Now a fault is
triggered if no remote endpoints are reachable at all, or if
reachable endpoints have set their RDI.

Bug #7014.

cfm: Trigger fault on unexpected CCM reception.

bridge: Clear fault when CFM is not configured.

bridge: Write CFM changes more aggressively.

This patch no longer rate limits database updates due to CFM
changes.  Due to recent changes, the fault status of CFM only
changes once per 3.5 tx_interval seconds.  There doesn't seem to be
a good reason to add an additional rate limit on top of this.

bridge: ovsdb_idl_omit_alert() on additional columns.

The bridge owns the lacp_current and cfm_fault columns and should
not be alerted when they change.

ofproto: Document that ->rule_construct() should uninitialize victim rules.

The comments didn't say how this should work, so this clarifies it.

ofproto: Fix documentation for calls to ->rule_destruct().

This documented what I intended to implement and what I thought I had
implemented, but not what the code actually did.  It is a little easier to
fix the documentation to match the implementation than vice versa, so this
commit does so.

Reported-by: Hao Zheng <hzheng@nicira.com>

ofproto-dpif: Drop special packets more judiciously.

Before this patch, ofproto-dpif would not forward any LACP or CFM
packets regardless of whether or not the relevant modules were
configured on the in_port.

Feature #6316.

lacp: Clean up LACP module interface.

There's no particular reason to force users of the LACP module to
be aware of the lacp_pdu structure.  This patch hides that
information in the LACP module implementation.  This results in
slightly cleaner code which is more consistent with the CFM
module.

vswitch.xml: Whitespace cleanup.

datapath: Allow a packet with no input port to omit OVS_KEY_ATTR_IN_PORT.

When ovs-vswitchd executes actions on a synthesized packet, that is, on a
packet that is not being forwarded from any particular port but is being
generated by ovs-vswitchd itself or by an OpenFlow controller (using a
OFPT_PACKET_OUT message with an in_port of OFPP_NONE), there is no good
choice for the in_port to pass to the kernel in the flow in the
OVS_PACKET_CMD_EXECUTE message.  This commit allows ovs-vswitchd to omit
the in_port entirely in this case.

This fixes a bug in OFPT_PACKET_OUT: using an in_port of OFPP_NONE would
cause the packet to be dropped by the kernel, since that's an invalid
input port.

Signed-off-by: Ben Pfaff <blp@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>
Reported-by: Aaron Rosen <arosen@clemson.edu>

datapath: Calculate flow hash after extracting metadata.

When we execute a packet from userspace we first extract the header
fields from the packet and then add supplied metadata.  However, we
compute the hash of the packet in between these two steps despite
the fact that the metadata can affect the hash.  This can lead to
two separate hashes for packets of the same flow.

Found by code inspection, not an actual real-world problem.

Signed-off-by: Jesse Gross <jesse@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

Strip down vport interface : iflink

Remove iflink from vport interface. iflink is not used anywhere in
OVS. So there is not need to have iflink as vport attribute.

Signed-off-by: Pravin B Shelar <pshelar@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

ovs-ctl: Add load-kmod command

On Debian there is a need for the init scripts to die gracefully
if module insertion fails. In such a case it is desirable to print
some sort of informative message.

By adding the load-kmod sub-command to ovs-ctl init scripts
may try to load modules and take appropriate action on failure
or then try to start the daemons.

rhel: add ability to build kmod packages for arbitrary kernel version/variant(s)

Usage:

rpmbuild --rebuild \
  -D 'kversion KERNEL_VERSION' \
  -D 'kflavors FLAVORS TO BUILD' \
  openvswitch-kmod-VERSION-RELEASE.src.rpm

Signed-off-by: Alexey I. Froloff <raorn@altlinux.org>
Signed-off-by: Ben Pfaff <blp@nicira.com>

rhel: rename RHEL6 kmod source package

Rename RHEL6 source package to openvswitch-kmod, so it doesn't intersect
with main package.

Signed-off-by: Alexey I. Froloff <raorn@altlinux.org>
Signed-off-by: Ben Pfaff <blp@nicira.com>

netlink-protocol: Move CTRL_ATTR_MCAST definitions for consistency.

One of the current goals of netlink-protocol.h, for better or for worse, is
to ensure that the same definitions are available whether a Linux kernel is
in use or not.  One of the ways it accomplishes this is by putting the
conditional definitions that test for features missing in old kernels at
the very end, after the dummy definitions used on non-Linux platforms.
However, commit b0025c8389f "netlink-protocol: Define missing symbols"
added new conditional definitions only in the Linux platform case, which
means that those definitions won't be available on non-Linux platforms.
This commit moves them to the end, instead.

The symbols that are moved are only used from netlink-socket.c, which is
only built on Linux platforms, so this does not change an actual bug.  It
only makes the location of the definitions consistent with prior practice.

netlink-protocol: Define missing symbols.

OVS fails to build with xenddk-56100build3926 because it has an
outdated genetlink header.

dpif-linux: Stop listening for RTNL notifications.

Currently dpif-linux listens for vport change events using
rtnetlink notifications.  This patch switches to the ovs genl
notification system.

Feature #6809.

datapath: genl_notify() on port disappearances.

Before this patch, if a vport detached itself from the datapath
without interaction from userspace, rtnetlink notifications would
be sent, but genl notifications would not.

Feature #6809.

Signed-off-by: Ethan Jackson <ethan@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

netlink-socket: New function nl_lookup_genl_mcgroup().

netlink-notifier: Rename rtnetlink code.

This patch renames the rtnetlink module's code to "nln" for
"netlink notifier".  Callers are now required to pass in the
netlink protocol to he newly renamed nln_create() function.

lib: Rename rtnetlink.[ch] files.

The only rtnetlink specific functionality contained in the
rtnetlink module is the use of the NETLINK_ROUTE protocol.  This
can easily be passed in by callers.

In preparation for generalization, this patch renames
rtnetlink.[ch] to netlink-notifier.[ch].  Future patches will
complete the transition.

lacp: Clarify documentation.

Requested-by: Dan Wendlandt <dan@nicira.com>

rhel: Poke iptables hole for gre in init scripts.

rhel: Add ovs-pki to rpm.

rhel: Don't delete bridges on boot.

Before this patch, the RHEL init scripts would remove all bridges
configured on the system at boot.

datapath: Disable LRO from userspace instead of the kernel.

Whenever a port is added to the datapath, LRO is automatically disabled.
In the future, we may want to enable LRO in some circumstances, so have
userspace disable LRO through the ethtool ioctls.

As part of this change, the MTU and LRO checks are moved to
netdev-vport's send(), which is where they're actually needed.

Feature #6810

Signed-off-by: Justin Pettit <jpettit@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

netdev-linux: Introduce netdev_linux_ethtool_set_flag().

There will be a caller added soon.

cfm: Zero out empty field as required.

Found with valgrind.

socket-util: Suppress valgrind uninitialized use warning.

ovs-monitor-ipsec: Don't abort if syslog is not available.

If /dev/log doesn't exist or cannot be contacted, ovs-monitor-ipsec would
abort with an exception.  This allows it to start up and run.

It's pretty common for a chroot used for testing not to have a syslogd
instance set up and running, so this limitation caused testing problems.

Reported-by: Simon Horman <horms@verge.net.au>
Tested-by: Simon Horman <horms@verge.net.au>

bridge: Make bridge_pick_local_hw_addr() easier to reason.

The use of eth_addr_is_multicast() to see if a reasonable address was
found always caused me momentary confusion.  This commit uses a flag
instead, and also saves a bit of unnecessary array reading and writing.

debian: Transition to dh_python2

dh_pysupport that the packaging used until now is deprecated, with
dh_python2 as its successor.

This commit removes the PYTHONPATH setting from
debian/openvswitch-ipsec.init because it is not needed, as the Python
packaging is public.  In fact, the Python packaging was public,
unintentionally, before, so the PYTHONPATH could have been removed earlier.

gitignore: Add manpage-check.

ovs.db.types: Remove write-only variable from constraintsToEnglish().

Found by pychecker.

python: Remove unused imports.

Found by pychecker.

ovs.stream: Remove unused parameter from usage().

This function has no callers.  We could delete it entirely, instead.

ovs.ovsuuid: Fix UUID.cInitUUID invocation of re.match with too few params.

Found by pychecker.

ovs.jsonrpc: Fix static method Session.open() reference to 'self'.

Found by pychecker.

ovs.jsonrpc: Fix static method Message.__validate_arg reference to 'self'.

This method needs to be an instance method because it refers to 'self'.

Found by pychecker.

ovs.json: Use Exception, which exists, instead of Error, which doesn't.

Found by pychecker.

ovs.db.idl: Fix error message format arguments.

There's no variable table_name.

Found by pychecker.

ovs.daemon: Add missing format string argument.

Found by pychecker.

ovs.daemon: Fix name of EALREADY error.

Found by pychecker.

ovs.daemon: Add missing 'global' when setting _pidfile_dev, _pidfile_ino.

Found by pychecker.

ovs.db.idl: Fix call to ovs.db.parser.Parser constructor.

This bug was introduced by commit 4c0f62718f "ovs.db.idl: Improve error
reporting for bad <row-update>s."

Found by pychecker.
Bug #7006.

debian: Apply Ubuntu patch to add DKMS support.

I tested that installing openvswitch-datapath-dkms worked OK on my own
Debian machine.

The bulk of this patch is taken from downstream Ubuntu DKMS support written
by Chuck Short <zulcss@ubuntu.com>, version 1.2.0-1ubuntu1.  I made the
following changes:

  * Update debian/.gitignore.

  * Update debian/automake.mk.

  * Correct description in debian/control (it was a cut-and-paste from
    the openvswitch-datapath-source description without editing).

  * Fix up for --with-l26 to --with-linux and datapath/linux-2.6 to
    datapath/linux transitions.

CC: Chuck Short <zulcss@ubuntu.com>
CC: Dave Walker <DaveWalker@ubuntu.com>
Acked-by: Simon Horman <horms@verge.net.au>

docs: Add Makefile rule to check syntax of manpages.

This should catch future nroff syntax errors immediately, instead of much
later.

docs: Fix some manpage syntax errors found with "groff".

python: Use enumerate() builtin function to simplify counted iteration.

Suggested-by: Reid Price <reid@nicira.com>

ovs.stream: Simplify logic in Stream.wait().

Suggested-by: Reid Price <reid@nicira.com>

ovs.stream: Drop Stream.get_name() since clients can use 'name' directly.

Suggested-by: Reid Price <reid@nicira.com>

ovs.stream: Use %d in place of %ld since the two are equivalent in Python.

Reported-by: Reid Price <reid@nicira.com>

ovs.reconnect: Fix typo in documentation.

Reported-by: Reid Price <reid@nicira.com>

ovs.reconnect: Make Reconnect.Reconnect inherit from object.

Reported-by: Reid Price <reid@nicira.com>

ovs.jsonrpc: Use "not X" in place of "len(X) == 0" for testing strings.

Suggested-by: Reid Price <reid@nicira.com>

ovs.jsonrpc: Remove Connection.get_name()--clients can use 'name' directly.

Suggested-by: Reid Price <reid@nicira.com>

ovs.jsonrpc: Remove dead class variable Message.__next_id.

Reported-by: Reid Price <reid@nicira.com>

ovs.json: Optimize __dump_string().

Suggested-by: Reid Price <reid@nicira.com>

ovs.fatal_signal: Remove unnecessary "global" statement.

Suggested-by: Reid Price <reid@nicira.com>

ovs.fatal_signal: Reorder definitions to be more easily readable.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.types: Introduce DEFAULT_MIN, DEFAULT_MAX as Type class members.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.types: Use toAtomicType() instead of open-coding it.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.types: Simplify code to avoid try/except case.

Also fixes a typo that caused one version of the error message to have a
hyphen and the other to have a space.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.types: Use .append instead of += for adding to lists.

Python does not do a good job of appending lists to lists.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.schema: Factor common checks for identifiers into new function.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.parser: Simplify code.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.idl: Use top-level class to represent IDL rows.

According to Reid, there may be some disadvantages to having this class be
anonymous, for example, cannot do instance/typechecking, might be
allocating a new class for every row as well, which isn't the most memory
efficient.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.idl: Actually use Idl.__modify_row()'s return value.

Idl.__parse_row_update() assumed that every change that the database server
sent down actually modified the database.  This is generally true, but
since Idl.__modify_row() already returns whether there was a change, we
might as well use it.

Reported-by: Reid Price <reid@nicira.com>

ovs.db.idl: Improve error reporting for bad <row-update>s.

Strangely malformed <row-update>s could hypothetically get confusing error
message.  Using the Parser class should avoid that.

Reported-by: Reid Price <reid@nicira.com>

ovsdb-data: Simplify converting an OVSDB datum to JSON by reordering logic.

Putting the "map" case first avoids duplicate tests.

Suggested-by: Reid Price <reid@nicira.com>

daemon: Stylistic improvement for __read_pidfile in Python implementation.

Suggested-by: Reid Price <reid@nicira.com>

daemon: Correct comment in Python implementation.

Reported-by: Reid Price <reid@nicira.com>

python: Avoid using 'tuple' as a variable name.

'tuple' is a Python built-in function, so it's best to avoid using it as a
variable name.

Suggested-by: Reid Price <reid@nicira.com>

python: Avoid using 'type' as a variable name.

'type' is a Python built-in function, so it's best to avoid using it as
a variable name.

Reported-by: Reid Price <reid@nicira.com>

python: Take advantage of Python "x < y < z" syntax.

Suggested-by: Reid Price <reid@nicira.com>

python: Avoid lots of \" in quoted strings by using '' as outermost quotes.

Suggested-by: Reid Price <reid@nicira.com>

python: Join a list of strings instead of concatenating a long string.

Python does not do a good job of appending strings: it takes O(n**2) time
to append n strings.

Suggested-by: Reid Price <reid@nicira.com>

python: Use getattr() and setattr() instead of __dict__.

This leaves one use of __dict__ used for iterating through attributes.
I could use dir() instead, but I was put off by this note in its
documentation in the Python Library Reference:

    Because dir() is supplied primarily as a convenience for use at an
    interactive prompt, it tries to supply an interesting set of names more
    than it tries to supply a rigorously or consistently defined set of names,
    and its detailed behavior may change across releases.  For example,
    metaclass attributes are not in the result list when the argument is a
    class.

Suggested-by: Reid Price <reid@nicira.com>

ovs.db.data: Fix bugs in Atom.is_default() and Datum.is_default().

Reported-by: Reid Price <reid@nicira.com>

ovs.stream: Fix logic bug in Stream.connect().

The loop here is supposed to run at least once, and to continue looping as
long as the loop body changes the current state, but this bug caused it to
continue looping until the connection completed in success or failure.  It
probably didn't cause many problems in practice because only Unix domain
socket connections are currently supported, and those connections normally
complete immediately.

Reported-by: Reid Price <reid@nicira.com>

Debian: set -e in brcompat postinst

As reported by lintian:

The maintainer script doesn't seem to set the -e flag which ensures
that the script's execution is aborted when any executed command
fails.

Refer to Debian Policy Manual section 10.4 (Scripts) for details.

doc: Add spaces between commas to avoid overflowing line during formatting.

This resolves a warning reported as
"71: warning [p 11, 5.0i]: cannot adjust line"

Reported-by: Simon Horman <horms@verge.net.au>
Found by lintian.

docs: Add missing escape

This adds what appears to be a missing character to an escape sequence.

This resolves a problem reported as
"a newline character is not allowed in an escape name".

Reported by lintian

docs: Suppress "warning: macro `DD' not defined" warning

Suppress "warning: macro `DD' not defined" warning for ovs-brcompatd.8.

As per the description by Ben Pfaff for the same problem effecting
other files:

deamon.man allows the file that is including it to include extra
text in the description of --detach by defining a macro named DD.
Only some of the manpages that included it did this (only those
manpages that needed extra text there).  But it's better to be
quiet in "man --warnings", so this defines DD to an empty value in
the other manpages that include daemon.man.

Reported by lintian

Debian: Add dependency on ${misc:Depends}

Add dependency on ${misc:Depends} to openvswitch-brcompat and ovsdbmonitor.
As reported by Lintian:

The source package uses debhelper, but it does not include
${misc:Depends} in the given binary package's debian/control entry.
Any debhelper command may add dependencies to ${misc:Depends} that
are required for the work that it does, so recommended best
practice is always add ${misc:Depends} to the dependencies of each
binary package if debhelper is in use.

Refer to the debhelper(7) manual page for details.

dpif-linux: Call rtnetlink_notifier_run() as required.

I don't think this actually fixes a bug, as netdev-linux calls this
function. However, it seems stylistically more correct.

rtnetlink: Notifiers should only run once per poll loop.

rtnetlink_notifier_run() does quite a bit of work, and is likely
only to have interesting effects once per poll loop.

Drop spurious 'H' cases from daemon option parsing switch statements.

Help is 'h'.  I don't see how 'H' can ever happen.

datapath: Remove unneeded { } around single statement.

I noticed this looking around at other code.

Signed-off-by: Ben Pfaff <blp@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

datapath: Use "OVS_*" as opposed to "ODP_*" for user<->kernel interactions.

The prefix "ODP_*" is not overly descriptive in the context of the
larger Linux tree.  This commit changes the prefix to "OVS_*" for the
userpace to kernel interactions.  The userspace libraries still use
"ODP_" in many of their interfaces since it is more descriptive in the
OVS oeuvre.

Feature #6904

Signed-off-by: Justin Pettit <jpettit@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

ofproto-dpif: Delete MAC learning entries when they expire.

Commit fa066f015f716c7 "bridge: Move packet processing functionality into
ofproto" deleted the call to mac_learning_run() that deletes MAC learning
table entries when they expire.  This fixes the problem.

classifier: Fix typo in comment.