dpctl: Fix "add-flow" and "add-flows" when actions are specified.

Thanks to Justin for noticing the problem.

Merge branch 'master' of nicira.dyndns.org:/srv/git/openflow/

Check wildcards for in_port != out_port output validation.

OpenFlow requires that traffic that is to be sent out the interface it
came in on use the OFPP_IN_PORT virtual port.  The action validation
code that enforces this ignored the wildcards field, which meant it was
using the garbage 'in_port' value for this check.

Add missing #includes.

Allow controller to set MAC address to use in ARP responses for SNAT IPs.

This allows the controller to set a MAC address to use in response to
an ARP request for the NAT IP address on a non-NAT interface.  This is
useful if a NAT'd device needs to communicate with a non-NAT'd device,
when they are on the same interface on the OpenFlow switch.  When the
non-NAT'd device requests the MAC address of the NAT IP address, the
switch responds with the supplied MAC address (often the L3 router
behind it).  This allows communication in both directions to bounce off
the L3 router and not confuse controller.

vswitchd: Fix more memory leaks.

Fix typo.

vswitchd: Fix typo in comment.

brcompat: Don't try to write the config file if it isn't configured.

leak-checker: Make output file unbuffered.

This way, we get an up-to-date record when the process is killed.

vswitchd: Fix memory leak.

Fix bugs in leak checker.

Oops.

vswitchd: Fix memory leaks.

Fix memory leak in nl_sock_transact().

Implement simple memory leak detector.

Initially, make it available only in secchan and vswitchd.  But it's easy
to add it elsewhere too.

Add ability to open null fds to process_start().

Add libpcre3-dev to build-dependencies.

New function process_run().

Merge master and vswitchd branches

Make dpctl accept an arbitrary number of actions.

This cleanup has been wanted for a while.

As a side effect, this change deletes some dead code pointed out by Chris
Eagle via Fortify: many of the deleted comparisons against act_len were
never true because of the sizes of the objects invovled.

learning-switch: Remove unused variable.

Found by Chris Eagle via Fortify.

fatal-signal: Fix bug in call_hooks() recursion detection.

Found by Chris Eagle via Fortify.

Use xstrdup() instead of xasprintf() for duplicating constant string.

dpctl: Fix use-after-free in "probe" command.

Found by Chris Eagle via Fortify.

netdev: Fix file descriptor leak.

This could be important since it leaks a file descriptor on every
netdev_open(), but only if an IPv6 address is configured on the network
device (which is rare and indicates an error condition for OpenFlow).

Found by Chris Eagle via Fortify.

datapath: Check DMI strings for NULL.

dmi_get_system_info() can return NULL, so check for it.

Found by Chris Eagle via Fortify.

datapath: Avoid pointer arithmetic on possibly-NULL pointer.

Pointer arithmetic on a null pointer yields undefined behavior, even
though it doesn't really matter in the real world (normally).

Found by Chris Eagle via Fortify.

daemon: report error if daemon child process fails to start properly

Found by Chris Eagle via Fortify.

dpctl: Exit unsuccessfully if a write to stdout or stderr failed.

A program should exit with an error if its output failed, so check for
this before termination.

Found by Chris Eagle via Fortify.

Use strtok_r() instead of strtok().

Not a bug but a style issue, since this code doesn't call and isn't called
by other code that uses strtok().

Found by Chris Eagle via Fortify.

dhcp-client: Don't report long time to expiration after lease expires.

There is a race between time advancing past the lease expiration time
and actually transitioning to the expired state.  Fix this race.

Found by Chris Eagle via Fortify.

dhcp-client: Add comment about time going backward.

Issue raised by Chris Eagle via Fortify.

datapath: Make 'length' local variable unsigned, for consistency.

This is a style issue, not a bug, if you chase down what the function
and the caller are doing.

Found by Chris Eagle via Fortify.

Use a uint16_t variable to store a 16-bit value, not an int.

This is a style issue, not a bug, because the int only ever held
values in the range 0...UINT16_MAX.

Found by Chris Eagle via Fortify.

Mark memory allocation functions with __attribute__((malloc)).

This may improve optimization, and it may make it easier for tools such
as Fortify to see what is going on.

datapath: Fix tracking of number of flows in hash table.

Fixes bug #684.

Thanks to Reid for noticing the problem.

datapath: Add log level annotations to printk messages.

General approach is:

- KERN_EMERG: Conditions that prevent the modules from loading.

- KERN_ERR: Conditions that indicate an OpenFlow kernel code bug.

- KERN_WARNING: Conditions that might indicate a bug in OpenFlow kernel
  code or other kernel code.

- KERN_NOTICE: Conditions that might indicate a bug in secchan or the
  OpenFlow controller, or minor conditions that are typically transient.

Add datapath device name to printk's.

To aid debugging, this prints the datapath device name to printk
messages.  Not doing this wasn't a big deal when only a single datapath
was running, but it's very confusing when there are multiple.

vswitchd: Delete 'ifaces' pointer to interface when deleting interface.

Otherwise we dereference a dangling pointer to the interface when we
look up the interface by datapath port index, causing a segfault.

Introduced in commit 150ac45, "vswitchd: Eliminate "can't forward to bad
port" when interfaces disappear," which deletes an interface that is known
to be in the datapath port index table.

rconn: Fix segfault when the idle timeout races with connection failure.

Noticed in Xen VM migration torture test (thanks Henrik!)

Delete extermally removed interfaces from bridge compatibility config.

The bridge compatibility code was not notified when interfaces were
removed from datapaths.  This fixes that.

vswitchd: Eliminate "can't forward to bad port" when interfaces disappear.

When an interface was deleted from a datapath by a process other than
vswitchd (which is not supposed to happen), vswitchd would not realize it
and would continue to set up flows for that interface (and leave in place
existing flows).  This caused the kernel to complain "can't forward to bad
port" for each packet on these flows.

Xen triggered this by destroying vifs that were on vswitchd-controlled
datapaths (which removes them from any datapath that they are on).

This fixes the problem, by making vswitchd notice when interfaces
disappear and fixing up the flow table.

datapath: Don't drop oversize GSO frames, since GSO will break them up.

Fixes TCP performance problems on Xen.

All credit to Justin for diagnosis.

Add support for sysfs and ethtool.

Add support for sysfs when the bridge compatibility module is running.
Currently, this only works for 2.6.18 kernels.  Working on all kernels
should be fixed soon.  Also, add ethtool support to the datapath device.

Only enable warning options that the compiler actually understands.

Fix memory leak in make_pidfile().

Found by Chris Eagle via Fortify.

Add nicira copyright and gplv3 to vswitchd

Also changed the COPYING to reflect that copyrights are assigned
per file, and to include the GPLv3 text.

Enable many additional GCC warnings by default.

Mark stubbed-out function parameter as UNUSED.

Add missing switch case.

Found with -Wswitch-enum.

Add missing trailing initializers.

Found with -Wmissing-field-initializers.

Mark out_of_memory() as never returning.

Found with -Wmissing-noreturn.

Add missing header file to brcompat.h.

Found with -Wmissing-prototypes.

vlog: Fix initializer in VLOG_RATE_LIMIT macro.

Found by -Wmissing-field-initializers.

vlog: Mark format_log_message() as taking a printf format string.

Found by -Wmissing-format-attribute.

Fix bug that could have caused infinite loop in ofp_print_actions().

Found by -Wextra noticing that len < 0 is always false.

Remove unused functions.

Found by -Wmissing-prototypes.

Add missing function prototypes to header files.

Found with -Wmissing-prototypes.

Remove comparison of unsigned value < 0.

Found by -Wextra.

Mark unused callback function parameters as UNUSED.

Found by -Wunused-parameters.

Change external functions to static functions, where possible.

Found by -Wmissing-prototypes.

Make function declarations into prototypes.

Found by -Wmissing-prototypes.

Remove unused function parameter from stp_start().

Found by -Wunused-parameter.

Remove unused function parameter from stp_received_tcn_bpdu().

Found with -Wunused-parameter.

netdev: Remove unused 'fd' parameter from set_flags().

Found by -Wunused-parameter.

netdev: Remove unused 'netdev' parameter from dpif_add_router().

Found by -Wunused-parameter.

Remove 'wait' parameter from dpif_send_openflow().

The 'wait' parameter had no effect (it was not implemented) and it was
only ever set to false.  It's easier to simply remove it than to
implement an unneeded feature.

Found by -Wunused-parameter.

vswitchd: Fix port mirroring example.

Thanks to Keith for pointing this out.

vswitchd: Fix inaccurate comment.

Thanks to Pete for pointing this out.

vswitchd: Make secchan subprocesses listen for management connections.

secchan: Fix inverted logic (down vs. up).

datapath: Fix deadlock in switch port removal.

dp_del_switch_port() cancels the port_task and waits for
it to finish, but the port_task requires the RTNL lock
to complete, which dp_del_switch_port() holds, thus a
deadlock.

This commit fixes the problem, by deleting the port_task
entirely and moving its work into secchan.

datapath: Avoid deadlock on dp_mutex versus kthread_stop().

When a datapath is deleted, del_dp() acquires dp_mutex and uses
kthread_stop() to wait for the dp_task to die.  Meanwhile, dp_task may
be waiting to acquire dp_mutex and won't die until it does so.

This commit fixes the problem by sending SIGKILL to dp_task before
call kthread_stop() and making dp_task give up if it receives a signal.

datapath: Fix deadlock in network device notifier.

When a network device that is part of a datapath is destroyed, the
notifier handler in dp_device_event() calls dp_del_switch_port() to
delete the switch port.  dp_del_switch_port() then calls rtnl_lock()
to drop the device's promiscuous count.  But the RTNL lock has already
been taken at this point, so taking it recursively deadlocks.

The obvious fix is for dp_del_switch_port()'s caller to take the RTNL
lock for it, if it is not already taken.  This, however, causes a
different deadlock, as dp_del_switch_port() needs dp_mutex and that
means that we are nesting dp_mutex and the RTNL both ways.

The fix used here is to always nest dp_mutex inside the RTNL lock and
never vice versa.

    =============================================
    [ INFO: possible recursive locking detected ]
    ---------------------------------------------
    tunctl/2934 is trying to acquire lock:
     (rtnl_mutex){--..}, at: [<c029667d>] mutex_lock+0x1c/0x1f

    but task is already holding lock:
     (rtnl_mutex){--..}, at: [<c029667d>] mutex_lock+0x1c/0x1f

    other info that might help us debug this:
    1 lock held by tunctl/2934:
     #0:  (rtnl_mutex){--..}, at: [<c029667d>] mutex_lock+0x1c/0x1f

    stack backtrace:
     [<c01040cf>] show_trace+0xd/0x10
     [<c0104655>] dump_stack+0x19/0x1b
     [<c012f897>] __lock_acquire+0x747/0x9a6
     [<c0130058>] lock_acquire+0x4b/0x6b
     [<c029651b>] __mutex_lock_slowpath+0xb0/0x1f6
     [<c029667d>] mutex_lock+0x1c/0x1f
     [<c023f045>] rtnl_lock+0xd/0xf
     [<c89703eb>] dp_del_switch_port+0x2d/0xb9 [openflow_mod]
     [<c8972554>] dp_device_event+0x84/0xb0 [openflow_mod]
     [<c0125033>] notifier_call_chain+0x20/0x31
     [<c012506d>] raw_notifier_call_chain+0x8/0xa
     [<c0237e75>] unregister_netdevice+0x129/0x1ce
     [<c020ed97>] tun_chr_close+0x5e/0x69
     [<c01573a5>] __fput+0xb3/0x15e
     [<c0157467>] fput+0x17/0x19
     [<c0154de1>] filp_close+0x51/0x5b
     [<c011aeca>] put_files_struct+0x6d/0xa9
     [<c011becf>] do_exit+0x206/0x790
     [<c011c4d2>] sys_exit_group+0x0/0x11
     [<c011c4e1>] sys_exit_group+0xf/0x11
     [<c0102ab7>] syscall_call+0x7/0xb

Problem identified with this script (in conjunction with the brcompat
module):

    #! /bin/sh
    brctl delbr a
    brctl delbr b
    brctl delbr c
    set -x
    stress () {
        bridge=$1
        shift
        while true; do
            brctl addbr $bridge; brctl show
            for iface
            do
                case $iface in
                    tap*) tunctl -t $iface ;;
                esac
                brctl addif $bridge $iface
            done
            for iface
            do
                brctl delif $bridge $iface
                case $iface in
                    tap*) tunctl -d $iface ;;
                esac
            done
            brctl delbr $bridge; brctl show
        done
    }
    stress a tap0 tap1 tap2 &
    stress b tap3 tap4 tap5 &
    trap 'killall stress-brctl' 0 SIGINT
    wait

Style fixes.

Include "util.h" in hmap.h, to get CONTAINER_OF.

Convert GFP_ATOMIC to GFP_KERNEL where possible.

GFP_KERNEL is preferable, because it is more likely to succeed.  This code
is allowed to sleep, so GFP_ATOMIC is not necessary.

Remove userspace switch in favor of the superior userspace datapath.

Fix "make dist" by adding forgotten files to sources lists.

Expose NetFlow to vswitchd configuration.

Fix the previous fix.

*sigh*

Fix datapath build by distributing all the necessary compatibility headers.

Fix "make dist" by adding forgotten files to sources lists.

vswitchd: Implement spanning tree protocol.

Improve STP library.

- Don't expose the funny STP time units; instead, convert to and from
  milliseconds at the module boundary.

- Allow the client to configure the max age, hello time, and forward delay
  parameters.

- Do more of the construction of BPDUs internally, instead of making the
  client do it.

vswitchd: New function cfg_is_valid().

Do not forward multicast addresses that must not be, in learning-switch.

New function to test for multicast addresses that must not be forwarded.

Prevent Debian package upgrades from prompting.

Before, we were using dpkg "conffiles" for our configuration.  This means
that if the admin has customized the configuration (as is necessary to
make the switch work) and the default configuration included in the package
changed, then dpkg would prompt the user interactively about what to do.

Now, we take responsibility for creating, upgrading, and removing the
configuration file ourselves, and do not prompt.

Add support for time_after64/time_before64 macros in older kernels.

vswitchd: Improve log options passed down to secchan.

Previously, secchan as started by vswitchd would always log to the console.
Now, it logs to the console only if any logging to the console is enabled
for vswitchd.

Previously, secchan as started by vswitchd would never log to a file.  Now,
it logs to a file if vswitchd is configured to do so.

Also, use the bridge name in the vlog log pattern, instead of the datapath
number, so that users can more easily relate log messages to bridges.

Requested by Keith.

vswitchd: Don't make and pass socketpair to secchan if we won't use it.

If there's a remote controller then secchan will talk to it, not to
vswitchd, so there's no need to make a socketpair for communication in
that case.

Improve compatibility fallbacks for allocating multicast groups.

The linux-2.6 compatibility code for allocating multicast groups only
allocated a single multicast group per Generic Netlink family.  However,
OpenFlow performance is going to be better if we allocate one per OpenFlow
datapath (which are all in the same Generic Netlink family).  This commit
implements that.

Thanks to Justin for pointing out the issue.

Use separate Netlink multicast groups for different datapaths.

Otherwise every socket that listens for OpenFlow multicast messages will
get them for every single datapath.  Not only is that a waste of memory
and time, it also allows one congested bridge to effectively DoS other
bridges that have little traffic.

Merge master branch into vswitchd.

Make the openflow and brcompt modules use different netlink mc groups.

Discard OpenFlow messages not for us in dpif_recv_openflow().

Currently there is only a single Netlink multicast group that is shared
by all OpenFlow datapaths.  This is undesirable and should be fixed, but
a solution in every case is impossible due to Linux kernel limitations.
This commit works around the problem by dropping OpenFlow messages that
are related to a datapath that we are not interested in.

This should fix vswitchd behavior when more than one bridge is configured.

Thanks to Keith and Justin for diagnosing the problem.

Correct VERIFY_NUL_STRING back-port that required a "0" instead of a null.

The VERIFY_NUL_STRING back-port to older kernels was looking for an ASCII
zero instead of the null-string terminator.

vswitchd: Add support for untagged VLAN ports in VLAN 0.

vswitchd: Change port mirroring to match semantics expected by users.