vswitch: Add startup and config files for the XenServer build.

Check wildcards for in_port != out_port output validation. (udatapath)

OpenFlow requires that traffic that is to be sent out the interface it
came in on use the OFPP_IN_PORT virtual port.  The action validation
code that enforces this ignored the wildcards field, which meant it was
using the garbage 'in_port' value for this check.

NB: This problem was addressed in the kernel datapath with commit
1b580f69f3dfacee49532f71abd72755a09eabd4.

Fix minor typos in vswitch.conf.5 man page.

netdev: fix segfault in lookup_netdev().

svec_find() returns SIZE_MAX, not 0, when the specified name cannot be
found.  Don't dereference the names array in this case.

Fixes a segfault that commonly occurred when secchan was started by
vswitchd.

vswitchd: Avoid 100% CPU when secchan dies too many times.

vswitchd restarts secchan when necessary, but it limits the maximum number
of tries to avoid wasting CPU when secchan repeatedly dies.  Unfortunately,
when this happens it also throws vswitchd into a busy-wait by calling
process_wait() on the dead secchan process, because it doesn't clear out
the process from the bridge structure.

This commit clears out the secchan process from the bridge structure, so
that we don't attempt to wait on it any longer, and should fix the busy-wait
problem.

poll-loop: Add support for logging the reason for wakeups.

It is useful to log the reason for wakeups, to debug why a program is
waking up more often than it should (for example, consuming 100% CPU load
for no apparent reason).  This adds that logging at DBG level in the
poll loop.

leak-checker: Break backtracing code into new module "backtrace".

This allows other code to use the backtracer too.

vswitchd: Add build number to --version output.

Add AC_SYS_LARGEFILE, to allow writing log files over 2 GB.

Changed control protocol name to OpenFlow Management Protocol.

First cut of OpenFlow control protocol draft specification.

Don't define skb_copy_{to,from}_linear_data_offset if it is available.

Linux 2.6.22 introduced functions skb_copy_from_linear_data_offset()
and skb_copy_to_linear_data_offset().  In earlier versions we defined them.
But Xen backports these functions, so this became a duplicate definition.
So check for them at configure time instead of depending on the kernel
version number.

datapath: Fix up checksum on Xen before forwarding to controller.

On Xen, the datapath can receive a packet that lacks a correct checksum
from a VM, because the VMs expect to use the host's hardware TX
checksumming.  Until now, we haven't fixed up the checksum before we sent
the packet to the controller.  The controller doesn't normally verify
the checksum (nor can it in general, since it doesn't necessarily get the
entire packet), so that part isn't a problem.

The problem here is in the buffered packet.  fwd_save_skb() makes a copy
(not a clone) of the packet, but skb_copy() doesn't make a copy of the
skbuff's proto_csum_blank, which is what dev_queue_xmit() uses (via
skb_checksum_setup()) to decide whether checksumming needs to be forced.
Thus, the buffered packet is transmitted with a bad checksum.

A partial solution would be to copy proto_csum_blank from the original
skb into the buffered copy, or to make the buffers use clones instead of
copies (they really should do this anyhow).  But this would still send
a bad checksum to the controller.  So instead we do the full checksum
calculation before we send the packet to the controller.

This change affects only Xen.  This situation cannot occur without Xen,
because any packets that arrive on physical interfaces must already have
correct checksums.

datapath: Move all fwd_save_skb() calls into a single location.

Fix build issues with recent SNAT changes on older kernels.

Recent changes that fixed fragmented packets for SNAT-enabled builds
used calls not implemented in older kernels.  These changes add those
calls to the compatibility layer and clean up a few warnings in those
older kernel builds.

Move veth.c to Linux 2.6 compatibility directory.

The veth driver is only available on more recent kernels.  veth.c
contains a port to 2.6.18.  Since this is only needed for 2.6.18, the
source is being moved to the compatibility directory.

For SNAT, don't store the pre-fragment L2 header before actions are applied.

The IP fragment code doesn't always write the L2 header when generating
new fragments.  This problem was fixed in an earlier commit.
Unfortunately, we stored the pre-fragment L2 header when the packet
first arrived--before other packet modifications were applied.  This
meant that the results of any OpenFlow L2 modification actions were lost.
This patch pushes the storage of the L2 header until right before the
packet is transmitted (and possibly refragmented).

Thanks to Dan for catching this behavior.
(cherry picked from commit b4cd6fb07e0751832a22759e27c6ba63e3538c8b)

Add comment.

Thanks to Martin via DK for suggestion.

Move setting Nicira datapath ID out of kernel.

When generating the datapath id/mac address for an OpenFlow device, the
kernel checks the DMI for a suitable one in a Nicira UUID.  If one is
not found, then a random address is generated.  This patch makes it so
that a random address is always generated.  The DMI Nicira UUID check is
now done in the init script, which overrides the random address
generated when the datapath was created.  Ripping code out of the kernel
is good.

Backport the veth driver to Linux 2.6.18.  Build for that version only.

Make choices to build and to distribute modules independent of each other.

Eliminate unused second argument to OFP_CHECK_LINUX in configure scripts.

Ignore more files.

Add unit test for flow extraction.

This tests only flow_extract() in lib/flow.c.  We should really test
the flow extraction in the kernel module also.

Add new function ofp_match_to_string() to ofp-print library.

Move flow_fill_match() from udatapath to lib, so that other code can use it.

Implement pcap file reader/writer library and use it in ofp_packet_to_string().

Fix minor bug in flow_extract().

We were treating 802.2 frames that were too short to have a SNAP header as
if they had a dl_type of 0, when really they were supposed to have a
dl_type of OFP_DL_TYPE_NOT_ETH_TYPE.

This bug probably didn't affect anything in practice, because it is very
unusual to have a 802.2 frame that is too short to have a SNAP header,
because any frame that goes over a physical wire will be padded out so
that it is longer than that.

Make port status change messages reliable.

Until now, port status change messages were sent out by the datapath
implementations and simply relayed by secchan.  In the kernel
implementation, they were unreliable because they were sent out over the
multicast socket used for packet-in events: if many packet-in messages
arrived and filled up that socket's receive buffer, then any subsequent
port status change messages were dropped.

This change moves port status change detection from the datapath
implementations into secchan, making them reliable, by using a
netdev_monitor.

(An alternate implementation would have been to detect the socket
receive buffer overflow and poll the network devices.  The current
implementation was chosen because it removes code from the datapaths,
which is the direction we want to move in for the future.)

netdev: Implement netdev_monitor, for monitoring network device status changes.

netdev: Make carrier status available in device flags.

Before, network device carrier status was available only through
netdev_get_link_status().  However, Linux makes it available in network
device flags, so we might as well use it.

New hash table keyed on string data.

netdev: New function netdev_nodev_get_flags().

An upcoming change will move detection of netdev flags changes into
secchan.  That change will require polling the flags for many network
devices.  Opening and closing that many network devices, or keeping
around fds for them, is a waste of time (or fds).

But it's easy to get flags for any number of netdevs from a single file
descriptor, so add a function to do this.

Make nl_policy_parse() compatible with non-Generic Netlink packets.

Some packets that are not Generic Netlink packets nevertheless use its
attribute format.  By making the caller pass in the offset to the
attributes we can support these packet formats too.

(Another approach would be to make the caller pull off the headers.)

Add lookup3-based hash for bytes, and remove FNV hash entirely.

The lookup3 hash is superior to FNV.  This change makes OpenFlow use
lookup3 exclusively, by adding a variant of it that can hash arbitrary
byte sequences.

Add support for dynamic library symbols to ofp-parse-leaks.

In adding support for the leak checker to NOX, it became clear that we
needed to support fetching symbols for dynamically loaded libraries,
because most of NOX is in fact in such libraries.  This adds that support.

Fix fragment issue for large IP packets when SNAT action enabled.

The Netfilter code automatically reassembles IP fragments.  We need to
explicitly have them refragmented before transmitting. (Bug #823)
(cherry picked from commit dfc7aa676ab44db7a49284a80798c7be5369db85)

Improve handling of unexpected 'status' in process_status_msg().

This function was getting passed -1 as 'status' due to a bug elsewhere,
and it was outputting ", core dumped" as the result, which clearly isn't
very helpful.  This improves the situation.

process: New function process_escape_args().

Debian packaging: Remove IP addresses from netdevs within a switch.

New function netdev_enumerate().

New function svec_join().

Debian packaging: Add several new settings to /etc/default/openflow-switch.

process: Avoid stealing pclose()'s exit status.

When we use popen() and pclose(), pclose() wants to return the process's
exit status, but it can't if the SIGCHLD handler gets it first.  So,
instead of asking for any child process exit status in sigchld_handler(),
only ask for the exit status of registered PIDs.

daemon: Fix behavior in read_pidfile() when pid file is not locked.

daemon: Fix bogus error message in read_pidfile() when pidfile is empty.

daemon: Fix segfault in read_pidfile() when pidfile does not exist.

debian: Avoid aborting on switch startup when $COMMANDS is empty.

Fix typo in comment.

Reopen log file in addition to reading conf file when vswitchd receives sighup

This only reopens the vswitchd log file.  The child secchan processes
for each bridge are not requested to do the same thing.  Since secchan
in general logs very little data, rotating those files isn't being
done right now, so this is probably okay.  At some point we should
probably correct it however.

vswitchd: Reduce flow idle time when flow table grows large.

This change halves the number of steady-state flows in the flow table
for hping3 --faster --quiet, from over 5000 to less than 2500.  It does
cause some oscillation in flow table size, because there is a harsh step
function in idle time when the flow table goes from 1000 to 1001 flows,
from 2001 to 2002 flows, and from 4003 to 4004 flows, but I doubt that is
a problem.  (If it is, we can introduce some randomness.)

vswitchd: Don't reset idle timer when updating flows.

When a flow was revalidated, we would use a OFPFC_ADD flow_mod message to
change the flow's actions.  However, this resets the idle-timer countdown.
In extreme circumstances, such as when VMs are being continuously migrated,
this meant that completely idle flows would never expire, because their
idle timers would keep getting reset more often than every 5 seconds, and
so the flow table would keep growing, never shrinking.

Now, when we revalidate an existing flow and update its actions, we use
an OFPFC_MODIFY_STRICT flow_mod message, which also updates actions but
does not reset the idle-timer countdown.

Revert "brcompat: Don't re-read configuration file from inside bridge code."

This reverts commit 2b34f542b1015b69c589bc4fa324d236cd35dd5f, because
not re-reading the config file from phy_port_changed() meant that, later,
the next time we modified the config file we would do it based on the
older version, not the version that we just wrote out.

vswitchd: Delete flows on a deleted interface when revalidating.

When an interface is deleted from a datapath by an entity other than
vswitchd (e.g. by a vif being deleted), we would revalidate all the
flows and change them to drop packets.  But that's a waste of flow
table space.  This commit changes the behavior in this case to delete
those flows entirely.

This commit is complicated by the need to deal gracefully with flows
on datapath interfaces that we don't know about, e.g. from the local port
if the local port is not part of the bridge or from interfaces added to
a datapath by an external mechanism (e.g. added with "dpctl addif"
manually).  We don't want to delete those flows, even though they resemble
the ones that we do want to delete, because they potentially save us from
processing a lot of packet-in messages that we don't care about.  So we
mark those flows with a new "need_drop" flag.

New functions make_flow_mod(), make_del_flow().

vswitchd: Avoid mishandling duplicate object names.

If a port was named twice in bridge.BRNAME.port, we would add two different
ports with the same name to bridge BRNAME.  Fix the problem.

Also, be more vigilant about duplicate names for other kinds of objects,
even though it should be difficult or impossible to end up with them.

New function svec_sort_unique(), svec_is_unique(), svec_get_duplicate().

brcompat: Don't re-read configuration file from inside bridge code.

brc_modify_config() re-reads the configuration files by calling cfg_read(),
but we don't want to do that when we're deep inside the bridge code, in
the call to brc_modify_config() from phy_port_changed().  So only call
cfg_read() from the callers of brc_modify_config() that are in brcompat.c.

Also, each cfg_read() call was followed by a call to bridge_reconfigure(),
which is what reconfigure() in vswitchd.c does, so just use that function
instead of open-coding the pair of calls.

This should not have caused a real problem, because no pointers into
configuration data are retained by bridge code, but it still seems like
the "correct" way to do things.

brcompat: Drop write-only variable.

vlog: Add INFO level and apply it to messages for "normal" behavior.

Fixes bug #246.

vconn: Ignore async messages before version negotiation completes.

The kernel can send a packet_in or other asynchronous message to
the secchan before the version negotiation step is finished, which
causes the secchan to drop the connection and try again.  This commit
fixes the problem.

Fixes bug #368.

secchan: Document --rate-limit and --burst-limit options in manpage.

Fixes bug #674.

secchan: Divide options in manpage into labeled subsections.

debian: Move ofp-switch-setup and manpage into correct package.

These files were accidentally included in the openflow-switch package,
but they were supposed to be in openflow-switch-config.

dpctl: Fix "add-flow" and "add-flows" when actions are specified.

Thanks to Justin for noticing the problem.

Merge branch 'master' of nicira.dyndns.org:/srv/git/openflow/

Check wildcards for in_port != out_port output validation.

OpenFlow requires that traffic that is to be sent out the interface it
came in on use the OFPP_IN_PORT virtual port.  The action validation
code that enforces this ignored the wildcards field, which meant it was
using the garbage 'in_port' value for this check.

Add missing #includes.

Allow controller to set MAC address to use in ARP responses for SNAT IPs.

This allows the controller to set a MAC address to use in response to
an ARP request for the NAT IP address on a non-NAT interface.  This is
useful if a NAT'd device needs to communicate with a non-NAT'd device,
when they are on the same interface on the OpenFlow switch.  When the
non-NAT'd device requests the MAC address of the NAT IP address, the
switch responds with the supplied MAC address (often the L3 router
behind it).  This allows communication in both directions to bounce off
the L3 router and not confuse controller.

vswitchd: Fix more memory leaks.

Fix typo.

vswitchd: Fix typo in comment.

brcompat: Don't try to write the config file if it isn't configured.

leak-checker: Make output file unbuffered.

This way, we get an up-to-date record when the process is killed.

vswitchd: Fix memory leak.

Fix bugs in leak checker.

Oops.

vswitchd: Fix memory leaks.

Fix memory leak in nl_sock_transact().

Implement simple memory leak detector.

Initially, make it available only in secchan and vswitchd.  But it's easy
to add it elsewhere too.

Add ability to open null fds to process_start().

Add libpcre3-dev to build-dependencies.

New function process_run().

Merge master and vswitchd branches

Make dpctl accept an arbitrary number of actions.

This cleanup has been wanted for a while.

As a side effect, this change deletes some dead code pointed out by Chris
Eagle via Fortify: many of the deleted comparisons against act_len were
never true because of the sizes of the objects invovled.

learning-switch: Remove unused variable.

Found by Chris Eagle via Fortify.

fatal-signal: Fix bug in call_hooks() recursion detection.

Found by Chris Eagle via Fortify.

Use xstrdup() instead of xasprintf() for duplicating constant string.

dpctl: Fix use-after-free in "probe" command.

Found by Chris Eagle via Fortify.

netdev: Fix file descriptor leak.

This could be important since it leaks a file descriptor on every
netdev_open(), but only if an IPv6 address is configured on the network
device (which is rare and indicates an error condition for OpenFlow).

Found by Chris Eagle via Fortify.

datapath: Check DMI strings for NULL.

dmi_get_system_info() can return NULL, so check for it.

Found by Chris Eagle via Fortify.

datapath: Avoid pointer arithmetic on possibly-NULL pointer.

Pointer arithmetic on a null pointer yields undefined behavior, even
though it doesn't really matter in the real world (normally).

Found by Chris Eagle via Fortify.

daemon: report error if daemon child process fails to start properly

Found by Chris Eagle via Fortify.

dpctl: Exit unsuccessfully if a write to stdout or stderr failed.

A program should exit with an error if its output failed, so check for
this before termination.

Found by Chris Eagle via Fortify.

Use strtok_r() instead of strtok().

Not a bug but a style issue, since this code doesn't call and isn't called
by other code that uses strtok().

Found by Chris Eagle via Fortify.

dhcp-client: Don't report long time to expiration after lease expires.

There is a race between time advancing past the lease expiration time
and actually transitioning to the expired state.  Fix this race.

Found by Chris Eagle via Fortify.

dhcp-client: Add comment about time going backward.

Issue raised by Chris Eagle via Fortify.

datapath: Make 'length' local variable unsigned, for consistency.

This is a style issue, not a bug, if you chase down what the function
and the caller are doing.

Found by Chris Eagle via Fortify.

Use a uint16_t variable to store a 16-bit value, not an int.

This is a style issue, not a bug, because the int only ever held
values in the range 0...UINT16_MAX.

Found by Chris Eagle via Fortify.

Mark memory allocation functions with __attribute__((malloc)).

This may improve optimization, and it may make it easier for tools such
as Fortify to see what is going on.

datapath: Fix tracking of number of flows in hash table.

Fixes bug #684.

Thanks to Reid for noticing the problem.