First cut at bridge compatibility for vswitchd.

This set of changes allows the bridge ioctls to be used for adding and
removing datapaths and interfaces.  To enable, one must insmod the
new "brcompat_mod.ko" kernel module.  Then, vswitchd is run with the
"--brcompat" flag.  See the man page for vswitchd for more details.

vswitchd: Fix SIGHUP behavior for bonded ports.

vswitchd: Properly renumber port_ifidx values on iface destruction.

vswitchd: Revalidate all flows upon bridge configuration change.

Otherwise, now-invalid flows can linger, causing trouble.

New function mac_learning_flush().

vswitchd: Fix svec_diff().

The logic bugs here were causing bridge.c to do too much work adding and
deleting interfaces unnecessarily and perhaps in some circumstances getting
the set of interfaces wrong entirely.

vswitchd: Comment out annoying bonding-related logging, for now.

vswitchd: Fix svec memory leaks.

Pointed out by Justin.

Make ds_cstr() always null-terminate the string.

Most of the time the string in "struct ds" is
null-terminated, but there seem to be a few corner cases
where it is not.  Make ds_cstr() always put in the null
terminator, for safety.

Thanks to Justin for pointing out the problem.

vswitchd: Implement bonding link failure detection & failover.

New functions port_array_destroy(), port_array_clear().

Document vswitchd.

Factor out common parts of manpages.

There was a lot of duplication in the sources for the
manpages, because many of the programs have common options.
This factors out some of the duplication into include
files, using the man ".so" directive.  It also uses the
".ds" directive to define strings that should be
customized for each program's manpage.

vswitchd: Actually tag flows that go out bonded devices.

The change that introduced rebalancing for bonded devices
set up the infrastructure for revalidating flows that go
out bonded devices, but neglected to actually tag those
flows.  This fixes the problem.

vswitchd: Basic bonding rebalancing works.

So far only tested with hping3.  At least, need to make sure that existing
flows get redirected through the new interface as well.

vswitchd: Work on flow statistics gathering.

vswitchd: Implement stats request manager.

Make tag_set_add() avoid adding tags that are already present.

New functions for iterating through flow stats replies.

New function ofpbuf_clone_data().

vswitchd: Fix treatment of unbuffered packets.

Before, buggy code caused unbuffered packets to be dropped.  This fixes
the problem.

Drop message about short Ethernet frames entirely.

It's just not useful.

vswitchd: Automatically restart secchan if it dies.

Implement revalidation.

Add support for tags to mac-learning library, and update client code.

Implement generic tag library.

New functions random_uint8(), random_uint16().

Also, reimplement random_uint32() to make fewer calls to rand().

New macro IS_POW2().

Implement generic hash table.

New function flow_equal().

Inline flow_compare() and flow_hash(), for performance.

Make flow_hash() use hash_lookup3(), for speed and hash quality.

Add faster and better-quality hash function hash_lookup3().

Remove misplaced comment.

vswitch: Implement basic bonding.

Rebalancing and link failure detection are missing, but the basics are
there (and work OK in simple testing).

vswitch: Pass --monitor to secchan processes, to allow monitoring them.

Add #include <limits.h> to fix build problem with undefined "_POSIX_PIPE_BUF".

vswitchd: Fix stupid thinko.

vswitchd: Basic working VLAN support.

New functions put_openflow() and put_openflow_xid().

Add support for VLAN tags to the MAC learning library.

vswitchd needs to keep separate per-VLAN MAC learning tables, so this adds
a VLAN tag to each MAC learning table entry.  The existing users of the
MAC learning table don't care about VLANs, so they always pass in a VLAN
of 0.

There is a very good chance that vswitchd will need additional features in
its MAC learning table that don't fit well into the existing library.  In
that case this commit will probably be reverted and a separate MAC learning
implementation added in the vswitch directory.

cfg: Fix functions for retrieving keys.

They didn't work.  At all.

Initial, skeletal implementation of vswitchd.

New function ds_get_line().

New function ds_put_buffer().

New functions for verify OpenFlow message types and lengths.

New function ofp_message_type_to_string().

Make secchan exit if the connection drops and can never be reconnected.

In particular this happens if the controller is specified using a fd vconn,
since once disconnected a fd vconn can never be reconnected.

This behavior is useful for vswitchd, which connects to secchan over a
fd vconn.

Add new "fd" vconn, which takes a file descriptor number as argument.

This requires introducing the concept of a "reconnectable" vconn.  A vconn
is reconnectable if, when it is closed, it is possible to try to reconnect
to it using the name that was originally used.  This is the case for all
existing vconn types, but it is not true for fd vconns, because closing a
fd vconn closes the specified file descriptor, and thus attempting to
reopen it will get an EBADF error.

An rconn is not reliable if it is connected to a vconn that is not
reconnectable.

Introduce x2nrealloc() helper function, and use it.

Also fixes a bug in read_cert_file() in vconn-ssl.c: "sizeof *certs"
should have been "sizeof **certs".  In fact the sizes will be identical
in all practical cases since both *certs and **certs are pointer types,
so this is not an important fix.

Make datapath interface library more flexible.

A single netlink socket can address any kernel datapath, but the datapath
interface library was artificially restricting a dpif to address a single
datapath that was selected at dpif creation time.  This commit removes
that restriction.

This is useful for vswitchd, which can create and destroy any number of
datapaths and add and remove ports on them.  It's more convenient to use
a single dpif for that instead of many.

Move DP_MAX into public header file.

vswitchd wants to know the maximum number of datapaths, so DP_MAX needs to
be exported.

(This is not an ideal situation.  Really the kernel should not have an
explicit limit on the number of datapaths, and userspace should be able
to query the current maximum.)

Improve formatting of process termination messages in secchan logging.

My expectation was that strsignal() returns the signal's name, e.g.
SIGTERM.  It actually returns an English explanation, so that the existing
code would log a message like "terminated by signal Terminated".  This
commit changes the message to the more sensible "terminated by signal 15
(Terminated)".

Also, the recently approved POSIX 2008 standardized strsignal() and in
particular says that it may return NULL for unknown signal numbers, so
this commit fixes the behavior on NULL return.

vlog: Optimize logging disabled, rate-limited messages.

Previously the arguments of rate-limited messages were always evaluated
and passed to vlog_rate_limit().  This commit short-circuits the case
where the vlog levels would prevent any messages from being logged even
without considering rate limiting.

Reduce rate limit for short-packet messages even further.

These messages appear a lot in a virtualized environment, and they really
are not meaningful there.

Fix typo in comment.

Add reminder comment to lib/learning-switch.c.

(This doesn't change the semantics of the code at all.)

Fix mangled header guards in ofp-print.h.

Improve secchan.8 manpage.

Fix typo in error message.

Style fix: f(x) is better than f((x))

Add userspace datapath to openflow.

Update required Autoconf version in INSTALL.

The AC_PREREQ was updated some time ago but the documentation lagged
behind.

Make ds_put_char_multiple() use the provided character instead of a space.

Fortunately this function was only used for formatting log messages, in
a context where spaces were the normal padding character.

Found by Chris Eagle.

Cleanup some formatting in openflow.h.

Change references in comments from "ofp_vendor" to "ofp_vendor_header".

Update prerequisite Autoconf version to 2.60 (from 2.59).

We use the MKDIR_P variable that only Autoconf 2.60 and
later supports, but we were only requiring Autoconf 2.59
or later.  This fixes the problem.

Also, we were not explicitly invoking AC_PROG_MKDIR_P from
configure.ac, even though we were using $(MKDIR_P).  Some
other macro must have been internally invoking
AC_PROG_MKDIR_P, but it's not good to depend on that, so
this commit adds an explicit call to it.

Fix compatibility back to Linux 2.6.15 and 2.4.32.

Add missing "%s" to VLOG_WARN_RL call.

Thanks to Justin for pointing out the problem.

Officially call this code version 0.8.9~1.

Add support for listing and deleting entries based on an output port.

To support this, an "out_port" field has been added to the "ofp_flow_mod",
"ofp_flow_stats_request", and "ofp_aggregate_stats_request" messages.  If an
"out_port" contains a value other than "OFPP_NONE", it introduces a constraint
when matching.  This constraint is that the rule must contain an output action
directed at that port.  Other constraints such as ofp_match structs and
priorities are still used; this is purely an *additional* constraint.  Note
that to get previous behavior, though, "out_port" must be set to "OFPP_NONE",
since "0" is a valid port id.  This only applies to the delete and
delete_strict flow mod commands; the field is ignored by add, modify, and
modify_strict.

Add DATAPATH_ID to switch packaging, to enable persistent DPIDs.

Allow the datapath ID to be configured by changing the ofX MAC address.

Previously, you could change the MAC address but that had no effect on
the datapath ID, so that there was no way to change the datapath ID at all.

Simplify code in stream_recv().

There is no need to test whether retval is nonzero at this point in the
code: we already know that it is negative from the two previous "if"
branches.

Make dpif_close() accept a null pointer.

It's customary for destructor functions to accept and ignore null pointers.

This commit does not fix any known bug.

rconn_destroy() should close monitoring connections, to avoid a leak.

Our current code base never closes an rconn that has a monitoring
connection, so this does not fix any larger problem.

Free txbuf, rxbuf in vconn-ssl and vconn-stream destructors.

This bug was causing secchan to leak a little bit of memory on almost every
connection close.  This is most visible when openflow-monitor is running,
because openflow-monitor connects to secchan once per second.

Add support for understanding ICMP type and code in flow entries.

Maintain separate async and sync connections to nl:0 in secchan.

When a network link is flooded with traffic, secchan's OpenFlow socket
queue becomes congested with traffic.  This leaves no room for replies
to OpenFlow requests relayed to that socket by secchan.

This commit modifies secchan to use separate sockets for asynchronous
traffic and for OpenFlow requests/replies, which should avoid the problem.

Dynamically allocate switch status categories.

I got tired of increasing the statically allocated number of categories
whenever we exceeded it, so this will make things simpler.

Get rid of unused parameter to rate_limit_start().

Don't rate-limit packet_ins from flows that the controller set up.

Prevent accidentally passing an integer value to IP_ARGS.

Fix printing of IP addresses in ofp_print_action().

IP_ARGS takes a pointer, not a raw IP address.

Thanks to kk yap for reporting the problem.

Use "%zu" to print size_t, not "%"PRIu16.

Copy skbs when we save them.

Simplify code for constructing skb in recv_packet_out().

Fix double-free: NF_HOOK sometimes frees the sk_buff passed in.

NF_HOOK is supposed to *always* consume the sk_buff passed in, either
internally or through the okfn argument.  We assumed that it never
consumed its sk_buff, which was OK in the case where it called okfn,
since our okfn (snat_pre_route_finish) never freed its sk_buff, but
not when one of the netfilter hooks dropped or stole the packet, because
then we'd assume that it still existed and free it a second time.

The other users of NF_HOOK in this file, in snat_skb() and
snat_skb_finish(), do not need to be fixed because they always pass a
copy of their sk_buff argument to NF_HOOK and expect it to be freed.

No need to test argument of kfree_skb() for non-null.

Never free an skb that has been passed to genlmsg_reply().

genlmsg_reply() always consumes its argument, not just in the success case.

Pull arp header before grabbing the pointer to it.

Pull data into headers properly, and checksum ICMP replies correctly.

Reset mac header in flow_extract(), because it might initially be null.

__alloc_skb() sets the mac header to null, and not all call chains
reset it.

Use skb_copy_bits() to copy data that might not be pulled into headers.

Verify in fwd_port_input() that 'skb' has no destructor.

Verify in execute_actions() that 'skb' is not shared.

Fix datapath make_writable() function.

- We weren't necessarily pulling enough into the headers in the non-shared
  case, since the IP header by itself can be longer than 40 bytes.

- The skb is guaranteed not to have a destructor at this point.

Make datapath's flow_extract() properly pull data into the headers.

Otherwise we might be reading headers that aren't really there.

Add comment.

Don't oops in dp_output_control() for skbs with null ->dev.

This shouldn't ordinarily happen, since normal packets are received from
a real device, but some packets can be spontaneously generated within
the switch and thus have null ->dev.  (Possibly that is itself a bug
that we should track down; not sure.)