Make dumping large numbers of flows possible.

This changes the kernel switch implementation to use the kernel Netlink
"dump" interface to allow flow stats that don't fit in the socket buffer
to be dumped gradually as the caller drains the socket buffer.

One of the changes here is a bug fix for nla_unreserve.  Because Netlink
attributes' lengths are rounded up to a multiple of 4 bytes, reducing
the length of the payload by N bytes doesn't necessarily reduce the
length of the skb by N bytes.  Instead, we need to know the original
length and final length of the attribute.  This means that using 'len'
as a difference in bytes doesn't really make sense, so this changes
'len' to be the new length of the attribute payload and renames the
function to nla_shrink to (IMO) better reflect what it is now doing.

Since we have to release the RCU read lock between calls to the dump
function, we need table iterators that persist across RCU epochs.  One
way to do this would be to add new "iterator_save" and "iterator_restore"
functions, but this seemed like overkill since there would then be a
total of 5 iterator functions that have only one user (flow stats dumping).
Instead, this patch refactors table iteration into a single "iterate"
function that takes a callback.  This simplifies the table iteration code
significantly.

This change also modifies dpctl to understand the new format of flow
stats.

BUG #6

Fix problem with "dpctl monitor" not working.

** Fix by Ben. **

Add missing NLM_F flags constants (oops).

Enable the netlink library to dump more verbose debug output.

Make nl_sock_sendv properly implement 'wait' option.

Fix typo in comment.

Clean-up related to supporting priorities...mostly suggestions from Ben.

BUG #5

Fixes crash when a non-existent command is given to dpctl.

Print the configuration of the switch in addition to the features when "dpctl show" is run.

Add support for deleting flow entries with "del-flows" command in "dpctl".

- Add support for flow entry priorities.
- Fix "flow-add" action for dpctl.

Fix problem where the add_flow command is reading an unitialized array.

Improve list traversal macros.

Make LIST_FOR_EACH[_SAFE] variable take logically correct value upon loop termination.

Also, add regression tests for linked list routines, to ensure that this
change does not break code.

Also, add new macro LIST_FOR_EACH_REVERSE.

Add missing header to Makefile.am.

Drop stray debug messages.

Get rid of build dependency on netlink-related headers from Linux 2.6.

This fixes userspace program build problems on top of systems with
Linux 2.4 headers.

Fix problem in sending netlink messages on non-32-bit platforms.

** Fix provided by Ben. **

CHECKSUM_COMPLETE and CHECKSUM_PARTIAL were added Linux 2.6.19, so update the compatiblity layer to reflect this.

Tolerate ENOBUFS from kernel netlink code in second call to recvmsg.

The Linux kernel returns ENOBUFS to userspace code to indicate that
a netlink message that the kernel wanted to send could not be due to
a lack of buffer space.  We checked for this and dealt with it in
one recvmsg call but not in another.  This change tolerates it in
both places.

Should fix a problem encountered on the OF6k under "hping3 --flood".

** This fix was done by Ben. **

Support NETLINK_ADD_MEMBERSHIP even when compiled with old kernel headers.

Commit 0a9024a2d7, "Changes based on feedback from GigaFin," added support
for compiling on a system that lacked up-to-date Linux kernel headers, by
dropping support for a feature only in newer kernels on such a system.
But the code already supported such a system properly; only the lack of
a macro definition kept it from compiling.  So define the macro ourselves
instead of disabling the feature.

To elaborate, there are two issues here.

The first is kernel support for NETLINK_ADD_MEMBERSHIP.  Older
kernels don't support this.  But NETLINK_ADD_MEMBERSHIP was added
at the same time as support for more than 32 netlink multicast
groups.  Netlink multicast groups numbered less than 32 can be
subscribed using a different mechanism, and in fact we do that
for such groups.  Thus, attempting to use NETLINK_ADD_MEMBERSHIP
on an older kernel basically can't happen, and if it did it would
be a bug in the OpenFlow kernel module for telling userspace to
subscribe to a multicast group that cannot exist on that kernel.

The second is the kernel headers that the userspace programs are
compiled with.  Without the change quoted below, the userspace
programs will silently fail if they are compiled with 2.4.x
headers and then run on a 2.6.x kernel and given a multicast
group numbered above 32, because they will not even try to
subscribe to that group.  With the change, the userspace programs
will work properly when run on 2.4.x or 2.6.x kernels regardless
of the multicast group number and regardless of whether the
headers they were compiled against were from 2.4.x or 2.6.x.

Handle memory allocation failure in dp_output_control().

Possible fix for bug observed on OF6k.

Mark functions not meant to be exported as static.

Add priority field to flow_mod...code to support this forthcoming.

Fix tab/space issue.

BUG #4.

Don't use kmalloc with GFP_KERNEL within an rcu_read_lock().

Mark structures as packed that cause alignment problems on architectures like ARM.

Fix a problem with not allocating enough room for netlink messages.

Fix call from vfprintf to fprintf, which could cause seg faults.

Switch from "stat" to "stats" everywhere.

- Keep datapath config in host-byte order (and fix a couple of bugs related to this).
- Fix type for "get config" replies.

Updated version references to OFP_VERSION

Use new OpenFlow protocol versioning scheme.

Finish removing references to the MAC table.

Merge remote branch 'repo/master' into stats

Conflicts:

datapath/table-mac.c

Expand tabs to spaces in dp_send_flow_stats.

Suggested by Justin.

Make table_id in OpenFlow messages 8 bits, since 255 should be enough.

Suggested by Justin.

Make duration in ofp_flow_stats a 32-bit quantity (instead of 16).

Otherwise duration is capped at under 24 hours.

Suggested by Justin.

Add missing calls to htons/ntohs in accesses to miss_send_len.

Thanks to Justin for pointing out the problem.

MIPS fixes based on suggestions from Jiang.

Add support for OFPP_TABLE virtual port.

Fix compilation error in 2.4.20 kernels.

Remove MAC table support.

Fixes to configure script based on suggestions from GigaFin.

Changes based on feedback from GigaFin.

Fixed minor tab/spaces issue.

Don't read info->attrs[DP_GENL_A_OPENFLOW] twice, unnecessarily.

Implement OpenFlow statistics in switches and in dpctl.

This has two notable omissions.  First, only at most 4k of flow statistics
are reported.  Second, aggregate statistics are not yet supported.  Both
of these are fairly easily fixable, just not fixed yet.

Send replies to OpenFlow requests only to the sender.

Factor out parsing vconn-ssl options.

Factor out printing the list of available vconns.

Break data_hello and control_hello messages into multiple messages.

We want to allow multiple OpenFlow connections to a switch, so that
dpctl and other management tools can also connect to a switch that
is connecte to the controller.  These tools will want to fetch the
information in the data_hello message, but currently this can only
be done by sending a control_hello message, which changes the
switch configuration state.  So breaking the hello messages up into
multiple different messages, only some of which affect configuration
state, cures the problem.

Also, clean up the kernel datapath a bit, by adding helper functions
for allocating and resizing Generic Netlink messages that encapsulate
OpenFlow messages.

Allow secchan to listen for management connections also.

This is needed in the userspace switch code also.  That
change is implemented in later change "Send replies to
OpenFlow requests only to the sender".  Really that part
of the change should be moved into this one, but intervening
changes are intertwined enough with the same code to
make that difficult.

Rename controller_connection to rconn and use it in secchan also.

Also, clean up code and add comments.

Make vconn-tcp log an error when the connection drops mid-packet.

Make vconn log all incoming and outgoing OpenFlow packets at debug level.

Add new functions for pretty-printing an OpenFlow message to a string.

This makes it possible to send pretty-printed versions of OpenFlow
messages to vlog.

Add vlog functions and macros for testing whether a module and level are enabled.

Fix bug in vconn-tcp, vconn-ssl that prevented minimum-length OpenFlow packets from being received correctly.

Fix logic bug in userspace switch that could cause reading invalid memory.

Also, fix comment.

By more liberal (egads!) about allocating space for netlink messages.

Allow timeout implementations to block, by using a kernel thread instead of a timer.

This is required on the Quanta platform, which needs to down a semaphore
inside the timeout implementation.

Also, add a 2.4 compatibility implementation of kthread so that both
2.4 and 2.6 can use the kthread API.

Fix typo in comment.

Add clarifying comment.

Get rid of tables' dependency on the datapath.

Make the datapath responsible for the controller connection also.

Merge datapath.[ch] with forward.[ch].

Better abstract controller_connection.

Reverse the dependency of controller.c on forward.c.

Now controller.c doesn't depend on datapath.c or forward.c,
which brings us one step closer to a reasonable dependency
hierarchy.

Hide contents of sw_chain.

Add comments to queue module.

Clean up and comment poll-loop module.

Clean up and comment netdev implementation.

Get rid of ip.h, migrating its users to packets.h.

Get rid of mac.h, migrating its users to packets.h.

As a consequence, this fixes tests for multicast and local Ethernet
addresses, which formerly tested for the high bits but should
have tested for the low bits of the first octet.

Support jumbo frames, by allocating enough memory for the device MTU.

Use LIST_FOR_EACH_SAFE, not LIST_FOR_EACH, when deleting from a list.

Fix memory leak in poll-loop.c.

- Fixed endian issue with action type.  Thanks, Ben!
- Removed BUG() call that could be maliciously/accidentally triggered by a faulty controller.
- Switched from __constant_htons to htons, which seems preferred.

Fixed some tab/space issues.

Fixed some space/tab issues.

Remove dead "t" directory.

Increase the version number to v0.2.1.

Compile, but do not distribute, the generate file dhparams.c.

Improves upon 3d5c5b2b2, "Remove explicit addition of auto-generated
dhparams.c", by allowing "make" to work as well as "make dist" :-)

Remove explicit addition of auto-generated dhparams.c, since it makes "make dist" puke.

Remove dead linux-2.6-uml directory.

Increase version to 0.2.0.

Update references to point to non-alpha OpenFlow site.

Update 2007 copyrights to include 2008.

Update copyright on all non-GPL files

- Turn off ssl support by default
- Update docs
- Add ldl to link line (needed from non-ssl builds)

Add list of to-do items for userspace switch.

Improve comment.

Documentation wording improvements from Justin.

Set l4 pointer properly in buffers that contain IP options.

The important part of this change is handling of IP options.  The
rest is intended to ensure that packet->l3 and packet->l4 never
point outside the valid range of a packet in the presence of a
minimum-length Ethernet frame.  Other code (particularly in forward.c)
assumes that if the IP protocol is TCP or UDP, then packet->l4 points
to a tcp_header or udp_header.  Whether this is a good idea is
debatable--it probably warrants clean-up, at least--but that what's
there now.

Implement userspace switch.

Add tag to enum for OpenFlow statistics type.

New function list_replace(), to replace a list element in-place.

Add pointers to headers to buffer, and initialize them in flow_extract.

This will be used in the userspace switch implementation.

Add abstraction of packet queue, and use it in the controller.

The packet queue abstraction will also be used in the userspace
switch.

Add the ability to connect to a vconn asynchronously.

Until now, vconn_connect() has always completed the connection
synchronously, blocking as necessary.  In the userspace
switch, we want to be able to continue forwarding packets even
if the connection to the controller drops.  Thus, this change set
that makes that possible.

The approach taken is perhaps more ambitious than needed, as it
actually adds a new high-level mechanism for polling on arbitrary
file descriptors.  This necessitates quite a bit of change to
each of the userspace programs that use vconns, but it also has
the effect of simplifying them.  The new structure of these programs
is a lot less fragile than the old one (which tended to end up
livelocking or hanging when something wasn't quite right), so it
seems like the changes are worth it.