vlog: Add functions for testing a rate-limit without emitting a message.

This allows clients to avoid doing work to construct a rate-limited
message until they know that the message will actually be displayed.

classifier: Tolerate old==new in cls_rule_moved().

The primary purpose of cls_rule_moved() is to deal gracefully with memory
blocks that have been realloc()'d.  realloc() can return the original
memory block so it's best to tolerate that instead of assert-failing.

secchan: Make ofproto reconfigurable after it is created.

This will allow vswitchd to reconfigure the ofprotos that it instantiates
based on changes in the vswitchd configuration file.

vconn: New function pvconn_get_name().

New function svec_clone().

rconn: Add new function rconn_reconnect().

rconn: Add new functions for getting/setting basic rconn parameters.

classifier: Remove classifier_for_each_with_wildcards().

This function is now unused, and it seems unlikely that a new user will
appear, so remove it.

secchan: Use classifier_for_each() instead of secchan_for_each_with_wildcards().

The classifier_for_each() function now provides what we actually needed
from secchan_for_each_with_wildcards(), and the interface is more sensible
to boot.

secchan: Fix random memory corruption due to uninitialized pointer.

The kernel returns flow stats and actions to userspace on flow deletion.
By not initializing the odp_flow's "actions" or "n_actions" members we
caused it to use whatever happened to be in that space on the stack, which
caused random memory corruption.

(There is no need to initialize the "stats" member, since it is not read,
only written, by the kernel, but by doing so we quiet valgrind.)

secchan: Fix another use-after-free bug.

secchan: Fix segfault due to access-after-free in expiration.

classifier_for_each() keeps a pointer to the *next* rule to be visited, so
that the rule currently be visited can be deleted.  That means that if
the callback frees the next rule to be visited, then we get an
access-after-free error.

In particular, this was occurring when expire_rule() expired a superflow
whose

secchan: Fix segfault when subrules are invalidated.

The subrules were being freed, but not removed from the classifier, so a
segfault would occur later when they were accessed during a lookup or
traversal.

Thanks to Dan and Natasha for the report and testcases.

secchan: Fix read-after-free error in OFPT_FLOW_MOD implementation.

Found via valgrind.

secchan: Fix segfault at startup due to uninitialized br_name member.

classifier: Test classifier_for_each_match().

classifier: Test exact-match flows also in test_many_rules_in_different_tables().

classifier: Style fix for test-classifier.

Line was too long.

classifier: In testing, don't put cls_rule at beginning of test_rule.

If we put cls_rule at the beginning of struct test_rule, then a cast is
sufficient to convert a pointer between the two, but we want to make sure
that we don't ever take that shortcut, because it is not valid in general.

classifier: Add tests for classifier_count(), classifier_count_exact().

classifier: Add tests for classifier_lookup_wild(), classifier_lookup_exact().

classifier: Allow classifier_for_each_match() callback to free the rule.

classifier_for_each_match() would segfault if the callback passed in
deleted and freed the rule in question, because it accessed the rule after
calling the callback.  This commit should fix the problem.

Thanks to Natasha for reporting the problem.

Work around header type clashes in Xen builds

Remove unneeded header file that was breaking builds for Xen.

Distribute needed file that had been forgotten (fixes "make dist").

rconn: Make queued packet counting harder to screw up.

The semantics of the 'n_queued' parameter to rconn_send() and
rconn_send_with_limit() were too easy to screw up: if the memory area in
which the passed-in data lived was destroyed before the rconn was
destroyed, then rconn_destroy() (or simply flushing out the transmission
queue) would access invalid memory or, worse, decrement a random integer
in reused memory.  It was possible to avoid this by destroying the rconn
before destroying the queue count data area, but this is difficult to
remember and not always possible in the general case.

This commit changes to using a reference-counted structure, which is harder
to get wrong.

datapath: Fix build on Linux 2.6.18 through 2.6.28.

vswitchd: Choose the bridge local port MAC address intelligently.

Fixes bug #928, "We should have a consistent model for representing the
nic/mac address to xenserver."

datapath: Allow datapath device MAC address to be changed while it is up.

vswitchd wants to do this, and I don't see a reason to disallow it.

netdev: New function netdev_nodev_set_etheraddr().

vswitch: Fix connection to a remote controller.

Without this change, vswitchd will kill secchan almost as soon as it
starts it, because it fails to recognize that it is connecting to a remote
controller instead of to vswitchd.

datapath: Fix build on 2.6.18 (both upstream and RHEL/Xen variants).

secchan: Make it possible to destroy an ofproto.

secchan: Implement OFPP_TABLE and NXAST_RESUBMIT actions.

secchan: Fix subrule revalidation.

When revalidating a subrule, we need to only match rules with wildcards.
Otherwise, a subrule will always match itself and we will explode.

secchan: Make secchan into a library.

datapath: Remove stray debugging printk.

vswitchd: Fix typo in comment.

secchan: Fix logging of datapath ID.

ofproto was logging the datapath ID passed in as part of its settings, but
that's allowed to be 0.  Instead, it needs to log the datapath ID that is
actually in use.

vswitchd: Fix bad assumption about byte order of flow_t's "in_port".

In the big restructuring of secchan and the datapath, the "in_port"
member was changed from network byte order to host byte order, but vswitchd
hadn't quite caught up.  This fixes the problem.

With this commit, at least the most basic use of vswitchd now works again.

vswitchd: Fix segfault when packet received on unknown port.

This problem and its fixed are independent of the recent secchan
restructuring (even though it turned out to be a good way to trigger it).

vswitchd: Don't pass --monitor to secchan.

The --monitor option was deleted from secchan, because it was intended for
monitoring the OpenFlow connection between secchan and the kernel.  Since
secchan no longer uses OpenFlow to talk to the kernel, the option made
no sense.

netdev: Remove netdev_monitor, which is no longer used.

secchan now uses the dpifmon interface instead, which is more suited to
its purpose.

Refactor the OpenFlow implementation.

This new implementation has an architecture that is much more suited to
eventually getting pushed upstream into the Linux kernel, because it does
not do any OpenFlow processing in the kernel.  Rather, we define a new
"datapath protocol" that secchan uses, via ioctl calls, to set up the
flow table in the kernel.

This implementation also should have much better performance with flows
that contain wildcards, since it uses a flow classifier that should be
much better than linear search in the cases that we suspect are important.

This release does contain some feature regressions; see the new file
MISSING at the root of the tree for more information.  We will be fixing
these regressions over the next weeks and months.

This has not been tested much.  It needs plenty of testing and QA before it
will be suitable for any kind of production environment.  The vswitchd
changes, in particular, have not been tested at all and thus vswitchd is
likely to be broken.

vconn: Make check_ofp_message() return value more useful.

vconn: New function normalize_match().

vconn: New functions for validating and iterating over OpenFlow actions.

openflow.h: Add new error types and codes.

Add new "union ofp_action" to make working with actions easier.

vconn: New function check_ofp_packet_out().

New macro PORT_ARRAY_FOR_EACH.

vconn: Distinguish between parse errors and other messages in rate-limiting.

The vconn code wants to rate-limit errors, which there's not too much
point in reporting a lot of, from the log of all OpenFlow messages, which
are very important if we really want to log them at all.  So use a
different rate-limiter for each category.

netdev: New function netdev_nodev_get_etheraddr().

netdev: New function netdev_set_advertisements().

The new implementation of the switch needs to do this from userspace.

netdev: Don't cache network device features.

The new implementation of secchan wants to get updates of network device
features by keeping a network device open for each port and checking its
features when notified of a port status change.  This wouldn't work, since
the features were cached once at startup.  This commit makes the netdev
code check the actual devices features on each call.

Also, generalizes do_ethtool() to be useful for other kinds of ethtool
operations.

netdev: Avoid some system calls in the common case in netdev_open().

The new secchan opens one netdev per OpenFlow port.  We should be able to
handle this in the common case without one file descriptor per netdev
(because most netdev operations can be performed using a single AF_INET
socket).  This change starts along that path by moving the operations
that are required only to receive netdev packets out of the common path.

netdev: Set *flagsp to 0 if flags cannot be obtained.

This interface is more convenient for some clients.

netdev: New function netdev_get_stats().

netdev: Fix typo in comment.

New function time_timeval().

Implement a flow classifier, plus tests.

New function and data structure for handling flow wildcards.

Generalize conversions between struct flow and struct ofp_match.

hash: Make hash function pieces available to other modules.

This way, modules that want to implement hash functions on their own terms,
for performance (e.g. the classifier), do not have to duplicate the code.

hmap: New function hmap_replace().

hmap: New function hmap_moved().

New function port_array_count().

Fix indentation error.

New function list_moved().

New function make_packet_out(), and reimplement helpers in terms of it.

secchan: Make hook_class structures const.

Make flow_print() print nw_proto.  Print vlan in decimal.

Add comment.

New macro ALWAYS_INLINE to tell GCC that a function must be inlined.

Export network address mask logic in switch-flow.c for public use.

The flow classifier needs to do the same kinds of tests.

Avoid a "statement has no effect" warning from BUILD_ASSERT.

Delete empty file.

openflow.h: Fix typos in comments.

dpctl: Don't print trailing garbage in "dpctl status" output.

dpctl: Fix assertion failure when second argument given to "dpctl status".

datapath: Disallow action length 0, preventing DoS due to infinite loop.

Support multiple NetFlow collectors.

Add support for sending NetFlow messages to up to eight different
collectors.  With these changes, secchan now reads configuration files
using the same syntax as vswitchd.  This address Redmine feature #901.

vswitch: Add startup and config files for the XenServer build.

Check wildcards for in_port != out_port output validation. (udatapath)

OpenFlow requires that traffic that is to be sent out the interface it
came in on use the OFPP_IN_PORT virtual port.  The action validation
code that enforces this ignored the wildcards field, which meant it was
using the garbage 'in_port' value for this check.

NB: This problem was addressed in the kernel datapath with commit
1b580f69f3dfacee49532f71abd72755a09eabd4.

Fix minor typos in vswitch.conf.5 man page.

netdev: fix segfault in lookup_netdev().

svec_find() returns SIZE_MAX, not 0, when the specified name cannot be
found.  Don't dereference the names array in this case.

Fixes a segfault that commonly occurred when secchan was started by
vswitchd.

vswitchd: Avoid 100% CPU when secchan dies too many times.

vswitchd restarts secchan when necessary, but it limits the maximum number
of tries to avoid wasting CPU when secchan repeatedly dies.  Unfortunately,
when this happens it also throws vswitchd into a busy-wait by calling
process_wait() on the dead secchan process, because it doesn't clear out
the process from the bridge structure.

This commit clears out the secchan process from the bridge structure, so
that we don't attempt to wait on it any longer, and should fix the busy-wait
problem.

poll-loop: Add support for logging the reason for wakeups.

It is useful to log the reason for wakeups, to debug why a program is
waking up more often than it should (for example, consuming 100% CPU load
for no apparent reason).  This adds that logging at DBG level in the
poll loop.

leak-checker: Break backtracing code into new module "backtrace".

This allows other code to use the backtracer too.

vswitchd: Add build number to --version output.

Add AC_SYS_LARGEFILE, to allow writing log files over 2 GB.

Changed control protocol name to OpenFlow Management Protocol.

First cut of OpenFlow control protocol draft specification.

Don't define skb_copy_{to,from}_linear_data_offset if it is available.

Linux 2.6.22 introduced functions skb_copy_from_linear_data_offset()
and skb_copy_to_linear_data_offset().  In earlier versions we defined them.
But Xen backports these functions, so this became a duplicate definition.
So check for them at configure time instead of depending on the kernel
version number.

datapath: Fix up checksum on Xen before forwarding to controller.

On Xen, the datapath can receive a packet that lacks a correct checksum
from a VM, because the VMs expect to use the host's hardware TX
checksumming.  Until now, we haven't fixed up the checksum before we sent
the packet to the controller.  The controller doesn't normally verify
the checksum (nor can it in general, since it doesn't necessarily get the
entire packet), so that part isn't a problem.

The problem here is in the buffered packet.  fwd_save_skb() makes a copy
(not a clone) of the packet, but skb_copy() doesn't make a copy of the
skbuff's proto_csum_blank, which is what dev_queue_xmit() uses (via
skb_checksum_setup()) to decide whether checksumming needs to be forced.
Thus, the buffered packet is transmitted with a bad checksum.

A partial solution would be to copy proto_csum_blank from the original
skb into the buffered copy, or to make the buffers use clones instead of
copies (they really should do this anyhow).  But this would still send
a bad checksum to the controller.  So instead we do the full checksum
calculation before we send the packet to the controller.

This change affects only Xen.  This situation cannot occur without Xen,
because any packets that arrive on physical interfaces must already have
correct checksums.

datapath: Move all fwd_save_skb() calls into a single location.

Fix build issues with recent SNAT changes on older kernels.

Recent changes that fixed fragmented packets for SNAT-enabled builds
used calls not implemented in older kernels.  These changes add those
calls to the compatibility layer and clean up a few warnings in those
older kernel builds.

Move veth.c to Linux 2.6 compatibility directory.

The veth driver is only available on more recent kernels.  veth.c
contains a port to 2.6.18.  Since this is only needed for 2.6.18, the
source is being moved to the compatibility directory.

For SNAT, don't store the pre-fragment L2 header before actions are applied.

The IP fragment code doesn't always write the L2 header when generating
new fragments.  This problem was fixed in an earlier commit.
Unfortunately, we stored the pre-fragment L2 header when the packet
first arrived--before other packet modifications were applied.  This
meant that the results of any OpenFlow L2 modification actions were lost.
This patch pushes the storage of the L2 header until right before the
packet is transmitted (and possibly refragmented).

Thanks to Dan for catching this behavior.
(cherry picked from commit b4cd6fb07e0751832a22759e27c6ba63e3538c8b)

Add comment.

Thanks to Martin via DK for suggestion.