flow: Properly translate port numbers in flow_from_match().

The OpenFlow and datapath port numbers for the local port are different.
We were translating them in one direction (in flow_to_match()) but not
in the other (in flow_from_match()).

This fixes a performance problem (we were setting up the wrong flow).

netdev: Don't log a warning for unsupported ethtool operations.

Plenty of devices don't support ethtool, and we don't use ethtool for
anything essential, so there's no point in logging a warning here.

dpif: Don't log a warning in dpifmon_poll() for missing device.

We were using dpif_port_query_by_name() here to see whether the device is
part of the datapath, so there's no point in logging a warning if it isn't.

secchan: Fix use-after-free by allocating rule actions as separate blocks.

The ofproto code tried to cleverly save memory and time by allocating
rule actions as a flexible array member at the end of "struct rule".  When
the actions changed, this required a realloc() call.  Unfortunately, there
are sometimes pointers to rules (e.g. the "super" pointer from subrules)
that were not getting adjusted to point to the new location.

It's better to just allocate actions separately, so fix it by doing that.

Cleanup .gitignore for 2.4 datapath builds.

More files for git to ignore for 2.6 datapath builds.

Cleanup files for git to ignore in datapath linux-2.6 build directory.

Only build SSL components if build configured with HAVE_OPENSSL.

Add limits.h for UINT_MAX definition.

secchan: Correctly maintain rule's number of actions.

We were reallocating memory properly but not updating the "n_actions"
member, which sometimes led to reading past the end of a block.

This problem possibly caused segfaults, since the OpenFlow->ODP action
translation code assumes that OpenFlow actions are prevalidated, and
random memory is not necessarily valid OpenFlow actions :-)

Spotted by Valgrind.

dpif: Suppress spurious error from Valgrind.

Add header for interacting with Valgrind, where it is available.

netdev: Fall back to /proc/net/dev on kernels that don't support RTM_GETLINK.

RTM_GETLINK is the best way to get network device statistics, but it was
only enabled in all kernels in 2.6.19.  So now test for support at startup
and fall back to reading /proc/net/dev if RTM_GETLINK does not work.

dpif: Make it harder to randomly corrupt memory.

secchan: Initialize odp_flow members in other places that they were missed.

This might fix more memory corruption of the same form as commit 60822fb1,
"secchan: Fix random memory corruption due to uninitialized pointer."

secchan: Fix memory leaks.

secchan: Revalidate subrules when adding a wildcarded rule without displacement.

Natasha noticed that adding a rule would not properly change the
destinations of already-established flows.  This should fix the problem.

datapath: Fix querying the local port by name.

Before, this would return an ENOENT error.

vswitchd: Start adding ports at index 1, since index 0 is reserved.

Otherwise we get a spurious error message (although we do go on to try the
next port, so the message isn't a big deal).

dpif: Improve logging messages, to ease debugging.

vswitchd: Integrate secchan into vswitchd.

This change means that vswitchd is now a single process that manages all
of the datapaths, instead of a parent process and any number of secchan
subprocesses.

It may be better to fork off processes that each manage a few bridges, to
take advantage of multiple cores.  Perhaps this is upcoming.

There are numerous new configuration file directives that are, sadly, not
yet documented.

ofproto: Make ofproto_set_controller() able to disconnect from controller.

The vswitch wants to do this.

ofproto: Change semantics of configuration parameters.

Before, a value of 0 meant "no change".  Now, it means "use the default
value".  This turns out to be more useful.

vconn-ssl: Log all errors when trying to create a connection, not just the first.

This will, I hope, help administrators to see whether just one setting or
all of them are unconfigured.

socket-util: New function guess_netmask().

rconn: Tolerate negative argument in rconn_set_max_backoff().

This argument is likely to come directly from the user, so it helps callers
if they don't have to validate carefully.

more cfg fixes

executer: Make default dir part of executer.c, not main.c.

That way the vswitch can get the default without having to know it too.

vswitchd: Remove stray debug printf().

cfg: Fix behavior of cfg_get(0, "a") when a key "a.b" exists.

The intent of cfg_get_*(0, "a") is to get the first value of a key with
the exact name "a", but in the presence of a key with a longer name, e.g.
"a.b", it would return the value of that key instead.

This file really needs a unit test!  I'm really not certain that
the fix didn't break other things (e.g. cfg_has_section()).

dpif: Don't rely on caller to keep dpif arg valid, in dpifmon_create().

dpifmon_create() stored away the dpif pointer that it was passed and
continued to use it, but ofproto_create() didn't keep that dpif in a
constant place in memory, so dpifmon_poll() would randomly fail with
errors like "Bad file descriptor".  Having the dpifmon keep its own
fd to a dpif is more reliable.

Additional possible fix to Dan's problem.

dpif: Fix uninitialized memory accesses.

Found by Valgrind.

This may fix some problems found by Dan.

ofp-print: Use ntohs() for 16-bit field, not ntohl().

Noticed by Natasha.

secchan: Remove obsolete debug printf()s.

secchan: Flush datapath flow table when initializing the switch.

The switch can't recover the entire OpenFlow state from the datapath, so
it has the choice of either guessing at some missing information (which
seems undesirable) or just flushing the table.  The latter is easier, so
do that.

vswitchd: Log details of unexpected flows, to aid debugging.

vlog: Add functions for testing a rate-limit without emitting a message.

This allows clients to avoid doing work to construct a rate-limited
message until they know that the message will actually be displayed.

classifier: Tolerate old==new in cls_rule_moved().

The primary purpose of cls_rule_moved() is to deal gracefully with memory
blocks that have been realloc()'d.  realloc() can return the original
memory block so it's best to tolerate that instead of assert-failing.

secchan: Make ofproto reconfigurable after it is created.

This will allow vswitchd to reconfigure the ofprotos that it instantiates
based on changes in the vswitchd configuration file.

vconn: New function pvconn_get_name().

New function svec_clone().

rconn: Add new function rconn_reconnect().

rconn: Add new functions for getting/setting basic rconn parameters.

classifier: Remove classifier_for_each_with_wildcards().

This function is now unused, and it seems unlikely that a new user will
appear, so remove it.

secchan: Use classifier_for_each() instead of secchan_for_each_with_wildcards().

The classifier_for_each() function now provides what we actually needed
from secchan_for_each_with_wildcards(), and the interface is more sensible
to boot.

secchan: Fix random memory corruption due to uninitialized pointer.

The kernel returns flow stats and actions to userspace on flow deletion.
By not initializing the odp_flow's "actions" or "n_actions" members we
caused it to use whatever happened to be in that space on the stack, which
caused random memory corruption.

(There is no need to initialize the "stats" member, since it is not read,
only written, by the kernel, but by doing so we quiet valgrind.)

secchan: Fix another use-after-free bug.

secchan: Fix segfault due to access-after-free in expiration.

classifier_for_each() keeps a pointer to the *next* rule to be visited, so
that the rule currently be visited can be deleted.  That means that if
the callback frees the next rule to be visited, then we get an
access-after-free error.

In particular, this was occurring when expire_rule() expired a superflow
whose

secchan: Fix segfault when subrules are invalidated.

The subrules were being freed, but not removed from the classifier, so a
segfault would occur later when they were accessed during a lookup or
traversal.

Thanks to Dan and Natasha for the report and testcases.

secchan: Fix read-after-free error in OFPT_FLOW_MOD implementation.

Found via valgrind.

secchan: Fix segfault at startup due to uninitialized br_name member.

classifier: Test classifier_for_each_match().

classifier: Test exact-match flows also in test_many_rules_in_different_tables().

classifier: Style fix for test-classifier.

Line was too long.

classifier: In testing, don't put cls_rule at beginning of test_rule.

If we put cls_rule at the beginning of struct test_rule, then a cast is
sufficient to convert a pointer between the two, but we want to make sure
that we don't ever take that shortcut, because it is not valid in general.

classifier: Add tests for classifier_count(), classifier_count_exact().

classifier: Add tests for classifier_lookup_wild(), classifier_lookup_exact().

classifier: Allow classifier_for_each_match() callback to free the rule.

classifier_for_each_match() would segfault if the callback passed in
deleted and freed the rule in question, because it accessed the rule after
calling the callback.  This commit should fix the problem.

Thanks to Natasha for reporting the problem.

Work around header type clashes in Xen builds

Remove unneeded header file that was breaking builds for Xen.

Distribute needed file that had been forgotten (fixes "make dist").

rconn: Make queued packet counting harder to screw up.

The semantics of the 'n_queued' parameter to rconn_send() and
rconn_send_with_limit() were too easy to screw up: if the memory area in
which the passed-in data lived was destroyed before the rconn was
destroyed, then rconn_destroy() (or simply flushing out the transmission
queue) would access invalid memory or, worse, decrement a random integer
in reused memory.  It was possible to avoid this by destroying the rconn
before destroying the queue count data area, but this is difficult to
remember and not always possible in the general case.

This commit changes to using a reference-counted structure, which is harder
to get wrong.

datapath: Fix build on Linux 2.6.18 through 2.6.28.

vswitchd: Choose the bridge local port MAC address intelligently.

Fixes bug #928, "We should have a consistent model for representing the
nic/mac address to xenserver."

datapath: Allow datapath device MAC address to be changed while it is up.

vswitchd wants to do this, and I don't see a reason to disallow it.

netdev: New function netdev_nodev_set_etheraddr().

vswitch: Fix connection to a remote controller.

Without this change, vswitchd will kill secchan almost as soon as it
starts it, because it fails to recognize that it is connecting to a remote
controller instead of to vswitchd.

datapath: Fix build on 2.6.18 (both upstream and RHEL/Xen variants).

secchan: Make it possible to destroy an ofproto.

secchan: Implement OFPP_TABLE and NXAST_RESUBMIT actions.

secchan: Fix subrule revalidation.

When revalidating a subrule, we need to only match rules with wildcards.
Otherwise, a subrule will always match itself and we will explode.

secchan: Make secchan into a library.

datapath: Remove stray debugging printk.

vswitchd: Fix typo in comment.

secchan: Fix logging of datapath ID.

ofproto was logging the datapath ID passed in as part of its settings, but
that's allowed to be 0.  Instead, it needs to log the datapath ID that is
actually in use.

vswitchd: Fix bad assumption about byte order of flow_t's "in_port".

In the big restructuring of secchan and the datapath, the "in_port"
member was changed from network byte order to host byte order, but vswitchd
hadn't quite caught up.  This fixes the problem.

With this commit, at least the most basic use of vswitchd now works again.

vswitchd: Fix segfault when packet received on unknown port.

This problem and its fixed are independent of the recent secchan
restructuring (even though it turned out to be a good way to trigger it).

vswitchd: Don't pass --monitor to secchan.

The --monitor option was deleted from secchan, because it was intended for
monitoring the OpenFlow connection between secchan and the kernel.  Since
secchan no longer uses OpenFlow to talk to the kernel, the option made
no sense.

netdev: Remove netdev_monitor, which is no longer used.

secchan now uses the dpifmon interface instead, which is more suited to
its purpose.

Refactor the OpenFlow implementation.

This new implementation has an architecture that is much more suited to
eventually getting pushed upstream into the Linux kernel, because it does
not do any OpenFlow processing in the kernel.  Rather, we define a new
"datapath protocol" that secchan uses, via ioctl calls, to set up the
flow table in the kernel.

This implementation also should have much better performance with flows
that contain wildcards, since it uses a flow classifier that should be
much better than linear search in the cases that we suspect are important.

This release does contain some feature regressions; see the new file
MISSING at the root of the tree for more information.  We will be fixing
these regressions over the next weeks and months.

This has not been tested much.  It needs plenty of testing and QA before it
will be suitable for any kind of production environment.  The vswitchd
changes, in particular, have not been tested at all and thus vswitchd is
likely to be broken.

vconn: Make check_ofp_message() return value more useful.

vconn: New function normalize_match().

vconn: New functions for validating and iterating over OpenFlow actions.

openflow.h: Add new error types and codes.

Add new "union ofp_action" to make working with actions easier.

vconn: New function check_ofp_packet_out().

New macro PORT_ARRAY_FOR_EACH.

vconn: Distinguish between parse errors and other messages in rate-limiting.

The vconn code wants to rate-limit errors, which there's not too much
point in reporting a lot of, from the log of all OpenFlow messages, which
are very important if we really want to log them at all.  So use a
different rate-limiter for each category.

netdev: New function netdev_nodev_get_etheraddr().

netdev: New function netdev_set_advertisements().

The new implementation of the switch needs to do this from userspace.

netdev: Don't cache network device features.

The new implementation of secchan wants to get updates of network device
features by keeping a network device open for each port and checking its
features when notified of a port status change.  This wouldn't work, since
the features were cached once at startup.  This commit makes the netdev
code check the actual devices features on each call.

Also, generalizes do_ethtool() to be useful for other kinds of ethtool
operations.

netdev: Avoid some system calls in the common case in netdev_open().

The new secchan opens one netdev per OpenFlow port.  We should be able to
handle this in the common case without one file descriptor per netdev
(because most netdev operations can be performed using a single AF_INET
socket).  This change starts along that path by moving the operations
that are required only to receive netdev packets out of the common path.

netdev: Set *flagsp to 0 if flags cannot be obtained.

This interface is more convenient for some clients.

netdev: New function netdev_get_stats().

netdev: Fix typo in comment.

New function time_timeval().

Implement a flow classifier, plus tests.

New function and data structure for handling flow wildcards.

Generalize conversions between struct flow and struct ofp_match.

hash: Make hash function pieces available to other modules.

This way, modules that want to implement hash functions on their own terms,
for performance (e.g. the classifier), do not have to duplicate the code.