Merge branch 'locking'

Don't invoke Debconf from openflow-switch postinst.

This was in there because at one time it seemed desirable to configure
from the postinst, but that idea was abandoned.  Now Debconf seems to
be screwing something up somehow, so we might as well not run it at all,
since it wasn't doing anything useful.

vlog: Reduce syslog level of VLL_EMER messages to LOG_ALERT.

The LOG_EMERG log level sprayed these messages across every xterm and
console in the system, which was excessive.

vlog: Send multi-line log messages to syslog() one line at a time.

syslogd swallows new-lines, which makes multi-line messages otherwise
difficult to read.

Verify OpenFlow version number in vconn_recv().

Fix kdist_clean target in debian/rules.

This fixes "module-assistant auto-install openflow-datapath" for
bootstrapping from a clean environment.  (Use "m-a -f purge
openflow-datapath" to test that it works starting from an un-clean
environment.)

Update Debconf templates PO file.

Don't log messages to the console by default in Debian package.

Be less picky about precise name of process in init script.

The previous version always printed ERROR because for whatever reason
we were comparing "/usr/sbin/secchan" against "secchan", which of
course failed.

Only generate private key and certificate request if ssl enabled.

Generating them unconditionally caused a problem with the init script:
the script required there to be a certificate for the private key if
the private key existed, but we do want to allow TCP-only configurations
and always having a private key prevented that.

Also, give the user advice on how to deal with this problem when it
arises in the init script.

Enable secchan, ofp-discover to update /etc/resolv.conf.

This way it becomes possible to more reliably refer to the controller
and the PKI server using hostnames.

Support controller discovery in Debian packages.

New utility ofp-kill.

Needed for controller discovery in upcoming revision of ofp-switch-setup.

New function make_pidfile_name().

The upcoming ofp-kill utility wants to use this.

secchan: Improve logging when rejecting a controller vconn.

Lock pidfiles with fcntl and create them atomically.

This makes it possible to verify that the program that created the
pidfile is still running.

New program ofp-discover.

Add SIGALRM to blockable fatal signals.

We use SIGALRM to limit runtime of dpctl and ofp-discover.  There is no
reason that we should not clean up after it in the same way as any other
catchable signal.  In particular, ofp-discover wants to restore network
device flags on timeout.

dhcp: Always build test-dhcp-client.

Putting test-dhcp-client in check_PROGRAMS instead of noinst_PROGRAMS
makes it too easy to break test-dhcp-client without noticing it.

dhcp: Fix race condition in test-dhcp-client.

dhclient_wait() might also access dhcp state.

dhcp: Only print "entering" message if state actually changes.

dhcp: Don't attempt to drain netdev if we ran out of packets.

Fixes a theoretical race condition that would have caused more
retransmission than otherwise necessary.

dhcp: Make output of dhcp_option_to_string() more uniform, to ease parsing.

(The ofp-switch-setup program will want to parse its output.)

dhcp: Make dhcp_msg_to_string() support a multiline format also.

The upcoming ofp-discover program wants to print out the binding
information, and dhcp_msg_to_string() is pretty close to what it
wants.  But one-field-per-line is easier for other programs to parse.

dhcp: Break out netdev configuration from DHCP binding.

This allows us to have DHCP clients that don't actually bind or unbind
a network device's IP address.  This is useful for doing controller
discovery without actually reconfiguring a network device.

dhcp: Be more precise about updating 'changed' flag.

There's no need to set changed unconditionally in dhclient_init(), and
it can make extra work for the users of the dhclient, by causing them
to think that something changed when it didn't.

Make set_pidfile() easier to use.

dpctl: Get rid of effectively unused variable.

Don't include unneeded header file.

Do the Debian package build in a _debian subdirectory.

This makes it easier to do a Debian build in the same source tree
also being used for other development.

Don't unnecessarily link against -lresolv and -ldl.

Eliminates warnings given by dpkg-shlibdeps when building Debian
packages.

Distribute new rculist.h headers.

Move Autoconf's macro definitions into config.h.

This makes "make" output slightly more readable.

Drop use of libtool for libraries.

libtool was needed when NOX was directly linking against libopenflow.
Since it doesn't do that anymore, we can drop its use (and that makes
OpenFlow configure and build slightly faster).

Don't explicitly link against libdl.

There is no need to add -ldl explicitly to each program's LDADD, because
the configure test for dladdr does that for us.

Only link programs that need it against OpenSSL.

This keeps vlogconf, in particular, from being linked against OpenSSL,
which in turn keeps the Debian package build tools from complaining that
the openflow-common package shouldn't need to depend on OpenSSL but does
because of the spurious library link.

Get rid of now-excessive levels of indirection in hwtable_dummy.

Verify that sleeping is allowed in chain contexts where Broadcom will need to.

Don't need 'deleted' member of struct flow.

Flow deletion is already fully serialized on dp_mutex.

Don't use atomic_t for tracking table flow counts.

Changes to n_flows is already fully serialized by dp_mutex.

Get rid of unnecessary synchronization in tables.

The table insert and delete functions are already fully serialized
on dp_mutex (and genl_mutex), so there's no need for them to use
additional spinlocks.

Properly synchronize dp_dev destruction.

Before, we didn't really synchronize this at all.  Now, when we want
to destroy the ofX device, we stop the transmit path and wait for
in-progress transmissions to finish.

Simplify use of dp_mutex.

There was little point in taking the dp_mutex farther down in the
code than dp_genl_openflow, since that function is already completely
serialized by genl_rcv across the genl_mutex.  We could get rid of
dp_mutex completely, except that we still need it to serialize timeout.

Get rid of useless use of rcu_read_lock.

These code paths are fully protected by the Generic Netlink genl_mutex,
which is taken by genl_rcv() that calls dp_genl_openflow(), so there is
no need for them to take the rcu_read_lock.

Make openflow.h SWIG-friendly.

Fix build on Linux 2.6.26.

Linux 2.6.26 requires us to additionally include <linux/rculist.h>
to use RCU lists.

Use an IP ID of 0 for transmitted DHCP packets.

We can't guarantee uniqueness of ip_id versus the host's, screwing up
fragment reassembly, so prevent fragmentation and use an all-zeros
ip_id.  RFC 791 doesn't say we can do this, but Linux does the same
thing for DF packets, so it must not screw anything up.

Discovery.

Don't truncate flooded packets at the amount sent up by the switch.

Make facility and level optional in -v, --verbose options.

This makes it easier to set a given module to maximum verbosity,
as is often useful for debugging.

Implement DHCP client.

vconn: Make errors in vconn names non-fatal errors.

This prevents bad vconn names obtained via discovery from killing
the secure channel.

vconn: New function vconn_ssl_is_configured().

The secure channel, in discovery mode, wants to enable TCP connections
by default only if SSL has not been configured.  This function allows
it to do that.

vconn: Add assertions to vconn_send() to check consistency of outgoing messages.

vconn: Add new function vconn_transact() and use it to simplify dpctl.c.

vconn: Add utility functions make_openflow() and update_openflow_length().

Use these functions to simplify code that creates and sends
OpenFlow packets.

Add new --max-backoff option to secchan and switch programs.

One use case is when NOX is running on localhost, in which case waiting
for the full default backoff interval is unnecessary and undesirable.

Also changes default maximum backoff to 15 seconds (from 60).

rconn: Add questionability.

rconn: Rewrite to use explicit state machine.

rconn: Push detection of send errors into try_send().

Thereby, we correct a bug in do_send(), one of the callers of try_send(),
which was not checking the try_send() return value.

rconn: Time out connection attempts when the backoff deadline passes.

Otherwise, the TCP/IP implementation is responsible for connection
attempt backoff, but we want to have some control over it ourselves.
In particular we want to initially back off faster and to log a
message upon connection attempt retransmission, to make it easier
to see what has happened from the log.

rconn: Log when a connection attempt starts.

This makes it easier to see what happened by viewing the log.

rconn: Add new max_backoff argument to rconn_new().

This allows the caller more control over reconnection backoff.

netdev: add ability to set IPv4 addresses and add a default gateway.

netdev: Add ability to permanently set device flags.

netdev: Use SOCK_RAW instead of SOCK_PACKET.

A comment previously claimed this wasn't possible, but it
was wrong (and due to misunderstanding kernel code).

netdev: Add more functions for manipulating device flags.

These are convenient for use in secchan and elsewhere.

netdev: New function netdev_drain().

netdev: Add argument to netdev_open() to specify Ethernet type to capture.

This is needed by the controller, which wants to listen only for
OpenFlow discovery BPDUs on its network devices.

Also, update all existing callers.

netdev: Do not modify the caller's buffer in netdev_send().

This makes it possible to use a buffer whose contents are stack-allocated.

packets: Make flow_extract() output a pointer to L7 data also.

Useful for the DHCP client, which wants to pick apart UDP packets
and extract the DHCP payload.

packets: New macros for detecting IP fragments.

packets: Move IP checksum functionality into new csum.c, csum.h.

packets: Distinguish max Ethernet length with and without VLAN header.

packets: New IP header macros.

packets: Make Ethernet broadcast address available as a global object.

buffer: New functions buffer_reserve(), buffer_push(),
buffer_try_pull().

buffer: Rename buffer_reserve_headroom to buffer_prealloc_headroom.

Similarly for buffer_reserve_tailroom.

The new name better reflects what they do, and make way for a different
use of the term "reserve" in the upcoming buffer_reserve() function.

buffer: Make buffer_pull() return the start of the pulled data.

Some callers find this useful.

New function xmemdup0().

New function ds_clear().

New function random_range().

New header file timeval.h for time-related functionality.

New header file "type-props.h" for testing properties of types.

Set skb->dev before calling netif_rx().

Fixes null pointer dereference reported by David Erickson
<derickso@stanford.edu>.

Fix "make dist".

By default, log to syslog also.

It seems that this should be useful for debugging post-mortems.  Also,
this ensures that the "current time is negative" log message appears in
syslog.  Otherwise, it won't ever, because we log it before the vlog
client has a chance to configure its log levels.

Log an error when the time is negative at vlog startup.

Fix behavior when system date is negative.

Previously we set a few timers to expire at a time_t of 0, i.e.
immediately.  But if the system date is set incorrectly to a date
before 1970, then these timers will essentially never expire.
Set them to expire at TIME_MIN instead.

Answer ARP requests from controller directly in secchan.

With in-band control, it can happen that the controller needs to send
out an ARP request to find out the MAC address of the switch.  These
packets are sent as broadcasts, so the secure channel will attempt to
send them back to the controller as ofp_packet_in messages.  Of course,
that won't work, because the controller won't be able to respond to
the ofp_packet_in (because it needs the MAC address of the switch to
do so).

This commit makes the secure channel recognize broadcast ARP packets
that originate from the controller and flood them without passing them
back up to the controller.

New function eth_addr_is_zero().

New function netdev_arp_lookup().

The secchan needs to handle ARP requests from the controller itself, so
it has to translate the controller's IP address into a MAC address to
allow it to match those packets on dl_src.  (OpenFlow doesn't allow us
to look into ARP packets and match on the encapsulated IP addresses, so
this is the best we can do.)

New function rconn_get_ip().

New function vconn_get_ip().

The secchan needs to know the IP address of the peer so that it can
handles ARP requests from the controller by itself.

Assert on structure sizes in openflow.h.

This causes the build to fail if structures are not the sizes that we
expect.

Adjust OpenFlow to have same structure layout on 32- and 64-bit platforms.

Pointed out by "Brandon Heller" <brandon.heller@gmail.com>.

Include date and time in vlog messages.

Add "probe" command to dpctl.

Prevent switch implementations from complaining about echo-reply messages.

Thanks to Reid Price <reid@nicira.com> for reporting the issue (which
only caused spurious warning messages).

Fix typo in comment.