vswitch: Fetch interface MAC when creating an interface in iface_create().

iface_create() creates an interface but failed to initialize its MAC
address.  (Fortunately, this was only used by STP, which has not been
known to be tested recently anyhow.)

This is also needed for /proc/net/bonding and /proc/net/vlan, hence fixing
the bug now.

Have NetFlow account for first buffered packet of new flow (Bug #1162).

The record-keeping for NetFlow didn't track the buffered packet
associated with a flow add command.  We now pull the relevant data from
the buffered packet and add it to the flow rule stats.

brcomapt: Delete VLANs and bonding entries for deleted ports.

Otherwise these entries can hang around past reboot and cause trouble
later as vif numbers are reused.

Probably another part of the full solution is to delete the whole
configuration file on reboot.

Bug #1216.

datapath: Fix Xen performance when adding a VLAN tag in presence of GSO.

When the datapath needed to add a VLAN tag to a GSO packet, it would stick
it on the front of the packet and pass it along.  Then GSO would later fail
because it didn't know how to segment an 802.1Q packet.  So we need to
segment GSO packets by ourselves before we put the 802.1Q header on them.

We could avoid this problem if we could patch the main kernel, either to
add GSO support to the VLAN protocol or to support hardware-accelerated
VLAN tagging without VLAN groups configured).

Bug #1231.

datapath: Define ERR_CAST on kernels that don't already have it.

ERR_CAST was introduced in Linux 2.6.25 but it is also backported into the
Red Hat 2.6.18, so we need a configure-time check.

datapath: Attempt to checksum packets sent to controller on non-Xen kernel.

Commit 96660ad113 "datapath: Fix up checksum on Xen before forwarding to
controller" made sure that packets sent to the controller were properly
checksummed on Xen, where it happens pretty commonly that they are not.
It seems possible that on non-Xen machines this could also happen, even
though it does not seem to be common, so this commit tries to fix up
packets in that case also.

This commit adds a WARN_ON_ONCE() call to make it clear that it has
triggered.  If we ever see this warning, then we should figure out what
triggered it and make sure that this code actually works properly.

datapath: Fix VLAN tag insertion actions on Xen.

On Xen, a VM can pass a packet that needs to be checksummed up to Dom0 for
transmission on the wire.  In this case, Dom0 is supposed to pick apart
the packet, figure out the protocol, and checksum it before sending it out.
However, this fails if we insert an 802.1Q header, because the Xen routine
that picks apart packets (skb_checksum_setup() in net/core/dev.c) does not
understand 802.1Q.  Hence, we must call this function ourselves, before we
add the 802.1Q header.

Fixes bug #1215.

datapath: Fix build on 2.6.18, which doesn't have "bool" or "false".

The "bool" type is a relative newcomer to the Linux kernel, and it is
still frowned up by some developers, so instead of adding a definition
to our compatibility headers (which is what we usually do), this commit
changes "bool" to "int".

vswitch: Fix indefinite wait on reload.

If a "reload" command was sent to vswitchd via the unixctl library, then
the reconfiguration would not actually happen until another round trip
through the vswitchd poll loop.  Ordinarily this happens quickly but if
nothing is going on it can become an indefinite wait.

Fix by forcing another round trip if we need to reconfigure.

svec: Avoid calling svec_sort() when it is not necessary.

When we delete an item from a sorted array we just have to move the rest
of the items down to keep it sorted; we don't have to actually re-sort
the whole thing.

vswitch: Keep list of old interfaces sorted when reconfiguring ports.

The old_ifaces array must be sorted because we apply svec_contains() to
it, but there was nothing guaranteeing that it was sorted.  So add a
call to svec_sort().

cfg: Keep configuration sorted when adding entries.

Otherwise later cfg accesses are likely to assert-fail since the
configuration is no longer sorted.

datapath: Set only VID when adding a new header with ODPAT_SET_VLAN_VID.

ODPAT_SET_VLAN_VID is supposed to set only the VID field of the VLAN
header.  When it was only modifying an existing VLAN header, it was doing
this correctly.  However, when it added a new header, it added all of the
bits passed in as the argument, not just the VID field.  Fix this, setting
the other bits to 0 implicitly.

Also fixes the analogous problem with ODPAT_SET_VLAN_PCP.

vswitch: Strip VLAN headers correctly.

When a packet comes in on a trunk port and goes out on an implicit VLAN
port, we are supposed to strip the VLAN header (because it is implicit).
We were not doing so; instead, we were setting the VLAN field to all-1s.
Strip it properly, instead.

dpctl: When parsing actions, don't let "drop" be preceded by other actions.

The dpctl manpage says that "drop" must not be used with other actions,
but we were only checking for other actions *after* it, not just ones
before it.

dpif: Remove duplicated functionality.

dpif_flow_flush() does the same thing as dpif_flow_del_all().

Be more conservative about bringing up interfaces when vswitchd started

Previously we were starting all bridge interfaces when vswitchd
started to help resolve issues in Xen environemnts.  However, only
starting the management interface seems to be required.  The
information about which interface is the management interface is
available in /etc/xensource-inventory on Xen machines, so use that to
limit the interfaces we bring up.

Add "dp-del-flows" command to dpctl.

Add ability to delete flows from the datapath.  Currently, there is no
way to delete specific flows--it's all or nothing.  By deleting flows
from underneath the process that set them up, some confusion may arise.
For vswitchd, this only amounts to a few warning messages, though.

Add support for explicitly specifying a "drop" action when adding a flow.

When adding a flow entry with dpctl, the user specifies a set of actions
to execute when a match occurs.  If none are specified, then the packet
is implicitly dropped by OpenFlow.  When dumping these flows, the output
of dpctl shows an action of "drop".  However, dpctl did not support
adding a flow with an explicit "drop" action.  This fixes that lack of
symmetry.

Add description of table output to dpctl man page.

Adds a description of the output from the "dump-flows" and
"dump-aggregate" commands of dpctl.  Requested by NEC.

vswitch: Add unixctl command to reload configuration file synchronously.

The Xen interface-reconfigure script wants to tell vswitchd to reload
its configuration and wait until it is complete.  Until now there has
been no way to do this: sending SIGHUP causes a reload, but there is no
way to tell when it is complete.  Now "vlogconf -t <socket> -e
vswitchd/reload" does the job.

Improve infrastructure for Unix socket-based local management.

"vlog_socket" was essentially a framework for management of a process
over a simple Unix domain socket interface.  Unfortunately it was a little
too simple:

    * It was not extensible for use by clients other than vlog.

    * It was not reliable, since it was based on datagram sockets.

    * It tried to hide itself using poll_fd_callback(), instead of exposing
      itself through the poll loop as does almost every other entity in
      the build tree.

This commit replaces vlog_socket by unixctl, which fixes these problems:

    * Arbitrary commands may now be registered.

    * Use of stream sockets makes it reliable.

    * The interface is exposed to clients.

vlog: Make vlog_reopen_log_file() a no-op if no log file is open.

The --log-file option is supposed to be used to create a log file, but
until now, even if this isn't done, --reopen to the vlogconf program will
make it open one.  This behavior was unexpected, hence this commit that
prevents it from happening.

Fixes bug #905.

vswitch: Fix handling of ARPs received on bonded interfaces.

The vswitch must handle ARPs directed to broadcast that arrived on bonded
interfaces differently based on whether they are ARP requests or replies.
This cannot be done in a flow-based manner using OpenFlow, because
OpenFlow does not distinguish between ARP requests and replies.  Thus,
every such packet must be handled separately by the bonding code, and a
flow must not be set up.

Before secchan was integrated into vswitch, this was handled correctly.
This commit restores that correct behavior, by making it possible for
a normal-action callback to signal that the actions must not be used to
set up a flow.

secchan: Fix OFPPS_LINK_DOWN detection.

netdev_get_flags() was supposed to return NETDEV_CARRIER if carrier was
detected by the network device PHY, by checking for the IFF_LOWER_UP bit
in the device flags returned by the SIOCGIFFLAGS ioctl.  Unfortunately,
IFF_LOWER_UP has value 0x10000 and that ioctl returns a short int, so this
bit was always read as 0, indicating that carrier was off.

There are at least two other ways to get the carrier status.  One is via
rtnetlink with RTM_GETLINK.  Unfortunately that is only supported on Linux
2.6.19 and up.  So we fall back to the other possibility, which is
/sys/net/class/<device>/carrier.  I hope that our users mount sysfs.

dpif: Optimize no-actions case in dpif_execute().

If there are no actions, then the packet will get dropped in the kernel,
so there's no point in making the system call at all.

dpif: Improve dpif_execute() log messages.

vswitch: Drop debug print that escaped.

Remove "section"-style descriptions from vswitchd.conf man page.

Due to our using programs that can modify vswitchd.conf, such as
brcompatd and cfg-mod, we are discouraging the use of "section"-style
configuration.  The reason is that these programs prefer the
"dotted"-style, which is easier for a program to manipulate.  This
commit changes all examples to use this dotted form.

There are also a number of other cleanups and corrections that have been
made.

Change paths to match locations used in installs.

Have vswitchd and brcompatd installed into sbindir

This seems more appropriate given they won't be used by regular users
normally.

Add appropriate extension to profile.d script.

Useful path additions, aliases, and functions for vswitch debugging.

Include cfg-mod man page in extra dist.

Add vswitch init files to dist target.

vlog: Improve log message when rate-limiting.

OpenFlow works with many different kinds of messages, so it can be helpful
to state that specifically *log* messages were dropped.  Thanks to Pete
for pointing this out (see bug #1166).

vswitch: Let mgmt.fail-mode setting be default for bridge failure mode.

This simplifies configuration, since usually all bridges should fail in
the same way.

brcompat: Add support for bonded interfaces; avoid multiple cfg_read() call.s

Bonded interfaces have to be looked up under the bonding.* hierarchy, but
the code here didn't know about that.  Also, this was calling cfg_read()
and cfg_write() for every interface to be deleted, which means that our
set of bridges and interfaces could change while we were iterating.  In
theory, they shouldn't have, since the file was locked, but that
assumption still made me nervous so I eliminated it.

cfg: Avoid doing unnecessary work in cfg_del_match().

It is only necessary to compact and terminate the array if we actually
modified anything.

cfg: Always null-terminate the cfg array.

Some functions depend on the cfg array being null-terminated, so be sure
to make it so when modifying the array.

cfg_add_entry() still doesn't sort the array, but it should.

Use "policing-*" instead of "policing_*" in config.

The keys to enable policing used a "_" to separate words, but everything
else in vswitchd.conf uses a "-".  Use a "-" to be consistent.

Add hack to get around "." delimiter problem with policing vifs.

The vswitchd.conf format uses "." as a delimiter.  Unfortunately, vifs
use a "." in their name.  The port is specified as part of the key when
ingress policing is enabled, but the cfg parser balks at this.  For the
time-being, we check all valid ports to see if they have a policing
policy defined.  This is wasteful, but it works until we change the
delimiter.

cfg-mod: Add new --del-match option.

cfg: Prevent infinite loop in cfg_del_section().

When the last entry in the file was deleted, cfg_del_section() would loop
forever because *p was never set to NULL by svec_del().  (Alternatively,
it could segfault because we were accessing freed memory.)

This better implementation is also O(N) instead of O(N**2).

cfg-mod: Complain about non-option arguments, since we don't support any.

cfg-mod: Make --help work.

Use "dp-show" instead of "showdp" in dpctl.

To dump information on all datapaths, dpctl has a "showdp" command.  To
be more consistent with other datapath-specific commands, this has been
changed to "dp-show".

Add support for ingress policing.

This adds support for ingress policing to vswitchd.  This allows a user
to limit the rate of traffic entering the switch on a particular port.
This is configured on the physical port, so this a system-wide
configuration value handled through vswitchd.

NetFlow configuration is no longer is limited to eight collectors.

The vswitch.conf man page stated that at most eight collectors can be
listed per bridge.  That restriction has been lifted, so this just
brings the documentation in-line with the implementation.

Mention SPAN and RSPAN in vswitchd.conf man page.

The terms SPAN and RSPAN are often used in what we call mirroring.  This
change points out how to achieve SPAN and RSPAN configurations using our
mirroring syntax.

Use new vswitchd management settings when they change.

When changes were made to the "mgmt" section of vswitchd.conf, we
weren't noticing changes if the major sections were not modified.

Thanks to Dan for reporting this.

cfg-mod: Fix --del-section long option parsing.

Don't complain when setting STP sysfs values to the default one.

We don't support configuring STP through sysfs.  However, Xen tries to
disable STP by writing a zero value to some fields, which is our
default.  This change suppresses the warning that we don't support
setting STP sysfs values in those circumstances.

Add cfg-mod, a vswitchd.conf-style manipulation utility.

This is a first cut of a simple utility for manipulating a
vswitchd.conf-style configuration file.  It uses the same locking mechanism
as vswitchd and its related utilities, so it can be used safely on "live"
configurations.

The man page needs a bit more love with deeper explanations and
examples.

Fix reading wrong value when bad file provided.

When a non-existent config file is specified, we print an error message.
Unfortunately, this was attempting to read the filename from the wrong
variable, so a random pointer was being treated as a string.

Log a warning when the interval between poll_block() calls is excessive.

Fix failures in unit tests.

All of these unit test failures indicated bugs in the tests, not bugs in
the code under test.

Fix typo in manpage.

Add missing debian/automake.mk.

This file was previously (before commit 61538212, "boot.sh: Avoid the need
for Git repository information") generated automatically and hence in
.gitignore, so it was easy to forget to add it.

Add forgotten header files, to fix "make dist".

boot.sh: Avoid the need for Git repository information

It should not be necessary to have a Git repository to run boot.sh; a
checked-out tree should be sufficient.  This makes it so.

Some corresponding changes to ext are necessary also.

Be more liberal about what constitutes a virtual interface MAC on Xen.

The xapi sources indicate that FE:FE:FE:FE:FE:FE can sometimes be used for
virtual interfaces, in addition to the usual FE:FF:FF:FF:FF:FF, so accept
that (and other similar variants) as well.

vswitch: Do not use "xe" on XenServer, to avoid deadlock.

Commit 4ab581b949, "vswitch: Fix duplicated DPIDs observed under
XenServer," changed vswitchd to use the "xe" program to obtain the host
UUID and network name under XenServer.  Unfortunately, on XenServer pool
slaves this causes a deadlock, because on such machines "xe" always
attempts to contact the master to perform database queries.  Since vswitchd
is the entity that must set up the flow that "xe" initiates as part of
that connection, this will deadlock and fail.

Instead, get the host UUID from /etc/xensource-inventory and hash it with
the bridge name.  Discussion with the NOX folks indicates that this should
provide sufficient stability and uniqueness.

Fix newly introduced newline in brcompatd init script.

Various fixes for vswitch-brcompatd init script.

Fix missing newline suppression in vswitchd automake.mk.

Break bridge compatibility daemon into separate process.

The user-space bridge compatibility code formally was part of the
vswitchd process.  For better separation, the bridge compatibility code
has been broken into a separate process, brcompatd.

Fix skipping of lines when deleting a section with the cfg library.

When deleting a section in the "cfg" library, the cfg_del_section
function would check each line in the configuration to see if it was
part of the section to be deleted.  The way it deleted was essentially
to move all future lines "down" to replace the line to be deleted.
However, it always incremented the pointer to the next entry, which
could cause it to skip over other entries that should have been deleted.
We now only increment the pointer if we didn't delete a line.

New init files to work with separate brcompatd program.

Return error when multiple writers are modifying vswitchd.conf.

We now have multiple writers of vswitchd.conf.  The bridge compatibility
module's attempts to write can now fail due to the file being locked.
This change notifies the caller of that.

vswitch: Fix duplicated DPIDs observed under XenServer.

The procedure for choosing a bridge MAC address will, in the most
ordinary case, also choose a unique MAC that we can use as a datapath
ID.  In some special cases, though, multiple bridges will end up with
the same MAC address.  This is OK for the bridges, but it will confuse
the OpenFlow controller, because each datapath needs a unique datapath
ID, so this commit adds some support for two common special cases on
XenServer where DPIDs were not unique.

It is also very desirable that they be stable from one run to the
next, so that policy set on a datapath "sticks".

The special cases handled by this commit are:

1. A bridge whose MAC address is taken from a VLAN network device
   (that is, a network device created with vconfig(8) or similar tool)
   will have the same MAC address as a bridge on the VLAN device's
   physical network device.

   We handle this case by hashing the physical network device MAC
   along with the VLAN identifier.

2. A purely internal bridge, that is, one that has no non-virtual
   network devices on it at all, is more difficult because it has no
   natural unique identifier at all.

   When the host is a XenServer, we handle this case by asking "xe"
   for the internal bridge's plaintext name (e.g. "Internal Network
   1") and hashing that together with the XenServer's host UUID.

   When the host is not a XenServer, we punt by using a random MAC
   address on each run.

process: New function process_search_path().

The process code already had the logic to search PATH for a file, but
it didn't export it, and it didn't return the executable that was found.
This exports it and returns the name, for the benefit of an upcoming
commit that wants to search the PATH for an executable only once per
program run.

sha1: New function SHA1Bytes().

This is convenient for hashing an array with less work.

sha1: Fix indentation.

packets: New function eth_addr_mark_random().

This function is useful for turning a sequence of random bits into a valid
MAC address, which we need for generating DPIDs under Xen.

netdev: New function for obtaining the VID of a VLAN network device.

This is needed for autogenerating a unique datapath ID on Xen, on which
a VLAN bridge reuses the bridge address of the VLAN device's physical
network device.

Remove vswitchd.conf so blank file doesn't overwrite an existing one.

Currently the file does not have anything in it.  There isn't much
reason to have anything in it for the normal Xen case because the file
contents are managed by other tools (xapi, etc.)  In the future, if we
decide a commented version of the file is useful after all, we can
include a vswitchd.conf.example.

secchan: Remove ofproto hook functions that are no longer used.

secchan: Make fail-open work using a wildcard rule (and flush the flow table).

Fail-open was implemented by grabbing packets as they came in and then
shoving them into a learning switch, but this interacted badly with
vswitch.  First, it didn't respect the vswitch architecture; e.g. VLAN
and bonding settings were ignored.  Second, it didn't override any rules
that were still in the flow table from the last time we were connected to
a controller, which could cause other things to break if those rules were
bad (or if some host just wasn't authenticated etc.)

This commit fixes these problems by making fail-open use a wildcard rule
and OFPP_NORMAL, so that vswitch then implements VLANs etc., and by
flushing the flow table when we go into fail-open, getting rid of any
bad rules.

secchan: When we flush the flow table, add the in-band control rules back in.

ofproto_flush_flows() deletes all the flows from the flow table, even the
ones added by in-band control.  If that happens we need to add them back
in.

This should be the only place that the in-band control rules can get
deleted, since their priorities are such that the controller cannot see
or modify them.

secchan: Force revalidation in ofproto_add_flow(), ofproto_delete_flow().

This code needs to have flows be revalidated if the rule includes
wildcards, just like add_flow() and modify_flow().

vswitch: Force local port into bridge when in-band control configured.

In-band control requires that local port be part of the bridge.  This used
to not matter, because in-band control stole packet-in messages before they
got to any part of the code that cared about configured ports, but now that
in-band control goes through the same flow table as everything else, it
matters.

vswitch: Don't choose Xen's FE:FF:FF:FF:FF:FF address as bridge MAC or DPID.

Xen uses FE:FF:FF:FF:FF:FF as the mac address for every virtual interface.
If we have a bridge that has just virtual interfaces, then this will end
up as the bridge's MAC address and thus the datapath ID also.  So, instead,
use the bridge's randomly chosen MAC address if this case comes up.

This is probably not the end of this issue, since we probably want the
DPID of such bridges to be predictable.  Need to figure out how to do that.

Remove debug printf() that escaped.

vswitch: Add rate-limiting support.

pinsched: Move rate-limiting sanity checks into pinsched.

The vswitch will want to do the same sanity checks so it is better to
put them in a single place.

secchan: Fix rate-limiting statistics reporting.

The n_queue_dropped value wasn't being updated at all.

n_tx_dropped wasn't being updated either but the packet scheduler no longer
has enough information to track it, so this statistic has just been
dropped.

dpif: Accept 64 kB packets from the kernel.

Under virtualization (e.g. Xen) we sometimes receive packets as large as
64 kB, so the dpif code has to be prepared to accept it.

The only place where we keep these packets around for any amount of time
is when we need to schedule them for sending later, so trim them down
from 64 kB to their actual size in that case.

New function ofpbuf_trim(), for freeing up wasted space in ofpbufs.

The dpif code will start allocating 64 kB buffers in the next commit,
since sometimes we get packets that big under virtualization.  But we
need to trim them down if we're going to store them for any time, so
we need a function to do it.

In init script, redirect core files to known writable directory in Xen

"Embedded" XenServers don't have a writable "/" directory.  For now
point cores to /var/log, which is known to be writable.

Change init script to interact with xapi better at boot.

It seems that with a controller specified in vswitchd, previously
there was a bad interaction between vswitchd and xapi during boot that
prevented the management interface from ever coming up.  The solution
here is to force all bridge interfaces up when vswitchd starts, so
they are already up when xapi attempts to bring them up.  Since the
interfaces are coming up earlier as a result, we move vswitch back in
the boot sequence after iptables starts.

This patch also contains a bunch of lines that have only changed in
whitespace because half the indentation in this file was done using
tabs and the other half was done with spaces...

secchan: Aggregate multiple NetFlow messages into a single packet.

Completes feature #1012.

secchan: Make NetFlow work with any flow, not just exact-match.

NetFlow only worked with exact-match flows until now.  This commit extends
it to also work with wildcarded flows, which is increasingly important now
that NOX sets up a lot of these.

vlog: Trim trailing new-lines from log messages.

Sometimes a message passed into a vlog function will have a trailing
new-line due to carelessness.  Tolerate this situation by just
trimming them off in format_log_message().

Fix vswitch init.d file

- Add options for restarting under strace and valgrind
- Make updating modules work again
- Optimize datapath add/remove using showdp output

Restore the default maximum backoff to 15 seconds for secchan and vswitchd.

15 seconds has always been the documented default maximum backoff, but the
secchan restructuring accidentally changed it to 1 second.

Thanks to Reid for noticing.

secchan: Properly maintain super-rule's list of subrules when revalidating.

When we revalidated a subrule and found that it had a new super-rule,
we changed the subrule's pointer to its super-rule (rule->super), but
we failed to actually transfer it from the previous super-rule's list
of subrules to the new super-rule's list.  This fixes the problem.

secchan: Fix memory leak.

dpif: Clear stats before deleting or query flows.

This placates Valgrind, but it also makes results more reproducible if a
caller does not check the return value.

dpctl: Make examples in the manpage more generic.