sha1: Fix indentation.

packets: New function eth_addr_mark_random().

This function is useful for turning a sequence of random bits into a valid
MAC address, which we need for generating DPIDs under Xen.

netdev: New function for obtaining the VID of a VLAN network device.

This is needed for autogenerating a unique datapath ID on Xen, on which
a VLAN bridge reuses the bridge address of the VLAN device's physical
network device.

Remove vswitchd.conf so blank file doesn't overwrite an existing one.

Currently the file does not have anything in it.  There isn't much
reason to have anything in it for the normal Xen case because the file
contents are managed by other tools (xapi, etc.)  In the future, if we
decide a commented version of the file is useful after all, we can
include a vswitchd.conf.example.

secchan: Remove ofproto hook functions that are no longer used.

secchan: Make fail-open work using a wildcard rule (and flush the flow table).

Fail-open was implemented by grabbing packets as they came in and then
shoving them into a learning switch, but this interacted badly with
vswitch.  First, it didn't respect the vswitch architecture; e.g. VLAN
and bonding settings were ignored.  Second, it didn't override any rules
that were still in the flow table from the last time we were connected to
a controller, which could cause other things to break if those rules were
bad (or if some host just wasn't authenticated etc.)

This commit fixes these problems by making fail-open use a wildcard rule
and OFPP_NORMAL, so that vswitch then implements VLANs etc., and by
flushing the flow table when we go into fail-open, getting rid of any
bad rules.

secchan: When we flush the flow table, add the in-band control rules back in.

ofproto_flush_flows() deletes all the flows from the flow table, even the
ones added by in-band control.  If that happens we need to add them back
in.

This should be the only place that the in-band control rules can get
deleted, since their priorities are such that the controller cannot see
or modify them.

secchan: Force revalidation in ofproto_add_flow(), ofproto_delete_flow().

This code needs to have flows be revalidated if the rule includes
wildcards, just like add_flow() and modify_flow().

vswitch: Force local port into bridge when in-band control configured.

In-band control requires that local port be part of the bridge.  This used
to not matter, because in-band control stole packet-in messages before they
got to any part of the code that cared about configured ports, but now that
in-band control goes through the same flow table as everything else, it
matters.

vswitch: Don't choose Xen's FE:FF:FF:FF:FF:FF address as bridge MAC or DPID.

Xen uses FE:FF:FF:FF:FF:FF as the mac address for every virtual interface.
If we have a bridge that has just virtual interfaces, then this will end
up as the bridge's MAC address and thus the datapath ID also.  So, instead,
use the bridge's randomly chosen MAC address if this case comes up.

This is probably not the end of this issue, since we probably want the
DPID of such bridges to be predictable.  Need to figure out how to do that.

Remove debug printf() that escaped.

vswitch: Add rate-limiting support.

pinsched: Move rate-limiting sanity checks into pinsched.

The vswitch will want to do the same sanity checks so it is better to
put them in a single place.

secchan: Fix rate-limiting statistics reporting.

The n_queue_dropped value wasn't being updated at all.

n_tx_dropped wasn't being updated either but the packet scheduler no longer
has enough information to track it, so this statistic has just been
dropped.

dpif: Accept 64 kB packets from the kernel.

Under virtualization (e.g. Xen) we sometimes receive packets as large as
64 kB, so the dpif code has to be prepared to accept it.

The only place where we keep these packets around for any amount of time
is when we need to schedule them for sending later, so trim them down
from 64 kB to their actual size in that case.

New function ofpbuf_trim(), for freeing up wasted space in ofpbufs.

The dpif code will start allocating 64 kB buffers in the next commit,
since sometimes we get packets that big under virtualization.  But we
need to trim them down if we're going to store them for any time, so
we need a function to do it.

In init script, redirect core files to known writable directory in Xen

"Embedded" XenServers don't have a writable "/" directory.  For now
point cores to /var/log, which is known to be writable.

Change init script to interact with xapi better at boot.

It seems that with a controller specified in vswitchd, previously
there was a bad interaction between vswitchd and xapi during boot that
prevented the management interface from ever coming up.  The solution
here is to force all bridge interfaces up when vswitchd starts, so
they are already up when xapi attempts to bring them up.  Since the
interfaces are coming up earlier as a result, we move vswitch back in
the boot sequence after iptables starts.

This patch also contains a bunch of lines that have only changed in
whitespace because half the indentation in this file was done using
tabs and the other half was done with spaces...

secchan: Aggregate multiple NetFlow messages into a single packet.

Completes feature #1012.

secchan: Make NetFlow work with any flow, not just exact-match.

NetFlow only worked with exact-match flows until now.  This commit extends
it to also work with wildcarded flows, which is increasingly important now
that NOX sets up a lot of these.

vlog: Trim trailing new-lines from log messages.

Sometimes a message passed into a vlog function will have a trailing
new-line due to carelessness.  Tolerate this situation by just
trimming them off in format_log_message().

Fix vswitch init.d file

- Add options for restarting under strace and valgrind
- Make updating modules work again
- Optimize datapath add/remove using showdp output

Restore the default maximum backoff to 15 seconds for secchan and vswitchd.

15 seconds has always been the documented default maximum backoff, but the
secchan restructuring accidentally changed it to 1 second.

Thanks to Reid for noticing.

secchan: Properly maintain super-rule's list of subrules when revalidating.

When we revalidated a subrule and found that it had a new super-rule,
we changed the subrule's pointer to its super-rule (rule->super), but
we failed to actually transfer it from the previous super-rule's list
of subrules to the new super-rule's list.  This fixes the problem.

secchan: Fix memory leak.

dpif: Clear stats before deleting or query flows.

This placates Valgrind, but it also makes results more reproducible if a
caller does not check the return value.

dpctl: Make examples in the manpage more generic.

dpctl: Allow datapath names to be given in place of switch names.

It is convenient to be able to type, e.g., "dpctl show xenbr0" instead of
"dpctl show unix:/var/run/xenbr0.mgmt", so this allows this form.

Fix mirroring when no selection criteria provided. (Bug #1112)

Mirroring wouldn't occur when no selection criteria was provided.  If a
source/destination port or vlan were provided, mirroring would work as
expected.  This fixes that.

Remove extraneous debug message.

secchan: Make default normal action do switching.

The default normal action is what OFPP_NORMAL does in secchan when vswitchd
is not running.  Before, this was equivalent to OFPP_FLOOD.  With this
change, the behavior changes to acting as a learning switch.

This makes the recent changes to in-band control more efficient when
running in secchan without vswitchd, since we don't really want to flood
all the packets to and from the controller.

Make ofproto manage the revalidation set, instead of vswitchd.

In an upcoming change, ofproto will want to add revalidation entries of its
own, so it is better to have it manage a single revalidation set rather
than having two separate sets, one in ofproto and one in vswitchd.

in-band: Use OFPP_NORMAL instead of OFPP_LOCAL for traffic to local port.

If we use OFPP_LOCAL then the code that implements the normal action won't
get a chance to learn from these packets.

This change seems somewhat risky, since in-band control is so touchy, which
is why it is broken out as a separate commit that can easily be reverted.

secchan: Implement in-band control using wildcard rules.

Until now, there has been a problem with flows set up by the controller
overriding in-band control decisions: if the controller sets up, say, a
flow that matches every packet, then the in-band control flow miss handler
will never be called, and the connection to the controller may well fail.

This commit fixes the problem by implementing in-band control in terms
of wildcard rules that have a higher priority than any rule that can be
set up by the OpenFlow controller.

This should also fix the issue that in-band control does not respect VLANs
and other structure set up by the vswitch, since the rules set up by
in-band control use OFPP_NORMAL.

secchan: Support priorities over UINT16_MAX for internal use.

The plan is for in-band control to use these higher priorities for flows
that are to be hidden from, and take precedence over, flows set up by the
controller.

classifier: Expand the classifier priority range to 32 bits.

secchan will reserve priorities above UINT16_MAX for its own purposes
(e.g. in-band control).

Read netflow config from vswitchd.conf (Bug #1087).

The bridge wasn't reading the netflow configuration from vswitchd.conf,
so it was never generating NetFlow messages.  This fixes that.

secchan: Tolerate local port change in MAC address.

Before, if the local port's MAC address changed, we would not notice, and
continue to set up flows only for the local port's current MAC address,
which completely broke in-band control.

Now, we notice changes and start to set up flows for the new MAC address
instead.

Fixes bug #1081.

secchan: Get rid of static data in in-band control.

The notion of the controller's IP and MAC address in in-band control was
global.  This is incorrect if different switches within a process have
different controller.  Make this data part of "struct in_band" instead.

secchan: Remove idle flows from datapath even if their rules haven't expired.

secchan: Simplify code by making rule_uninstall() update stats.

All the callers wanted to update the stats of the rule being uninstalled,
or at least didn't mind, so this makes the code easier to read and
maintain.

secchan: Make expire_rule() slightly easier to read.

Search-and-replace "expiration" by "expire".  In the next commit this
will keep from needing to wrap more lines, making the code easier to read
there too.

secchan: Track datapath actions in userspace, to avoid system calls.

Until now, secchan had no way to determine when datapath actions actually
changed, and so it had to be conservative and update all flows' actions,
or almost all, in some circumstances.

With this commit, secchan keeps track of flows' actions in allocated memory
and only updates them in the datapath when they actually change.

As part of the change, this factors out common code into new functions
rule_install() and rule_uninstall(), which should make secchan more
maintainable.

secchan: Centralize creation of rules in new function rule_create().

This is code cleanup that should make maintenance easier.

secchan: Avoid dynamic allocation in xlate_actions().

The ofproto code currently does malloc()/realloc()/free() whenever it needs
to translate OpenFlow actions into datapath actions.  This is more or less
OK as-is, but the next commits will start keeping the datapath actions as
part of the rule.  That will require either wasting memory (because we
e.g. double the size of the malloc()'d buffer each realloc()) or making
a new malloc()'d copy of already malloc()'d memory.  Both solutions seem
wasteful.

So this commit instead prepares by keeping the ODP actions on-stack while
accumulating them, with a fixed maximum size that is the same maximum
used by the kernel datapath anyhow.

secchan: Add explanatory comment.

dpctl: Add support for OFPAT_SET_DL_SRC and ..._DST actions.

Originally from a patch by Jean Tourrilhes, but the code here had moved
on so much in the meantime that none of the original changes applied any
longer.

dpctl: Remove unused macro.

No longer need secchan to be on the executable search path for vswitchd

Document correct default nice level in default sysconfig file for vswitch.

Wait longer for userspace on brcompat changes.

We aren't returning to the caller of the bridge APIs until the
userspace vswitchd completes changes.  This timeout exists to return
an error if that is taking too long.  Extending it to error by being
too conservative (waiting too long) in an attempt to make sure vswitch
and the brcompat user don't get out of sync.

Add help and version options to vswitch init script.

Hack vswitchd init script to remove bridge ports at startup

XAPI will recreate all the bridges and reconnect the interfaces at
startup, so this is safe in the Xen environment.  If we don't do this
stale vifs hang around in the configuration file.

This is a hack and not a true solution because it doesn't handle
port-related configuration, etc.  A better solution needs to be
implemented in the future.

brcompat: Tolerate a race condition in deleting bridge ports.

When we delete a bridge port (e.g. "brctl delif"), the port could get
removed from the bridge we are interested in and then quickly added back
into another bridge while sleeping.  Return immediately in this case,
since the port must really have been deleted from the bridge in question.

There is a remaining race that the port could get deleted from the bridge
and then added back to the same one.

debian: Suppress printing out random numbers in init script.

datapath: Speed up ioctl fast paths.

synchronize_rcu() was causing some common datapath ioctls to take up to
approx. 1 second (!) in some cases, which was killing our performance.
Use call_rcu() instead.

Add ability to snoop on the primary switch<->controller OpenFlow connection.

This is useful for debugging problems that may be in the switch or in the
controller.

dpctl: Allow requesting flow misses, expirations in "monitor" command.

This makes it possible to debug problems where one wonders whether
flow misses or flow expirations are making it up to the controller.

secchan: Only let the controller connection set configuration flags.

Each OpenFlow connection to secchan, both controller connection and
management connections, is allowed to set its own miss_send_len and
send_flow_exp configuration, because these are really per-connection
state, not global state.  But management connection should not change
the global state (currently, just the treatment of fragments) when
they do this.

brcompat: Fix sign of return value.

Thanks to Justin for pointing this out.

brcompat: When adding or removing datapath ports, wait for them to appear/disappear.

brcompat: Fix netdevice refcount in non-2.6.18 when sysfs is available.

When sysfs is enabled, brcompat is responsible for releasing the netdevice
reference and freeing the net_bridge_port in brc_sysfs_del_if().  However,
when we're not building against 2.6.18, it was stubbed out to a function
that did nothing.

secchan: Fix in-band ODP->OFP port translation.

The in-band and fail-open code uses ODP port numbers internally, but
ofproto_add_flow() takes OpenFlow actions and thus needs to receive
OpenFlow port numbers.

This should fix a problem with in-band control.

secchan: Drop redundant 'in_port' args to in-band, fail-open miss handlers.

The in_band_handle_flow_miss() and fail_open_handle_flow_miss() functions
have 'in_port' arguments that are completely redundant with their
'flow' arguments' 'in_port' members.  Drop the 'in_port' parameters.

Fix cfg_del_section() function that was recently broken.

This was showing up when the bridge compatibiity module was attempting
to delete a bridge.

Log error messages instead of calling printf.

dpctl: Add dp-dump-flows, dp-dump-groups commands.

These should make it easier to debug datapath-related problems.

dpif: Make higher-verbosity flow logging available.

dpif: Make dpif_port_group_get() work.  (It was never tested until now.)

secchan: Validate subrules before attempting to dereference their super-rules.

rule_make_actions() is supposed to compose the datapath actions for an
exact-match rule, and to do so it needs to look up the super-rule (if the
rule is a subrule).  The "super" pointer might be set to UNKNOWN_SUPER,
though, and before this commit that would cause a segfault.

This commit modifies the callers of rule_make_actions() to ensure that
the rule passed in can never have a "super" of UNKNOWN_SUPER.  In most
cases, this was already impossible (e.g. we're passing in a new rule that
we just added to the table), but in two cases where the rule was obtained
from a bare classifier lookup we needed to validate the rule before
attempting to use it.

Fixes a crash reported by Keith.

secchan: Remove unused function ofproto_set_actions().

Don't send mgmt OpenFlow messages if mgmt_rconn isn't set.

In some circumstances we try to send a configuration update to the
controller, regardless of whether we're actually connected.  This fixes
that and warns if others try to do similar things.

debian: Fix confusion between dp0 and of0.

Earlier, 'nl:0' was changed to read 'dp0' in the Debian init script, but
this didn't take into account that this would also change the name of the
"local port" for the datapath from 'of0' to 'dp0'.

The "cleanest" fix would probably be to change all the instances of of0
to dp0, but this would also require changing the names of files in the
file system (e.g. /etc/openflow-switch/of0-cert.pem), so it's easier to
just change the dp0 instances to of0.  Thanks to Reid for suggesting this
simpler fix.

Fixes bug #1056.

secchan: Treat invalid table IDs in stats requests as requests for no flows.

Before, we treated invalid table IDs as requests for any flows in the table
at all, but it makes more sense to treat them as requests for no flows at
all.  (The value 0xff is explicitly defined by OpenFlow to mean "all
tables".)

debian: Remove obsolete --monitor support from switch init script.

Update documentation and fix up a few related inconsistencies in the code.

Add retired Nicira entension types.

Old Nicira extension types must be kept around to prevent problems when
mixing and matching versions of the switch.

vswitchd: Use datapath ID format instead of MAC format for management ID.

A datapath ID is 12 hex digits: XXXXXXXXXXXX.
A MAC address is 12 delimited hex digits: XX:XX:XX:XX:XX:XX.

Discussed with Justin.

vswitchd: Improve formatting of manpage.

secchan: Remove unused variable.

cfg: Make 'cfg_cookie' static.

There is use of a variable of the same name in vswitchd/mgmt.c, but that
one is static so it's OK to make this one static too.

cfg: Write "# This file intentionally left blank.\n" to empty config file.

It's somewhat surprising to see an empty config file--it makes folks wonder
if something went wrong.  If we write a comment, it is more reassuring.

The main part of the change is refactoring.  This may be going a bit
overboard, but it should make the code more obvious and easier to
maintain, I hope.

svec: Add new argument to svec_join().

cfg: Write correct data when retrying a partial write, in cfg_write_data().

Allow ignoring "mgmt.controller" settings per bridge.

By setting the "bridge.<name>.controller" key to an empty value, it is
now possible to perform local switching, while allowing the rest of
vswitchd to be remotely controlled.

Indicate that SSL configuration is global in vswitchd.

The vconn-ssl library only supports global settings for keys and other
SSL configuration.  Make vswitchd.conf mgmt use "ssl." instead of
"mgmt.ssl." to relect that the settings are shared with the bridges.

Fix copy/paste naming issue.

Make sure that the .man include files get into "make dist" output.

Various fixes for SSL configruation and mgmt id generation.

To configure SSL options in vswitchd, one now uses the "mgmt.ssl" key
prefix.  This commit also fixes a problem where a management id would
change part way through the startup.  Also, documents how to configure
mgmt in vswitch.conf.

secchan: Update documentation.

secchan: Drop configuration file support.

Configuration file support was added to secchan specifically to allow
vswitchd to change the set of NetFlow collectors at runtime without killing
and restarting secchan.  secchan is integrated into vswitchd, so vswitchd
can now do this through a function call instead of through a configuration
file.  This means that we can kill off the secchan configuration file
and add back the --netflow option that it replaced.

Also, add a --mgmt-id option to supplant the other use for the
configuration file that had appeared in the meantime.

dpctl: Update manpage.

Make manpages come out better in PostScript format.

For some reason, "man -Tps" outputs a blank page at the beginning, at
least on my system, if there is a blank line between .ds and .TH.  This
fixes it.

dpctl: Remove nl: special case that no longer makes sense.

It looks like this was always broken anyway, since the "name" that was
computed was never used.

Update Xen init scripts & default config for changes to config file handling.

vswitch: Don't delete all flows on SIGHUP if a controller is configured.

This was intended to only take effect when we had been running standalone
and were now connecting to a controller, but the test was reversed.
Instead of just reversing the test, this change also deletes flows when
we switch from connected to standalone as well.

cfg: Fix cfg_unlock() to remove the lockfile unconditionally.

Calling remove_lockfile() does the wrong thing here, because it only
removes stale lockfiles.  Here, the lockfile is not stale, because we know
that we own it.  Therefore, we can remove it unconditionally.

cfg: Make lock_fd, dirty static.

These aren't used elsewhere, so there is no reason for them to be extern.

dpif: More consistently initialize dpifs in failure cases.

dpif: Fix fd leak in dpif_create().