xenserver: Make vif script log its changes to vswitchd.conf.

This makes debugging easier.

brcompat refactoring fixes

xenserver: Fix VLANs on virtual interfaces.

xenserver: Fix use of VLAN as primary management interface.

xapi insists that the device that carries the IP address for a VLAN is
the bridge that it thinks the VLAN is on.  This commit makes it so.

xapi also will do the ioctl equivalent of "brctl addbr xapi#" if that
bridge appears to be missing when it reconfigures the interface.  If we
return EEXIST or any other error, then it gives up at that point.  So we
have to return "success" to that attempt regardless of whether we really
want to do so.

Revert "xenserver: Make primary management interface on VLAN possible."

This reverts commit d71cb7eb3e52fbf521abe6d0cb19cc8b7aea80dc.

The strategy used in that commit for making the primary management
interface on a VLAN possible did not work reliably.  Sometimes it would
work for a time, but eventually xapi would start listening only on the IP
address attached to the fake VLAN bridge.  Since this is not a real IP
address that can be used to talk to the outside world (and in any case it
isn't the IP address requested by the administrator) xapi would become
unreachable at this point.

brcompat: Move more brcompat implementation into userspace.

Until now, the brcompat kernel module has had to do more of the work of
simulating a bridge than is ideal, because brcompatd was not able to find
out when the vswitchd had finished reloading.  It is important that the
bridge reconfiguration be complete by the time that the bridge ioctl
returns, so this had to be done from the kernel.

Now it is possible for brcompatd to wait for the reload to finish (by
using the equivalent of "ovs-appctl -e vswitchd/reload") so this part of
the work can be done in userspace.  This commit moves it there.

This commit also moves to userspace some error-checking work, in particular
checking whether a bridge or a port operation is correct.  This is
important for an upcoming commit, where brcompatd wishes to send a fake
success return value for an operation that must be ignored.  When the error
checking is done in the kernel, it defeats this purpose.

dirs: Add variable for bindir.

brcompatd wants to use this in an upcoming commit.

cfg: Add new function cfg_is_dirty().

Change project name to "Open vSwitch"

The project was most recently called "OpenVSwitch".  This commit changes
the name to "Open vSwitch", which should be the official name (and
capitalization) going forward.

Modify version string for various binaries.

For applications that understand OpenFlow, print the versions they
support.  This change also adds that the program is part of the Open
vSwitch project.

Add support for the "--version" argument to some programs that were
missing it.

xenserver: Fix typo in description of RPM spec file

Corrects the spelling of "bridging" in the description of the RPM spec
file.

Remove vestigial SNAT support.

brcompatd: Improve error message.

When there are no non-option arguments, "config file is only non-option
argument" is a confusing message, so make it more generic.

lib/automake.mk: Fix odd typo that apparently did no damage.

$(pkgdatadir$) apparently expands exactly the same way as $(pkgdatadir),
at least under GNU make, but it's obviously wrong.

hash: Add unit test.

tests: Ignore test binaries.

ovs-pki: Fix bashism.

Thanks to Nicolas Perrenoud <nicolape@ee.ethz.ch> for reporting the
problem.

xenserver: Fix setting pool-wide controller setting

The latest set of changes left out pushing the controller configuration
changes out to members of the pool.  This patch adds back the call to do
that.

xen: Fix a missed xapi plugin from the Nicira brand stripping

Missed a xapi plugin during the rebranding.  This adds that and fixes a
couple of case-senstive variable issues.  Ugh, need to figure out how to
make local Xen RPM builds...

xen: Add missing change to Nicira brand removal commit

Also need to update the makefile!

xen: Remove Nicira branding from vSwitch xsconsole plugin

Since the plan is to eventually integrate this code into the Xen
distribution, the Nicira tags have been removed.  The copyright is still
held by Nicira until a better one is found.

brcompatd: Fix type in brcompatd man page.

xenserver: Drop unused variable.

xenserver: Fix missing default route problem.

Taking down the vlan_slave's network device deletes any routes associated
with it, including the default route, and those routes are not restored
when the network device is brought up again later.

So don't take that device down at all.  There's no reason to do so.

We still want to bring that device up after configuring the pif, just in
case it was down, so this commit only deletes the down_netdev, not the
corresponding up_netdev later on.

Second half of bug #1327.

xenserver: Choose correct management PIF even with --force.

The --force option was failing to choose the management PIF based on
the "management" PIF field.  This commit fixes the problem.

This is a partial fix for bug #1327.

xenserver: Delete code unneeded for openvswitch.

openvswitch doesn't care about the ordering here.

xenserver: Make primary management interface on VLAN possible.

Before xapi puts the primary management interface on a new PIF, it verifies
that the PIF's network device exists and has an IP address.  For physical
PIFs and for bonds, this works fine.  For VLANs, the openvswitch does not
put the IP address on the network device that xapi expects, but on a
different network device (e.g. openvswitch puts it on eth0.X instead of on
xapiY), so this checks fails with the message "The specified interface
cannot be used because it has no IP address".

This commit makes interface-reconfigure "fake out" xapi by putting a
dummy IP address on the xapi# interface.

Bug #1325.

xen: Fix permission on xsconsole plugin

Not sure why the file permissions on the xsconsole plugin changed, but
this reverts them back.

xen: xsconsole plugin cleanup based on Citrix feedback

Various cleanups to the vSwitch plugin for xsconsole based on feedback
from Citrix.  The changes include a cleaner way to pop-up temporary
messages, leaving a success or failure box after performing an action,
and safer subprocess calling.

ovs-dpctl: Rename commands for consistency.

ovs-dpctl: Remove get-idx and get-name commands.

These commands made some sense when dpctl only accepted numerical datapath
identifiers, but now it accepts names as well as numbers.  These commands
were never really used much, so delete them.

Break dpctl into two programs: ovs-ofctl and ovs-dpctl.

The datapath and OpenFlow are fairly different and it seems wrong
conceptually to work with both in a single program.  So this commit breaks
them up into two programs.

xenserver: Fix package build.

ovs-cfg-mod: Accept -v option before any targets are specified.

Setting the log levels should be allowed before specifying targets, but it
wasn't.  This fixes it.

This fixes a failure to bring up network interfaces at boot (and at any
other time too).

Rename vlogconf to ovs-appctl, for consistency and as a better name.

The vlogconf program at one time only affected log levels.  Now, it can do
more, and probably will be expanded in the future, so appctl is a better
name.

Rename cfg-mod to ovs-cfg-mod, for consistency.

xenserver: Fix path to invoke cfg-mod utility when removing a vif.

It's possible that this fixes a real bug.

Drop stray references to udatapath, which doesn't exist any longer.

Rename "controller" to "ovs-controller" and move to utilities.

The controller is unimportant and we don't want people thinking that it is
important.  (They should be using NOX, not the OpenVSwitch controller.)
So kill off its top-level directory.

netflow: Set Engine and Add Alternate Port ID Flag

Allow the Engine Type and Engine ID to be configured in NetFlow
messages.  Previously, they were always set to zero.  Now, by default,
they are both set to the datapath index. These can be overridden with
the "netflow.bridge.engine-type" and "netflow.bridge.engine-id" keys,
respectively.

Add the ability to allow collectors to distinguish between virtual
switches sending message from the host.  When the
"netflow.bridge.add-id-to-iface" flag is enabled, the least significant
7 bits of the engine id are placed into the most significant bits of
the  ingress  and  egress  interface fields of flow records.  This
mimics the behavior of VMware ESX when the "-p" option is given to the
NetFlow configuration program.

(Addresses Bug #1222 and Bug #1223)

netflow: Document 1400-byte packet length limit.

The NetFlow code accumulates records until the packet is 1400 bytes or
some amount of time has passed.  This just adds a comment that NetFlow
messages are limited to 30 records, which places a ceiling on how large
the message can be (1400 is below that ceiling).

vswitch: reduce passes through config loop

When vswitchd configures itself, it loops through the bridges to pull
relevant configuration information from vswitchd.conf.  Configuration
for determining the dpid, controller, and NetFlow was inside a loop for
configuring a bridge's interfaces.  This meant that these configuration
parameters were being re-set for each interface in the bridge as opposed
to just once for the bridge.  This change pushes this configuration
outside of that interface loop.  The LIST_FOR_EACH_SAFE macro to loop
through the bridges is switched to LIST_FOR_EACH, since bridges are not
deleted in this loop.

netflow: Report largest possible value when counters exceed 32 bits.

secchan tracks packets and bytes using 64-bit counters, but the
corresponding NetFlow v5 fields are only 32 bits wide.  Until now we would
just report the lower 32 bits on overflow; this commit changes the
behavior to reporting 0xffffffff instead.

Bug #1316.

xenserver: Avoid printing log messages to the console from scripts.

Log messages from cfg-mode tended to overwrite random bits of the xsconsole
screen.

Bug #1315.

brcompatd: Fix typo in previous commit.

brcompatd: Don't remove nonexistent ports if vswitchd will create them.

There is a race between brcompatd and vswitchd for internal ports, e.g.
in this scenario:

1. cfg-mod adds "bridge.xenbr0.port=xenbr0".
2. vswitchd creates xenbr0.

we can have brcompatd slip in between them:

2.5. brcompatd notices that there is no network device xenbr0
             and deletes the new line from the config file.

For the local port and other internal ports we don't want brcompatd
interfering, so this commit makes it ignore them.

Bug #1314.

Get rid of vswitchext entirely.

Move watchdog timer utility from vswitchext to openvswitch.

Move ovs-monitor script from vswitchext to openvswitch.

Add configure option --disable-userspace for building kernel modules only.

vswitch: Give up hope that the config file delimiter will be changed.

This code originally assumed that it could iterate over all the subsections
of "port" in the configuration file to obtain the names of network devices,
but this didn't work because "." is both the configuration file section
delimiter and a valid (and fairly common) character in network device
names.  So it was changed to use a different technique with the hope that
the original code could be restored when the configuration file syntax was
changed.

Now we've agreed that the configuration file syntax is not going to change
before we change to a different configuration model entirely, so this
commit deletes the original code (which was #if'd out, not deleted).

Another reason to do this is to kill off some warnings due to unused
functions and variables.

Delete OpenFlow management spec.

Although this spec was canonical, it was inaccurate and we plan to replace
it by netconf anyhow.

Delete OpenFlow spec.

The openvswitch tree is not the canonical source of the OpenFlow spec.
Get it from openflowswitch.org instead.

Revert "Apply temporary band-aid to VLAN-related OOPS on XenServer."

This reverts commit ef4a656e73b3bf157519a8f6e239c0e5f54600a3,
since the need for it was eliminated (I hope).

datapath: Fix VLAN-related kernel OOPS on XenServer.

In deleting internal ports (other than the local port) we were failing to
call dp_del_if_hook even though we had called dp_add_if_hook when we added
it.  This prevented the sysfs kobject from being released and caused the
wrong address to be passed to kfree.  The former could cause random
memory corruption; the latter may be benign since the address was still in
the same slab object.

Apply temporary band-aid to VLAN-related OOPS on XenServer.

Now, VLAN devices will be disabled by default.  To enable them, create a
file named /etc/vswitchd.enable-vlans.

This commit will be reverted when a real fix is available.

Move EZIO utilities from vswitchext into openvswitch.

Fix for typo in warning message.

xenserver: Add comments describing open issues for interface-reconfigure.

xenserver: Fix --force up/down behavior in a resource pool.

The PIFs key of a network lists one PIF for each member of the pool, not
one PIF per bond or whatever I had in mind.  So we need to iterate over
all the PIFs in the network and find the one for our current host.

Add support for Citrix XenServer.

This was previously in openflowext.  Now we are adding it to openvswitch.

datapath: Fix build warnings and errors on Linux 2.6.15, 2.6.16, 2.6.17.

datapath: Add support for "internal" ports similar to the local port.

The datapath has supported a simulated "local port" for a long time, but it
has never been possible to create additional ports with the same
characteristics.  One way to do this is using the veth driver, but this is
somewhat awkward, since there is no desire to create a pair of devices;
one suffices.

The immediate purpose for this feature is to allow an IP address to be put
on both a physical interface and a tagged VLAN attached to that interface
on Xen.

Don't print warning about removing policy on startup.

The policing code attempts to delete any traffic control configuration on
startup, so that interfaces come up in a known state.  If the interface
didn't have any traffic control configuration, this would cause it to
print a couple of scary sounding warning messages.  This commit makes it
so those no longer print.

Fix return value call on send() when sending NetFlow messages.

When sending NetFlow messages, we use the send() call, but were checking
the wrong return value.  It would report an error when any non-zero
value was returned.  The send() call returns the number of bytes sent or
-1 on error.  Thus, whenever a NetFlow message was sent, it would
generate an error message.  Now, we only log a message when a value of
-1 is returned.  (Bug #1166)

datapath: Call rcu_barrier() before unloading module.

According to article "RCU and Unloadable Modules" available at lwn.net,
a module that uses RCU callbacks should call rcu_barrier() before
unloading, because synchronize_rcu() does not ensure that all RCU callbacks
have actually completed, only that a grace period has elapsed.

datapath: Always call dp_process_received_packet() with BHs disabled.

dp_process_received_packet() was assuming that bottom-halves were disabled,
but this was not true where it was called from dp_dev_do_xmit().

Allow, add comments documenting synchronization.

datapath: Omit sysfs-specific data when sysfs is not enabled or not supported.

This saves a few bytes of memory but it also makes it clear to the reader
what data is used for what.

datapath: Omit SNAT-specific data when SNAT is not enabled.

This saves a few bytes of memory but it also makes it clear to the reader
what data is used for what.

brcompatd: Log high-level actions and their results.

brcompatd did not log the addbr, delbr, addif, and delif actions that it
was taking.  This commit adds that logging.

cfg-mod: Add --changes option for logging configuration changes.

This makes it a lot easier to see what actually changed.

cfg-mod: Make --query print all values, not just those that are valid keys.

A "key" has a strict syntax, so calling cfg_get_all_keys() will discard
all the values that don't have that syntax.

cfg: Log changes to config, not whole config, in cfg_read().

The configuration file is re-read on a regular basis by brcompatd and
vswitchd in practice.  When debug-level logging is enabled on the cfg
module, it was logging the entire config file each time.  Not only is this
a waste of log-file space, it's difficult for humans to see what actually
changed, if anything.

So this commit changes cfg_read() to log a diff instead of the whole config
file.

cfg: Improve comment.

Only send NetFlow notifications for IP traffic.

NetFlow only supports exporting information about IP.  We were sending a
notification for any flow that expired, which included non-IP packets.
This would generate NetFlow messages with nearly all fields set to zero.
Now, we only send NetFlow for packets that are IP.  (Bug #1256)

Remove the ChangeLog since it is no longer relevant for OpenVSwitch.

It might make perfect sense to start a new file here for OpenVSwitch, but
the first item should be something like "1 June 2009: Initial public
release".

Remove spanning tree documentation, since STP doesn't work right now.

Update OpenFlow tcpdump patch to work with latest code.

With some of the recent (and not so recent) changes to the source code,
the OpenFlow patch to tcpdump came out of sync.  This brings it back so
it works again.

Rename strlcpy to ovs_strlcpy.

If strlpy is not defined on the build system, we build our own and added
it to the OpenVSwitch library.  Unfortunately, programs that link
against the library may do the same thing, and there will be a name
conflict.  This renames our implementation to prevent these linking errors.

Rename the project to OpenVSwitch and change version number to 0.90.0.

The Debian packages have not been renamed yet, since they need plenty of
other work at the moment too.

datapath: Remove hardware table support.

This support was broken anyhow.  We have no immediate plans to fix it, so
it's better not to claim to support it.

datapath: Compare entire flow during lookup, not just first 4 or 8 bytes.

The size of a pointer is not the size of the referent.
Only God knows how much havoc this was wreaking.

(The change in dp_table_lookup is for conformance with kernel style only.)

datapath: Make sure that the "reserved" byte in user-provided flow is zero.

Otherwise we could return a "false negative" lookup result to the user.
(This is not known to fix any real bug; for it to do so, there would have
to be userspace code that doesn't initialize the "reserved" byte, but I
don't know of any.)

Fix complaint from "make distcheck" about failing to clean cfg-mod.8.

datapath: Remove support for Linux 2.4.

vswitch: Restore MAC learning for broadcast ARP replies on bonds.

Bonding has a special exception for MAC learning: don't learn from packets
on bonded ports if we already have learned it on another port.  This is
because packets sent out one port can be received on the other, which would
cause us to learn incorrect locations.

But we need to make an exception for broadcast ARP replies, which indicate
that the MAC in question has moved to another switch.  Before commit
76fdb7e57 "Implement OFPP_NORMAL action in secchan and hook into vswitchd"
we did so, and this commit restores that behavior.

vswitch: Eliminate dead code.

The bridge had a flow_idle_time member that was set to a constant value
and never modified.  This commit removes it.

(secchan is now responsible for configuring the flow idle time, so it is
not desirable to revive this member.)

Add support for coverage counters.

This commit implements a simple form of coverage instrumentation.  Points
in source code that are of interest must be explicitly annotated with
COVERAGE_INC.  The coverage counters may be logged at any time with
coverage_log().

This form of coverage instrumentation is intended to be so lightweight that
it can be enabled in production builds.  It is obviously not a substitute
for traditional coverage instrumentation with e.g. "gcov", but it is still
a useful debugging tool.

secchan: When listing flows, uninstall rules that shouldn't be installed.

To implement flow expiration, secchan periodically queries all the flows
in the datapath flow table.  Until now, it has then uninstalled flows that
do not have corresponding rules at all.  It has not uninstalled flows that
do have rules that are not supposed to be installed.  This commit makes it
also uninstall the latter.

(This is not known to fix any real problem.  It is only for completeness.)

secchan: Reinstall flows deleted externally.

If something external to secchan deletes flows from the datapath (e.g.
the administrator runs "dpctl dp-del-flows") then until now secchan would
switch all of those packets manually, using dpif_execute().  Better
behavior is to reinstall the flow.  This commit implements that.

datapath: Generalize flow creation and modification.

The ODP_FLOW_ADD and ODP_FLOW_SET_ACTS datapath commands can be usefully
generalized based on whether they should be allowed to create or modify
flows, or both, and whether they reset flow statistics when they modify
an existing flow.  This commit does so by merging them into a single
ODP_FLOW_PUT command and adding a set of flags.

In particular this is needed to allow flows to be reinstalled if it is
uncertain whether they have been externally deleted (e.g. with "dpctl
dp-del-flows") without requiring first reading the flow table (as
handle_odp_msg() wants to do), and to replace a flow's actions and reset
its statistics without first deleting it (as rule_update_actions() wants
to do).

Also renames some other datapath commands, for naming consistency.

Also adapts userspace to these changes.

secchan: Honor OFPPC_NO_RECV, OFPPC_NO_RECV_STP, OFPPC_NO_FWD.

The refactoring of secchan and the kernel module dropped support for these
(required) OpenFlow port flags.  This commit reimplements them.

secchan: Don't let queued packets exhaust memory.

The ofproto code was queuing OpenFlow messages to connections without
limiting the maximum number that could be queued at a time.  Thus, the
backlog could grow without bound and exhaust all system memory.

This commit introduces a cap on the maximum number of queued messages
in two different categories: packet-in messages and replies to OpenFlow
requests.

secchan: Fix TCP flags and IP TOS tracking for packets sent from userspace.

secchan: Fix flow statistics tracking.

Updates of flow statistics have been ad hoc and somewhat broken for some
time now.  This commit makes them much more systematic and more likely
to be correct.

secchan: Clean up and simplify handle_odp_msg().

secchan: Factor common code into new function rule_update_actions().

rule_update() was only called in two places, and each time it was done
in the same way, so factor this out into a single new function
rule_update_actions().

secchan: Optimize no-change case in modify_flow().

secchan: Factor common code into rule_remove().

Several pieces of code were calling rule_uninstall(), classifier_remove(),
then rule_destroy() in sequence.  Factor this out into a helper function.

secchan: Factor common code into new function rule_insert().

This is primarily a code cleanup.  It also fixes a corner case for
statistics that formerly was properly handled in add_flow() but not in
ofproto_add_flow().