xenserver:  Warn when upgrading OVS on a bridged system.

ovsdb-idl: Suppress "delete" operations for garbage-collected tables.

Deciding what delete operations to issue on garbage-collected tables has
been a bit of a difficult issue for ovs-vsctl.  When garbage collection was
introduced in commit c5f341a "ovsdb: Implement garbage collection",
ovs-vsctl did not issue any deletions for these tables at all.  As a side
effect, ovs-vsctl did not notice that records were going to be deleted.
That meant that when multiple commands were issued in one ovs-vsctl run,
ovs-vsctl could get confused by apparent duplicate records that did not
in fact exist.  Commit 28a14bf "ovs-vsctl: Back out garbage collection
changes" fixed the problem by putting all of the explicit deletions back
into ovs-vsctl.

However, adding these explicit deletions had the price that it then became
(again) impossible to use ovs-vsctl commands to delete duplicates, for
example to use "ovs-vsctl del-br" to delete a bridge that points to the
same Port records that some other Bridge record also does.  This commit
makes that possible again, by implementing a compromise:

    * Internally, ovs-vsctl deletes the records that it believes should be
      deleted.

    * ovsdb-idl suppresses the deletions when it makes the RPC call into
      the database server.

Bug #5358.
Reported-by: Henrik Amren <henrik@nicira.com>

tests: Unit test autopath via ovs-ofctl.

This patch adds test designed to verify the correctness of the
parsing function introduced with the autopath action.

pcap: Silence warnings about fwrite(3) return value being ignored.

debian: Do not call obsolete command "ovs-ofctl status" in ovs-bugtool.

This command was removed in commit 9b45d7f5d (ofproto: Get rid of archaic
"switch status" OpenFlow extension) but I didn't notice that ovs-bugtool
uses that command and forgot to remove it at the time.

Bug #5360.
Reported-by: Michael Mao <mmao@nicira.com>
Reported-by: Keith Amidon <keith@nicira.com>

Release Open vSwitch 1.1.0

autopath: Create the autopath action.

The newly created autopath action will be the way OpenFlow
interacts with the existing bonding infrastructure.

dpif-linux: Avoid logging error on ENOENT in dpif_linux_is_internal_device().

ENOENT can be returned if the kernel module isn't loaded.  If that's the
case then we've already logged that and there's no point in logging it
again.

dpif-linux: Avoid segfault on netdev_get_stats() without kernel module.

netdev_linux_get_stats() calls into netdev_vport_get_stats(), which in
turn attempts a transaction on genl_sock.  If the kernel module isn't
loaded, then genl_sock won't be there, and in any case there's nothing that
guarantees that it's been initialized yet.

This fixes the problem by ensuring that dpif_linux was initialized properly
before attempting a transaction on genl_sock.

Reported-by: Aaron Rosen <arosen@clemson.edu>

netdev-linux: Fix netdev_send() to tap device.

Commit 76c308b50d3 "netdev-linux: Support 'send' for netdevs opened with
NETDEV_ETH_TYPE_NONE" broke sending packets to tap devices.  Sending a
packet to a tap device with an AF_PACKET socket causes that packet to be
looped back to be received on the tap device again, which obviously isn't
useful.

netdev-linux: Fix blocking while sending packets.

The AF_PACKET socket needs to be in nonblocking mode or trying to send
a packet can take a long time.

netdev-linux: Avoid "cleverness" in swap_uint64().

Obviously correct code is easier on everyone.  As the C FAQ says:

20.15c: How can I swap two values without using a temporary?

A: The standard hoary old assembly language programmer's trick is:

a ^= b;
b ^= a;
a ^= b;

But this sort of code has little place in modern, HLL
programming.  Temporary variables are essentially free,
and the idiomatic code using three assignments, namely

int t = a;
a = b;
b = t;

is not only clearer to the human reader, it is more likely to be
recognized by the compiler and turned into the most-efficient
code (e.g. using a swap instruction, if available).  The latter
code is obviously also amenable to use with pointers and
floating-point values, unlike the XOR trick.  See also questions
3.3b and 10.3.

bridge: Monitor fewer OVSDB columns.

By omitting columns that ovs-vswitchd does not use at all, and omitting
alerts for columns that ovs-vswitchd writes to but does not read, we can
save CPU time and bandwidth.

ovsdb-idl: Fix atomicity of writes that don't change a column's value.

The existing ovsdb_idl_txn_commit() drops any writes that don't change a
column's value from what was last reported by the database.  But this isn't
a valid optimization, because it breaks the atomicity of transactions.
Suppose columns A and B initially have values 1 and 2.  Client 1 writes
value 1 to both columns in one transaction.  Client 2 writes value 2 to
both columns in another transaction.  The only possible valid results for
any serial ordering of transactions are 1,1 or 2,2.  But if both clients
drop writes to columns that they have not modified, then 2,1 also becomes
possible (because client 1 just writes to B and client 2 just writes to A).

However, for write-only columns we can optimize this out because the IDL
can assume it is the only client writing to a column.

Found by inspection.

datapath: Update netdev_frame_hook() for 2.6.39 rx handler API change.

netdev_rx_handler_register() changed the type of the skb argument to the
callback function as well as the return type. Special-case
netdev_frame_hook() to do the right thing on 2.6.39 and later.

Signed-off-by: Andrew Evans <aevans@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

cfm: Fix broken fault logic.

If the last receive time for a remote MP was before the last fault
check, the CFM code would not declare a fault.  This is, of course,
exactly the wrong response.

Bug #5303.

bridge: Run once before configuring CFM.

CFM configuration requires the ofproto_run function to have been
executed at least once in order to guarantee that the relevant
ports exist.

Bug #5303.

Update top-level documentation to bring it up to date with latest features.

dpif-linux: Choose port numbers more prudently.

Before this patch the kernel chose the lowest available number for
newly created datapath ports.  This patch moves the port number
choosing responsibility to user space, and implements a least
recently used port number queue in an attempt to avoid reuse.

Bug #2140.

bond: Choose slaves randomly.

When the bonding library encounters a flow it hasn't seen before,
it assigns it to the active slave and waits for load balancing to
move it to a more appropriate place.  This commit causes it to
first attempt a random slave.

daemon: Avoid races on pidfile creation.

Until now, if two copies of one OVS daemon started up at the same time,
then due to races in pidfile creation it was possible for both of them to
start successfully, instead of just one.  This was made worse when a
previous copy of the daemon had died abruptly, leaving a stale pidfile.

This commit implements a new pidfile creation and removal protocol that I
believe closes these races.  Now, a pidfile is asserted with "link" instead
of "rename", which prevents the race on creation, and a stale pidfile may
only be deleted by a process after it has taken a lock on it.

This may solve mysterious problems seen occasionally on vswitch restart.
I'm still puzzled by these problems, however, because I don't see anything
in our tests cases that would actually cause two copies of a daemon to
start at the same time, which as far as I can see is a necessary
precondition for the problem.

daemon: Integrate checking for an existing pidfile into daemonize_start().

Until now, it has been the responsibility of an individual daemon to call
die_if_already_running() at an appropriate time.  A long time ago, this
had to happen *before* daemonizing, because once the process daemonized
itself there was no way to report failure to the process that originally
started the daemon.  With the introduction of daemonize_start(), this is
now possible, but we haven't been taking advantage of it.

Therefore, this commit integrates the die_if_already_running() call into
daemonize_start() and deletes the calls to it from individual daemons.

daemon: Tolerate EINTR in fork_and_wait_for_startup().

It seems possible that a signal coming in at the wrong time could confuse
this code.  It's always best to loop on EINTR.

Log anything that could prevent a daemon from starting.

If a daemon doesn't start, we need to know why.  Being able to
consistently consult the log to find out is helpful.

util: New function ovs_fatal_valist().

This commit adds a few initial users but more are coming up.

signals: New function signal_name().

This will acquire a new user in an upcoming commit.

type-props: New macro for estimating length of a decimal integer.

Add a few more users for ovs_retval_to_string().

vlog: Use PRINTF_FORMAT macro from compiler.h.

PRINTF_FORMAT is more portable than raw __attribute__.  We use it
elsewhere, I don't know why it wasn't used here.

stream-ssl: Use out_of_memory() to abort due to lack of memory.

This matches what xmalloc() does.  It will be handled better by a monitor
process (created with --monitor), which will restart the child instead of
exiting.

xenserver: Fix up iface-id after it changes or disappears too.

ovs-xapi-sync is supposed to always keep external-ids:iface-id up to date,
but in fact it would only set it when an interface initially appeared.  If
the interface quickly disappeared and reappeared, then it failed to notice
that iface-id had changed or disappeared.  This happens in practice on
Citrix XenServer, where VM "tap" devices often disappear and then reappear
almost immediately during VM boot.  This commit fixes the problem.

This also fixes the similar problem for external-ids:bridge-id in Bridge
records.  Bridges aren't ordinarily destroyed and re-created quickly, so
this problem might never have manifested in practice for bridges.

Many thanks to Reid Price <reid@nicira.com> for identifying the problem
and supplying an initial fix.

Bug #5239.
Reported-by: Henrik Amren <henrik@nicira.com>

bridge: Avoid partitioning the dst set.

Scanning the dsts twice seems may be a little more efficient than
partitioning it, and it now seems more straightforward to me.

bridge: Separate mirroring logic from forwarding logic.

In my opinion this is easier to understand than the way that these
two logically separate steps were previously entangled.

bridge: Change "struct dst" from containing a dp_ifidx to a struct iface *.

The following commit will need to iterate over a set of "struct
dst"s, obtaining the iface for each.  It could look them up using
the hash table that indexes over dp_ifidx, but it's easier if we
simply store the iface pointer directly.

bridge: Get rid of 'n_ifaces' member of struct port.

If it doesn't exist then it can't have the wrong value.

bridge: Break bonding implementation out into library.

This removes over 1000 lines of code from bridge.c and will make it
easier to moving the bonding implementation into ofproto as part of
future development.

bridge: Simplify and clean up bond slave enable/disable.

The code that enables and disables bond slaves was a bit of a mess:

    * Disabling a slave could recursively enable a different slave.

    * Processing a flow could enable a slave.

This commit gets rid of both of those properties, which made it difficult
to reason about the code paths along which slaves would be enabled and
disabled.

Bug #5121.

bridge: Drop obsolete comment.

It's quite clear that we don't support double tagging now.

bridge: Improve comment.

bridge: Change Ethernet address array from 8 bytes to ETH_ADDR_LEN bytes.

I don't know why this was declared as 8 bytes long but I only see 6
actually in use, as one would expect of an Ethernet address.

bridge: Avoid redundant dpif_flow_flush().

ofproto_create() also calls dpif_flow_flush() very soon afterward.  This
seems more clearly in ofproto's domain anyhow.

lacp: Encapsulate configuration into new structs.

This makes it easier to pass configuration between modules.

bridge: Drop LACP configuration members from struct iface and struct port.

There's no reason that I can see to maintain this information in struct
port and struct iface.  It's redundant, since the lacp implementation
maintains the same information.

lacp: Remove unneeded forward references from header file.

lacp: Fix misleading prototype for lacp_configure().

Only the first 6 bytes (ETH_ADDR_LEN) of the 'sys_id' argument are used,
but the prototype declared it as an array of 8 bytes.  This has no effect
on the generated code--the declared size of an array parameter is
irrelevant--but it is misleading.

Also, add 'const' since the array is not modified.

vswitch: Improve schema documentation.

tag: New function tag_set_union().

list: New functions list_is_singleton(), list_is_short().

packets: Reserve headroom for VLAN header in eth_compose(), snap_compose().

This allows callers to add a VLAN header to the composed packet and send
it out on a VLAN without copying the whole payload.

packets: New function eth_set_vlan_tci(), from dpif-netdev.

This will soon be used in the upcoming bond library.

packets: Fix potential use-after-free in compose_benign_packet().

The second call to ofpbuf_put_zeros() could cause the 'eth' pointer to
be invalidated.

It appears that this does not fix a real bug because the existing callers
all preallocate 128 bytes of tailroom, but the interface doesn't document
that requirement.

packets: New function snap_compose(); rename compose_packet() for consistency.

The following commit will introduce the first use of snap_compose().

netdev-vport: Implement 'send' function.

The new implementation of the bonding code expects to be able to send
packets on netdevs using netdev_send().  This implements it.

netdev-linux: Support 'send' for netdevs opened with NETDEV_ETH_TYPE_NONE.

The new implementation of the bonding code expects to be able to
send packets using netdev_send().  This makes it possible for
Linux netdevs.

ovsdb-server: Avoid intermittent test failures due to lockfile log message.

Sometimes lockfile will emit a message saying that it took a little while
to get the lock, which caused spurious test failures.  This commit
suppresses the message.  With this change, I was able to run these tests
continuously for some time without failures.

This was a bug in the testsuite, not in the code under test.

cfm: Allow time for CCM reception after cfm_configure();

Before this (and the previous) patch, whenever cfm_configure was
called it would set the fault_timer to expired.  Thus, the next
call to cfm_run would notice a lack of CCM reception and trigger a
faulted status.  This is a bug in and of itself, but normally would
not be a big deal because cfm_configure should only be called
infrequently (when the database changes).  However due to an
unrelated bug, cfm_configure() was getting called approximately once
per second.  This resulted in all monitors showing faults all of
the time.

This patch fixes the problem by not expiring the timer at
cfm_configure().  Instead it gives it the appropriate
fault_interval amount of time to miss heartbeats.

Bug #5244.

cfm: cfm_configure() only update when necessary.

Calling cfm_configure often could cause timers to be reset
resulting in unexpected behavior.  This commit only updates when
cfm configuration actually changed.

Bug #5244.

ovsdb: Truncate bad transactions from database log.

When ovsdb-server reads a database file that is corrupted at the
transaction level (that is, the transaction is valid JSON and has the
correct SHA-1 hash, but it does not describe a valid database transaction),
then ovsdb-server should truncate it and overwrite it by valid
transactions.  However, until now, it didn't.  Instead, it would keep the
invalid transaction and possibly every transaction in the database file
(depending on in what way the transaction was invalid), which would just
cause the same trouble again the next time the database was read.

This fixes the problem.  An invalid transaction will be deleted from the
database file at the first write to the database.

Bug #5144.
Bug #5149.

ovsdb: Check that ovsdb-server truncates corrupted database logs.

When ovsdb-server reads a database that is corrupted at the log level
(that is, when ovsdb_log detects the corruption by checking the SHA-1 hash
of the record or JSON parser error reporting), then writing to the database
should discard the corrupted data and thereby fix the problem for future
ovsdb-server runs.

This already worked OK.  This just adds an extra test.

ovsdb: Raise database corruption log level from warning to error.

If there's database corruption then it indicates that something went wrong,
e.g. the machine was powered-off by power failure.  It's definitely
something that the admin should know about.  This sounds like an error to
me, so use that log level.

ovsdb: Force strong references to non-root tables to be persistent.

When a strong reference to a non-root table is ephemeral, the database log
can contain inconsistencies.  In particular, if the column in question is
the only reference to a row, then the row will be created in one logged
transaction but the reference to it will not be logged (because it is
ephemeral).  Thus, any later occurrence of the row later in the log (to
modify it, to delete it, or just to reference it) will yield a transaction
error and reading the database will abort at that point.

This commit fixes the problem by forcing any column with a strong reference
to a non-root table to be persistent.

The change to ovsdb_schema_from_json() looks bigger than it really is: it
just swaps the order of two operations on the schema and updates their
comments.  Similarly for the update to ovs.db.DbSchema.__init__().

Bug #5144.
Reported-by: Sujatha Sumanth <ssumanth@nicira.com>
Bug #5149.
Reported-by: Ram Jothikumar <rjothikumar@nicira.com>

ovsdb-types: Fix bug in ovsdb_base_type_is_ref().

This function only worked properly inside OVSDB itself, because that is
the only place where the 'refTable' member of ovsdb_base_type is set.
Both inside and outside OVSDB, 'refTableName' is set for reference types,
so it's better to check for that.

This doesn't fix any existing bug because this function was only used
inside OVSDB until now.

ovs-brcompatd: Convert svecs to ssets.

bridge: Convert svecs to ssets.

ovs-openflowd: Use sset in place of svec.

Also deletes svec_split() since this was the only user.

ofproto: Change string sets in interface from svec to sset.

ovsdb-parser: Use sset instead of svec for detecting unused members.

Should be slightly cheaper than sorting a list (O(n) vs. O(n lg n)).

netdev: Use sset instead of svec in netdev interface.

dpif: Use sset instead of svec in dpif interface.

Convert shash users that don't use the 'data' value to sset instead.

In each of the cases converted here, an shash was used simply to maintain
a set of strings, with the shash_nodes' 'data' values set to NULL.  This
commit converts them to use sset instead.

sset: New data type for a set of strings.

Many uses of "shash" or "svec" data structures really call for a "set of
strings" data type.  This commit introduces such a data structure.  Later
commits convert inappropriate uses of shash and svec to use sset instead.

learning-switch: Remove dead assignment.

ovs-ofctl: Remove dead assignment.

netdev-linux: Remove dead assignments.

ofproto: Use new timer library.

cfm: Use new timer library.

lacp: Use new timer library.

lib: Create new timer library.

Scattered throughout the code base we use long integers to
implement timers.  When the result of timer_msec() is greater than
the time stored, we preform some action.

This commit creates a new timer library intended to replace these
manually managed timers.  Code using the timer library will be more
obviously correct, and more consistent with other code using the
library.

cfm: Fix appctl negative report.

When the cfm module has never received a bad CCM message, it would
report a negative time.

bridge: Destroy ofproto before deleting dpif.

Otherwise the ofproto's attempt to flush flows from the dpif will fail with
an error, causing a spurious log message.

connmgr: Fix wild pointer dereference in connmgr_broadcast().

Fixes a segfault when fail-open goes into effect.

ofproto: Fix order of destruction in ofproto_destroy().

ofproto_flush_flows() calls into the connmgr (via connmgr_flushed()) so
it must be called before destroying the connmgr to avoid a use-after-free
error.

Bug #5231.
Reported-by: Krishna Miriyala <krishna@nicira.com>

datapath: Update for changes in 2.6.39-rc1

Update for flowi4 and ip_route_output_flow() changes
in 2.6.39-rc1.

Signed-off-by: Simon Horman <horms@verge.net.au>
[Jesse: drop redundant unlikely() from IS_ERR()]
Signed-off-by: Jesse Gross <jesse@nicira.com>

ofpbuf: Make ofpbufs initialized with ofpbuf_use_stack() not expandable.

My original intent for ofpbufs initialized with ofpbuf_use_stack() was that
the caller was providing enough space on the stack for the common case,
with dynamic allocation as a fallback.  But in practice, none of the
clients actually do this.  Instead, all of them actually know that the
stack-allocated buffer is big enough and, since they don't want to bother
with having to call ofpbuf_delete(), they instead assert that the buffer
wasn't reallocated.

Since this is a bit of a pain, this commit changes the semantics of
ofpbuf_use_stack() to be that the stack-allocated buffer cannot be
reallocated at all.  This is more convenient for the existing clients.

odp-util: Replace ODPUTIL_FLOW_KEY_U32S by new struct odputil_keybuf.

This seems to me to better encapsulate the inherent ugliness.

datapath: Fix mysterious GRE-over-IPSEC problems.

We've noticed that packets that go up to userspace and then back down to
the kernel and then enter an GRE tunnel that is then ESP encapsulated
by IPSEC end up with a bad ESP "next header" value: it ends up as zero
instead of 0x2f (IPPROTO_GRE).  Just putting packets from userspace into
a freshly allocated skb fixes the problem.

The underlying problem that this works around is still unknown.

Signed-off-by: Ben Pfaff <blp@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>
Bug #4769.

mac-learning: Fix mac_entry_is_grat_arp_locked().

The lock is asserted if its expiration time has not arrived yet, not the
reverse.

ofproto: Get rid of send_port_status() trivial wrapper function.

ofp-util: Remove flow_stats_iterator, flows_stats_first(), flow_stats_next()

Nothing uses these anymore.  ofputil_decode_flow_stats_reply() is a better
alternative.

timeval: Only log poll intervals longer than 50 ms.

When poll interval-based logging was introduced a long time, we were
actively interested in looking at almost every long poll interval.  But
these days, with OVS working rather well, with pretty good latency, most
of the messages are red herrings that bother some administrators and
provoke false reports.  So this commit suppresses all but the most
egregious long poll intervals that may in fact be worth looking at.

NIC-366.

AUTHORS: Add Gaetano Catalli <gaetano.catalli@gmail.com>.

Fix compilation of openvswitch-1.1.0pre2 on FreeBSD-8.1

ofproto: Factor OpenFlow connection management into new "connmgr".

This removes a lot of code from ofproto.c and makes the ofproto code
easier to understand.

ofproto: New function ofconn_pktbuf_retrieve().

This helps to increase the level of abstraction of "struct ofconn",
in preparation for moving it from ofproto.c into a new file.

ofproto: Add functions to get and set ofconn type and role.

This helps to increase the level of abstraction of "struct ofconn",
in preparation for moving it from ofproto.c into a new file.

ofproto: Add ofconn_get_miss_send_len(), ofconn_set_miss_send_len().

This helps to increase the level of abstraction of "struct ofconn",
in preparation for moving it from ofproto.c into a new file.

ofproto: Add ofconn_get_flow_format(), ofconn_set_flow_format().

This helps to increase the level of abstraction of "struct ofconn",
in preparation for moving it from ofproto.c into a new file.

ofproto: Use ofconn_send_reply() for sending OpenFlow replies.

This helps to increase the level of abstraction of "struct ofconn",
in preparation for moving it from ofproto.c into a new file.

ofproto: Introduce ofconn_get_ofproto() accessor function.

This helps to increase the level of abstraction of "struct ofconn",
in preparation for moving it from ofproto.c into a new file.

ofproto: Move hton_ofp_phy_port() to ofp-util.

This removes some code from ofproto.c that doesn't really seem to
belong there to begin with.