openflowd: Update for changes to dpif and netdev.

Openflowd had been a bit neglected as changes were made to the dpif
and netdev interfaces over time.  This brings it up to date with all
the latest changes.

dpif: Update dpif interface to match netdev.

This brings over some features that were added to the netdev interface,
most notably the separation between the name and the type.  In addition
to being cleaner, this also avoids problems where it is expected that
the local port has the same name as the datapath.

ovs-vsctl: Drop redundant {port,iface}-{set,get}-external-ids commands.

These commands can be implemented just as well, and in a more
general-purpose way, using the "set", "remove", and "get" commands.

The br-{get,set}-external-ids commands have slightly more specialized
behavior and so we can't drop them (yet).

ovsdb-idl: Make rows inserted by transaction appear during table iteration.

ovs-vsctl: Update --help message.

ovs-vsctl: Add "destroy" command.

ovsdb-idl: Export ovsdb_idl_txn_delete() and ovsdb_idl_txn_insert().

ovs-vsctl wants to use these functions directly, so make them available
through the ovsdb-idl public header instead of only through the private
one.

Also, change the prototypes to make them usable without casts.

ovs-vsctl: Add new "create" command.

ovs-vsctl: Add --force option to database commands to override safety checks.

ovs-vsctl: Fix formatting in manpage.

The stray .TP was screwing up the right margin for the whole rest of the
manpage.  The .STs were just adding too much vertical space.

ovs-vsctl: Add "remove" and "clear" commands.

ovs-vsctl: Make parsing functions return error instead of aborting.

The upcoming "remove" command for ovs-vsctl wants to try parsing an
argument two different ways.  This doesn't work if a parse error always
aborts immediately.  This commit fixes the problem, by making a parsing
failure pass up an error for higher layers to deal with instead of aborting
immediately.

This commit should have no user-visible effect.

ovs-vsctl: Make the "list" format more uniform.

ovs-vsctl: Score perfect matches higher than ones that differ in case.

Before, both "xY_z" and "xy-z" were considered equally good matches for
"xy-z", but obviously the latter is a much better match.  This commit fixes
the problem (which was found by inspection).

ovs-vsctl: Fix uninitialized variable.

When querying a row we could return an uninitialized variable in
some cases if we can't find what we are looking for.

bridge: Properly read NetFlow parameters.

When reading the NetFlow engine type and ID from the config database
we weren't dereferencing the variables.

datapath: Fix compilation on newer old-style Xen kernels.

Some ports of Xen (such as Debian Lenny's) use the old style
Xen checksumming fields on newer kernels.  Normally the code that
deals with those fields isn't used at all on newer kernels.  This
updates the checksumming pointer code with some changes from Lenny
Xen since it is cleaner and works well with our existing compatibility
layer.

CC:pspreadborough@comcast.net

datapath: Support CHECKSUM_PARTIAL on older kernels.

On older kernels we would not correctly update partial checksums
because it was difficult to determine the type of checksum.  This
uses some hints to infer the correct type of checksum so that it
can be updated.  It also allows us to correctly define
CHECKSUM_PARTIAL, which is important for other components.

datapath: Transport port is not part of psuedoheader.

While updating the checksum after changing the transport port,
we indicated that this was a change to the psuedoheader.  Since
this is not the case, it could produce an incorrect checksum.

datapath: Handle packets with precomputed checksums.

On older kernels (< 2.6.19) CHECKSUM_HW can mean either that the
checksum has already been computed by hardware or that the checksum
needs to be computed by hardware, depending on whether we are on
the transmit or receive path.  Unfortunately since we are in the
middle of these two paths it is impossible to tell which is the
case.  Code after us assumes that CHECKSUM_HW means that the
checksum needs to be computed and will panic if there already is
a checksum.  On these kernels we mark these packets as CHECKSUM_NONE
before handing them off.

Without this change using certain NICs will cause panics.

ovs-vsctl: Add missing columns.

bond_updelay and flood_vlans were missing from the list of
configurable columns.

Fix references to vswitch-idl.ovsschema to refer to vswitch.ovsschema.

daemon: Make --monitor process change its process title.

When --monitor is used, administrators sometimes become confused about the
presence of two copies of each process.  This commit attempts to clarify
the situation by making the monitoring process change its process name, as
seen in /proc/$pid/cmdline and in "ps", to clearly indicate what is going
on.

CC: Dan Wendlandt <dan@nicira.com>

Fix "make distcleancheck" by deleting the nicira-ext.h stamp file too.

tests: Fix ovsdb tests.

This code was updated to use the new name of the schema, but I accidentally
left in the old code to check for the old schema's name.  This worked fine
in my own tests, because I still have a copy of that file sitting around,
but fails on "make distcheck" or a clean source dir.

So this commit deletes the code that checks for the old schema file.

ovsdb: Require column type "min" value be 0 or 1.

A "min" value greater than 1 is problematic for the database.  There is no
reasonable way to synthesize a default value for such a column: keys in a
set or map must unique, so the database cannot, say, simply set a set of
3 or more integers to [0, 0, 0].

This should have no effect on the vswitch in practice because it does not
have any columns that require more than one element.

ovs-vsctl: Add commands for low-level database manipulation.

The new "get", "list", "set", and "add" commands provide lower-level
access to the vswitch database than the other ovs-vsctl commands, but they
are more convenient than using ovsdb-client directly.

This commit deserves several enhancements, but users are clamoring for
some kind of interface, so this is a starting point.

ovsdb-datum: Add functions for parsing and formatting atoms, data.

These functions provide an alternative to JSON parsing and formatting that
is more human-friendly (and shorter).

These will be used in an upcoming commit to enhance ovs-vsctl.

ovsdb-data: Add some more functions for dealing with "struct ovsdb_datum".

This commit refactors the functions for working with "struct ovsdb_datum",
adding and exposing some more operations for ovs-vsctl to use in an
upcoming commit.

ovsdb-idl: Allow clients to modify records without using structs.

The IDL is intended to allow clients easier access to data in the database
by providing an extra layer of abstraction.  However, ovs-vsctl needs to
also provide generic access to database tables, rows, and columns, and
until now the IDL has not allowed this.  In particular, there was no way
to modify the value of a database column by providing a "struct
ovsdb_datum" with the new value and then have that reflected in the IDL
structs, although the other direction was possible.

This commit fixes that problem, which requires a bit of refactoring of the
IDL layer.  It also exposes the interface for iterating through table
records to clients directly, by moving it from the "private" IDL header to
the public one.

json: New function json_to_ds().

Some upcoming code wants to serialize JSON into a "struct ds" dynamic
string buffer, so expose an interface to do this.

This commit doesn't change much, but it renames some functions internal
to json.c to make the naming more consistent.

Also, make jsonrpc_log_msg() use this new function, since it is a more
straightforward way to do what it wants.

json: Export function to parse an individual JSON string.

The JSON syntax for strings is very reasonable.  An upcoming commit will
have a need for a string parser, so make the JSON string parser available
for that.

Also, this change improves the error message for strings that end in the
middle of a \u sequence, so update the tests to match.

ovsdb-idl: Avoid redundant memset.

ovsdb-idl: Fix use-after-free error in ovsdb_idl_txn_delete().

Cleanly separate IDL annotations from OVSDB schema information.

Until now, the OVSDB IDL annotations have been glommed together with the
schema information in a single file, and then we've used ovsdb-idlc to
extract the schema from that file.  This commit reverses the process:
the schema and the annotations are stored separately and then glommed
together as necessary at build time.

This new arrangement has a few advantages:

    - We can now easily have multiple different sets of IDL annotations
      for a single OVSDB schema.  For example, some users may not need
      access to columns that other users do.

    - Bugs in ovsdb-idlc cannot screw up the underlying schema (as shown
      by a recent commit).

vswitch: Remove redundant "internal" column from Interface table.

This column's function is now served by the "type" column, which is set
to "internal" to mark an interface as internal.

vswitch: Fix types of NetFlow columns in db schema.

This bug was masked by the translation done by ovsdb-idlc, which doesn't
fully validate its input.  In particular, it ignores fields that it doesn't
know about and drops them when it does translation, so nothing later can
find the problem.

An upcoming commit will ensure that it can't happen again, by dropping the
ovsdb-idlc translation step.

ovsdb-idlc: With "doc" command, output tables and columns alphabetically.

Until this commit, tables and columns in output were output in random
order (according to the ordering of Python's internal hash table).
Alphabetical order makes more sense.

Thanks to Reid Price for useful Python tips.

tests: Prefer $(VAR) over @VAR@ in Makefiles.

The Autoconf documentation recently started recommending $(VAR) over @VAR@,
so adopt this style.

Add build checks for portable OpenFlow structure padding and alignment.

This causes the build to fail with an error message if openflow.h contains
a structure whose members are not aligned in a portable way.

ovs-vsctl: Prevent uninitialized variable warning.

The compiler warns about next_cfg being uninitialized but in the cases
where it is unset we will never reach the point where it is used.  This
just sets next_cfg to 0 to stop the whining.

hash: Prevent warnings about strict aliasing rules.

Some versions of GCC complain about violations of strict aliasing
rules due to a cast between different pointer types.  This avoids
any aliasing by copying the value first.

mac-learning: Rename "non-learning VLANs" to "flood VLANs".

Usually positive names are better than negative ones.

Reimplement port mirroring configuration for database.

Tested only to the extent that it doesn't obviously break anything else.

netdev: Compare full arguments instead of hash for reconfigure.

We only reconfigure netdevs if the arguments have changed, which
was previously detected based on a hash.  This stores and compares
the full argument list to avoid any chance of missing changes due
to collisions.

netdev-linux: Use the netdev list of devices instead of cachemap.

We previously maintained a list of open devices inside of the
linux netdev.  Since the netdev library now maintains this list,
it is better to use that list instead of our own.

netdev-linux: Avoid potential issues with unset FD.

Never close the file descriptor if it is 0, since it is never a
valid FD in this context.  Also initialize the FD to -1 so that
it is never set to a valid but incorrect value.

Add ability to set controller for specific bridges

Some applications would prefer that the controller only be enabled for
a subset of bridges.  This commit introduces an alternative syntax for
the XAPI vSwitchController key to enable the specification of such a
configuration.

The implementation of the configuration is currently a hack.  The
problem is that some bridges (especially internal bridges) are only
created when a VIF is added to them.  This means that attempting to
set the controller on boot as we used to do won't work.  Ideally we
would should hook the creation of the bridge and set the controller at
that time.  However, in XenServer 5.5 I can't find an appropriate
place to hook to do so.

To meet immediate requirements, this commit hacks the startup-based
approach by spawning background processes that watch for the creation
of the bridge and set the controller when it becomes available.  We'll
have to replace it with a better and more robust solution ASAP.

netdev-linux: Properly store netdev_dev pointer for RTNL callbacks.

We were storing a struct netdev_dev_linux ** instead of a
netdev_dev_linux * in the cache map.  This prevented the cache
from being invalidated on changes such as link status.

rtnetlink: Fix typo in comments referencing rtnetlink_notifier_register()

netdev: Increase default ingress policing burst size

The default burst rate was 10Kb.  This increases it to 1000kb, since
we were having problems getting traffic through at 10kb.  A better value
probably exists between these two points, but that will require
additional experimentation.

idl: Gracefully handle destroying a transaction before receiving its reply.

If ovsdb_idl_txn_destroy() is called to destroy a transaction before its
reply has been received from the database server, then until now we would
drop the connection to the database when the reply actually arrived,
because we would have no record of that transaction ID any longer.

Notably, ovs-vswitchd does this: it "fires and forgets" database
transactions.  (Really, it should not do that, but that's a bigger commit.)

This commit fixes the problem by not dropping the database connection in
such a case.

This fixes an observed problem such that sometimes ovs-vsctl took a long
time to complete, which was because ovs-vswitchd was dropping its
connection to the database and backing off.

netdev-linux: Don't close(0) when closing an ordinary netdev.

Calling close(0) at random points is bad.  It means that the next call to
socket() or open() returns fd 0.  Then the next time a netdev gets closed,
that socket or file fd gets closed too, and you end up with weird "Bad
file descriptor" errors.

Found by installing the following as lib/unistd.h in the source tree:

#ifndef UNISTD_H
#define UNISTD_H 1

#include <stdlib.h>
#include_next <unistd.h>

#undef close
#define close(fd) rpl_close(fd)

static inline int rpl_close(int fd)
{
    if (!fd) {
        abort();
    }
    return (close)(fd);
}

#endif

Enable daemon monitoring and automatic restart by default.

Tested on a XenServer by running "kill -SEGV" on the daemon processes and
watching them restart automatically and by running plain "kill" and
watching them terminate normally.

daemon: Add support for process monitoring and restart.

daemon: Refactor code.

This commit should not change behavior, but it paves the way for
implementing --monitor in the following commit.

tests: New macro OVS_WAIT_WHILE.

For use by upcoming tests.

tests: Factor OVSDB_INIT out of OVS_VSCTL_SETUP for other tests to use.

New tests in upcoming commits will use this.

fatal-signal: After fork, clear hooks instead of disabling them.

Until now, fatal_signal_fork() has simply disabled all the fatal signal
callback hooks.  This worked fine, because a daemon process forked only
once and the parent didn't do much before it exited.

But upcoming commits will introduce a --monitor option, which requires
processes to fork multiple times.  Sometimes the parent process will fork,
then run for a while, then fork again.  It's not good to disable the
hooks in the child process in such a case, because that prevents e.g.
pidfiles from being removed at the child's exit.

So this commit changes the semantics of fatal_signal_fork() to just
clearing out hooks.  After hooks are cleared, new hooks can be added and
will be executed on process termination in the usual way.

This commit also introduces a cancellation callback function so that a
canceled hook can free resources.

unixctl: Avoid double error reporting.

All of these programs were re-reporting an error that
unixctl_server_create() had already reported.  There's no need for that.

unixctl: Improve error reporting.

The ovs_error() function is our standard way of reporting startup errors,
so use it.  (It also outputs the program name at the beginning of the
message.)

tests: Improve error reporting for timeval test failures.

netdev: Fix build for switchui.

xenserver: Give ovs-vsctl a bit more time to do its work

Creating bonds sometimes fails due to ovs-vsctl timing out.  This commit
increases the time interface-reconfigure gives ovs-vsctl from five to
twenty seconds.  We should investigate why it's taking ovs-vsctl so
long, but this helps for now.

netdev-linux: Cleanup tap netdev.

TAP devices need to be treated slightly differently from other other
devices because they cannot be opened multiple times.  Instead we
open them once and share the file descriptor.  This means that if
the netdev is opened multiple times one reader can drain the buffers
of another.  While this is a deviation from the normal convention,
it does not impact current or planned users.

In addition, this cleans up some confusion between the file
descriptor for tap devices versus other FD's.

gre: Add support for destroying GRE devices.

This allows GRE tunnel devices to be torn down on graceful exit
of vswitch and cleaned up on restart for non-graceful exits.

netdev: Fully handle netdev lifecycle through refcounting.

This builds on earlier work that implemented netdev object refcounting.
However, rather than requiring explicit create and destroy calls,
these operations are now performed automatically based on the referenece
count.  This is important because in certain situations it is not
possible to know whether a netdev has already been created.  A
workaround existed (which looked fairly similar to this paradigm) but
introduced it's own issues.  This simplifies and unifies the API.

ovs-vsctl: Add option to create fake iface when adding a bond

Some systems, such as XenServer, expect that bonds have their own interface.
This commit adds the ability to do that with the "--fake-iface" option
in ovs-vsctl's add-bond command.  It also has XenServer's
interface-reconfigure use it.

Part of solution to Bug #2376

gre: Workarounds for large packets over GRE

The first change is to not propagate the IP DF bit from the inner
packet to the outer packet.  Large TCP packets can get segmented
first which will set the DF bit.  However these segmented packets
might still be too large after the GRE header is added, requiring
fragmentation.

The second change is to raise the MTU of the GRE tunnel device.
This prevents packets from being dropped in the datapath before
they can be fragmented.  Since the datapath is layer 2 it does not
do any fragmentation and drops any packets that are too large.

Both of these are temporary workarounds that need to be addressed
more carefully in the future.

Bug #2379

ovs-vsctl: Don't mask timeout argument

ovs-vsctl supports the "--timeout" option, which specifies the amount
of time that the operation is allowed to take before a SIGALRM is
raised.  The code that parsed options had a local "timeout" that masked
the global one that was supposed to be set.

bonding: Use device names instead of Xen OpaqueRefs

When configuring the slaves of a bond, interface-reconfigure was
directly writing the Xen OpaqueRef as the name instead of first
converting it into a standard device name.

Bug #2377

ovsdb: Provide helper function to determine if IDL has ever connected

ovs-brcompatd: Don't consume CPU if can't connect to config db

When ovs-brcompatd can't connect to the database, the "ovs" variable
is never set.  The function "brc_recv_update" takes care of draining
brcompat kernel module's netlink messages.  When the netlink message
comes in to modify the bridge, that function never gets called, so a
netlink message always appears to be ready and we consume 100% CPU
looping.

With this commit, we log a warning and drop the request on the floor.

Bug #2373

ovsdb-client: Fix regression introduced with changes to daemonize().

daemonize() now closes the standard file descriptors, but ovsdb-client's
"monitor" command uses stdout even after daemonizing.  This caused
tests that used "ovsdb-client --detach monitor" to fail without printing
their complete output.  This commit fixes the problem.

daemon: Close standard file descriptors when daemonizing.

Before SSH terminates, it waits for the PTYs that it creates for use as
stdin, stdout, and stderr to be closed.  When any of the Open vSwitch
daemons were started in the background over an SSH session, they held
those file descriptors open and thus the SSH session hung.  This commit
fixes the problem by closing those file descriptors, allowing SSH to
terminate.

xenserver: Make BRCOMPATD_MEMLEAK_LOGFILE setting work.

Sometimes it's too bad that shell variables don't need declarations.

ovsdb-idl: Fix memory leak committing a no-op transaction.

Partial fix for bug #2373.

jsonrpc: Fix memory leak in jsonrpc_session_send() when not connected.

Partial fix for bug #2373.

vswitchd: Fix issue of networking not working when Tools not installed

During the transition to the configuration database, not all code from
the bridge compatibility layer was updated.  In particular, the code
which removes port configuration based on RTNL notifications of port
removal was not updated.  This commit brings that code back.

Note that the code that removes ports based on actively checking whether
ports exist is still commented out pending a review of its impact on GRE
support.

Bug #2370

ovs-vsctl: Print correct fail-mode

When printing the fail-mode, ovs-vsctl would always attempt to print the
top-level one--even if it didn't exist.  So, in addition to sometimes
being wrong, it could cause segfaults.

Thanks to Peter Balland for reporting the error.

Bug #2374

reconnect: Fix repeated RECONNECT_CONNECT that was confusing JSON-RPC.

reconnect_run() returns RECONNECT_CONNECT to tell the client that it should
start a new connection.  The client is then supposed to call
reconnect_connecting() to tell the FSM that it has begun a connection
attempt.  However, even after reconnect_connecting() was called,
reconnect_run() continued to return RECONNECT_CONNECT on each call until
the connection succeeded or failed.  This confused the jsonrpc_session
client, which expected that it would get a 0 return value from
reconnect_run() while the connection attempt was in progress.  Connections
that required multiple trips through the main poll loop, e.g. for SSL
negotiation, would often get cut off to start a second connection attempt.

This commit change reconnect_run() to return RECONNECT_CONNECT only until
the client tells it that a connection is in progress, which fixes the
problem.  This change entails a change to the internal details of the
reconnect FSM, so this commit also updates the reconnect tests to match.

Reported by Jeremy Stribling.

debian: Fix tab/space issues

debian: Create the config database if it doesn't exist on startup

On startup, create an empty config database if it doesn't already exist.  This
is the behavior of the XenServer init scripts.

vswitch: Fix null pointer dereference in iface_is_internal().

Reported by Henrik Amren.

ovsdb-tool: Make show-log command offer more verbose output.

This may be useful for debugging.

With fixes suggested by Justin Pettit.

ovsdb: Improve comments.

Suggested by Justin Pettit.

ovsdb: Save some space in the log for newly inserted records.

When a new record is inserted into a database, ovsdb logs the values of all
of the fields in the record.  However, often new records have many columns
that contain default values.  There is no need to log those values, so this
commit causes them to be omitted.

As a side effect, this also makes "ovsdb-tool show-log --more --more"
output easier to read, because record insertions print less noise.  (Adding
--more --more to this command makes it print changes to database records.
The --more option will be introduced in an upcoming commit.)

ovsdb: Add tests for OVSDB protocol over SSL.

jsonrpc: Check RPC status after trying to send, not before.

This usually prevented JSON-RPC over SSL from working.

Reported-by: Jeremy Stribling <strib@nicira.com>

ovsdb: Clarify spec for map mutation insert mutator.

Suggested by Jeremy Stribling.

xenserver: Fix init script with multiple --remote options to ovsdb-server.

Reported-by: Peter Balland <peter@nicira.com>

jsonrpc: Properly implement connection timeout.

jsonrpc_session_connect() indirectly called reconnect_disconnected(), which
told the reconnect object that the connection had failed, before it told it
that the connection attempt had started.  When the connection didn't
complete immediately, this caused the connection to time out immediately,
without any backoff.

Reported by Jeremy Stribling.

datapath: Add a find the kernel source directory for Debian 2.6.32+.

Debian's kernel-headers packages starting from 2.6.32 (or thereabouts) put
links to the kernel build and source directories at the same level, named
"build" and "source" respectively.  Add support for this structure.

xenserver: Fix fallout from removing remote command execution.

Commit 2280e7223 "ofproto: Drop remote command execution feature." removed
the remote command execution feature from the vswitch.  This commit removes
one bit that was overlooked.

configure: Fix indentation.

tests: Make test-vconn build and pass tests without OpenSSL.

tests: Improve vconn tests.

stream-ssl: Fix bug that crept in during rebasing.

Distribute some forgotten files that are needed by "make check".

vconn: Test SSL vconns too.

This test should help avoid simple bugs in the SSL vconn and SSL stream
implementations in the future.  It would have found the bugs fixed by
recent commits.