Merge "master" into "next".

The main change here is the need to update all of the uses of UNUSED in
the next branch to OVS_UNUSED as it is now spelled on "master".

Rename UNUSED macro to OVS_UNUSED to avoid naming conflict.

Requested by Jean Tourrilhes <jt@hpl.hp.com>.

ovs-ofctl: Drop assignment whose value is never used.

Found by Clang (http://clang-analyzer.llvm.org).

ovs-vsctl: Avoid redundant initializations in "add-br" command.

Found by Clang (http://clang-analyzer.llvm.org).

ofproto: Avoid passing indeterminate value to rule_insert().

The 'in_port' argument to rule_insert() is only used if its 'packet'
argument is nonnull, so this is not, strictly speaking, a bug, but it
seems much cleaner.

The default -1 value of in_port matches what pktbuf_retrieve() stores
there on failure.

Found by Clang (http://clang-analyzer.llvm.org).

ovsdb: Drop write-only variable.

Found by Clang (http://clang-analyzer.llvm.org).

ovs-brcompatd: Use error instead of pointer in handle_fdb_query_cmd().

It is safe to use either value here but as long as we are saving the
error value we might as well use it.

Found by Clang (http://clang-analyzer.llvm.org/).

sflow: Don't assign value that is never used.

The "error" return from collectors_create() is actually not that
interesting, because there could still be some collectors configured
properly anyhow, so we might as well discard the error return here,
without even assigning it to a variable.

Found by Clang (http://clang-analyzer.llvm.org/).

vswitchd: Drop assignment whose value is never used in port_reconfigure().

Seems cleaner this way.

Found by Clang (http://clang-analyzer.llvm.org/).

process: Remove pointless, redundant assignments from stream_read().

Found by Clang (http://clang-analyzer.llvm.org/).

tests: Remove write-only variables.

Found by Clang (http://clang-analyzer.llvm.org/).

ovsdb: Remove write-only variable from parse_body() in log.c.

Found by Clang (http://clang-analyzer.llvm.org/).

ovsdb: Add default case to ovsdb_mutation_set_execute().

The value of 'error' is indeterminate if m->mutator is not set to a valid
value here, so we should add a default case to handle the exception.  It
shouldn't happen, of course.

Found by Clang (http://clang-analyzer.llvm.org/).

netdev-linux: Avoid fiddling with indeterminate data.

If we are using netlink to get stats and get_ifindex() fails, then for
an internal network device we will then swap around a bunch of
indeterminate (uninitialized) data values.  That won't hurt anything--the
caller will still set them to all-1-bits due to the error--but it still
seems wrong.  So this commit avoid it.

Found using Clang (http://clang-analyzer.llvm.org/).

dhcp: Don't pass NULL to memcmp() even with size 0.

ISO C says that the arguments to memcmp() must be nonnull even if the
size argument is 0, so don't do that.

Found by Clang (http://clang-analyzer.llvm.org).

vswitch: Fix uninitialized variable.

The 'ip' variable in this inner "if" statement shadows a variable with
the same name in the enclosing block.  The variable in the inner block
is never initialized.

Found by Clang (http://clang-analyzer.llvm.org).

flow: Fix null pointer dereference in flow_from_match().

Found by Clang (http://clang-analyzer.llvm.org).

xenserver: Fix bond configuration.

This bug was introduced as part of the merge from "master" and does not
therefore exist in Citrix upstream code.

ovs-wdt: Mark variable static and use NULL for a null pointer.

Neither is really a bug but it's cleaner this way.

Found by sparse (http://sparse.wiki.kernel.org/).

datapath: Mark functions "static".

Found by sparse (http://sparse.wiki.kernel.org/).

datapath: When adding a port, return the new port number to userspace.

'port' is a kernel-space copy of the odp_port and modifying it is useless.
'portp' is the userspace copy; modifying it is useful.

None of our current userspace users care about the port number and so we
never noticed.

Found by sparse (http://sparse.wiki.kernel.org/).

ovs-brcompatd: Handle transaction errors slightly more gracefully.

It is not a good idea to just exit on an OVSDB transaction error.
TXN_TRY_AGAIN will definitely happen in practice; TXN_ERROR should not but
we should not just fail if it does.

This should allow us to better debug bug #2418.

ovsdb: Add support for multiple databases to the protocol.

This also adds protocol compatibility to the database itself and to
ovsdb-client.  It doesn't actually add multiple database support to
ovsdb-server, since we don't really need that yet.

xenserver: Fix failure to bring up secondary management interfaces.

When a secondary management interface is configured on a XenServer,
interface-reconfigure would fail to bring it up because it would attempt
to add a bridge that already exists.  This commit makes it tolerate that
situation.

ovs-vsctl: Add --may-exist option for add-port, add-bond commands.

This is useful in interface-reconfigure, in an upcoming commit.

ovs-vsctl: Add --may-exist option for add-br command.

This will be used in the XenServer interface-reconfigure script.

ovs-vsctl: Improve error message when options follow command names.

vswitchd: Add missing * to use of sizeof.

Found using coccinelle and coccicheck (http://coccinelle.lip6.fr/).

dhcp: Add missing * to use of sizeof.

Found with coccinelle and coccicheck (http://coccinelle.lip6.fr/).

ovsdb: Make scalars and 1-element sets interchangeable.

It is natural to write "abc" in place of ["set",["abc"]] and vice versa.
I cannot think of a reason not to support this, and it can make reading
and writing OVSDB files and transactions easier, so support it.

ovsdb: Get rid of "declare" operation.

It's more elegant, and just as easy to implement, if we allow a
"named-uuid" to be a forward reference to a "uuid-name" in a later
"insert" operation.

ovsdb: Fix support for systems where libpcre is not installed.

This is one of the loose ends that I intended to fix up and test before
pushing off my commits to add use of PCRE, but obviously I forgot.

ovsdb: Add support for referential integrity in the database itself.

ovsdb: Add simple constraints.

ovsdb: Slightly simplify ovsdb_table_get_row(), ovsdb_table_put_row().

There is no value in saving a call to uuid_hash() in ovsdb_table_put_row(),
because uuid_hash() is a trivial inline function, so integrate
ovsdb_table_get_row__() into ovsdb_table_get_row() and simplify
ovsdb_table_put_row().

ovsdb: Use direct pointer from table to txn_table to simplify code.

Until now, when a transaction modified rows in a table, the metadata
associated with that table modification (in struct ovsdb_txn_table) had to
be looked up through a hash table.  This made the code unnecessarily
complicated and had no benefit in itself, so this commit changes
struct ovsdb_table to have a direct pointer to its ovsdb_txn_table.

list: Fix indentation.

ovsdb-idl: On transaction hard failure make a reason available to client.

This make ovs-vsctl able to report problems that occur in better detail.

ovs-vsctl: When deleting a real bridge, delete ports of child fake bridges.

Otherwise these ports and their interfaces hang around unreferenced.

ovsdb: Fix result object for "declare" operation.

The "declare" operation is specified to return a <uuid>, e.g.:
["uuid", "7b703002-f7b6-45c6-bfd6-7619b21a1a5f"]
It was actually just returning the second part, e.g.
"7b703002-f7b6-45c6-bfd6-7619b21a1a5f"

This commit makes the result match the specification.

datapath: Set Nicira random address in the datapath.

OVS now sets the Nicira OUI plus the top bit on packets that it
generates to indicate a random address.  This makes the datapath
do the same thing.

vswitch: Consistently set Nicira OUI.

In places where a random Ethernet address needs to be generated we
are inconsistent about setting an OUI.  This sets an OUI everywhere
to allow the source of packets to be easily identified.

gre: Fix use after free in netns compatibility layer.

The newly updated network namespace compatibility layer contained
an issue in the pernet automatic storage allocation feature that
prematurely freed memory.  This caused an OOPS if the module was
unloaded.

Fix some regressions from the merge from master.

vswitch: Set control_ip in sFlow configuration

xenserver: Various cleanups to get OVS to work with XenServer 5.5

xenserver: Exclude compile Python byte code from packaging

xenserver: Fix permissions on new interface-reconfigure files

Merge branch 'next' of repo.nicira.com:/srv/git/openvswitch into next

Merge branch 'master' into next

Conflicts:
COPYING
datapath/datapath.h
lib/automake.mk
lib/dpif-provider.h
lib/dpif.c
lib/hmap.h
lib/netdev-provider.h
lib/netdev.c
lib/stream-ssl.h
ofproto/executer.c
ofproto/ofproto.c
ofproto/ofproto.h
tests/automake.mk
utilities/ovs-ofctl.c
utilities/ovs-vsctl.in
vswitchd/ovs-vswitchd.conf.5.in
xenserver/etc_init.d_vswitch
xenserver/etc_xensource_scripts_vif
xenserver/opt_xensource_libexec_interface-reconfigure

gre: Simplify net namespace operations.

Ports commit cfb8fb "net: Simplify ip_gre pernet operations." from
the mainline kernel.

gre: Net namespace identifiers are read_mostly.

Ports commit f99189 "netns: net_identifiers should be read_mostly"
from the mainline kernel.

gre: Network namespace upon device creation.

gre: Optimize tx path.

Ports commit 81adee "net: Support specifying the network namespace
upon device creation." from the mainline kernel.

gre: Optimize multiple unregistration.

Ports commit eef6dd "gre: Optimize multiple unregistration" from
the mainline kernel.

gre: Convert locking to RCU.

Ports commit 8d5b2c "gre: convert hash tables locking to RCU"
from the mainline kernel.

gre: Optimize tx path.

Ports commit 0bfbed "tunnels: Optimize tx path" from the mainline
kernel.

gre: Unify IPTUNNEL_XMIT across kernel versions.

The IPTUNNEL_XMIT macro was split into different versions based on
the kernel.  This adds the compatibility code to allow a single
copy to work on all kernel versions, making it easier to maintain.

Add extern "C" { ... } to some header files to support usage from C++.

From partner.

tests: Fix memory leaks in test programs.

This makes it easier to see memory leaks in the code under test.

Found with valgrind.

ovs-vsctl: Free memory on successful exit.

This is not important in itself, but it helps to spot real memory leaks.

Found with valgrind.

ovs-vsctl: Fix memory leaks.

Found with valgrind.

ovs-vsctl: Free memory on fatal error.

Freeing memory just before exiting is not important in itself, but it makes
it easier to see real memory leaks.

Found with valgrind.

ovs-vsctl: Use vsctl_fatal() consistently.

vsctl_fatal() logs its argument as well as printing it on stderr, so it
is preferable within ovs-vsctl.  An upcoming commit will also make
vsctl_fatal() free memory, so using it consistently will also make that
memory freed consistently.

ovsdb-tool: Fix minor memory leak in "create".

This leak is not important, since "ovsdb-tool create" is a short-running
command, but we might as well fix it.

Found with valgrind.

ovsdb-client: Fix memory leaks in "monitor" command.

This is a long-running command so it makes sense to free received messages.
Freeing the schema at exit is not essential but cleans up valgrind
output.

Found with valgrind.

ovsdb-idl: Fix memory leaks and bad memory references.

Found with valgrind.

ovsdb-server: Free memory on exit.

It is not really important to free memory on program exit, but it makes it
easier to see real memory leaks.

Found with valgrind.

ovsdb-server: Fix various memory leaks.

Some of these are serious leaks, in that they could leak some amount of
memory for every transaction processed by the database server.

Found with valgrind.

ovs-appctl: Free memory on exit.

This makes it easier to see real memory leaks.

Found via valgrind.

tests: Always make ovsdb-server exit cleanly, to better find memory leaks.

"ovs-appctl exit" causes a cleaner shutdown than "kill" and in particular
lets ovsdb-server clean up better, which makes it easier to find real
memory leaks.

stp: Fix memory leak.

Found with valgrind.

daemon: Fix memory leak in --monitor implementation.

This leaked a small amount of memory each time a daemon process was
created.  It is only important if a daemon is otherwise very buggy.

Found with valgrind.

json: Fix memory leak when nesting depth is exceeded.

This is probably not an important memory leak, since it is only on a rare
error path, but it is best to fix it anyway.

Found with valgrind.

stream-ssl: Fix unimportant memory leak.

This function is generally called only once per program execution, so
leaking a little bit of memory does not matter that much.

Found with valgrind.

Add support for running the testsuite under 'valgrind'.

tests: Fix timing dependency in ovsdb-log test.

The "lockfile" module logs a message if locking takes a measurable amount
of time.  Running the tests under valgrind tends to make this message
appear, so we need to disable it to make the output comparison come out
cleanly.

Rework and simplify the "lcov" support for the testsuite.

datapath: Set datapath device MTU to minimum of MTU of ports.

The MTU of the local port should be no larger than the minimum of
the MTUs of the ports attached to the bridge, overwise packets may be
dropped.  We already prevent changes to the MTU that would violate
this constraint but don't actuallly proactively set the MTU.  This
changes makes everything consistent and matches the behavior of
the bridge.

xenserver: Add XenServer 5.5.0 updates 1 and 2 to supported versions.

Add the file hashes for updates  1  and 2 (the scripts we care about
are the same) to the list of supported versions to prevent a warning
message on install.

ovs-pki: Avoid using local variables, which are non-POSIX.

Reported-by: Srini Seetharaman <seethara@stanford.edu>

Clean up nicira-ext.h header a bit.

ofproto: Mark NXT_ACT_SET_CONFIG and NXT_ACT_GET_CONFIG obsolete.

These Nicira-specific requests have not been implemented for some time.
In case we need them later we can always reimplement them.

ofproto: Remove support for OpenFlow-based management protocol.

Older versions of Open vSwitch supported a management protocol based on
OpenFlow message framing.  The current Open vSwitch instead uses the
OVSDB protocol for the same purposes.  We don't plan to support this older
protocol any longer, so this commit deletes support.

This commit also deletes the management_id column from the vswitch's
database schema.  The management_id was used by the older management
protocol to match up OpenFlow switch connections to management connections,
but the current implementation instead matches up connections based on
the datapath IDs exported by the configuration database.  In fact, the
OpenFlow connections had no way to actually export the management ID, so
this just deletes code that was essentially without function anyhow.

CA-37154: vswitch: Use MAC address of tagged PIF for VLAN fake-bridge

This is because PIF.MAC for a VLAN is FE:FF:FF:FF:FF:FF. In bridge
mode the VLAN and the bridge naturally pick up the underlying MAC
address from the physical device but under vswitch we must explicitly
specify it and we are currently specifying
FE:FF:FF:FF:FF. interface-reconfigure needs to use the MAC address of
the tagged PIF not the untagged PIF.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
# HG changeset patch
# User Ian Campbell <ian.campbell@citrix.com>
# Date 1265020755 0
# Node ID d7fc59d6a274334377fdbb09dcaf80a76431bcdb
# Parent  a6f27b5a3096ce627b5003c7be19ca59f7dd9606

ofpbuf: Rename ofpbuf "private" member for C++ header compatibility.

From partner.

dpif: Allow providers to be managed at runtime.

The list of datapath providers was previously staticly defined at
compile time.  This allows new providers to be added and removed
at runtime.

netdev: Allow providers to be managed at runtime.

The list of netdev providers was previously staticly defined at
compile time.  This allows new providers to be added and removed
at runtime.

netdev: Correctly maintain netdev refcounts even if errors occur.

If an error occured while opening a netdev it would decrement the
refcount, even though it was never incremented.  Depending on
the timing this could result in either an error message or an
assertion failure.  This workaround simply always increments
the refcount before openning a device.  A more complete fix
already exists in the netdev overhaul in the 'next' branch.

NIC-59

ovs-vsctl: Add tests for database commands.

Bug #2396.

ovs-vsctl: Add --if-exists option to "get" command, for map columns.

ovs-vsctl: Improve error reporting.

ovs-vsctl: Alphabetize lists of database column names.

This makes the "list" command print the database columns in alphabetical
order, which seems more sensible than the semi-random order we had before.

ovs-vsctl: Make "create" command print new row's UUID.

Also, document limitations of other commands regarding UUIDs of new rows.

ovs-vsctl: Add postprocess step.

Nothing uses this new feature yet, so this commit by itself has no visible
effect.

This is a step toward printing the UUIDs of newly inserted rows.

ovs-vsctl: Refactor in preparation for adding "postprocess" step.

Until now, all the ovs-vsctl commands have had no need to look at the
results of the database transaction.  However, to print the UUID of newly
inserted database records, they do need to do this.

This commit refactors ovs-vsctl in preparation for adding this ability.

New functions hmap_moved(), shash_moved().

To be used in ovs-vsctl in an upcoming commit.

hmap: Rename hmap_moved() to hmap_node_moved().

This prepares for adding a new function that deals with a "struct hmap"
moving, as opposed to a "struct hmap_node".

Since there was only a single call to this in the whole tree, and its
caller didn't have any callers of its own at all, also move this function
from hmap.h to hmap.c.

ovsdb-idl: Add interface to find out the permanent IDL of an inserted row.

The ovs-vsctl "create" command, and perhaps other commands, should print
the UUID of the newly created database row, but until now the IDL has not
provided a way to find that out.  This commit adds the ability.

dynamic-string: New function ds_swap().

ovsdb-data: Allow spaces around '=' in key-value pairs.

This allows a = b, a= b, a =b, etc. whereas before only a=b was accepted.