ofproto-sflow: Maintain table of ports even when clearing configuration.

When ofproto_sflow_set_options() fails, it calls ofproto_sflow_clear() to
deconfigure the ofproto_sflow object.  But ofproto_sflow_clear() deletes
all of the object's record of datapath ports.  That means that the next
call to ofproto_sflow_set_options(), if it succeeds, will believe that the
datapath has no ports.

This commit fixes the problem by only clearing ofproto_sflow's record of
datapath ports when it is destroyed, not just when a configuration error
occurs.

Reported-by: Neil McKee <neil.mckee@inmon.com>

ovs-ofctl: Add "snoop" command.

The "snoop" command does roughly the same thing as "monitor", but it is
easier to use in the common case where one just wants to look at the
OpenFlow controller connection for a bridge.  Instead of, for example,
   ovs-ofctl monitor unix:/var/run/openvswitch/br0.snoop
one merely types
   ovs-ofctl snoop br0

ofproto: Don't send async messages on transient connections by default.

ofproto supports listening for "transient connections" from clients such
as ovs-ofctl.  These OpenFlow connections are not supposed to receive
asynchronous messages by default, unless they ask for them by setting an
nonzero packet-in send length.  This feature got broken some time back.
This commit fixes it.

ofproto: Fix segfault sending packet_ins on transient connections.

ovs-ofctl: "monitor" command takes no more than 2 arguments

The "monitor" command would accept 3 arguments and ignore the third one.
Reject such usage instead.

ovs-ofctl: Fix usage message for "monitor" command.

The "monitor" command takes at most two arguments, and the second one is
optional, so express that correctly.

Diagnose attempts to connect the wrong protocol to a network port.

Sometimes, when a user asks me to help debug a problem, it turns out that
an SSL connection was being made on a TCP port, or vice versa, or that an
OpenFlow connection was being made on a JSON-RPC port, or vice versa, and
so on.  This commit adds log messages that diagnose this kind of problem,
e.g. "tcp:127.0.0.1:6633: received JSON-RPC data on OpenFlow channel".

vconn-stream: Refactor vconn_stream_recv() for readability.

Backward "goto" statement are rarely a good idea, so this rewrites that
code for readability.

vport: Record and free packets on unattached ports.

We throw away packets that are received on vports not attached to
a datapath but we are actually leaking them.  This records that an
error took place and frees the skb.

flow: Zero tun_id if wildcarded.

Normally match fields are zeroed if they are wildcarded in
normalize_match().  However, tun_id isn't part of struct ofp_match
so do it when we convert to a flow instead.

gre: Include route headers in headroom calculation.

When calculating the amount of headroom required include the route,
which avoids a copy later when doing transforms like IPsec.

bridge: Add iface to hash table before calling iface_is_internal().

When creating an interface we need to check whether it is internal.
However, the function iface_is_internal() does a lookup on the
interface name but we haven't added it to the hash table yet.  This
adds the interface to the table early on in iface_create.

NIC-78

bridge: Fix double-free bug in port_reconfigure().

Reported-by: Peter Balland <peter@nicira.com>
Bug #2794

flow: Fix misaligned access.

The testsuite for the flow extractor triggered this.

With this commit, "make check" passes on SPARC.

Add header for access to potentially unaligned data.

I had been under the impression that "memcpy" was a valid way to copy
unaligned data into an aligned location for access.  But testing on SPARC
has shown that GCC doesn't always honor that intention.  It seems that, if
GCC can see that there is a pointer of a type that requires alignment to
a given object, then it will access it directly regardless of whether
memcpy() is used to copy it.

This commit adds a new header with functions to access unaligned data.  I
managed to come up with two techniques, one GCC-specific, one generic, that
do avoid the misaligned access in my test case.  The GCC-specific technique
is the same one used by the Linux kernel (although no code has been
literally copied).  The other one seemed obvious but possibly slow
depending on the compiler's ability to optimize.

The following commit adds a user.

ovsdb-client: Serialize columns in predictable order on "monitor" command.

The "monitor" command goes to some trouble to write its output in a
predictable order, so that test programs can reliably compare it against
expectations.  This commit fixes up one part that was missing, which is
that the columns were not being ordered predictably (it depended on
hash order, which differs between big-endian and little-endian systems).
It also updates the test suite to expect the new order.

tests: Fix bug in "ovsdb-tool compact" test.

This test examines the OVSDB database log and checks that it contains what
it should for specified transactions.  However, the database log ordering
differs between big-endian and little-endian architectures because it is
written out in hash order.  We don't want to incur the expense of always
sorting the log as we write it out, so instead this commit fixes the
problem by sorting the log as it reads it, using the "test-json" program.

tests: Fix bug in "weak references" test.

One part of the "weak references" test inserts invalid all-zeros weak
references into two columns and expects to get an error message mentioning
one of them.  Unfortunately the one that actually gets mentioned depends
on hash ordering and thus differs between big-endian and little-endian
machines.  This commit fixes the problem by only putting an invalid
reference in a single column, instead of two of them.

tests: Fix bug in ovsdb-server test suite.

The formatting of OVSDB syntax errors differed between big-endian and
little-endian systems, which caused the "database multiplexing
implementation" test to fail on SPARC.  This commit fixes the problem by
always outputting JSON in syntax errors in deterministic (sorted) order.

util: Fix GCC false-positive warning for CONTAINER_OF.

On sparc, GCC would issue the following warning for every use of
CONTAINER_OF:

    warning: cast increases required alignment of target type

This is a false positive: assuming that the data structure that it is
applied to was allocated properly, the use of CONTAINER_OF to reach it is
valid.  And if it was not allocated properly, then code that accesses it
other ways will have trouble too.

datapath: Enable offloading on internal devices.

Enables checksum offloading, scatter/gather, and TSO on internal
devices.  While these optimizations were not previously enabled on
internal ports we already could receive these types of packets from
Xen guests.  This has the obvious performance benefits when these
packets can be passed directly to hardware.

There is also a more subtle benefit for GRE on Xen.  GRE packets
pass through OVS twice - once before encapsulation and once after
encapsulation, moving through an internal device in the process.
If it is a SG packet (as is common on Xen), a copy was necessary
to linearize for the internal device.  However, Xen uses the
memory allocator to track packets so when the original packet is
freed after the copy netback notifies the guest that the packet
has been sent, despite the fact that it is actually sitting in the
transmit queue.  The guest then sends packets as fast as the CPU
can handle, overflowing the transmit queue.  By enabling SG on
the internal device, we avoid the copy and keep the accounting
correct.

In certain circumstances this patch can decrease performance for
TCP.  TCP has its own mechanism for tracking in-flight packets
and therefore does not benefit from the corrected socket accounting.
However, certain NICs do not like SG when it is not being used for
TSO (these packets can no longer be handled by TSO after GRE
encapsulation).  These NICs presumably enable SG even though they
can't handle it well because TSO requires SG.

Tested controllers (all 1G):
Marvell 88E8053 (large performance hit)
Broadcom BCM5721 (small performance hit)
Intel 82571EB (no change)

ovsdb: In documentation, add commas to make large numbers easier to read.

datapath: Break out test for dev_disable_lro().

It seems that dev_disable_lro() and skb_warn_if_lro() are not always
defined at the same time, despite the fact that they are typically
used together.  This independently tests for them.

Fix issue with "strict" deletion of flows

OpenFlow provides the ability to delete flows that match a "strict"
description.  This means that wildcards are not active, and thus will
only match a single flow that exactly matches the description.  The code
that checks for a match is pretty dumb and still compares the values of
fields that are wildcarded.  A recent change added a "tun_id" matching
field, but did not zero out the field when it was supposed to be
ignored, which broke the matching used by strict deletions.  This sets
the field regardless of whether the field is wildcarded or not.

Reported-by: Natasha Gude <natasha@nicira.com>
Bug #2775

datapath: Fix build issue with LRO.

The last commit added a configure test for skb_warn_if_lro() but
reversed an #ifdef causing a function to be compiled when it wasn't
needed.

datapath: Add configure test for skb_warn_if_lro().

Some distributions backport this function, so use a configure
test instead of a version check.

CC: Alexey I. Froloff <raorn@altlinux.org>

ofproto: Implement ofp_action_output "max_len" feature.

The "max_len" feature of ofp_action_output is completely unimplemented
currently.  Implement it.

Reported-by: Tetsuo NAKAGAWA <nakagawa@mxc.nes.nec.co.jp>

netdev-linux: Optimize removing policing from an interface.

It is very expensive to start a subprocess and, especially, to wait for it
to complete.  This replaces the most common subprocess operation in
netdev_linux_set_policing() by a Netlink socket operation, which is much
faster.

Without this and the other netdev-linux commits, my 1000-interface test
case runs in 1 min 48 s.  With them, it runs in 25 seconds.

netdev-linux: Cache policing values.

Without this and the following netdev-linux commits, my 1000-interface test
case runs in 1 min 48 s.  With them, it runs in 25 seconds.

netdev-linux: Factor out removing policing.

This is duplicated code that the following commit will rewrite.

netdev-linux: Factor out obtaining an RTNL socket.

Another function needs this same functionality in an upcoming commit, so
factor this into a new function get_rtnl_sock().

dpif-linux: Use hash instead of sorted array.

With 1000 network devices being added or removed, sorting the array was a
profiling hot spot.  Using a hash makes it drop off the profile.

bridge: Optimize trunk port common case.

Profiling with qprof showed that bitmap_set_multiple() and bitmap_equal()
were eating up quite a bit of CPU time during bridge reconfiguration (up
to about 10% of total runtime).  This is completely avoidable in the common
case where a port trunks all VLANs, where we don't really need a bitmap at
all.  This commit implements that optimization.

dynamic-string: Optimize ds_put_char().

A qprof profile showed ds_put_char() and ds_put_uninit() as 4% of total
runtime.  This commit inlines the common case, which reduces them to 1%
total.

bridge: Optimize port_lookup() using a hash.

Before this commit and the preceding one, with 1000 interfaces strcmp()
took 36% and port_lookup() took 8% of total runtime when reconfiguring
bridges.  With these two commits the percentage is reduced to 3% and 0%,
respectively.

bridge: Optimize iface_lookup() and port_lookup_iface() with a hash.

Before this commit and the following one, with 1000 interfaces strcmp()
took 36% and port_lookup() took 8% of total runtime when reconfiguring
bridges.  With these two commits the percentage is reduced to 3% and 0%,
respectively.

ovs-vswitchd: Implement "exit" unixctl command.

This is useful for profiling, since common profilers do not print anything
until the process terminates, and only if the process terminates in the
ordinary way by calling exit().

sflow: Always add poller and sampler together.

he ofproto_sflow_add_poller() and ofproto_sflow_add_sampler() calls
should always be made together, either when a port is added
dynamically with ofproto_sflow_add_port() or when the sflow_agent is
first created in ofproto_sflow_set_options().  I was seeing odd
behavior where either the pollers or the samplers would never be
instantiated depending on the order that things happened.  (It's OK to
add the same sampler or poller again, because the library routines
sfl_agent_addPoller() and sfl_agent_addSampler() will just return the
existing one if it is there.  Perhaps we should add a comment to make
that clear?).

I changed the parameters to ofproto_sflow_add_sampler to make it work
the same way as ofproto_sflow_add_poller, where the options are
extracted from os->options within the function itself.

sflow: Properly fill in initial destination VLAN in sFlow output.

sflow: Include Ethernet FCS in frame_length to comply with sFlow spec.

vswitchd: Fix documentation of "agent" column in "sFlow" table.

The documentation now accurately reflects the implementation.  The
implementation, however, leaves a great deal to be desired.

bridge: Fix double-free in sFlow configuration.

ovs-vsctl: Add sFlow to supported set of tables.

Somehow this one got left out accidentally.

Reported-by: Neil McKee <neil.mckee@inmon.com>

xenserver: Make Open vSwitch disable itself in "bridge" mode.

When /etc/xensource/network.conf contains the word "bridge", the system
is supposed to use the Linux bridge, not Open vSwitch.  This commit makes
OVS honor this setting, which until now it has mainly ignored.

Reported-by: Reid Price <reid@nicira.com>

xenserverd: Give XAPI a grace period before refreshing network UUIDs.

XAPI updates the pool.conf file before it actually refreshes its database
from the new pool, so we need to wait for that to happen.  Hard-coded
delays aren't a good idea, but in the long term XAPI will probably be
adding a hook script for us to use, so this may be an OK stopgap measure.

Bug #2756.

datapath: Don't hold dp_mutex when setting internal devs MTU.

We currently acquire dp_mutex when we are notified that the MTU
of a device attached to the datapath has changed so that we can
set the internal devices to the minimum MTU.  However, it is not
required to hold dp_mutex because we already have RTNL lock and it
causes a deadlock, so don't do it.

Specifically, the issue is that DP mutex is acquired twice: once in
dp_device_event() before calling set_internal_devs_mtu() and then
again in internal_dev_change_mtu() when it is actually being changed
(since the MTU can also be set directly).  Since it's not a recursive
mutex, deadlock.

xenserver: Wire up emergency reset plug-in and call it on manager change

Add code to "emergency_reset" plug-in method to actually do its work.
Also, when the manager is changed, call the emergency reset command to
clear out any configuration that may have been done by a previous
controller.

ovs-vsctl: Add emergency reset command

Add the "emer-reset" command, which is used to clear the configuration of
items likely to have been configured by the manager.  This will leave
the core networking configuration as it was.

ovsdb-idl: Add "safe" iterator macro to generated code.

datapath: Ensure packet length matches headers during checksum setup.

During the setup of checksumming pointers we need to make sure that
the transport headers are in the skb linear data area.  However, we
don't currently verify that the lengths in the packet headers are
within the size of the packet.  This makes that check before a
BUG() check does it for us.

CC: "Nick Couchman" <Nick.Couchman@seakr.com>

bridge: Immediately drop interfaces that can't be opened.

Previously we would keep interfaces around that couldn't be opened
because they might be internal interfaces that are created later.
However, this leads to a race condition if the interface appears
after we try to create it and fails since some operations may
succeed.  Instead, give up on the interface immediately if it can't
be opened and isn't internal (which we control and so won't have
this issue).

Bug #2737

vport: Better handle too-long network device names in vport_del().

The 'count' argument to strncpy_from_user() is supposed to include space
for the null terminator, so add it in.  Also, refuse names that have more
than IFNAMSIZ-1 characters outright, instead of truncating them.

datapath: Check device name length more carefully in create_dp().

I don't see any value in silently truncating device names.  Doing so will
sow confusion in userspace.  This commit makes too-long device names
return ENAMETOOLONG.

datapath: Always null-terminate network device name in create_dp().

strncpy() does not null-terminate its output buffer if the source string's
length is at least as large as its 'count' argument.  We know that the
source and destination buffers are the same size and that the source buffer
is null-terminated, so just use strcpy().

This fixes a kernel BUG message that often occurred when strlen(devname)
was exactly IFNAMSIZ-1.  In such a case, if
internal_dev_port.devname[IFNAMSIZ-1] happened to be nonzero, it would
eventually fail the following check in alloc_netdev_mq():
BUG_ON(strlen(name) >= sizeof(dev->name));

Bug #2722.

datapath: Fix argument to strncpy_from_user().

The strncpy_from_user() function's 'count' argument is documented to
include the trailing null byte, but create_dp() did not include it.  This
commit adds it in.

ofproto: Avoid buffer copy in OFPT_PACKET_IN path.

When a dpif passes an odp_msg down to ofproto, and ofproto transforms it
into an ofp_packet_in to send to the controller, until now this always
involved a full copy of the packet inside ofproto.  This commit eliminates
this copy by ensuring that there is always enough headroom in the ofpbuf
that holds the odp_msg to replace it by an ofp_packet_in in-place.

From Jean Tourrilhes <jt@hpl.hp.com>, with some revisions.

xenserver: Use start_daemon for xenserverd also in /etc/init.d/openvswitch.

Reported-by: Justin Pettit <jpettit@nicira.com>

xenserver: Report correct daemon names at startup in /etc/init.d/openvswitch.

Reported-by: Justin Pettit <jpettit@nicira.com>

xenserver: Use daemon-specific dir for pidfile in /etc/init.d/openvswitch.

Reported-by: Justin Pettit <jpettit@nicira.com>

xenserver: Avoid using unset $nice variable in /etc/init.d/openvswitch.

Reported-by: Justin Pettit <jpettit@nicira.com>

xenserver: Fix typo in prompt

xenserver: Factor redundancy out of /etc/init.d/openvswitch.

We probably have too many configuration variables in any case, but at least
we can use just one shell function to deal with them.

xenserver: Gracefully refresh network UUIDs on pool join or leave.

The vswitch database is supposed to maintain an up-to-date UUID for the
system's networks in the Bridge table as external-ids:network-uuids.  On
XenServer systems, /opt/xensource/libexec/interface-reconfigure updates
these fields as bridges are brought up and down.  Most of the time, that is
sufficient.  However, this is one exception: when a XenServer host enters
or leaves a pool, interface-reconfigure is not invoked, and neither is any
other script.  So this commit introduces a new, XenServer-specific daemon
that monitors the XenServer's pool membership status and refreshes the
network UUIDs (by invoking the refresh-network-uuids script) if it changes.

Bug #2097.

ofproto: Fix bad memory access sending large numbers of port stats replies.

The append_stats_reply() function can modify its pointer argument, but
append_port_stat() was failing to propagate this change back to its own
caller.  So when append_stats_reply() did in fact modify it (which happens
when the 64 kB maximum OpenFlow message length was exceeded), the
handle_port_stats_request() function would then access freed memory on the
next call to append_port_stat().

Bug #2714.
Reported-by: Ram Jothikumar <rjothikumar@nicira.com>
Debugging help by Justin Pettit <jpettit@nicira.com>

ofpbuf: New function ofpbuf_push_zeros().

vswitchd: Rename bridge_reconfigure_controller().

Suggested-by: Justin Pettit <jpettit@nicira.com>

xenserver: Fix sense of -d test in /etc/init.d/openvswitch.

It doesn't make sense to create a directory if it already exists.

xenserver: Rewrite refresh-network-uuids script for decent performance.

Calling "interface-reconfigure up" can take a couple of seconds, but all
we have to do here, really, is fetch the network UUIDs and invoke
ovs-vsctl, which is much faster.  So rewrite this script in Python and make
it do just that.

socket-util: Move get_mtime() here from stream-ssl.

An upcoming commit will add a new user for this function in another file,
so export it and move it to a common library file.

vswitchd: Enable in-band control to managers.

ovsdb-server must be able to connect to the OVSDB managers over in-band
control (because the manager may be what configures the OpenFlow
controllers).  This commit enables that.

socket-util: Factor out new function inet_parse_active().

An upcoming commit needs to parse connection strings without connecting to
them, so this change enables that.

ofproto: Allow client to pass down extra (IP,port) tuples for in-band.

ovs-vswitchd needs to be able to tell ofproto where the OVSDB managers are,
so that in-band control can allow traffic to it even if there is no
connection to the controller yet.  This adds the basis for that feature.

in-band: Generalize the in-band code to arbitrary (IP,port) pairs.

Until now the in-band code has taken an rconn (recently, multiple rconns)
and used its remote IP address as the one for which to set up flows.  But
we also need to support in-band control to the OVSDB manager, and OVSDB
does not use rconns.  This commit takes the first step toward this support
by generalizing the in-band code to take an arbitrary number of (IP,port)
pairs as remotes for which to set up flows.

gre: Ensure skb properties are consistently set.

The skb local fragmentation and checksum offloading properties were
sometimes either overwritten or not copied by later operations.  This
ensures that they are consistently correct and solves issues like
TSO not working in certain circumstances on 2.6.18 kernels.

datapath: Update 'struct ovs_skb_cb' comments.

in-band: Use NULL for null pointer constant, instead of 0.

Suggested-by: Justin Pettit <jpettit@nicira.com>

in-band: Refactor in_band_set_remotes().

Seems easier to understand this way.

Suggested-by: Justin Pettit <jpettit@nicira.com>

in-band: Refactor slightly to be easier to understand.

Suggested-by: Justin Pettit <jpettit@nicira.com>

in-band: Avoid magic number in refresh_remotes().

The initial value of min_refresh() can only matter if there are no remotes,
in which case there is nothing to refresh anyhow.  So avoid the magic
number "10" as the initial minimum, since it has no real significance.

Suggested-by: Justin Pettit <jpettit@nicira.com>

in-band: Better adapt to new rconn usage pattern.

Previously, in-band control was always handed a single rconn whose remote
target changed as the selected controller was changed or added or removed.
Now, however, the rconns handed to in-band control never change their
remote IP targets (instead, new rconns are added and old ones are removed),
so there is no point in looking for changes in remote IP address.

Suggested-by: Justin Pettit <jpettit@nicira.com>

Have git ignore new symlinks and dynamic files from datapath builds

veth: Do a better job cleaning up on rmmod

The veth driver doesn't clean itself up very well when removed.  This
commit destroys any outstanding veth devices and then unregisters its
sysfs entry.

datapath: Define kmemdup() for kernels older than 2.6.19

The new GRE code requires the kmemdup function, but it's not available
on 2.6.18 kernels.  It has been backported to Xen, so only define it for
non-Xen kernels older than 2.6.19.

xenserver: Clean-up space/tabs issues in vif script

Our vif script had a mishmash of tab and space indentations.  The
original vif script only uses spaces, so I went with that style.

xenserver: Set internal network-uuids in Bridge table on XS5.5

On XenServer 5.5, interface-reconfigure is not called when creating
internal bridges, so we jump through extra hoops to determine the
network UUIDs.  The code that handled this was not properly retrieving
the UUIDs from XAPI, so the field would never be set.  This commit
corrects that.

Bug #2666

ovs-ofctl: Document that "actions" must be last in flow specifications.

Bug #2447.
Reported-by: Reid Price <reid@nicira.com>

gre: Fix ICMP translation for path MTU discovery.

The translation of fragmentation-needed messages from outside the
tunnel to inside didn't quite make the transition from the old
GRE implementation to the new one intact.  This fixes a number of
minor bugs in the implmentation.  The primary issues are with computing
the tunnel header length and comparing the input vs. output values
for tunnel parameters such as the key.

stream: Fix typo in comment.

in-band: Refresh both local and remote rules even if local rules change.

This code should call refresh_remotes() even if refresh_local() returns
true.  That is, the normal C short-circuit evaluation of || is not desired
here.  So always call both.

in-band: Really reinstall in-band rules in in_band_flushed().

in-band: Remove comment that only a single controller is supported.

ovs-openflowd: Prefer --fail=standalone|secure over --fail=open|closed.

The "standalone" and "secure" terminology is less confusing.

This retains support for "open" and "closed" but does not document it.

ofproto: Add support for master/slave controller coordination.

Now that Open vSwitch has support for multiple simultaneous controllers,
there is some need for a degree of coordination among them.  For now, the
plan is for the controllers themselves to take the lead on this.  This
commit adds a small bit of OVS infrastructure: the ability for a controller
to designate itself as a "master" or a "slave".  There may be at most one
master at a time; when a controller designates itself as the master, then
any existing master is demoted to slave status.  Slave controllers are not
allowed to modify the flow table or global configuration; any attempt to
do so is rejected with a "bad request" error.

Feature #2495.

Add support for multiple OpenFlow controllers on a single bridge.

With this commit, Open vSwitch permits a bridge to have any number of
OpenFlow controllers.  When multiple controllers are configured, Open
vSwitch connects to all of them simultaneously.  Details of configuration
are in the vswitch schema documentation.

OpenFlow 1.0 does not specify how multiple controllers coordinate in
interacting with a single switch, so more than one controller should be
specified only if the controllers are themselves designed to coordinate
with each other.

An upcoming commit will provide a simple means for coordination between
multiple controllers.

Feature #2495.

ofproto: Bundle all controller-related settings into a struct.

Many ofproto settings are controller-related.  Upcoming commits will add
to ofproto the ability to support multiple controllers, so it is important
to be able to refer to controller settings as a group.  Hence, this commit
bundles them into a new "struct ofproto_controller".

in-band: Support an arbitrary number of controllers.

in-band: Drop in-band flows when turning off in-band control.

Destroying the in-band control object didn't remove the flows related to
in-band control, so they could persist until another event caused the
flow table to be reset.  Changing or removing the controller is one such
event, which would probably happen at the same time as turning off in-band
control, so this is a rather minor flaw, but it still seems good to fix it.

in-band: Fix memory leak in in_band_destroy().

in-band: Fix null pointer dereference.

Triggering this would require deleting the in-use datapath at just the
right time, but we still don't want it to happen.

in-band: Fix memory leak in get_remote_mac().

If the call to netdev_open_default() failed then next_hop_dev was not
freed, but it should be.