debian: Bring Debian packaging in-line with new file locations

This commit brings the Debian packaging in-line with the similar changes
that were made to XenServer in commit bc39196.

debian: Fix references to OpenFlow in ovs-switch-config template

The ovs-switch-config template had clearly not been updated since the
project switched from OpenFlow to Open vSwitch.  This updates the
dialog's so they're consistent with the project's real name.

ovs-monitor: Put run files in "/var/run/openvswitch"

debian: Fix executable name of ovs-controller in init script

xenserver: strip all alpha-suffixes from the xenserver build number.

The letter at the end of the build number indicates the site where the build
was done. All publicly released builds come from "p" but within Citrix we have
other suffixes (i.e. in Cambridge we get c).

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

xenserver: Add emergency_reset hook to XAPI plugin

There's a requirement that OVS can be put back into a known good state
remotely.  This will be implemented as a function through the OVS XAPI
plugin.  This commit only provides a hook for testing purposes.  The
functionality will be added later.

xenserver: Add comment to XAPI plugin.

openvswitch-cfg-update: Fix "set-ssl" command arguments.

The SSL certificate and the private key are both in
/etc/xensource/xapi-ssl.pem, so it must be mentioned twice in the set-ssl
command invocation.

Bug accidentally introduced in commit bc391960 "Cleanup default file
locations and XenServer packaging".

Reported-by: Peter Balland <peter@nicira.com>
Tested-by: Peter Balland <peter@nicira.com>

xenserver: updated xen-bugtool to XenServer trunk version.

The version of xen-bugtool include in openvswitch.git was forked long
ago from the xenserver version. Pull up to the version taken from
XenServer's trunk branch just after the integration of 22c75d593 from
openvswitch.git.

I tested that core and log files as well as ovs-dpctl {show,dump-flows}
and ovs-ofctl {show,dump-flows,status} are picked up correctly after the
big vswitch->openvswitch renaming.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

xenserver: gate all logrotate reopens on presence of a pid file

This probably only makes a difference in the case where you have vswitch
installed but (deliberately) not running _and_ you happen to have ovs-* logs big
enough to be worth rotating. Very much an edge case.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

xenserver: Don't reload ovs-brcompatd's log file if it's not running

xenserver: Update MD5 sums of scripts for 5.5.900-29381p

xenserver: Only show ovs-brcompatd status in xsconsole for XS 5.5.0

xenserver: Correct renaming issue in openvswitch-xapi-update

A recent commit changed references from "vswitch" to "openvswitch".
This included changing the name of "vswitch-xapi-update" to
"openvswitch-xapi-update".  Unfortunately, the contents of the file
did not get similarly updated, so the script had issues.  This commit
fixes that.

logrotate: Allow logs to be missing

In particular ovs-brcompatd.log is not present if compatibility mode is
disabled. Without this logrotate attempts to send email to the
administrator.

xenserver: Fix init script typos that prevented turning brcompatd back on.

Commit 723a8c3ca "xenserver: Disable brcompatd" turned off brcompatd by
default but allowed it to be enabled using an option, but the option
didn't work.  This commit fixes that problem.

xenserver: Disable brcompatd except on XenServer 5.5.0

The compat layer is now unused in the vswitch branch of XenServer.

Based on change originally by Ian Campbell, cherry-picked from
"xs5.7" branch.  The original change was not conditional on the
XenServer version.

Ensure "service vswitch status" returns appropriate error code

This command was returning success when vswitchd was not running.
Our automated test relies on this command to decide if the host uses
vswitch or not.

If vswitchd is not OK then brcompatd is not checked at all. Since the
return codes apparently have specific meanings I couldn't see a sensible
way to combine multiple failure results.

(Cherry-picked from xs5.7 branch by Ben Pfaff but merge conflicts meant
that the whole thing had to be redone.)

xenserver: Correct "service vswitch status" when brcompatd is disabled

I don't think it makes sense to report brcompatd's status when it is
explicitly disabled. Doing so causes service status to return an error
when brcompatd is deliberately disabled.

Also fix up a tab vs. spaces whitespace snafu.

Cleanup default file locations and XenServer packaging

This commit cleans up the locations of a number of files and directories
used.  These include:

    - Config file lives in /etc/openvswitch/conf.db
    - Logs go into /var/log/openvswitch
    - ovsdb-server socket is /var/run/openvswitch/db.sock
    - Schema goes into /usr/share/openvswitch/vswitch.ovsschema
    - PID files go in /var/run/openvswitch

For XenServer, these additional changes are made:

    - Cores go in /var/xen/openvswitch
    - OVS binaries run in /var/xen/openvswitch

In addition, it attempts to cleanup the XenServer packaging.  This
includes referring to the project as "openvswitch" as opposed to the
somewhat presumptuous "vswitch".

Note: Changes to the Debian packaging will be forthcoming.

xenserver: Ensure that Bridge.other-config:hwaddr and Interface.MAC are set as appropriate.

Otherwise bridges can end up with a generated MAC address using Nicira OID
which has an impact when using DHCP on that devices.

tests/interface-reconfigure.at updated by Ben Pfaff.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Signed-off-by: Ben Pfaff <blp@nicira.com>

xenserver: Add ovsdb-server status to xsconsole vswitch overview

Merge "citrix" branch into "master".

This merge is long overdue, simply because I forgot that there were
outstanding changes on "citrix" that had not yet been merged.

The important fix here is the addition of mlockall.  This fixes some
bugs seen under stressful conditions in XenServer.

timeval: Always log true poll interval instead of rounding off.

This code triggers when a trip through the process's main loop takes much
longer than expected.  The code for calculating the expected time rounds
down to a maximum of 10000 ms to avoid overflow.  But there is no reason
that the correct time should not be displayed in the log message, and
furthermore displaying the correct time may help tracking down the
underlying issue, since it lets the administrator find out exactly when
the trip through the main loop started.  So this commit displays the exact
time without rounding down.

INSTALL.bridge: Update.

The instructions did not assume the default /usr/local install location,
which is confusing.

Also, the instructions partially replicated those in INSTALL.Linux, but it
seems better to only give the additional steps that are necessary, so do
that too.

Reported-by: Jeongkeun Lee <jklee@hp.com>

dpif-linux: Fix file descriptor leak.

get_major() opens /proc/devices to get the openvswitch major number
but never closes the FD.

ofproto: Don't optimize out updating flow cookie.

The OFPFC_MODIFY and OFPFC_MODIFY_STRICT optimizes out modifying the
actions if the actions didn't change, but it also skipped updating the
flow cookie in that case, which seems wrong.  This commit fixes the
problem.

jsonrpc: Fix potential memory leak.

This is unlikely to occur very often in practice, because s->stream
usually gets stuffed into s->rpc before long, but it is still a good idea
to fix it.

fatal-signal: Initialize library upon any call to public function.

Not calling fatal_signal_init() means that the signal handlers don't get
registered, so the process won't clean up on fatal signals.  Furthermore,
signal_fds[0] is then 0, which means that fatal-signal_wait() waits on
stdin, so if you are testing a program interactively and accidentally type
something on stdin then that program's CPU usage jumps to 100%.

Since poll_block() calls fatal_signal_wait() this seems like the most
reliable solution.

ovsdb: Fix ovsdb-server crash when specifying nonexistent file.

ovsdb_file_open__() can call (NULL) in its error exit
path, but ovsdb_schema_destroy() didn't tolerate a null pointer argument.

Bug #2538.

stream-ssl: Only re-read certificates and keys if they change.

Commit 415f6c0b1 "stream-ssl: Make no-op reconfiguration cheap" caused
ovsdb-server to re-read its certificates and keys every 60 seconds just
in case they changed.  However, doing this causes OpenSSL to drop its
connections.  This commit solves the problem by making stream-ssl re-read
certificates and keys only if the files changed.

Bug #2535.
Reported-by: Ram Jothikumar <rjothikumar@nicira.com>

vswitchd: Make names of Bridge external_ids generic.

Until now the names of the external_ids keys used for Bridge records have
implied that they are specific to XenServer, because they begin with "xs-".
They are more generic in intent, however, so this commit removes the "xs-"
prefix and explains them more generically.

This finishes the renaming process started in commit c0f9490 "vswitchd:
Make names of Interface external_ids generic."

CC: Ian Campbell <ian.campbell@citrix.com>
Signed-off-by: Ben Pfaff <blp@nicira.com>

INSTALL.Linux: Consistently assume installation in /usr/local.

The documentation was inconsistent about assuming whether the installation
was to / or to /usr/local.  Since the default is /usr/local, use that.

Reported-by: Jeongkeun Lee <jklee@hp.com>

INSTALL.Linux: Document "ovs-vsctl init" step to installation.

If the database is not initialized then other programs will complain.

Reported-by: Jeongkeun Lee <jklee@hp.com>

datapath: Support 2.6.33 kernel layout in build system.

The 2.6.33 kernel moves generated header files to include/generated, so
we need to look for autoconf.h there.

Reported-by: Brandon Heller <brandonh@stanford.edu>

xenserver: Fix "ovs-vsctl get" call in vswitch-cfg-update.

The ovs-vsctl arguments were being passed as a single string instead of
broken up as if the shell had performed word splitting.  This fixes the
problem.

Without this commit, "unknown command 'get Open_vSwitch . managers';
use --help for help" appears in the system log.  Adding the commit
suppresses that message.

NIC-72.
Reported-by: Andy Southgate <andy.southgate@citrix.com>
Signed-off-by: Ben Pfaff <blp@nicira.com>

ovsdb-server: Fix build when configuring without --enable-ssl.

Reported-by: Andy Southgate <andy.southgate@citrix.com>

vswitch: Limit SSL table to a single row.

Only a single row in the SSL can be useful currently.  This should help to
prevent confusion since ovsdb-server will choose an SSL configuration
randomly if there is more than one.

ovsdb-server: Obtain SSL configuration from database.

ovsdb-server should be able to obtain its SSL configuration from the
database that it is serving out, instead of having to specify it on the
command line.  This commit makes it so.

docs: Fix ovsdb-server manpage.

The description of --remote=db:table,column got accidentally dropped a
number of commits back, so restore it.  Also, document that ovsdb-server
supports SSL bootstrapping.

docs: Move PKI section heading into individual manpages.

The ovsdb-server manpage needs a paragraph between the heading and the
first option description, so the heading can't go into the common fragment.

docs: Make SSL manpage fragments less specific to OpenFlow.

These manpage fragments are used in OVSDB manpages as well, so their text
should try to avoid referring to OpenFlow-specific concepts.

stream-ssl: Make no-op reconfiguration cheap.

Until now, the stream_ssl functions for configuring private keys,
certificates, and CA certificates have always called into OpenSSL to read
a file.  This commit instead makes them do that only if the file name
changed (or it has been 60 seconds since we last tried, in case someone
installed the file behind our backs).

This allows us to factor some code out of vswitchd.  In an upcoming commit
we will want to do essentially the same thing from ovsdb-server, so this
avoid code redundancy.

stream-ssl: Permit race in bootstrapping CA certificate.

If two processes were both configured to bootstrap the CA certificate, then
one of them would succeed in writing it to a file and use it, and the other
one would fail to use it because the file was created behind its back.
This commit fixes the problem by making the bootstrap code accept a CA
certificate file that exists at the time that bootstrapping tries to create
it.

classifer: Fix test classifier to match real classifier.

The trivial test classifier had the same bug as the real classifier
when replacing matching flows.  This caused it to not find the
original bug and then break when the bug was fixed.

classifier: Check all rules of equal priority when inserting.

When adding a new classifier rule we check if there is a rule
of the same priority first and overwrite it before inserting a
new rule.  Previously we would stop looking if we found one rule
in the correct bucket with the same priority, even if it didn't
match.  This keeps going until we either find a matching rule or
we run out of equal priority rules.

Reported-by: Tetsuo NAKAGAWA <nakagawa@mxc.nes.nec.co.jp>

xenserver: Make OVS xsconsole plugin configure management channel

Previously, the xsconsole plugin configured a single OpenFlow controller
configuration across all bridges.  With the management channel, we can
now have the manager configure the bridges' controllers individually.
This changes the plugin to only set that management IP.

xenserver: Remove support for setting different controllers for datapaths

A hack was put in a while back to support setting different controllers for
different datapaths by defining a "for-bridges" value in the
"vSwitchController" key.  It is no longer necessary to do that with the
management protocol, since the manager can directly set controllers for
each datapath.

xenserver: Add ovsdb-server logs to xen-bugtool

vswitch: Limit Open_vSwitch table to a single record.

This table has always been limited to a single record.  This commit makes
the database itself enforce that limit.

ovsdb: Allow constraining the number of rows in a table.

ovsdb: Fix error message when parsing an operation fails.

Otherwise you get errors with text like "ovsdb operation 2 of 1", which
is confusing.

ovsdb: Compact databases online automatically and on-demand.

If the database grows fairly large, and we've written a fair number of
transactions to it, and it's been a while since the database was compacted,
then (after the next commit) compact the database.

Also, compact the database online if the "ovsdb-server/compact" command is
issued via unixctl.  I suspect that this feature will rarely if ever be
used in practice, but it's easier to test than compacting automatically.

Bug #2391.

ovsdb: Rename ovsdb_file_replica to ovsdb_file.

This is in preparation for exposing ovsdb_file to clients outside this
translation unit.  These clients don't care that the ovsdb_file is an
ovsdb replica--that's an implementation detail--and so it makes sense to
rename it from their point of view.

This is just a search-and-replace plus reindenting where appropriate.

util: New functions get_cwd(), abs_file_name().

These will be used further in an upcoming commit.

ovsdb: Always set *dbp to null on failure in ovsdb_file_open__().

Found via inspection.  I do not know that this fixes a real bug.

Merge "next" branch into "master".

ovsdb: Add tests for transient ovsdb-server.

This variant of the ovsdb execution tests runs each transaction against a
separately started ovsdb-server.  The idea is that this should help to
ferret out any differences between what ovsdb-server has in memory and what
actually gets committed to disk.  There should not be any such differences,
but we need to test for that.

vswitch: Use weak references in Mirror table.

A port mirror seems sufficiently disconnected from the ports that it
mirrors that it seems counterproductive to forbid removing a port if
it is mirrored.  This commit therefore changes the references from
Mirror to Port from strong references to weak references, so that
removing a port automatically removes references to it from the Mirror
table.

Since this could cause the port and VLAN selection for the Mirror to
become empty, which would make the mirror select all packets, at the same
time this commit adds a new column "select_all" to Mirror, to explicitly
allow selecting all packets.

ovsdb: Add support for weak references.

ovsdb: Check for changed columns only once per transaction commit.

Until now, each part of a transaction commit that is interested in whether
a column's value has changed has had to do a comparison of the old and new
values itself.  There can be several interested parties per commit
(generally one for file storage and one for each remove OVSDB connection),
so this seems like too much redundancy.  This commit adds a bitmap
to struct ovsdb_txn_row that tracks whether a column's value has actually
changed, to reduce this overhead.

As a convenient side effect of doing these checks up front, it then
becomes easily possible to drop txn_rows (and txn_tables and entire txns)
that become no-ops.  (This probably fixes bug #2400, which reported that
some no-ops actually report updates over monitors.)

ovsdb: Simplify referential integrity checking commit logic.

Until now, the commit-time logic for verifying referential integrity
modified row reference counts in-place.  That meant that it had to be
careful to be able to roll back those changes if it did detect a violation.
This commit changes the logic to avoid making any in-place changes.
Instead, the reference counts are tracked outside the rows themselves and
committed only if the transaction as a whole satisfies the constraints.
This eliminates a fair bit of code and paves the way for implementing
weak references as well.

ovsdb: Introduce for_each_txn_row() iterator function for transactions.

A number of places in the transaction code want to iterate over all of
the txn_rows and possibly modify them.  It is getting messy to duplicate
the code to do this everywhere.  This commit introduces a new function that
encapsulates the iteration logic, efficiently handling modifications made
by the callback function.

Upcoming commits will add more uses of this iterator function.

New function ovsdb_error_assert() for verifying that no error occurred.

ovsdb: Centralize and make consistent setting txn_row members of rows.

When a transaction modified a row, the "old" row's txn_row member was
not being set to the txn_row.  This commit changes that and factors out
the code to set the txn_row member of the rows within a txn_row.

This is not a bug fix, because nothing previously cared about the txn_row
member of the old version of a row, but it does matter for an upcoming
commit.

ovsdb-tool: Fix segfault if deleted row doesn't exist.

This "can't happen" normally, but it will if you monkey with the OVSDB
file by hand such that a row that gets deleted never actually existed in
the db.

debian: Upgrade database before starting ovsdb-server.

The XenServer init script has been upgrading the database before starting
ovsdb-server for some time now, but the corresponding change was never
made to the Debian init script.  This commit fixes that.

tests: Don't use obsolete names in ovs-vsctl tests of external-ids.

The names used in the tests don't matter, but they could potentially
confuse a reader, so use more generic names.

Reported-by: Justin Pettit <jpettit@nicira.com>

vswitchd: Remove documentation of xs-network-names.

The xs-network-names external_id is no longer used or populated, so remove
its documentation.

vswitchd: Make names of Interface external_ids generic.

Until now the names of the external_ids keys used for Interface records
have implied that they are specific to XenServer, because they begin with
"xs-".  They are more generic in intent, however, so this commit removes
the "xs-" prefix and explains them more generically.

The Bridge record's external_ids still need renaming.

xenserver: Restore XS5.5 compatibility for vif script.

XAPI in XenServer 5.5 does not put the vif-uuid or network-uuid into
XenStore, so the vif script needs to query xapi for those attributes in
that case.

Tested with XenServer 5.5.0 update 1 and XenServer 5.5.9 build 29381
(the latter just to make sure I didn't break anything).

Signed-off-by: Ben Pfaff <blp@nicira.com>

xenserver: Must pass --no-wait to ovs-vsctl before starting ovs-vswitchd.

Otherwise ovs-vsctl pauses until it times out waiting for ovs-vswitchd to
reload its configuration.

datapath: Consistently maintain flow key.

After executing an action that changes a packet sometimes we update
the flow key and sometimes we don't.  This is potentially problematic
because we sometimes use the key for checks later on.  This consistently
maintains the key.

datapath: Validate ToS when flow is added.

Check that the ToS is valid when the flow is added, not every time
it is used.

datapath: Use constants instead of actual values.

Use the appropriate constants instead of the values for masks, shifts,
etc.

bridge: Remove leftover from config file.

The 'pfx' variable is no longer used now that the config file is
gone and its only purpose in life is to be freed so get rid of it.

vconn-stream: Copy stream's IP and port info into vconn at creation time.

This fixes in-band control, which depends on knowing the local and remote
IP and port.

vconn-stream: Fix listening on ptcp: and pssl: without specifying a port.

This function was adding an extra ":", which made pstream_open() unhappy.

ofp-print: Cleanup typos in print OpenFlow Flow Stats Reply

Add "external_ids" column to Open_vSwitch table, add "system-uuid" on Xen.

Software that interfaces to Open vSwitch needs a way to identify the
host that the switch is running on.  This commit adds such a way.

Cleaned up version of original implementation by Ben Pfaff.

ofproto: Avoid extra call to time_msec().

compose_flow_removed() already has the current time conveniently provided
as a parameter, so there is no need to call time_msec() directly.

Also squashes an annoying GCC warning about an unused parameter.

ovs-brcompatd: Fix stupid merge error.

Apparently I can no longer rely on myself to look for compiler warnings
before I push.

Introduced in commit 4b3a0009 "ovs-brcompatd: Delete what Bridge
references when deleting a Bridge."

ovsdb-tool: Do not lock source db for compacting or converting to new db.

"ovsdb-tool compact SRC DST" and "ovsdb-tool convert SRC SCHEMA DST" do not
need to lock SRC, because they do not modify it.

Reported-by: Justin Pettit <jpettit@nicira.com>

lockfile: Occasionally log a warning when waiting for a lockfile.

Waiting for a lockfile can cause mysterious pauses for users.  Logging a
warning to the console every so often gives them feedback on what is
happening.

Reported-by: Justin Pettit <jpettit@nicira.com>

Raise minimum Autoconf version to 2.64.

Our configure scripts were actually using Autoconf features introduced in
version 2.64 (e.g. AT_SKIP_IF, AT_CHECK_UNQUOTED), so we should not
claim 2.63 as prerequisite.

Reported-by: Andy Southgate <andy.southgate@citrix.com>

ovs-brcompatd: Delete what Bridge references when deleting a Bridge.

A Bridge record can reference a number of other records: Port, Mirror,
NetFlow, sFlow, and Controller records.  When the Bridge is deleted, we
should also delete those records that it references.  This commit does
that.

Bug #2425.

ovsdb-idl: Make ovsdb_idl_txn_add_comment() take a printf() format string.

All of the callers were calling xasprintf() and then passing the result
to ovsdb_idl_txn_add_comment(), so this slightly simplifies the callers.

csum: Fix rare error cases in checksum computation.

Occasionally the checksum test on "make check" would fail.  This commit
fixes the problem, which was that the partial checksum may need more than
one reduction step to obtain a final checksum.  Now running checksum tests
in a continuous loop yields no failures.

xenserver: Add ovs-vswitchd.conf.db.5.gz to packaged files in RPM.

ovsdb: Remove "comment" support from OVSDB schemas.

Using a separate XML file to document a schema is much more flexible.
You end up with two files (a schema and documentation for it), each of
which is readable and maintainable, instead of a single schema file that
is almost illegible.

Add documentation for the vswitch database schema.

We can do better than this (I already have some comments) but this is
still much better than what we had.

ofproto: Fix stupid typo that broke the build.

Add extern "C" to more header files.

From partner.

ofproto: Fix OpenFlow flow statistics result.

It made no sense to sum the rule and subrule counters and then throw them
away.

Seemingly caused by a bad merge in commit 3f355f4 'Merge "citrix" into
"master".'

Reported-by: Jean Tourrilhes <jt@hpl.hp.com>

gre: Add support for path MTU discovery.

This allows path MTU discovery to properly work when used with
bridging.  While there was previously support for PMTUD it used
the kernel's IP stack.  This works fine for routing but when
bridging it is possible that a complete network is operating over
the bridge that the kernel has no knowledge of and the ICMP
fragmentation needed packets are lost.

When a packet arrives that is above the MTU of the tunnel, an
ICMP message is synthesized and send back on the device that the
original packet came from.  This does not rely on the kernel IP
stack and is therefore independent of the routing table.  Both
IPv4 and IPv6 are supported, including over VLANs.  Other types
of packets that are over the MTU are encapsulated and the outer
packets are fragmented.

This entire functionality is a layer violation since bridging
operates at layer 2 and fragmentation is a function of layer 3.
For this reason it is possible to disable PMTUD, which will
provide complete transparency but will cause the outer IP packets
to be fragmented.

gre: Correctly account for hardware header length.

On recent kernels there are two fields that we can use to keep track
of the overhead due to tunneling: hard_header_len and needed_headroom.
On older kernels everything got shoved into hard_header_len and the
actual header length got lost, which caused MTU calculations to be
incorrect.  Since we know the device type we can figure out what the
header length should be.

gre: Add functions to determine address type to compat layer.

Allows older kernels to classify IPv4/IPv6 addresses as loopback,
broadcast, etc.  The IPv6 functions actually exist in all supported
kernels but add a dependency on the IPv6 code on older kernels (they
are always available on more recent kernels).  This allows us to
process IPv6 packets without dragging in the entire IPv6 subsystem
if it is compiled as a module (such as on Xen).  This is only done
for packets that are passing through the system and does not use
the IPv6 core if it is not configured.

gre: Allow ToS on outer packet to be configured.

When creating a GRE tunnel, it is now possible to either set the
ToS of the outer packet to a fixed value or copy it from the inner
packet.

gre: Allow IPv6 ToS bits to be propagated to tunnel packets.

The IPv6 ToS bits should have the same meaning as in IPv4, so
allow them to be copied from the inner packet to the tunnel packet
if enabled.

gre: Always set TTL on outer packet to 64.

Currently the TTL is copied from the inner packet of the tunnel to
the outer packet if the inner packet is IP.  This is good if your
GRE packets might make it into the input of your device but bad
if you want to be fully transparent.

This also resolves an inconsistency between tunnels set up using
the ioctl and using Netlink.  The ioctl version would force PMTUD
on if a fixed TTL is set as a backup way to prevent loops but it
never made it over to the newer Netlink code so obviously no one
cares too much about it.  This removes it to provide consistency
and transparency.

Basically, don't create loops and you will be happy.