ofp-util: Send table_id correctly in OpenFlow 1.0 flow_mods.

This fixes "ovs-ofctl add-flow <bridge> table=<number>,..." and similar
commands.

Reported-by: Hao Zheng <hzheng@nicira.com>

Debian: Update changelog for 1.1.0-1 and 1.1.1-1

This reflects the chagnelogs uploaded to Debian.Org

Debian: ${source:Version} dependency on python-openvswitch

As reported by lintian:

E: openvswitch source: not-binnmuable-any-depends-all openvswitch-ipsec -> python-openvswitch
N:
N:    The package is not safely binNMUable because an arch:any package depends
N:    on an arch:all package with a (= ${Source-Version}) or (=
N:    ${binary:Version}) relationship. Please use (= ${source:Version})
N:    instead.
N:
N:    Severity: important, Certainty: certain

Debian: Update standards version from 3.9.1 to 3.9.2

Debian: Add ${misc:Depends} dependency to python-openvswitch

As reported by lintian -i:

W: openvswitch source: debhelper-but-no-misc-depends python-openvswitch
N:
N:    The source package uses debhelper, but it does not include
N:    ${misc:Depends} in the given binary package's debian/control entry.  Any
N:    debhelper command may add dependencies to ${misc:Depends} that are
N:    required for the work that it does, so recommended best practice is to
N:    always add ${misc:Depends} to the dependencies of each binary package if
N:    debhelper is in use.
N:
N:    Refer to the debhelper(7) manual page for details.
N:
N:    Severity: normal, Certainty: possible

ofp-parse: Ignore extra fields produced by dump-flows.

It's reasonable to want to dump a flow table with "dump-flows" and then
later use that output as input to other commands that read flows, but until
now that hasn't been directly possible because "dump-flows" adds extra
fields that other commands reject on input.  This changes the flow parser
to just ignore those extra fields.

ofp-print: Change "table_id" to "table" in flow_mod and flow_stats.

Flow dumps printed the OpenFlow table ID under the name "table_id", but
the flow parser only accepted "table".  This makes them consistent by
changing the output.  (Another alternative would be to change the accepted
input name.)

ofp-parse: Add support for vlan_tci field.

Until now, the flow parser has supported dl_vlan and dl_vlan_pcp but not
the fully maskable vlan_tci that NXM allows.  This adds that support.

ofproto: Add simple tests for dumping aggregates and for OpenFlow 1.0.

We had no tests that exercised OFPST_AGGREGATE or NXST_AGGREGATE.  At one
point in development I screwed up aggregate stats badly enough that they
caused an immediate and reproducible segfault, which this simple test would
have caught.

Also, it's best to test everything in both NXM and OpenFlow 1.0 flow
formats, since they have slightly different code.

Define UINT64_MAX as "unknown" in Open vSwitch specific interfaces.

Some hardware supports reporting packet or byte counters but not both, so
OVS has to be prepared for that.

Suggested-by: Justin Pettit <jpettit@nicira.com>

ofproto: Implement asynchronous OFPT_FLOW_MOD commands.

Some switching hardware takes a very long time to update its forwarding
rules, up to hundreds of milliseconds.  It is undesirable for Open
vSwitch to block waiting this long for individual OpenFlow flow table
modification commands to complete.  This commit enables ofproto to queue
up any number of independent flow table operations with asynchronous
completion.

I tested earlier versions of this commit using the "ofproto/clog" and
"ofproto/unclog" commands that it implements in the software switch
implementation.  I have not tested the current version very much at all.

CC: Casey Barker <crbarker@google.com>
CC: Rajiv Ramanathan <rajivr@google.com>

ofproto: Collect all rules for an OpenFlow request before acting on any.

An upcoming commit adds support for asynchronous flow table modification.
In an attempt to ensure that the software and hardware flow tables are
properly in sync, that commit limits any given rule to a single outstanding
operation at a time.  It does so by figuring out all of the rules that an
OpenFlow request will affect before modifying any of them, and then
deferring the request if it will affect any rules that have ongoing
operations.  This commit is a step in that direction.

ofp-util: New functions ofputil_actions_equal(), ofputil_actions_clone().

I found that introducing these helper functions provided a very modest
increase in readability.

connmgr: New function ofconn_send_error().

An upcoming commit will sometimes make connmgr responsible for sending
error replies, so it's reasonable for it to have a function to do that.

classifier: New function cls_rule_hash().

An upcoming commit will introduce the first use.

flow: Give flow_wildcards_hash() a 'basis' parameter.

An upcoming commit will add more interesting uses.

ofproto: Better abstract flow stats encoding.

ofproto: Better abstract aggregate stats encoding and decoding.

openflow: Make stats replies more like other OpenFlow messages.

nicira-ext: Separate nx_aggregate_stats_reply from ofp_aggregate_stats_reply.

An upcoming patch will make stats messages much more like other messages,
in that their structures will include all of the headers.  This means that
struct ofp_aggregate_stats_reply will no longer be appropriate as a
member of struct nx_aggregate_stats_reply, because it will then include
those additional header members.

Also, struct nx_aggregate_stats_reply doesn't need to use the special
ovs_32aligned_be64 type, since its 64-bit members are correctly aligned,
which is another reasonable reason to keep it separate.

openflow: Merge ofp_flow_stats_request and ofp_aggregate_stats_request.

openflow: Remove 'body' member from struct ofp_stats_msg.

This member does not actually help with anything.

openflow: Merge ofp_stats_request and ofp_stats_reply.

These structures for OpenFlow stats requests and replies have identical
memebers, but until now they have been separate structures.  Since in some
cases we actually want to treat both of them the same way, this has led
to various kinds of awkwardness.  This commit merges them into a new
"struct ofp_stats_msg" and fixes up the users.

ofproto: Correctly fill in table_id in NXST_FLOW replies.

lacp: Loosen lacp_slave_is_current().

The lacp_slave_is_current() function is used to indicate to a
controller failover status of the LACP module.  However, the result
of this function is more strict than the failover logic.  Thus, the
function will generally return false quite a bit before a failover
actually happens.  This patch loosens lacp_slave_is_current() so
that it changes in-line with the failover logic.

netdev: Add methods to do netdev-specific argument comparisons.

When doing a netdev_open(), a check is first done to make sure the
arguments are equivalent for any open devices with the same name.  In
most cases, a simple shash comparison is sufficient.  However, IPsec
key configuration is handled by an external program, so it is not pushed
down into the kernel module.  Thus, when the "unparse_config" method is
called on an existing IPsec-based vport, a simple comparison with the
returned data will not match the original configuration.  This commit
adds code to allow netdev-specific argument comparisons and has
"ipsec_gre" make use of them.

Bug #5575

AUTHORS: Add Hao Zheng <hzheng@nicira.com>.

python: Fix "make install" on systems without Python.

Reported-by: 冯全树(Crab) <fqs888@126.com>

datapath: Check for supported kernel versions.

Most of the time kernels older or newer than the ones we support
simply fail to compile.  However, sometimes they appear to succeed
but then cause problems later on.  This explicitly checks for
supported versions at compile time.

Signed-off-by: Jesse Gross <jesse@nicira.com>

ofproto: Correct comment describing set_netflow().

tests: Add test for printing NXT_FLOW_MOD_TABLE_ID.

nicira-ext: Explicitly assign each extension message type a number.

This has no semantic change but it makes the numbering harder to screw up
by reordering.

nicira-ext: Renumber NXT_FLOW_MOD_TABLE_ID.

We don't know of anyone using this command in production yet, so it seems
reasonable to give it a new number instead of coping with it having a
conflicting number.

Remove NXAST_DROP_SPOOFED_ARP action.

The NXAST_DROP_SPOOFED_ARP action has been deprecated in favor of
defining flows using the NXM_NX_ARP_SHA flow match for a while.  This
commit removes it.

Signed-off-by: Justin Pettit <jpettit@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

tests: Unit test autopath action parsing.

vlog: Output configuration list in alphabetical order.

dpif: Improve logging of upcalls.

The kernel now provides the entire flow key for a packet sent up to
userspace, but dpif_recv() would only log the in_port.  This change makes
userspace log the entire flow key.

This would have made a bug that I recently looked at a bit easier to
investigate.

ovs-brcompatd: Fix uninitialized br_vlan variable in handle_fdb_query_cmd().

Reported-by: Jesse Gross <jesse@nicira.com>
Tested-by: Jesse Gross <jesse@nicira.com>

datapath: Remove redundant nw_ prefix from fields in flow key.

The fields of the kernel flow key are now grouped by protocol rather
than using generic names.  The containing structures describe the
category, so it is no longer necessary to use prefixes.  Most of
these prefixes have been removed but nw_proto and nw_tos have
retained them.  This renames the fields for consistency and brevity.

Signed-off-by: Jesse Gross <jesse@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

datapath: IP fragments should include L4 header in flow length.

If we can't parse a header because it is invalid or not present due to
fragmentation, we still need to include the length of that header when
comparing the flow key.  The value of the field will be zero to
indicate that header was not present, rather than effectively
wildcarding the value.  However, this was not done with fragments on
flow extract but is effectively done on flow setup.  Since the flow
length also changes the hash, it caused all fragments to miss the
hash table and be sent to useerspace.

Reported-by: Ben Pfaff <blp@nicira.com>
Signed-off-by: Jesse Gross <jesse@nicira.com>
Tested-by: Ben Pfaff <blp@nicira.com>

xenserver: Collect xenserver configured timezone in bugtool report

xenserver logs can be in any timezone, as configured by user
during install time. Also, the timezone data is not currently
recorded in the bugtool report. Therefore, it is currently not
possible to easily correlate logs collected on xenserver with
logs from other devices on the network.

With this change, system-configuration capability of the bugtool plugin
has been added. Also, added an extension to this capability to collect
the time information in RFC3339 format, which includes the system timezone.

Signed-off-by: Sajjad Lateef <slateef@nicira.com>

ovs-brcompatd: Run ovs-vsctl instead of accessing database directly.

ovs-vsctl is carefully written to avoid races in database access.  It is
much simpler to just call it than to reimplement its capabilities.

This eliminates the requirement that bridges managed by ovs-brcompatd have
no ports at ovs-brcompatd startup time.  It also eliminates races between
competing brctl and ovs-vsctl processes.

ovs-brcompatd: Properly fix race between device destruction and insertion.

I believe that this actually fixes the race described in the comments,
whereas I'm pretty sure that the old way still left a race window.

ovs-brcompatd: Remove --prune-timeout option.

This option had an effect when it was initially implemented, but later it
made essentially a no-op without properly removing it or updating the
documentation.  This removes it in favor of keeping the default and only
sensible behavior.

ovs-brcompatd: Use rtnetlink_link_notifier instead of open-coding it.

ovs-brcompatd has always had its own code to listen on an RTNL socket, but
I don't see any reason for it.  This commit rips it out in favor of
rtnetlink_link_notifier.

This change looks fairly big but a lot of it boils down to changing the
indentation level of rtnl_recv_update().

ovs-vsctl: New "comment" command.

This allows processes that call ovs-vsctl to add remarks that explain their
intentions.

compiler: Add macro for GCC "sentinel" attribute.

process: Let process_run_capture() caller set maximum capture size.

An upcoming patch needs a larger value.

rtnetlink-link: Avoid cast in rtnetlink_link_notifier_register().

It's easy enough to avoid this cast by going through a thunk function.
(The other cast in this function is harder to avoid.)

This is just a cleanup that doesn't fix any actual bug.

ofp-parse: Add support for dl_dst masks in flow match parsing.

This makes it possible to add flows that match on the Ethernet multicast
bit with ovs-ofctl.

CC: Paul Ingram <paul@nicira.com>
CC: Amar Padmanabhan <amar@nicira.com>

Better abstract wildcards for Ethernet destination field.

I think that this makes nx-match.c a little easier to read.  The new
functions added here will have more users in an upcoming patch.

ofp-parse: Fix wildcard bits for dl_dst in flow parsing.

This fixes a really minor corner case in flow parsing that doesn't make
much sense anyway.

list: Clarify description of list_moved().

This function doesn't have any users, but an upcoming commit will add one.

bridge: Fix memory leak in port_configure().

ofproto: Fix memory leak in ofproto_destroy__().

signals: New function signal_unregister().

Fixes a very minor memory leak in ovs-vswitchd reported by valgrind.

dpif-linux: Fix memory and file descriptor leak in dpif_linux_close().

Found with valgrind.

ovs-openflowd: Rename test-openflowd and move to "tests" directory.

Too many users thought that they needed to run ovs-openflowd at the same
time as ovs-vswitchd.  I hope that this change discourages them.

ovs-save: Fix address label processing.

If there is a string in ip addr show output, that "coincide with the
name of the device or ... prefixed with the device name followed by
colon", consider this is an address label string.

Signed-off-by: Alexey I. Froloff <raorn@altlinux.org>
Signed-off-by: Ben Pfaff <blp@nicira.com>

learning-switch: Also wildcard VLAN priority bits.

There's no need to learn based on the priority bits so we might as well
wildcard them too.

Reported-by: Justin Pettit <jpettit@nicira.com>

ovsdb: Better document possible commit-time error results.

CC: Jeremy Stribling <strib@nicira.com>

dpif-linux: Avoid duplicate code in dpif_linux_vport_send().

dpif_linux_vport_send() had duplicated most of the code in
dpif_linux_execute() in order to execute output actions in the
kernel.  This forces developers to remember to change both
functions whenever the kernel interface changes.  In particular,
commit 80e5eed9 "datapath: Get packet metadata from userspace in
odp_packet_cmd_execute()." broke netdev_linux_vport_send().  This
commit reorganizes the code and fixes the regression.

Bug #5818.

stream-ssl: Disable SSL session caching.

SSL session caching causes mysterious connection failure problems.

Bug #4448.
Bug #4501.

vswitchd: Add unique indexes for some columns.

This is mainly intended to make life easier for database clients that don't
already have code to avoid creating records with duplicate names in various
OVS database tables.  With this commit, the database server itself rejects
attempts to add Port or Interface records with duplicate names or
Controller or Manager records with duplicate targets.

python ovsdb: Fix one style inconsistency.

Reported-by: Justin Pettit <jpettit@nicira.com>

ovsdb: Implement table uniqueness constraints ("indexes").

ovsdb: Add functions for formatting column sets and data in columns sets.

These will be used for formatting error messages in an upcoming commit.

util: New function for forming English lists.

This follows the rules I learned in school.  Some locales may prefer to
omit the comma before "and" in a list of three or more items.

ovsdb: Move ovsdb_table_put_row() into test program.

This function is not useful inside ovsdb itself but only in the
"test-ovsdb" test program.  To avoid the temptation to use it incorrectly
inside ovsdb, this commit moves it into the test program.

ovsdb: Make ovsdb_column_set_from_json() take table schema instead of table.

This function took a struct ovsdb_table but only used the 'schema' member.
An upcoming patch needs to parse a column set when only the schema is
available, so to prepare for that this patch changes
ovsdb_column_set_from_json() to only take the schema that it really needs.

tunneling: Warn if CAPWAP is not available on this kernel.

For most of our kernel module we support back to 2.6.18 but we only
work with 2.6.26 or newer for CAPWAP.  On later kernels support for
CAPWAP silently disappears.  In these situations, emit a warning so
that people aren't suprised when their tunnels fail.

Signed-off-by: Jesse Gross <jesse@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

ofproto: Optimize datapath actions.

The translation from ofproto to datapath actions has historically
been fairly naive.  Since redundant ODP actions result in more code
execution in the fast path, this patch changes xlate_actions() to
emit fewer ODP actions for a given flow.

This change is not simply a theoretical optimization.  It actually
reduces the number of ODP actions for real flow tables which
Nicira's controllers use in practice.  Furthermore, removing
unnecessary modification actions after the last output action has
the added benefit of saving a whole skb_clone() in the fast path.

ofproto: Enqueue improperly resets priority.

Before this patch, enqueue would reset the priority of a flow to
its original value instead of the value it had immediately before
the enqueue action.

Thus, these openflow actions:
set_queue:2,enqueue:1:1,output:1

Would get translated into these incorrect datapath actions:
set_priority(0x10003),set_priority(0x10002),1,pop_priority,1

Instead of these correct datapath actions:
set_priority(0x10003),set_priority(0x10002),1,set_priority(0x10003),1

A future patch will remove the redundant "set_priority(0x10003)".

Found by inspection.

datapath: Get packet metadata from userspace in odp_packet_cmd_execute().

Until now, the tun_id and in_port have been lost when a packet is sent from
the kernel to userspace and then back to the kernel.  I didn't think that
this was a problem, but recent behavior made me look closer and see that
it makes a difference if sFlow is turned on or if an
ODP_ATTR_ACTION_CONTROLLER action is present.  We could possibly kluge
around those, but for future-proofing it seems better to pass the packet
metadata from userspace to the kernel.  That is what this commit does.

This commit introduces a user-kernel protocol break.  We could avoid that,
if it is desirable, by making ODP_PACKET_ATTR_KEY optional for
ODP_PACKET_CMD_EXECUTE commands.

Signed-off-by: Ben Pfaff <blp@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

learning-switch: Don't limit message queued by --with-flows.

queue_tx() intentionally limits the number of outstanding OpenFlow messages
queued to the switch.  This was unintentionally being applied to the
messages queued to the switch at startup by ovs-ofctl's --with-flows
command.  This patch should fix the problem, by calling rconn_send()
directly instead of through queue_tx().

Ahmed reported that with this patch there was still a problem when 30,000
flows were specified in the file.

Reported-by: Ahmed Bilal <numan252@gmail.com>

ovs-controller: Allow --wildcards to specify a wildcard set.

Based on a patch by Jean Tourrilhes <jt@hpl.hp.com>.  According to Jean,
besides increasing flexibility, this reduces  normalization warnings.

Tested-by: Jean Tourrilhes <jt@hpl.hp.com>

ofp-util: Factor wildcard translation out of ofputil_cls_rule_from_match().

This seems like a small cleanup, plus the new function for translating
wildcards will be independently useful in an upcoming commit.

ofp-util: Simplify logic for computing vlan_tci and vlan_tci_mask.

I believe that this is completely equivalent to, but simpler than, the code
that was here before.

netdev: Remove monitors and notifiers.

Neither of these constructs are used anymore.

bond: Discontinue use of netdev_monitor.

ofproto: Discontinue use of netdev_monitor.

netdev: New Function netdev_change_seq().

This new function will provide a much simpler replacement for
netdev_monitor in the future.

ovsdb: Check ovsdb_mutation_set_execute() return value in transactions.

Errors from this function were being ignored, which meant that transactions
could use "mutate" to bypass number-of-elements constraints on sets and
maps.  This fixes the problem and adds a test to prevent the problem from
recurring.

Bug #5781.

ovsdb: Add test for number-of-elements constraints.

This test already passes, but I did not see any existing test that checked
for this problem.

ovsdb: Fix spelling of "constraint violation" in error tag.

datapath: Don't call genlmsg_reply() under rcu_read_lock().

genlmsg_reply() indirectly makes a call to kmalloc but takes no
GFP flags, instead using GFP_ATOMIC if in a softirq and GFP_KERNEL
otherwise.  However, here we hold rcu_read_lock(), which requires
GFP_ATOMIC but is not a softirq.  Since we've already built the
reply message, it is safe to release rcu_read_lock(), so do that
before calling genlmsg_reply().

Signed-off-by: Jesse Gross <jesse@nicira.com>
CC: Hao Zheng <hzheng@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

ovs-ofctl: Report attempts to add (remove, etc.) non-normalized flows.

Commit 0b3f27253 (ovs-ofctl: Warn about flows not in normal form) made
ovs-ofctl warn about non-normalized flows, that is, flows some of whose
specified fields will be ignored by the switch.  This was convenient for
users, who are understandably confused by flow normalization.  However,
later commit 8050b31d6 (ofp-parse: Refactor flow parsing) accidentally
deleted the warning.  This commit restores it and adds a test to ensure
that it doesn't get deleted again later.

Reported-by: Reid Price <reid@nicira.com>
Bug #5029.

ofp-util: Export (again) a generalized function for normalizing rules.

Feature #5029 requests that "ovs-ofctl add-flow" report an attempt to add
a flow that is not properly normalized, that is, a flow to which the switch
will add extra wildcards, ignoring some fields specified by the user.  This
requires that ofp-util make flow normalization directly available (again).

Until now, flow normalization has only been applied to OpenFlow 1.0 flows,
but the concept applies equally to NXM, so this commit generalizes the
implementation to NXM also.

nx-match: Check prerequisites for ICMPv6 before outputting subfields.

nicira-ext.h documents that NXM_NX_ND_TARGET requires ND_NEIGHBOR_SOLICIT
or ND_NEIGHBOR_ADVERT, that NXM_NX_ND_SLL requires ND_NEIGHBOR_SOLICIT,
and that NXM_NX_ND_TLL requires ND_NEIGHBOR_ADVERT, but nx_put_match()
would add them to the match regardless of whether these prerequisites were
satisfied.  On the other side, nx_pull_match() did check the prerequisites,
so this was a case where OVS could output flows that it would refused to
parse.  This fixes the problem.

Found by inspection.

ofp-util: Also force nw_tos to be wildcarded for ARP flows.

OVS doesn't fill nw_tos with anything meaningful for ARP flows so we should
also force nw_tos to be wildcarded for ARP.

poll-loop: Fix typo in comment.

Reported-by: Ethan Jackson <ethan@nicira.com>

CFM: Revert default MA and MD name.

Commit 84c5d450 "cfm: No longer allow configuration of ma_name and
md_name." changed the default MA and MD name for no reason.  This
could add needless complexity to situations where OVS instances
built before and after this commit need to speak CFM to each other.
This commit reverts to the old values.

ovs-vsctl: Clarify meaning of --may-exist options.

CC: Jeremy Stribling <strib@nicira.com>

ovsdb-doc: Omit E-R diagram from ASCII version of manpage.

The E-R diagram is illegible when rendered in ASCII, so exclude it from
that version only.  The E-R diagram is still included in other versions of
the manpage (e.g. for PostScript output).

test-csum: Avoid "cast increases required alignment of target type" warning.

Casting a character pointer to uint16_t * or uint32_t * provokes this
warning on sparc.  There is no actual problem, because all of the accesses
to data occurs through calls to the get_unaligned_*() functions, so this
commit suppresses the warning by using "void *" as an intermediate type.

bridge: Avoid "cast increases required alignment of target type" warning.

This pointer arithmetic caused a warning on sparc.  One alternative would
be to add a cast through "void *", but it seems at least as reasonable to
just use a few macros to do direct assignments.

in-band: Avoid "cast increases required alignment of target type" warning.

Casting a struct ofp_action_output object's address to type union
ofp_action * provokes a warning on sparc.  It's easier to just declare
the object as having type union ofp_action, even though I don't think that
there is a real problem here.

sha1: Avoid unused variable warnings on big-endian systems.

netlink: Avoid "cast increases required alignment of target type" on RISC.

This warning doesn't indicate a genuine problem, since 'nla' must be
aligned properly and NLA_ALIGN ensures that the offset is aligned properly
too.  Casting via void * suppresses the warning.

bridge: Interface may be configured with incorrect QoS.

Bug #5739.