brcompatd: Break send_reply() up into more functions for flexibility.
[openvswitch] / vswitchd / ovs-brcompatd.c
1 /* Copyright (c) 2008, 2009 Nicira Networks
2  *
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 #include <config.h>
17
18 #include <asm/param.h>
19 #include <assert.h>
20 #include <errno.h>
21 #include <getopt.h>
22 #include <inttypes.h>
23 #include <limits.h>
24 #include <net/if.h>
25 #include <linux/genetlink.h>
26 #include <linux/rtnetlink.h>
27 #include <signal.h>
28 #include <stdlib.h>
29 #include <string.h>
30 #include <sys/types.h>
31 #include <sys/stat.h>
32 #include <time.h>
33 #include <fcntl.h>
34 #include <unistd.h>
35
36 #include "cfg.h"
37 #include "command-line.h"
38 #include "coverage.h"
39 #include "daemon.h"
40 #include "dirs.h"
41 #include "dpif.h"
42 #include "dynamic-string.h"
43 #include "fatal-signal.h"
44 #include "fault.h"
45 #include "leak-checker.h"
46 #include "netdev.h"
47 #include "netlink.h"
48 #include "ofpbuf.h"
49 #include "openvswitch/brcompat-netlink.h"
50 #include "packets.h"
51 #include "poll-loop.h"
52 #include "process.h"
53 #include "signals.h"
54 #include "svec.h"
55 #include "timeval.h"
56 #include "unixctl.h"
57 #include "util.h"
58
59 #include "vlog.h"
60 #define THIS_MODULE VLM_brcompatd
61
62
63 /* xxx Just hangs if datapath is rmmod/insmod.  Learn to reconnect? */
64
65 /* Actions to modify bridge compatibility configuration. */
66 enum bmc_action {
67     BMC_ADD_DP,
68     BMC_DEL_DP,
69     BMC_ADD_PORT,
70     BMC_DEL_PORT
71 };
72
73 static void parse_options(int argc, char *argv[]);
74 static void usage(void) NO_RETURN;
75
76 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(5, 60);
77
78 /* Maximum number of milliseconds to wait for the config file to be
79  * unlocked.  If set to zero, no waiting will occur. */
80 static int lock_timeout = 500;
81
82 /* Maximum number of milliseconds to wait before pruning port entries that 
83  * no longer exist.  If set to zero, ports are never pruned. */
84 static int prune_timeout = 5000;
85
86 /* Config file shared with ovs-vswitchd (usually ovs-vswitchd.conf). */
87 static char *config_file;
88
89 /* Shell command to execute (via popen()) to send a control command to the
90  * running ovs-vswitchd process.  The string must contain one instance of %s,
91  * which is replaced by the control command. */
92 static char *appctl_command;
93
94 /* Netlink socket to listen for interface changes. */
95 static struct nl_sock *rtnl_sock;
96
97 /* Netlink socket to bridge compatibility kernel module. */
98 static struct nl_sock *brc_sock;
99
100 /* The Generic Netlink family number used for bridge compatibility. */
101 static int brc_family;
102
103 static const struct nl_policy brc_multicast_policy[] = {
104     [BRC_GENL_A_MC_GROUP] = {.type = NL_A_U32 }
105 };
106
107 static const struct nl_policy rtnlgrp_link_policy[] = {
108     [IFLA_IFNAME] = { .type = NL_A_STRING, .optional = false },
109     [IFLA_MASTER] = { .type = NL_A_U32, .optional = true },
110 };
111
112 static int
113 lookup_brc_multicast_group(int *multicast_group)
114 {
115     struct nl_sock *sock;
116     struct ofpbuf request, *reply;
117     struct nlattr *attrs[ARRAY_SIZE(brc_multicast_policy)];
118     int retval;
119
120     retval = nl_sock_create(NETLINK_GENERIC, 0, 0, 0, &sock);
121     if (retval) {
122         return retval;
123     }
124     ofpbuf_init(&request, 0);
125     nl_msg_put_genlmsghdr(&request, sock, 0, brc_family,
126             NLM_F_REQUEST, BRC_GENL_C_QUERY_MC, 1);
127     retval = nl_sock_transact(sock, &request, &reply);
128     ofpbuf_uninit(&request);
129     if (retval) {
130         nl_sock_destroy(sock);
131         return retval;
132     }
133     if (!nl_policy_parse(reply, NLMSG_HDRLEN + GENL_HDRLEN,
134                          brc_multicast_policy, attrs,
135                          ARRAY_SIZE(brc_multicast_policy))) {
136         nl_sock_destroy(sock);
137         ofpbuf_delete(reply);
138         return EPROTO;
139     }
140     *multicast_group = nl_attr_get_u32(attrs[BRC_GENL_A_MC_GROUP]);
141     nl_sock_destroy(sock);
142     ofpbuf_delete(reply);
143
144     return 0;
145 }
146
147 /* Opens a socket for brcompat notifications.  Returns 0 if successful,
148  * otherwise a positive errno value. */
149 static int
150 brc_open(struct nl_sock **sock)
151 {
152     int multicast_group = 0;
153     int retval;
154
155     retval = nl_lookup_genl_family(BRC_GENL_FAMILY_NAME, &brc_family);
156     if (retval) {
157         return retval;
158     }
159
160     retval = lookup_brc_multicast_group(&multicast_group);
161     if (retval) {
162         return retval;
163     }
164
165     retval = nl_sock_create(NETLINK_GENERIC, multicast_group, 0, 0, sock);
166     if (retval) {
167         return retval;
168     }
169
170     return 0;
171 }
172
173 static const struct nl_policy brc_dp_policy[] = {
174     [BRC_GENL_A_DP_NAME] = { .type = NL_A_STRING },
175 };
176
177 static bool
178 bridge_exists(const char *name)
179 {
180     return cfg_has_section("bridge.%s", name);
181 }
182
183 static int
184 execute_appctl_command(const char *unixctl_command, char **output)
185 {
186     char *stdout_log, *stderr_log;
187     int error, status;
188     char *argv[5];
189
190     argv[0] = "/bin/sh";
191     argv[1] = "-c";
192     argv[2] = xasprintf(appctl_command, unixctl_command);
193     argv[3] = NULL;
194
195     /* Run process and log status. */
196     error = process_run_capture(argv, &stdout_log, &stderr_log, &status);
197     if (error) {
198         VLOG_ERR("failed to execute %s command via ovs-appctl: %s",
199                  unixctl_command, strerror(error));
200     } else if (status) {
201         char *msg = process_status_msg(status);
202         VLOG_ERR("ovs-appctl exited with error (%s)", msg);
203         free(msg);
204         error = ECHILD;
205     }
206
207     /* Deal with stdout_log. */
208     if (output) {
209         *output = stdout_log;
210     } else {
211         free(stdout_log);
212     }
213
214     /* Deal with stderr_log */
215     if (stderr_log && *stderr_log) {
216         VLOG_INFO("ovs-appctl wrote to stderr:\n%s", stderr_log);
217     }
218     free(stderr_log);
219
220     free(argv[2]);
221
222     return error;
223 }
224
225 static int
226 rewrite_and_reload_config(void)
227 {
228     if (cfg_is_dirty()) {
229         int error1 = cfg_write();
230         int error2 = cfg_read();
231         long long int reload_start = time_msec();
232         int error3 = execute_appctl_command("vswitchd/reload", NULL);
233         long long int elapsed = time_msec() - reload_start;
234         COVERAGE_INC(brcompatd_reload);
235         if (elapsed > 0) {
236             VLOG_INFO("reload command executed in %lld ms", elapsed);
237         }
238         return error1 ? error1 : error2 ? error2 : error3;
239     }
240     return 0;
241 }
242
243 /* Get all the interfaces for 'bridge' as 'ifaces', breaking bonded interfaces
244  * down into their constituent parts.
245  *
246  * If 'vlan' < 0, all interfaces on 'bridge' are reported.  If 'vlan' == 0,
247  * then only interfaces for trunk ports or ports with implicit VLAN 0 are
248  * reported.  If 'vlan' > 0, only interfaces with implict VLAN 'vlan' are
249  * reported.  */
250 static void
251 get_bridge_ifaces(const char *bridge, struct svec *ifaces, int vlan)
252 {
253     struct svec ports;
254     int i;
255
256     svec_init(&ports);
257     svec_init(ifaces);
258     cfg_get_all_keys(&ports, "bridge.%s.port", bridge);
259     for (i = 0; i < ports.n; i++) {
260         const char *port_name = ports.names[i];
261         if (vlan >= 0) {
262             int port_vlan = cfg_get_vlan(0, "vlan.%s.tag", port_name);
263             if (port_vlan < 0) {
264                 port_vlan = 0;
265             }
266             if (vlan != port_vlan) {
267                 continue;
268             }
269         }
270         if (cfg_has_section("bonding.%s", port_name)) {
271             struct svec slaves;
272             svec_init(&slaves);
273             cfg_get_all_keys(&slaves, "bonding.%s.slave", port_name);
274             svec_append(ifaces, &slaves);
275             svec_destroy(&slaves);
276         } else {
277             svec_add(ifaces, port_name);
278         }
279     }
280     svec_destroy(&ports);
281 }
282
283 /* Go through the configuration file and remove any ports that no longer
284  * exist associated with a bridge. */
285 static void
286 prune_ports(void)
287 {
288     int i, j;
289     int error;
290     struct svec bridges, delete;
291
292     if (cfg_lock(NULL, 0)) {
293         /* Couldn't lock config file. */
294         return;
295     }
296
297     svec_init(&bridges);
298     svec_init(&delete);
299     cfg_get_subsections(&bridges, "bridge");
300     for (i=0; i<bridges.n; i++) {
301         const char *br_name = bridges.names[i];
302         struct svec ifaces;
303
304         /* Check that each bridge interface exists. */
305         get_bridge_ifaces(br_name, &ifaces, -1);
306         for (j = 0; j < ifaces.n; j++) {
307             const char *iface_name = ifaces.names[j];
308             enum netdev_flags flags;
309
310             /* The local port and internal ports are created and destroyed by
311              * ovs-vswitchd itself, so don't bother checking for them at all.
312              * In practice, they might not exist if ovs-vswitchd hasn't
313              * finished reloading since the configuration file was updated. */
314             if (!strcmp(iface_name, br_name)
315                 || cfg_get_bool(0, "iface.%s.internal", iface_name)) {
316                 continue;
317             }
318
319             error = netdev_nodev_get_flags(iface_name, &flags);
320             if (error == ENODEV) {
321                 VLOG_INFO_RL(&rl, "removing dead interface %s from %s",
322                              iface_name, br_name);
323                 svec_add(&delete, iface_name);
324             } else if (error) {
325                 VLOG_INFO_RL(&rl, "unknown error %d on interface %s from %s",
326                              error, iface_name, br_name);
327             }
328         }
329         svec_destroy(&ifaces);
330     }
331     svec_destroy(&bridges);
332
333     if (delete.n) {
334         size_t i;
335
336         for (i = 0; i < delete.n; i++) {
337             cfg_del_match("bridge.*.port=%s", delete.names[i]);
338             cfg_del_match("bonding.*.slave=%s", delete.names[i]);
339         }
340         rewrite_and_reload_config();
341         cfg_unlock();
342     } else {
343         cfg_unlock();
344     }
345     svec_destroy(&delete);
346 }
347
348
349 /* Checks whether a network device named 'name' exists and returns true if so,
350  * false otherwise.
351  *
352  * XXX it is possible that this doesn't entirely accomplish what we want in
353  * context, since ovs-vswitchd.conf may cause vswitchd to create or destroy
354  * network devices based on iface.*.internal settings.
355  *
356  * XXX may want to move this to lib/netdev.
357  *
358  * XXX why not just use netdev_nodev_get_flags() or similar function? */
359 static bool
360 netdev_exists(const char *name)
361 {
362     struct stat s;
363     char *filename;
364     int error;
365
366     filename = xasprintf("/sys/class/net/%s", name);
367     error = stat(filename, &s);
368     free(filename);
369     return !error;
370 }
371
372 static int
373 add_bridge(const char *br_name)
374 {
375     if (bridge_exists(br_name)) {
376         VLOG_WARN("addbr %s: bridge %s exists", br_name, br_name);
377         return EEXIST;
378     } else if (netdev_exists(br_name)) {
379         if (cfg_get_bool(0, "iface.%s.fake-bridge", br_name)) {
380             VLOG_WARN("addbr %s: %s exists as a fake bridge",
381                       br_name, br_name);
382             return 0;
383         } else {
384             VLOG_WARN("addbr %s: cannot create bridge %s because a network "
385                       "device named %s already exists",
386                       br_name, br_name, br_name);
387             return EEXIST;
388         }
389     }
390
391     cfg_add_entry("bridge.%s.port=%s", br_name, br_name);
392     VLOG_INFO("addbr %s: success", br_name);
393
394     return 0;
395 }
396
397 static int 
398 del_bridge(const char *br_name)
399 {
400     if (!bridge_exists(br_name)) {
401         VLOG_WARN("delbr %s: no bridge named %s", br_name, br_name);
402         return ENXIO;
403     }
404
405     cfg_del_section("bridge.%s", br_name);
406     VLOG_INFO("delbr %s: success", br_name);
407
408     return 0;
409 }
410
411 static int
412 parse_command(struct ofpbuf *buffer, uint32_t *seq, const char **br_name,
413               const char **port_name, uint64_t *count, uint64_t *skip)
414 {
415     static const struct nl_policy policy[] = {
416         [BRC_GENL_A_DP_NAME] = { .type = NL_A_STRING, .optional = true },
417         [BRC_GENL_A_PORT_NAME] = { .type = NL_A_STRING, .optional = true },
418         [BRC_GENL_A_FDB_COUNT] = { .type = NL_A_U64, .optional = true },
419         [BRC_GENL_A_FDB_SKIP] = { .type = NL_A_U64, .optional = true },
420     };
421     struct nlattr *attrs[ARRAY_SIZE(policy)];
422
423     if (!nl_policy_parse(buffer, NLMSG_HDRLEN + GENL_HDRLEN, policy,
424                          attrs, ARRAY_SIZE(policy))
425         || (br_name && !attrs[BRC_GENL_A_DP_NAME])
426         || (port_name && !attrs[BRC_GENL_A_PORT_NAME])
427         || (count && !attrs[BRC_GENL_A_FDB_COUNT])
428         || (skip && !attrs[BRC_GENL_A_FDB_SKIP])) {
429         return EINVAL;
430     }
431
432     *seq = ((struct nlmsghdr *) buffer->data)->nlmsg_seq;
433     if (br_name) {
434         *br_name = nl_attr_get_string(attrs[BRC_GENL_A_DP_NAME]);
435     }
436     if (port_name) {
437         *port_name = nl_attr_get_string(attrs[BRC_GENL_A_PORT_NAME]);
438     }
439     if (count) {
440         *count = nl_attr_get_u64(attrs[BRC_GENL_A_FDB_COUNT]);
441     }
442     if (skip) {
443         *skip = nl_attr_get_u64(attrs[BRC_GENL_A_FDB_SKIP]);
444     }
445     return 0;
446 }
447
448 /* Composes and returns a reply to a request made by the datapath with Netlink
449  * sequence number 'seq' and error code 'error'.  The caller may add additional
450  * attributes to the message, then it may send it with send_reply(). */
451 static struct ofpbuf *
452 compose_reply(uint32_t seq, int error)
453 {
454     struct ofpbuf *reply = ofpbuf_new(4096);
455     nl_msg_put_genlmsghdr(reply, brc_sock, 32, brc_family, NLM_F_REQUEST,
456                           BRC_GENL_C_DP_RESULT, 1);
457     ((struct nlmsghdr *) reply->data)->nlmsg_seq = seq;
458     nl_msg_put_u32(reply, BRC_GENL_A_ERR_CODE, error);
459     return reply;
460 }
461
462 /* Sends 'reply' to the datapath and frees it. */
463 static void
464 send_reply(struct ofpbuf *reply)
465 {
466     int retval = nl_sock_send(brc_sock, reply, false);
467     if (retval) {
468         VLOG_WARN_RL(&rl, "replying to brcompat request: %s",
469                      strerror(retval));
470     }
471     ofpbuf_delete(reply);
472 }
473
474 /* Composes and sends a reply to a request made by the datapath with Netlink
475  * sequence number 'seq' and error code 'error'. */
476 static void
477 send_simple_reply(uint32_t seq, int error)
478 {
479     send_reply(compose_reply(seq, error));
480 }
481
482 static int
483 handle_bridge_cmd(struct ofpbuf *buffer, bool add)
484 {
485     const char *br_name;
486     uint32_t seq;
487     int error;
488
489     error = parse_command(buffer, &seq, &br_name, NULL, NULL, NULL);
490     if (!error) {
491         error = add ? add_bridge(br_name) : del_bridge(br_name);
492         if (!error) {
493             error = rewrite_and_reload_config();
494         }
495         send_simple_reply(seq, error);
496     }
497     return error;
498 }
499
500 static const struct nl_policy brc_port_policy[] = {
501     [BRC_GENL_A_DP_NAME] = { .type = NL_A_STRING },
502     [BRC_GENL_A_PORT_NAME] = { .type = NL_A_STRING },
503 };
504
505 static void
506 del_port(const char *br_name, const char *port_name)
507 {
508     cfg_del_entry("bridge.%s.port=%s", br_name, port_name);
509     cfg_del_match("bonding.*.slave=%s", port_name);
510     cfg_del_match("vlan.%s.*", port_name);
511 }
512
513 static int
514 handle_port_cmd(struct ofpbuf *buffer, bool add)
515 {
516     const char *cmd_name = add ? "add-if" : "del-if";
517     const char *br_name, *port_name;
518     uint32_t seq;
519     int error;
520
521     error = parse_command(buffer, &seq, &br_name, &port_name, NULL, NULL);
522     if (!error) {
523         if (!bridge_exists(br_name)) {
524             VLOG_WARN("%s %s %s: no bridge named %s",
525                       cmd_name, br_name, port_name, br_name);
526             error = EINVAL;
527         } else if (!netdev_exists(port_name)) {
528             VLOG_WARN("%s %s %s: no network device named %s",
529                       cmd_name, br_name, port_name, port_name);
530             error = EINVAL;
531         } else {
532             if (add) {
533                 cfg_add_entry("bridge.%s.port=%s", br_name, port_name);
534             } else {
535                 del_port(br_name, port_name);
536             }
537             VLOG_INFO("%s %s %s: success", cmd_name, br_name, port_name);
538             error = rewrite_and_reload_config();
539         }
540         send_simple_reply(seq, error);
541     }
542
543     return error;
544 }
545
546 /* Returns the name of the bridge that contains a port named 'port_name', as a
547  * malloc'd string that the caller must free, or a null pointer if no bridge
548  * contains a port named 'port_name'. */
549 static char *
550 get_bridge_containing_port(const char *port_name)
551 {
552     struct svec matches;
553     const char *start, *end;
554
555     svec_init(&matches);
556     cfg_get_matches(&matches, "bridge.*.port=%s", port_name);
557     if (!matches.n) {
558         return 0;
559     }
560
561     start = matches.names[0] + strlen("bridge.");
562     end = strstr(start, ".port=");
563     assert(end);
564     return xmemdup0(start, end - start);
565 }
566
567 static int
568 handle_fdb_query_cmd(struct ofpbuf *buffer)
569 {
570     /* This structure is copied directly from the Linux 2.6.30 header files.
571      * It would be more straightforward to #include <linux/if_bridge.h>, but
572      * the 'port_hi' member was only introduced in Linux 2.6.26 and so systems
573      * with old header files won't have it. */
574     struct __fdb_entry {
575         __u8 mac_addr[6];
576         __u8 port_no;
577         __u8 is_local;
578         __u32 ageing_timer_value;
579         __u8 port_hi;
580         __u8 pad0;
581         __u16 unused;
582     };
583
584     struct mac {
585         uint8_t addr[6];
586     };
587     struct mac *local_macs;
588     int n_local_macs;
589     int i;
590
591     /* Impedance matching between the vswitchd and Linux kernel notions of what
592      * a bridge is.  The kernel only handles a single VLAN per bridge, but
593      * vswitchd can deal with all the VLANs on a single bridge.  We have to
594      * pretend that the former is the case even though the latter is the
595      * implementation. */
596     const char *linux_bridge;   /* Name used by brctl. */
597     char *ovs_bridge;           /* Name used by ovs-vswitchd. */
598     int br_vlan;                /* VLAN tag. */
599     struct svec ifaces;
600
601     struct ofpbuf query_data;
602     struct ofpbuf *reply;
603     char *unixctl_command;
604     uint64_t count, skip;
605     char *output;
606     char *save_ptr;
607     uint32_t seq;
608     int error;
609
610     /* Parse the command received from brcompat_mod. */
611     error = parse_command(buffer, &seq, &linux_bridge, NULL, &count, &skip);
612     if (error) {
613         return error;
614     }
615
616     /* Figure out vswitchd bridge and VLAN. */
617     cfg_read();
618     if (bridge_exists(linux_bridge)) {
619         /* Bridge name is the same.  We are interested in VLAN 0. */
620         ovs_bridge = xstrdup(linux_bridge);
621         br_vlan = 0;
622     } else {
623         /* No such Open vSwitch bridge 'linux_bridge', but there might be an
624          * internal port named 'linux_bridge' on some other bridge
625          * 'ovs_bridge'.  If so then we are interested in the VLAN assigned to
626          * port 'linux_bridge' on the bridge named 'ovs_bridge'. */
627         const char *port_name = linux_bridge;
628
629         ovs_bridge = get_bridge_containing_port(port_name);
630         br_vlan = cfg_get_vlan(0, "vlan.%s.tag", port_name);
631         if (!ovs_bridge || br_vlan < 0) {
632             free(ovs_bridge);
633             send_simple_reply(seq, ENODEV);
634             return error;
635         }
636     }
637
638     /* Fetch the forwarding database using ovs-appctl. */
639     unixctl_command = xasprintf("fdb/show %s", ovs_bridge);
640     error = execute_appctl_command(unixctl_command, &output);
641     free(unixctl_command);
642     if (error) {
643         free(ovs_bridge);
644         send_simple_reply(seq, error);
645         return error;
646     }
647
648     /* Fetch the MAC address for each interface on the bridge, so that we can
649      * fill in the is_local field in the response. */
650     get_bridge_ifaces(ovs_bridge, &ifaces, br_vlan);
651     local_macs = xmalloc(ifaces.n * sizeof *local_macs);
652     n_local_macs = 0;
653     for (i = 0; i < ifaces.n; i++) {
654         const char *iface_name = ifaces.names[i];
655         struct mac *mac = &local_macs[n_local_macs];
656         if (!netdev_nodev_get_etheraddr(iface_name, mac->addr)) {
657             n_local_macs++;
658         }
659     }
660     svec_destroy(&ifaces);
661
662     /* Parse the response from ovs-appctl and convert it to binary format to
663      * pass back to the kernel. */
664     ofpbuf_init(&query_data, sizeof(struct __fdb_entry) * 8);
665     save_ptr = NULL;
666     strtok_r(output, "\n", &save_ptr); /* Skip header line. */
667     while (count > 0) {
668         struct __fdb_entry *entry;
669         int port, vlan, age;
670         uint8_t mac[ETH_ADDR_LEN];
671         char *line;
672         bool is_local;
673
674         line = strtok_r(NULL, "\n", &save_ptr);
675         if (!line) {
676             break;
677         }
678
679         if (sscanf(line, "%d %d "ETH_ADDR_SCAN_FMT" %d",
680                    &port, &vlan, ETH_ADDR_SCAN_ARGS(mac), &age)
681             != 2 + ETH_ADDR_SCAN_COUNT + 1) {
682             struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
683             VLOG_INFO_RL(&rl, "fdb/show output has invalid format: %s", line);
684             continue;
685         }
686
687         if (vlan != br_vlan) {
688             continue;
689         }
690
691         if (skip > 0) {
692             skip--;
693             continue;
694         }
695
696         /* Is this the MAC address of an interface on the bridge? */
697         is_local = false;
698         for (i = 0; i < n_local_macs; i++) {
699             if (eth_addr_equals(local_macs[i].addr, mac)) {
700                 is_local = true;
701                 break;
702             }
703         }
704
705         entry = ofpbuf_put_uninit(&query_data, sizeof *entry);
706         memcpy(entry->mac_addr, mac, ETH_ADDR_LEN);
707         entry->port_no = port & 0xff;
708         entry->is_local = is_local;
709         entry->ageing_timer_value = age * HZ;
710         entry->port_hi = (port & 0xff00) >> 8;
711         entry->pad0 = 0;
712         entry->unused = 0;
713         count--;
714     }
715     free(output);
716
717     /* Compose and send reply to datapath. */
718     reply = compose_reply(seq, 0);
719     nl_msg_put_unspec(reply, BRC_GENL_A_FDB_DATA,
720                       query_data.data, query_data.size);
721     send_reply(reply);
722
723     /* Free memory. */
724     ofpbuf_uninit(&query_data);
725     free(ovs_bridge);
726
727     return 0;
728 }
729
730 static int
731 brc_recv_update(void)
732 {
733     int retval;
734     struct ofpbuf *buffer;
735     struct genlmsghdr *genlmsghdr;
736
737
738     buffer = NULL;
739     do {
740         ofpbuf_delete(buffer);
741         retval = nl_sock_recv(brc_sock, &buffer, false);
742     } while (retval == ENOBUFS
743             || (!retval
744                 && (nl_msg_nlmsgerr(buffer, NULL)
745                     || nl_msg_nlmsghdr(buffer)->nlmsg_type == NLMSG_DONE)));
746     if (retval) {
747         if (retval != EAGAIN) {
748             VLOG_WARN_RL(&rl, "brc_recv_update: %s", strerror(retval));
749         }
750         return retval;
751     }
752
753     genlmsghdr = nl_msg_genlmsghdr(buffer);
754     if (!genlmsghdr) {
755         VLOG_WARN_RL(&rl, "received packet too short for generic NetLink");
756         goto error;
757     }
758
759     if (nl_msg_nlmsghdr(buffer)->nlmsg_type != brc_family) {
760         VLOG_DBG_RL(&rl, "received type (%"PRIu16") != brcompat family (%d)",
761                 nl_msg_nlmsghdr(buffer)->nlmsg_type, brc_family);
762         goto error;
763     }
764
765     if (cfg_lock(NULL, lock_timeout)) {
766         /* Couldn't lock config file. */
767         retval = EAGAIN;
768         goto error;
769     }
770
771     switch (genlmsghdr->cmd) {
772     case BRC_GENL_C_DP_ADD:
773         retval = handle_bridge_cmd(buffer, true);
774         break;
775
776     case BRC_GENL_C_DP_DEL:
777         retval = handle_bridge_cmd(buffer, false);
778         break;
779
780     case BRC_GENL_C_PORT_ADD:
781         retval = handle_port_cmd(buffer, true);
782         break;
783
784     case BRC_GENL_C_PORT_DEL:
785         retval = handle_port_cmd(buffer, false);
786         break;
787
788     case BRC_GENL_C_FDB_QUERY:
789         retval = handle_fdb_query_cmd(buffer);
790         break;
791
792     default:
793         retval = EPROTO;
794     }
795
796     cfg_unlock();
797
798 error:
799     ofpbuf_delete(buffer);
800     return retval;
801 }
802
803 /* Check for interface configuration changes announced through RTNL. */
804 static void
805 rtnl_recv_update(void)
806 {
807     struct ofpbuf *buf;
808
809     int error = nl_sock_recv(rtnl_sock, &buf, false);
810     if (error == EAGAIN) {
811         /* Nothing to do. */
812     } else if (error == ENOBUFS) {
813         VLOG_WARN_RL(&rl, "network monitor socket overflowed");
814     } else if (error) {
815         VLOG_WARN_RL(&rl, "error on network monitor socket: %s", 
816                 strerror(error));
817     } else {
818         struct nlattr *attrs[ARRAY_SIZE(rtnlgrp_link_policy)];
819         struct nlmsghdr *nlh;
820         struct ifinfomsg *iim;
821
822         nlh = ofpbuf_at(buf, 0, NLMSG_HDRLEN);
823         iim = ofpbuf_at(buf, NLMSG_HDRLEN, sizeof *iim);
824         if (!iim) {
825             VLOG_WARN_RL(&rl, "received bad rtnl message (no ifinfomsg)");
826             ofpbuf_delete(buf);
827             return;
828         } 
829     
830         if (!nl_policy_parse(buf, NLMSG_HDRLEN + sizeof(struct ifinfomsg),
831                              rtnlgrp_link_policy,
832                              attrs, ARRAY_SIZE(rtnlgrp_link_policy))) {
833             VLOG_WARN_RL(&rl,"received bad rtnl message (policy)");
834             ofpbuf_delete(buf);
835             return;
836         }
837         if (nlh->nlmsg_type == RTM_DELLINK && attrs[IFLA_MASTER]) {
838             const char *port_name = nl_attr_get_string(attrs[IFLA_IFNAME]);
839             char br_name[IFNAMSIZ];
840             uint32_t br_idx = nl_attr_get_u32(attrs[IFLA_MASTER]);
841             struct svec ports;
842             enum netdev_flags flags;
843
844             if (!if_indextoname(br_idx, br_name)) {
845                 ofpbuf_delete(buf);
846                 return;
847             }
848
849             if (cfg_lock(NULL, lock_timeout)) {
850                 /* Couldn't lock config file. */
851                 /* xxx this should try again and print error msg. */
852                 ofpbuf_delete(buf);
853                 return;
854             }
855
856             if (netdev_nodev_get_flags(port_name, &flags) == ENODEV) {
857                 /* Network device is really gone. */
858                 VLOG_INFO("network device %s destroyed, "
859                           "removing from bridge %s", port_name, br_name);
860                 svec_init(&ports);
861                 cfg_get_all_keys(&ports, "bridge.%s.port", br_name);
862                 svec_sort(&ports);
863                 if (svec_contains(&ports, port_name)) {
864                     del_port(br_name, port_name);
865                     rewrite_and_reload_config();
866                 }
867             } else {
868                 /* A network device by that name exists even though the kernel
869                  * told us it had disappeared.  Probably, what happened was
870                  * this:
871                  *
872                  *      1. Device destroyed.
873                  *      2. Notification sent to us.
874                  *      3. New device created with same name as old one.
875                  *      4. ovs-brcompatd notified, removes device from bridge.
876                  *
877                  * There's no a priori reason that in this situation that the
878                  * new device with the same name should remain in the bridge;
879                  * on the contrary, that would be unexpected.  *But* there is
880                  * one important situation where, if we do this, bad things
881                  * happen.  This is the case of XenServer Tools version 5.0.0,
882                  * which on boot of a Windows VM cause something like this to
883                  * happen on the Xen host:
884                  *
885                  *      i. Create tap1.0 and vif1.0.
886                  *      ii. Delete tap1.0.
887                  *      iii. Delete vif1.0.
888                  *      iv. Re-create vif1.0.
889                  *
890                  * (XenServer Tools 5.5.0 does not exhibit this behavior, and
891                  * neither does a VM without Tools installed at all.@.)
892                  *
893                  * Steps iii and iv happen within a few seconds of each other.
894                  * Step iv causes /etc/xensource/scripts/vif to run, which in
895                  * turn calls ovs-cfg-mod to add the new device to the bridge.
896                  * If step iv happens after step 4 (in our first list of
897                  * steps), then all is well, but if it happens between 3 and 4
898                  * (which can easily happen if ovs-brcompatd has to wait to
899                  * lock the configuration file), then we will remove the new
900                  * incarnation from the bridge instead of the old one!
901                  *
902                  * So, to avoid this problem, we do nothing here.  This is
903                  * strictly incorrect except for this one particular case, and
904                  * perhaps that will bite us someday.  If that happens, then we
905                  * will have to somehow track network devices by ifindex, since
906                  * a new device will have a new ifindex even if it has the same
907                  * name as an old device.
908                  */
909                 VLOG_INFO("kernel reported network device %s removed but "
910                           "a device by that name exists (XS Tools 5.0.0?)",
911                           port_name);
912             }
913             cfg_unlock();
914         }
915         ofpbuf_delete(buf);
916     }
917 }
918
919 int
920 main(int argc, char *argv[])
921 {
922     struct unixctl_server *unixctl;
923     int retval;
924
925     set_program_name(argv[0]);
926     register_fault_handlers();
927     time_init();
928     vlog_init();
929     parse_options(argc, argv);
930     signal(SIGPIPE, SIG_IGN);
931     process_init();
932
933     die_if_already_running();
934     daemonize();
935
936     retval = unixctl_server_create(NULL, &unixctl);
937     if (retval) {
938         ovs_fatal(retval, "could not listen for vlog connections");
939     }
940
941     if (brc_open(&brc_sock)) {
942         ovs_fatal(0, "could not open brcompat socket.  Check "
943                 "\"brcompat\" kernel module.");
944     }
945
946     if (prune_timeout) {
947         if (nl_sock_create(NETLINK_ROUTE, RTNLGRP_LINK, 0, 0, &rtnl_sock)) {
948             ovs_fatal(0, "could not create rtnetlink socket");
949         }
950     }
951
952     retval = cfg_read();
953     if (retval) {
954         ovs_fatal(retval, "could not read config file");
955     }
956
957     for (;;) {
958         unixctl_server_run(unixctl);
959         brc_recv_update();
960
961         /* If 'prune_timeout' is non-zero, we actively prune from the
962          * config file any 'bridge.<br_name>.port' entries that are no 
963          * longer valid.  We use two methods: 
964          *
965          *   1) The kernel explicitly notifies us of removed ports
966          *      through the RTNL messages.
967          *
968          *   2) We periodically check all ports associated with bridges
969          *      to see if they no longer exist.
970          */
971         if (prune_timeout) {
972             rtnl_recv_update();
973             prune_ports();
974
975             nl_sock_wait(rtnl_sock, POLLIN);
976             poll_timer_wait(prune_timeout);
977         }
978
979         nl_sock_wait(brc_sock, POLLIN);
980         unixctl_server_wait(unixctl);
981         poll_block();
982     }
983
984     return 0;
985 }
986
987 static void
988 validate_appctl_command(void)
989 {
990     const char *p;
991     int n;
992
993     n = 0;
994     for (p = strchr(appctl_command, '%'); p; p = strchr(p + 2, '%')) {
995         if (p[1] == '%') {
996             /* Nothing to do. */
997         } else if (p[1] == 's') {
998             n++;
999         } else {
1000             ovs_fatal(0, "only '%%s' and '%%%%' allowed in --appctl-command");
1001         }
1002     }
1003     if (n != 1) {
1004         ovs_fatal(0, "'%%s' must appear exactly once in --appctl-command");
1005     }
1006 }
1007
1008 static void
1009 parse_options(int argc, char *argv[])
1010 {
1011     enum {
1012         OPT_LOCK_TIMEOUT = UCHAR_MAX + 1,
1013         OPT_PRUNE_TIMEOUT,
1014         OPT_APPCTL_COMMAND,
1015         VLOG_OPTION_ENUMS,
1016         LEAK_CHECKER_OPTION_ENUMS
1017     };
1018     static struct option long_options[] = {
1019         {"help",             no_argument, 0, 'h'},
1020         {"version",          no_argument, 0, 'V'},
1021         {"lock-timeout",     required_argument, 0, OPT_LOCK_TIMEOUT},
1022         {"prune-timeout",    required_argument, 0, OPT_PRUNE_TIMEOUT},
1023         {"appctl-command",   required_argument, 0, OPT_APPCTL_COMMAND},
1024         DAEMON_LONG_OPTIONS,
1025         VLOG_LONG_OPTIONS,
1026         LEAK_CHECKER_LONG_OPTIONS,
1027         {0, 0, 0, 0},
1028     };
1029     char *short_options = long_options_to_short_options(long_options);
1030     int error;
1031
1032     appctl_command = xasprintf("%s/ovs-appctl -t "
1033                                "%s/ovs-vswitchd.`cat %s/ovs-vswitchd.pid`.ctl "
1034                                "-e '%%s'",
1035                                ovs_bindir, ovs_rundir, ovs_rundir);
1036     for (;;) {
1037         int c;
1038
1039         c = getopt_long(argc, argv, short_options, long_options, NULL);
1040         if (c == -1) {
1041             break;
1042         }
1043
1044         switch (c) {
1045         case 'H':
1046         case 'h':
1047             usage();
1048
1049         case 'V':
1050             OVS_PRINT_VERSION(0, 0);
1051             exit(EXIT_SUCCESS);
1052
1053         case OPT_LOCK_TIMEOUT:
1054             lock_timeout = atoi(optarg);
1055             break;
1056
1057         case OPT_PRUNE_TIMEOUT:
1058             prune_timeout = atoi(optarg) * 1000;
1059             break;
1060
1061         case OPT_APPCTL_COMMAND:
1062             appctl_command = optarg;
1063             break;
1064
1065         VLOG_OPTION_HANDLERS
1066         DAEMON_OPTION_HANDLERS
1067         LEAK_CHECKER_OPTION_HANDLERS
1068
1069         case '?':
1070             exit(EXIT_FAILURE);
1071
1072         default:
1073             abort();
1074         }
1075     }
1076     free(short_options);
1077
1078     validate_appctl_command();
1079
1080     argc -= optind;
1081     argv += optind;
1082
1083     if (argc != 1) {
1084         ovs_fatal(0, "exactly one non-option argument required; "
1085                 "use --help for usage");
1086     }
1087
1088     cfg_init();
1089     config_file = argv[0];
1090     error = cfg_set_file(config_file);
1091     if (error) {
1092         ovs_fatal(error, "failed to add configuration file \"%s\"", 
1093                 config_file);
1094     }
1095 }
1096
1097 static void
1098 usage(void)
1099 {
1100     printf("%s: bridge compatibility front-end for ovs-vswitchd\n"
1101            "usage: %s [OPTIONS] CONFIG\n"
1102            "CONFIG is the configuration file used by ovs-vswitchd.\n",
1103            program_name, program_name);
1104     printf("\nConfiguration options:\n"
1105            "  --appctl-command=COMMAND  shell command to run ovs-appctl\n"
1106            "  --prune-timeout=SECS    wait at most SECS before pruning ports\n"
1107            "  --lock-timeout=MSECS    wait at most MSECS for CONFIG to unlock\n"
1108           );
1109     daemon_usage();
1110     vlog_usage();
1111     printf("\nOther options:\n"
1112            "  -h, --help              display this help message\n"
1113            "  -V, --version           display version information\n");
1114     leak_checker_usage();
1115     printf("\nThe default appctl command is:\n%s\n", appctl_command);
1116     exit(EXIT_SUCCESS);
1117 }