vswitchd: Add miimon support.
authorEthan Jackson <ethan@nicira.com>
Sat, 8 Jan 2011 00:22:34 +0000 (16:22 -0800)
committerEthan Jackson <ethan@nicira.com>
Wed, 12 Jan 2011 23:50:20 +0000 (15:50 -0800)
This commit allows users to check link status in bonded ports using
MII instead of carrier.

lib/netdev-dummy.c
lib/netdev-linux.c
lib/netdev-provider.h
lib/netdev-vport.c
lib/netdev.c
lib/netdev.h
vswitchd/bridge.c
vswitchd/vswitch.ovsschema
vswitchd/vswitch.xml

index 4569f97415ca25008e60b600a8fcd585611c989f..370584355a039478b01de05bac23c65c927fbe27 100644 (file)
@@ -296,6 +296,7 @@ static const struct netdev_class dummy_class = {
     netdev_dummy_get_mtu,
     NULL,                       /* get_ifindex */
     NULL,                       /* get_carrier */
+    NULL,                       /* get_miimon */
     netdev_dummy_get_stats,
     netdev_dummy_set_stats,
 
index 97f9a647ffd2d0a37c1dc3e63ec45d7e75da6e26..f953cfc7505fb01f3f3d269420f5436c6b9caa4a 100644 (file)
@@ -25,6 +25,7 @@
 #include <linux/ip.h>
 #include <linux/types.h>
 #include <linux/ethtool.h>
+#include <linux/mii.h>
 #include <linux/pkt_sched.h>
 #include <linux/rtnetlink.h>
 #include <linux/sockios.h>
@@ -1007,6 +1008,49 @@ exit:
     return error;
 }
 
+static int
+netdev_linux_get_miimon(const struct netdev *netdev_, bool *miimon)
+{
+    int error;
+    struct ifreq ifr;
+    const char *name = netdev_get_name(netdev_);
+
+    *miimon = false;
+    memset(&ifr, 0, sizeof ifr);
+
+    error = netdev_linux_do_ioctl(name, &ifr, SIOCGMIIPHY, "SIOCGMIIPHY");
+    if (!error) {
+        struct mii_ioctl_data *data = (struct mii_ioctl_data *)&ifr.ifr_data;
+
+        /* data->phy_id is filled out by previous SIOCGMIIPHY ioctl call. */
+        data->reg_num = MII_BMSR;
+        error = netdev_linux_do_ioctl(name, &ifr, SIOCGMIIREG, "SIOCGMIIREG");
+
+        if (!error) {
+            *miimon = !!(data->val_out & BMSR_LSTATUS);
+        } else {
+            VLOG_WARN_RL(&rl, "%s: failed to query MII", name);
+        }
+    } else {
+        struct ethtool_cmd ecmd;
+        struct ethtool_value *eval = (struct ethtool_value *) &ecmd;
+
+        VLOG_DBG_RL(&rl, "%s: failed to query MII, falling back to ethtool",
+                    name);
+
+        memset(&ecmd, 0, sizeof ecmd);
+        error = netdev_linux_do_ethtool(name, &ecmd, ETHTOOL_GLINK,
+                                        "ETHTOOL_GLINK");
+        if (!error) {
+            *miimon = !!eval->data;
+        } else {
+            VLOG_WARN_RL(&rl, "%s: ethtool link status failed", name);
+        }
+    }
+
+    return error;
+}
+
 /* Check whether we can we use RTM_GETLINK to get network device statistics.
  * In pre-2.6.19 kernels, this was only available if wireless extensions were
  * enabled. */
@@ -2152,6 +2196,7 @@ netdev_linux_poll_remove(struct netdev_notifier *notifier_)
     netdev_linux_get_mtu,                                       \
     netdev_linux_get_ifindex,                                   \
     netdev_linux_get_carrier,                                   \
+    netdev_linux_get_miimon,                                    \
     netdev_linux_get_stats,                                     \
     SET_STATS,                                                  \
                                                                 \
index da0ad45f410f44e2ec95b1d494169be4d4d66f16..9c75ccb6dcb6543b48e169d1eab458e6e4df11c1 100644 (file)
@@ -266,6 +266,14 @@ struct netdev_class {
      */
     int (*get_carrier)(const struct netdev *netdev, bool *carrier);
 
+    /* Sets 'miimon' to true if 'netdev' is up according to its MII.  If
+     * 'netdev' does not support MII, may fall back to another method or return
+     * EOPNOTSUPP.
+     *
+     * This function may be set to null if it would always return EOPNOTSUPP.
+     */
+    int (*get_miimon)(const struct netdev *netdev, bool *miimon);
+
     /* Retrieves current device stats for 'netdev' into 'stats'.
      *
      * A network device that supports some statistics but not others, it should
index cf717cc7bcbfc4620086739709f189abe40d8fa5..b006a677b4224f3c719e8338d15996929b9a2635 100644 (file)
@@ -963,6 +963,7 @@ parse_patch_config(const struct netdev_dev *dev, const struct shash *args,
     netdev_vport_get_mtu,                                   \
     NULL,                       /* get_ifindex */           \
     NULL,                       /* get_carrier */           \
+    NULL,                       /* get_miimon */            \
     netdev_vport_get_stats,                                 \
     netdev_vport_set_stats,                                 \
                                                             \
index 0f22327172f8f50d30db676441ed834b509ec5c2..b2c4d6637429dc912c412e77a74be59f06c93ec9 100644 (file)
@@ -935,6 +935,34 @@ netdev_get_carrier(const struct netdev *netdev)
     return carrier;
 }
 
+/* Returns true if 'netdev' is up according to its MII. */
+bool
+netdev_get_miimon(const struct netdev *netdev)
+{
+    int error;
+    enum netdev_flags flags;
+    bool miimon;
+
+    netdev_get_flags(netdev, &flags);
+    if (!(flags & NETDEV_UP)) {
+        return false;
+    }
+
+    if (!netdev_get_dev(netdev)->netdev_class->get_miimon) {
+        return true;
+    }
+
+    error = netdev_get_dev(netdev)->netdev_class->get_miimon(netdev, &miimon);
+
+    if (error) {
+        VLOG_DBG("%s: failed to get network device MII status, assuming "
+                 "down: %s", netdev_get_name(netdev), strerror(error));
+        miimon = false;
+    }
+
+    return miimon;
+}
+
 /* Retrieves current device stats for 'netdev'. */
 int
 netdev_get_stats(const struct netdev *netdev, struct netdev_stats *stats)
index 50ad5a3be5e6c9c253a88927c85cb91c710b36a6..179628c6dcbdeed93d5cca6986ec7ff13593c5b3 100644 (file)
@@ -126,6 +126,7 @@ int netdev_get_etheraddr(const struct netdev *, uint8_t mac[6]);
 
 /* PHY interface. */
 bool netdev_get_carrier(const struct netdev *);
+bool netdev_get_miimon(const struct netdev *);
 int netdev_get_features(struct netdev *,
                         uint32_t *current, uint32_t *advertised,
                         uint32_t *supported, uint32_t *peer);
index c15ef3646cd2a45285c2be4f04dc24413aa5e2fb..7fa819cf6e821ff8962d45e6fa669dfa2298f1d9 100644 (file)
@@ -167,6 +167,9 @@ struct port {
     int updelay, downdelay;     /* Delay before iface goes up/down, in ms. */
     bool bond_compat_is_stale;  /* Need to call port_update_bond_compat()? */
     bool bond_fake_iface;       /* Fake a bond interface for legacy compat? */
+    bool miimon;                /* Use miimon instead of carrier? */
+    long long int bond_miimon_interval; /* Miimon status refresh interval. */
+    long long int bond_miimon_next_update; /* Time of next miimon update. */
     long long int bond_next_fake_iface_update; /* Time of next update. */
     struct netdev_monitor *monitor; /* Tracks carrier up/down status. */
 
@@ -2073,8 +2076,8 @@ bond_link_status_update(struct iface *iface, bool carrier)
         /* Nothing to do. */
         return;
     }
-    VLOG_INFO_RL(&rl, "interface %s: carrier %s",
-                 iface->name, carrier ? "detected" : "dropped");
+    VLOG_INFO_RL(&rl, "interface %s: link state %s",
+                 iface->name, carrier ? "up" : "down");
     if (carrier == iface->enabled) {
         iface->delay_expires = LLONG_MAX;
         VLOG_INFO_RL(&rl, "interface %s: will not be %s",
@@ -2212,18 +2215,36 @@ bond_run(struct bridge *br)
         if (port->n_ifaces >= 2) {
             char *devname;
 
-            /* Track carrier going up and down on interfaces. */
-            while (!netdev_monitor_poll(port->monitor, &devname)) {
-                struct iface *iface;
+            if (port->monitor) {
+                assert(!port->miimon);
 
-                iface = port_lookup_iface(port, devname);
-                if (iface) {
-                    bool carrier = netdev_get_carrier(iface->netdev);
+                /* Track carrier going up and down on interfaces. */
+                while (!netdev_monitor_poll(port->monitor, &devname)) {
+                    struct iface *iface;
+
+                    iface = port_lookup_iface(port, devname);
+                    if (iface) {
+                        bool up = netdev_get_carrier(iface->netdev);
+
+                        bond_link_status_update(iface, up);
+                        port_update_bond_compat(port);
+                    }
+                    free(devname);
+                }
+            } else {
+                assert(port->miimon);
 
-                    bond_link_status_update(iface, carrier);
-                    port_update_bond_compat(port);
+                if (time_msec() >= port->bond_miimon_next_update) {
+                    for (j = 0; j < port->n_ifaces; j++) {
+                        struct iface *iface = port->ifaces[j];
+                        bool up = netdev_get_miimon(iface->netdev);
+
+                        bond_link_status_update(iface, up);
+                        port_update_bond_compat(port);
+                    }
+                    port->bond_miimon_next_update = time_msec() +
+                        port->bond_miimon_interval;
                 }
-                free(devname);
             }
 
             for (j = 0; j < port->n_ifaces; j++) {
@@ -2257,7 +2278,15 @@ bond_wait(struct bridge *br)
         if (port->n_ifaces < 2) {
             continue;
         }
-        netdev_monitor_poll_wait(port->monitor);
+
+        if (port->monitor) {
+            netdev_monitor_poll_wait(port->monitor);
+        }
+
+        if (port->miimon) {
+            poll_timer_wait_until(port->bond_miimon_next_update);
+        }
+
         for (j = 0; j < port->n_ifaces; j++) {
             struct iface *iface = port->ifaces[j];
             if (iface->delay_expires != LLONG_MAX) {
@@ -3324,6 +3353,8 @@ bond_unixctl_show(struct unixctl_conn *conn,
 
     ds_put_format(&ds, "bond_mode: %s\n",
                   bond_mode_to_string(port->bond_mode));
+    ds_put_format(&ds, "bond-detect-mode: %s\n",
+                  port->miimon ? "miimon" : "carrier");
     ds_put_format(&ds, "updelay: %d ms\n", port->updelay);
     ds_put_format(&ds, "downdelay: %d ms\n", port->downdelay);
 
@@ -3655,8 +3686,9 @@ port_del_ifaces(struct port *port, const struct ovsrec_port *cfg)
 static void
 port_reconfigure(struct port *port, const struct ovsrec_port *cfg)
 {
+    const char *detect_mode;
     struct shash new_ifaces;
-    long long int next_rebalance;
+    long long int next_rebalance, miimon_next_update;
     unsigned long *trunks;
     int vlan;
     size_t i;
@@ -3682,6 +3714,29 @@ port_reconfigure(struct port *port, const struct ovsrec_port *cfg)
         port->bond_next_rebalance = next_rebalance;
     }
 
+    detect_mode = get_port_other_config(cfg, "bond-detect-mode",
+                                        "carrier");
+
+    if (!strcmp(detect_mode, "carrier")) {
+        port->miimon = false;
+    } else if (!strcmp(detect_mode, "miimon")) {
+        port->miimon = true;
+    } else {
+        port->miimon = false;
+        VLOG_WARN("port %s: unsupported bond-detect-mode %s, defaulting to "
+                  "carrier", port->name, detect_mode);
+    }
+
+    port->bond_miimon_interval = atoi(
+        get_port_other_config(cfg, "bond-miimon-interval", "200"));
+    if (port->bond_miimon_interval < 100) {
+        port->bond_miimon_interval = 100;
+    }
+    miimon_next_update = time_msec() + port->bond_miimon_interval;
+    if (port->bond_miimon_next_update > miimon_next_update) {
+        port->bond_miimon_next_update = miimon_next_update;
+    }
+
     if (!port->cfg->bond_mode ||
         !strcmp(port->cfg->bond_mode, bond_mode_to_string(BM_SLB))) {
         port->bond_mode = BM_SLB;
@@ -3888,9 +3943,11 @@ port_update_bonding(struct port *port)
         port->bond_compat_is_stale = true;
         port->bond_fake_iface = port->cfg->bond_fake_iface;
 
-        port->monitor = netdev_monitor_create();
-        for (i = 0; i < port->n_ifaces; i++) {
-            netdev_monitor_add(port->monitor, port->ifaces[i]->netdev);
+        if (!port->miimon) {
+            port->monitor = netdev_monitor_create();
+            for (i = 0; i < port->n_ifaces; i++) {
+                netdev_monitor_add(port->monitor, port->ifaces[i]->netdev);
+            }
         }
     }
 }
index beb833159d66d096d054cbb24a6db51eb519b064..70e56f4c14e09d4eb73df00d0c2fe002aa3ee52a 100644 (file)
@@ -1,6 +1,6 @@
 {"name": "Open_vSwitch",
- "version": "1.0.4",
- "cksum": "1999497811 14145",
+ "version": "1.0.5",
+ "cksum": "2737967217 14145",
  "tables": {
    "Open_vSwitch": {
      "columns": {
index 923d1be674c7313ab5994a036112ee5ed662f173..53c2650d17246bc8506a06d9b7995a27a14cb920 100644 (file)
             the bond to another in an attempt to keep usage of each
             interface roughly equal.  The default is 10000 (10
             seconds), and the minimum is 1000 (1 second).</dd>
+          <dt><code>bond-detect-mode</code></dt>
+          <dd> Sets the method used to detect link failures in a bonded port.
+            Options are <code>carrier</code> and <code>miimon</code>. Defaults
+            to <code>carrier</code> which uses each interface's carrier to detect
+            failures.  When set to <code>miimon</code>, will check for failures
+            by polling each interface's MII. </dd>
+          <dt><code>bond-miimon-interval</code></dt>
+          <dd> The number of milliseconds between successive attempts to
+            poll each interface's MII.  Only relevant on ports which use
+            <code>miimon</code> to detect failures. </dd>
         </dl>
       </column>
     </group>