pintos-os.org Git - openvswitch/blob - lib/reconnect.c

   1 /*
   2  * Copyright (c) 2008, 2009, 2010 Nicira Networks.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #include <config.h>
  18 #include "reconnect.h"
  19
  20 #include <assert.h>
  21 #include <stdlib.h>
  22
  23 #include "poll-loop.h"
  24 #include "vlog.h"
  25
  26 VLOG_DEFINE_THIS_MODULE(reconnect);
  27
  28 #define STATES                                  \
  29     STATE(VOID, 1 << 0)                         \
  30     STATE(BACKOFF, 1 << 1)                      \
  31     STATE(CONNECT_IN_PROGRESS, 1 << 3)          \
  32     STATE(ACTIVE, 1 << 4)                       \
  33     STATE(IDLE, 1 << 5)                         \
  34     STATE(RECONNECT, 1 << 6)                    \
  35     STATE(LISTENING, 1 << 7)
  36 enum state {
  37 #define STATE(NAME, VALUE) S_##NAME = VALUE,
  38     STATES
  39 #undef STATE
  40 };
  41
  42 static bool
  43 is_connected_state(enum state state)
  44 {
  45     return (state & (S_ACTIVE | S_IDLE)) != 0;
  46 }
  47
  48 struct reconnect {
  49     /* Configuration. */
  50     char *name;
  51     int min_backoff;
  52     int max_backoff;
  53     int probe_interval;
  54     bool passive;
  55     enum vlog_level info;       /* Used for informational messages. */
  56
  57     /* State. */
  58     enum state state;
  59     long long int state_entered;
  60     int backoff;
  61     long long int last_received;
  62     long long int last_connected;
  63     unsigned int max_tries;
  64
  65     /* These values are simply for statistics reporting, not otherwise used
  66      * directly by anything internal. */
  67     long long int creation_time;
  68     unsigned int n_attempted_connections, n_successful_connections;
  69     unsigned int total_connected_duration;
  70     unsigned int seqno;
  71 };
  72
  73 static void reconnect_transition__(struct reconnect *, long long int now,
  74                                    enum state state);
  75 static long long int reconnect_deadline__(const struct reconnect *);
  76 static bool reconnect_may_retry(struct reconnect *);
  77
  78 static const char *
  79 reconnect_state_name__(enum state state)
  80 {
  81     switch (state) {
  82 #define STATE(NAME, VALUE) case S_##NAME: return #NAME;
  83         STATES
  84 #undef STATE
  85     }
  86     return "***ERROR***";
  87 }
  88
  89 /* Creates and returns a new reconnect FSM with default settings.  The FSM is
  90  * initially disabled.  The caller will likely want to call reconnect_enable()
  91  * and reconnect_set_name() on the returned object. */
  92 struct reconnect *
  93 reconnect_create(long long int now)
  94 {
  95     struct reconnect *fsm = xzalloc(sizeof *fsm);
  96
  97     fsm->name = xstrdup("void");
  98     fsm->min_backoff = RECONNECT_DEFAULT_MIN_BACKOFF;
  99     fsm->max_backoff = RECONNECT_DEFAULT_MAX_BACKOFF;
 100     fsm->probe_interval = RECONNECT_DEFAULT_PROBE_INTERVAL;
 101     fsm->passive = false;
 102     fsm->info = VLL_INFO;
 103
 104     fsm->state = S_VOID;
 105     fsm->state_entered = now;
 106     fsm->backoff = 0;
 107     fsm->last_received = now;
 108     fsm->last_connected = now;
 109     fsm->max_tries = UINT_MAX;
 110     fsm->creation_time = now;
 111
 112     return fsm;
 113 }
 114
 115 /* Frees 'fsm'. */
 116 void
 117 reconnect_destroy(struct reconnect *fsm)
 118 {
 119     if (fsm) {
 120         free(fsm->name);
 121         free(fsm);
 122     }
 123 }
 124
 125 /* If 'quiet' is true, 'fsm' will log informational messages at level VLL_DBG,
 126  * by default keeping them out of log files.  This is appropriate if the
 127  * connection is one that is expected to be short-lived, so that the log
 128  * messages are merely distracting.
 129  *
 130  * If 'quiet' is false, 'fsm' logs informational messages at level VLL_INFO.
 131  * This is the default.
 132  *
 133  * This setting has no effect on the log level of debugging, warning, or error
 134  * messages. */
 135 void
 136 reconnect_set_quiet(struct reconnect *fsm, bool quiet)
 137 {
 138     fsm->info = quiet ? VLL_DBG : VLL_INFO;
 139 }
 140
 141 /* Returns 'fsm''s name. */
 142 const char *
 143 reconnect_get_name(const struct reconnect *fsm)
 144 {
 145     return fsm->name;
 146 }
 147
 148 /* Sets 'fsm''s name to 'name'.  If 'name' is null, then "void" is used
 149  * instead.
 150  *
 151  * The name set for 'fsm' is used in log messages. */
 152 void
 153 reconnect_set_name(struct reconnect *fsm, const char *name)
 154 {
 155     free(fsm->name);
 156     fsm->name = xstrdup(name ? name : "void");
 157 }
 158
 159 /* Return the minimum number of milliseconds to back off between consecutive
 160  * connection attempts.  The default is RECONNECT_DEFAULT_MIN_BACKOFF. */
 161 int
 162 reconnect_get_min_backoff(const struct reconnect *fsm)
 163 {
 164     return fsm->min_backoff;
 165 }
 166
 167 /* Return the maximum number of milliseconds to back off between consecutive
 168  * connection attempts.  The default is RECONNECT_DEFAULT_MAX_BACKOFF. */
 169 int
 170 reconnect_get_max_backoff(const struct reconnect *fsm)
 171 {
 172     return fsm->max_backoff;
 173 }
 174
 175 /* Returns the "probe interval" for 'fsm' in milliseconds.  If this is zero, it
 176  * disables the connection keepalive feature.  If it is nonzero, then if the
 177  * interval passes while 'fsm' is connected and without reconnect_received()
 178  * being called for 'fsm', reconnect_run() returns RECONNECT_PROBE.  If the
 179  * interval passes again without reconnect_received() being called,
 180  * reconnect_run() returns RECONNECT_DISCONNECT for 'fsm'. */
 181 int
 182 reconnect_get_probe_interval(const struct reconnect *fsm)
 183 {
 184     return fsm->probe_interval;
 185 }
 186
 187 /* Limits the maximum number of times that 'fsm' will ask the client to try to
 188  * reconnect to 'max_tries'.  UINT_MAX (the default) means an unlimited number
 189  * of tries.
 190  *
 191  * After the number of tries has expired, the 'fsm' will disable itself
 192  * instead of backing off and retrying. */
 193 void
 194 reconnect_set_max_tries(struct reconnect *fsm, unsigned int max_tries)
 195 {
 196     fsm->max_tries = max_tries;
 197 }
 198
 199 /* Returns the current remaining number of connection attempts, UINT_MAX if
 200  * the number is unlimited.  */
 201 unsigned int
 202 reconnect_get_max_tries(struct reconnect *fsm)
 203 {
 204     return fsm->max_tries;
 205 }
 206
 207 /* Configures the backoff parameters for 'fsm'.  'min_backoff' is the minimum
 208  * number of milliseconds, and 'max_backoff' is the maximum, between connection
 209  * attempts.
 210  *
 211  * 'min_backoff' must be at least 1000, and 'max_backoff' must be greater than
 212  * or equal to 'min_backoff'.
 213  *
 214  * Pass 0 for 'min_backoff' or 'max_backoff' or both to use the defaults. */
 215 void
 216 reconnect_set_backoff(struct reconnect *fsm, int min_backoff, int max_backoff)
 217 {
 218     fsm->min_backoff = MAX(min_backoff, 1000);
 219     fsm->max_backoff = (max_backoff
 220                         ? MAX(max_backoff, 1000)
 221                         : RECONNECT_DEFAULT_MAX_BACKOFF);
 222     if (fsm->min_backoff > fsm->max_backoff) {
 223         fsm->max_backoff = fsm->min_backoff;
 224     }
 225
 226     if (fsm->state == S_BACKOFF && fsm->backoff > max_backoff) {
 227         fsm->backoff = max_backoff;
 228     }
 229 }
 230
 231 /* Sets the "probe interval" for 'fsm' to 'probe_interval', in milliseconds.
 232  * If this is zero, it disables the connection keepalive feature.  If it is
 233  * nonzero, then if the interval passes while 'fsm' is connected and without
 234  * reconnect_received() being called for 'fsm', reconnect_run() returns
 235  * RECONNECT_PROBE.  If the interval passes again without reconnect_received()
 236  * being called, reconnect_run() returns RECONNECT_DISCONNECT for 'fsm'.
 237  *
 238  * If 'probe_interval' is nonzero, then it will be forced to a value of at
 239  * least 1000 ms. */
 240 void
 241 reconnect_set_probe_interval(struct reconnect *fsm, int probe_interval)
 242 {
 243     fsm->probe_interval = probe_interval ? MAX(1000, probe_interval) : 0;
 244 }
 245
 246 /* Returns true if 'fsm' is in passive mode, false if 'fsm' is in active mode
 247  * (the default). */
 248 bool
 249 reconnect_is_passive(const struct reconnect *fsm)
 250 {
 251     return fsm->passive;
 252 }
 253
 254 /* Configures 'fsm' for active or passive mode.  In active mode (the default),
 255  * the FSM is attempting to connect to a remote host.  In passive mode, the FSM
 256  * is listening for connections from a remote host. */
 257 void
 258 reconnect_set_passive(struct reconnect *fsm, bool passive, long long int now)
 259 {
 260     if (fsm->passive != passive) {
 261         fsm->passive = passive;
 262
 263         if (passive
 264             ? fsm->state & (S_CONNECT_IN_PROGRESS | S_RECONNECT)
 265             : fsm->state == S_LISTENING && reconnect_may_retry(fsm)) {
 266             reconnect_transition__(fsm, now, S_BACKOFF);
 267             fsm->backoff = 0;
 268         }
 269     }
 270 }
 271
 272 /* Returns true if 'fsm' has been enabled with reconnect_enable().  Calling
 273  * another function that indicates a change in connection state, such as
 274  * reconnect_disconnected() or reconnect_force_reconnect(), will also enable
 275  * a reconnect FSM. */
 276 bool
 277 reconnect_is_enabled(const struct reconnect *fsm)
 278 {
 279     return fsm->state != S_VOID;
 280 }
 281
 282 /* If 'fsm' is disabled (the default for newly created FSMs), enables it, so
 283  * that the next call to reconnect_run() for 'fsm' will return
 284  * RECONNECT_CONNECT.
 285  *
 286  * If 'fsm' is not disabled, this function has no effect. */
 287 void
 288 reconnect_enable(struct reconnect *fsm, long long int now)
 289 {
 290     if (fsm->state == S_VOID && reconnect_may_retry(fsm)) {
 291         reconnect_transition__(fsm, now, S_BACKOFF);
 292         fsm->backoff = 0;
 293     }
 294 }
 295
 296 /* Disables 'fsm'.  Until 'fsm' is enabled again, reconnect_run() will always
 297  * return 0. */
 298 void
 299 reconnect_disable(struct reconnect *fsm, long long int now)
 300 {
 301     if (fsm->state != S_VOID) {
 302         reconnect_transition__(fsm, now, S_VOID);
 303     }
 304 }
 305
 306 /* If 'fsm' is enabled and currently connected (or attempting to connect),
 307  * forces reconnect_run() for 'fsm' to return RECONNECT_DISCONNECT the next
 308  * time it is called, which should cause the client to drop the connection (or
 309  * attempt), back off, and then reconnect. */
 310 void
 311 reconnect_force_reconnect(struct reconnect *fsm, long long int now)
 312 {
 313     if (fsm->state & (S_CONNECT_IN_PROGRESS | S_ACTIVE | S_IDLE)) {
 314         reconnect_transition__(fsm, now, S_RECONNECT);
 315     }
 316 }
 317
 318 /* Tell 'fsm' that the connection dropped or that a connection attempt failed.
 319  * 'error' specifies the reason: a positive value represents an errno value,
 320  * EOF indicates that the connection was closed by the peer (e.g. read()
 321  * returned 0), and 0 indicates no specific error.
 322  *
 323  * The FSM will back off, then reconnect. */
 324 void
 325 reconnect_disconnected(struct reconnect *fsm, long long int now, int error)
 326 {
 327     if (!(fsm->state & (S_BACKOFF | S_VOID))) {
 328         /* Report what happened. */
 329         if (fsm->state & (S_ACTIVE | S_IDLE)) {
 330             if (error > 0) {
 331                 VLOG_WARN("%s: connection dropped (%s)",
 332                           fsm->name, strerror(error));
 333             } else if (error == EOF) {
 334                 VLOG(fsm->info, "%s: connection closed by peer", fsm->name);
 335             } else {
 336                 VLOG(fsm->info, "%s: connection dropped", fsm->name);
 337             }
 338         } else if (fsm->state == S_LISTENING) {
 339             if (error > 0) {
 340                 VLOG_WARN("%s: error listening for connections (%s)",
 341                           fsm->name, strerror(error));
 342             } else {
 343                 VLOG(fsm->info, "%s: error listening for connections",
 344                      fsm->name);
 345             }
 346         } else {
 347             const char *type = fsm->passive ? "listen" : "connection";
 348             if (error > 0) {
 349                 VLOG_WARN("%s: %s attempt failed (%s)",
 350                           fsm->name, type, strerror(error));
 351             } else {
 352                 VLOG(fsm->info, "%s: %s attempt timed out", fsm->name, type);
 353             }
 354         }
 355
 356         /* Back off. */
 357         if (fsm->state & (S_ACTIVE | S_IDLE)
 358              && (fsm->last_received - fsm->last_connected >= fsm->backoff
 359                  || fsm->passive)) {
 360             fsm->backoff = fsm->passive ? 0 : fsm->min_backoff;
 361         } else {
 362             if (fsm->backoff < fsm->min_backoff) {
 363                 fsm->backoff = fsm->min_backoff;
 364             } else if (fsm->backoff >= fsm->max_backoff / 2) {
 365                 fsm->backoff = fsm->max_backoff;
 366             } else {
 367                 fsm->backoff *= 2;
 368             }
 369             if (fsm->passive) {
 370                 VLOG(fsm->info, "%s: waiting %.3g seconds before trying to "
 371                           "listen again", fsm->name, fsm->backoff / 1000.0);
 372             } else {
 373                 VLOG(fsm->info, "%s: waiting %.3g seconds before reconnect",
 374                           fsm->name, fsm->backoff / 1000.0);
 375             }
 376         }
 377
 378         reconnect_transition__(fsm, now,
 379                                reconnect_may_retry(fsm) ? S_BACKOFF : S_VOID);
 380     }
 381 }
 382
 383 /* Tell 'fsm' that a connection or listening attempt is in progress.
 384  *
 385  * The FSM will start a timer, after which the connection or listening attempt
 386  * will be aborted (by returning RECONNECT_DISCONNECT from
 387  * reconnect_run()).  */
 388 void
 389 reconnect_connecting(struct reconnect *fsm, long long int now)
 390 {
 391     if (fsm->state != S_CONNECT_IN_PROGRESS) {
 392         if (fsm->passive) {
 393             VLOG(fsm->info, "%s: listening...", fsm->name);
 394         } else {
 395             VLOG(fsm->info, "%s: connecting...", fsm->name);
 396         }
 397         reconnect_transition__(fsm, now, S_CONNECT_IN_PROGRESS);
 398     }
 399 }
 400
 401 /* Tell 'fsm' that the client is listening for connection attempts.  This state
 402  * last indefinitely until the client reports some change.
 403  *
 404  * The natural progression from this state is for the client to report that a
 405  * connection has been accepted or is in progress of being accepted, by calling
 406  * reconnect_connecting() or reconnect_connected().
 407  *
 408  * The client may also report that listening failed (e.g. accept() returned an
 409  * unexpected error such as ENOMEM) by calling reconnect_listen_error(), in
 410  * which case the FSM will back off and eventually return RECONNECT_CONNECT
 411  * from reconnect_run() to tell the client to try listening again. */
 412 void
 413 reconnect_listening(struct reconnect *fsm, long long int now)
 414 {
 415     if (fsm->state != S_LISTENING) {
 416         VLOG(fsm->info, "%s: listening...", fsm->name);
 417         reconnect_transition__(fsm, now, S_LISTENING);
 418     }
 419 }
 420
 421 /* Tell 'fsm' that the client's attempt to accept a connection failed
 422  * (e.g. accept() returned an unexpected error such as ENOMEM).
 423  *
 424  * If the FSM is currently listening (reconnect_listening() was called), it
 425  * will back off and eventually return RECONNECT_CONNECT from reconnect_run()
 426  * to tell the client to try listening again.  If there is an active
 427  * connection, this will be delayed until that connection drops. */
 428 void
 429 reconnect_listen_error(struct reconnect *fsm, long long int now, int error)
 430 {
 431     if (fsm->state == S_LISTENING) {
 432         reconnect_disconnected(fsm, now, error);
 433     }
 434 }
 435
 436 /* Tell 'fsm' that the connection was successful.
 437  *
 438  * The FSM will start the probe interval timer, which is reset by
 439  * reconnect_received().  If the timer expires, a probe will be sent (by
 440  * returning RECONNECT_PROBE from reconnect_run()).  If the timer expires
 441  * again without being reset, the connection will be aborted (by returning
 442  * RECONNECT_DISCONNECT from reconnect_run()). */
 443 void
 444 reconnect_connected(struct reconnect *fsm, long long int now)
 445 {
 446     if (!is_connected_state(fsm->state)) {
 447         reconnect_connecting(fsm, now);
 448
 449         VLOG(fsm->info, "%s: connected", fsm->name);
 450         reconnect_transition__(fsm, now, S_ACTIVE);
 451         fsm->last_connected = now;
 452     }
 453 }
 454
 455 /* Tell 'fsm' that the connection attempt failed.
 456  *
 457  * The FSM will back off and attempt to reconnect. */
 458 void
 459 reconnect_connect_failed(struct reconnect *fsm, long long int now, int error)
 460 {
 461     reconnect_connecting(fsm, now);
 462     reconnect_disconnected(fsm, now, error);
 463 }
 464
 465 /* Tell 'fsm' that some data was received.  This resets the probe interval
 466  * timer, so that the connection is known not to be idle. */
 467 void
 468 reconnect_received(struct reconnect *fsm, long long int now)
 469 {
 470     if (fsm->state != S_ACTIVE) {
 471         reconnect_transition__(fsm, now, S_ACTIVE);
 472     }
 473     fsm->last_received = now;
 474 }
 475
 476 static void
 477 reconnect_transition__(struct reconnect *fsm, long long int now,
 478                        enum state state)
 479 {
 480     if (fsm->state == S_CONNECT_IN_PROGRESS) {
 481         fsm->n_attempted_connections++;
 482         if (state == S_ACTIVE) {
 483             fsm->n_successful_connections++;
 484         }
 485     }
 486     if (is_connected_state(fsm->state) != is_connected_state(state)) {
 487         if (is_connected_state(fsm->state)) {
 488             fsm->total_connected_duration += now - fsm->last_connected;
 489         }
 490         fsm->seqno++;
 491     }
 492
 493     VLOG_DBG("%s: entering %s", fsm->name, reconnect_state_name__(state));
 494     fsm->state = state;
 495     fsm->state_entered = now;
 496 }
 497
 498 static long long int
 499 reconnect_deadline__(const struct reconnect *fsm)
 500 {
 501     assert(fsm->state_entered != LLONG_MIN);
 502     switch (fsm->state) {
 503     case S_VOID:
 504     case S_LISTENING:
 505         return LLONG_MAX;
 506
 507     case S_BACKOFF:
 508         return fsm->state_entered + fsm->backoff;
 509
 510     case S_CONNECT_IN_PROGRESS:
 511         return fsm->state_entered + MAX(1000, fsm->backoff);
 512
 513     case S_ACTIVE:
 514         if (fsm->probe_interval) {
 515             long long int base = MAX(fsm->last_received, fsm->state_entered);
 516             return base + fsm->probe_interval;
 517         }
 518         return LLONG_MAX;
 519
 520     case S_IDLE:
 521         return fsm->state_entered + fsm->probe_interval;
 522
 523     case S_RECONNECT:
 524         return fsm->state_entered;
 525     }
 526
 527     NOT_REACHED();
 528 }
 529
 530 /* Assesses whether any action should be taken on 'fsm'.  The return value is
 531  * one of:
 532  *
 533  *     - 0: The client need not take any action.
 534  *
 535  *     - Active client, RECONNECT_CONNECT: The client should start a connection
 536  *       attempt and indicate this by calling reconnect_connecting().  If the
 537  *       connection attempt has definitely succeeded, it should call
 538  *       reconnect_connected().  If the connection attempt has definitely
 539  *       failed, it should call reconnect_connect_failed().
 540  *
 541  *       The FSM is smart enough to back off correctly after successful
 542  *       connections that quickly abort, so it is OK to call
 543  *       reconnect_connected() after a low-level successful connection
 544  *       (e.g. connect()) even if the connection might soon abort due to a
 545  *       failure at a high-level (e.g. SSL negotiation failure).
 546  *
 547  *     - Passive client, RECONNECT_CONNECT: The client should try to listen for
 548  *       a connection, if it is not already listening.  It should call
 549  *       reconnect_listening() if successful, otherwise reconnect_connecting()
 550  *       or reconnected_connect_failed() if the attempt is in progress or
 551  *       definitely failed, respectively.
 552  *
 553  *       A listening passive client should constantly attempt to accept a new
 554  *       connection and report an accepted connection with
 555  *       reconnect_connected().
 556  *
 557  *     - RECONNECT_DISCONNECT: The client should abort the current connection
 558  *       or connection attempt or listen attempt and call
 559  *       reconnect_disconnected() or reconnect_connect_failed() to indicate it.
 560  *
 561  *     - RECONNECT_PROBE: The client should send some kind of request to the
 562  *       peer that will elicit a response, to ensure that the connection is
 563  *       indeed in working order.  (This will only be returned if the "probe
 564  *       interval" is nonzero--see reconnect_set_probe_interval()).
 565  */
 566 enum reconnect_action
 567 reconnect_run(struct reconnect *fsm, long long int now)
 568 {
 569     if (now >= reconnect_deadline__(fsm)) {
 570         switch (fsm->state) {
 571         case S_VOID:
 572             return 0;
 573
 574         case S_BACKOFF:
 575             return RECONNECT_CONNECT;
 576
 577         case S_CONNECT_IN_PROGRESS:
 578             return RECONNECT_DISCONNECT;
 579
 580         case S_ACTIVE:
 581             VLOG_DBG("%s: idle %lld ms, sending inactivity probe", fsm->name,
 582                      now - MAX(fsm->last_received, fsm->state_entered));
 583             reconnect_transition__(fsm, now, S_IDLE);
 584             return RECONNECT_PROBE;
 585
 586         case S_IDLE:
 587             VLOG_ERR("%s: no response to inactivity probe after %.3g "
 588                      "seconds, disconnecting",
 589                      fsm->name, (now - fsm->state_entered) / 1000.0);
 590             return RECONNECT_DISCONNECT;
 591
 592         case S_RECONNECT:
 593             return RECONNECT_DISCONNECT;
 594
 595         case S_LISTENING:
 596             return 0;
 597         }
 598
 599         NOT_REACHED();
 600     } else {
 601         return 0;
 602     }
 603 }
 604
 605 /* Causes the next call to poll_block() to wake up when reconnect_run() should
 606  * be called on 'fsm'. */
 607 void
 608 reconnect_wait(struct reconnect *fsm, long long int now)
 609 {
 610     int timeout = reconnect_timeout(fsm, now);
 611     if (timeout >= 0) {
 612         poll_timer_wait(timeout);
 613     }
 614 }
 615
 616 /* Returns the number of milliseconds after which reconnect_run() should be
 617  * called on 'fsm' if nothing else notable happens in the meantime, or a
 618  * negative number if this is currently unnecessary. */
 619 int
 620 reconnect_timeout(struct reconnect *fsm, long long int now)
 621 {
 622     long long int deadline = reconnect_deadline__(fsm);
 623     if (deadline != LLONG_MAX) {
 624         long long int remaining = deadline - now;
 625         return MAX(0, MIN(INT_MAX, remaining));
 626     }
 627     return -1;
 628 }
 629
 630 /* Returns true if 'fsm' is currently believed to be connected, that is, if
 631  * reconnect_connected() was called more recently than any call to
 632  * reconnect_connect_failed() or reconnect_disconnected() or
 633  * reconnect_disable(), and false otherwise.  */
 634 bool
 635 reconnect_is_connected(const struct reconnect *fsm)
 636 {
 637     return is_connected_state(fsm->state);
 638 }
 639
 640 /* Returns the number of milliseconds for which 'fsm' has been continuously
 641  * connected to its peer.  (If 'fsm' is not currently connected, this is 0.) */
 642 unsigned int
 643 reconnect_get_connection_duration(const struct reconnect *fsm,
 644                                   long long int now)
 645 {
 646     return reconnect_is_connected(fsm) ? now - fsm->last_connected : 0;
 647 }
 648
 649 /* Copies various statistics for 'fsm' into '*stats'. */
 650 void
 651 reconnect_get_stats(const struct reconnect *fsm, long long int now,
 652                     struct reconnect_stats *stats)
 653 {
 654     stats->creation_time = fsm->creation_time;
 655     stats->last_received = fsm->last_received;
 656     stats->last_connected = fsm->last_connected;
 657     stats->backoff = fsm->backoff;
 658     stats->seqno = fsm->seqno;
 659     stats->is_connected = reconnect_is_connected(fsm);
 660     stats->current_connection_duration
 661         = reconnect_get_connection_duration(fsm, now);
 662     stats->total_connected_duration = (stats->current_connection_duration
 663                                        + fsm->total_connected_duration);
 664     stats->n_attempted_connections = fsm->n_attempted_connections;
 665     stats->n_successful_connections = fsm->n_successful_connections;
 666     stats->state = reconnect_state_name__(fsm->state);
 667     stats->state_elapsed = now - fsm->state_entered;
 668 }
 669
 670 static bool
 671 reconnect_may_retry(struct reconnect *fsm)
 672 {
 673     bool may_retry = fsm->max_tries > 0;
 674     if (may_retry && fsm->max_tries != UINT_MAX) {
 675         fsm->max_tries--;
 676     }
 677     return may_retry;
 678 }