state_tracker.py

   1 #!/usr/bin/env python3
   2
   3 from abc import ABC, abstractmethod
   4 import datetime
   5 import logging
   6 import time
   7 from typing import Dict, Optional
   8
   9 import pytz
  10
  11 from thread_utils import background_thread
  12 import math_utils
  13
  14 logger = logging.getLogger(__name__)
  15
  16
  17 class StateTracker(ABC):
  18     """A base class that maintains and updates a global state via an
  19     update routine.  Instances of this class should be periodically
  20     invoked via the heartbeat() method.  This method, in turn, invokes
  21     update() with update_ids according to a schedule / periodicity
  22     provided to the c'tor.
  23     """
  24
  25     def __init__(self, update_ids_to_update_secs: Dict[str, float]) -> None:
  26         """The update_ids_to_update_secs dict parameter describes one or more
  27         update types (unique update_ids) and the periodicity(ies), in
  28         seconds, at which it/they should be invoked.
  29
  30         Note that, when more than one update is overdue, they will be
  31         invoked in order by their update_ids so care in choosing these
  32         identifiers may be in order.
  33         """
  34         self.update_ids_to_update_secs = update_ids_to_update_secs
  35         self.last_reminder_ts: Dict[str, Optional[datetime.datetime]] = {}
  36         for x in update_ids_to_update_secs.keys():
  37             self.last_reminder_ts[x] = None
  38
  39     @abstractmethod
  40     def update(
  41         self,
  42         update_id: str,
  43         now: datetime.datetime,
  44         last_invocation: Optional[datetime.datetime],
  45     ) -> None:
  46         """Put whatever you want here.  The update_id will be the string
  47         passed to the c'tor as a key in the Dict.  It will only be
  48         tapped on the shoulder, at most, every update_secs seconds.
  49         The now param is the approximate current timestamp and the
  50         last_invocation param is the last time you were invoked (or
  51         None on the first invocation)
  52         """
  53         pass
  54
  55     def heartbeat(self, *, force_all_updates_to_run: bool = False) -> None:
  56         """Invoke this method to cause the StateTracker instance to identify
  57         and invoke any overdue updates based on the schedule passed to
  58         the c'tor.  In the base StateTracker class, this method must
  59         be invoked manually with a thread from external code.
  60
  61         If more than one type of update (update_id) are overdue,
  62         they will be invoked in order based on their update_ids.
  63
  64         Setting force_all_updates_to_run will invoke all updates
  65         (ordered by update_id) immediately ignoring whether or not
  66         they are due.
  67         """
  68         self.now = datetime.datetime.now(tz=pytz.timezone("US/Pacific"))
  69         for update_id in sorted(self.last_reminder_ts.keys()):
  70             refresh_secs = self.update_ids_to_update_secs[update_id]
  71             if force_all_updates_to_run:
  72                 logger.debug('Forcing all updates to run')
  73                 self.update(
  74                     update_id, self.now, self.last_reminder_ts[update_id]
  75                 )
  76                 self.last_reminder_ts[update_id] = self.now
  77             else:
  78                 last_run = self.last_reminder_ts[update_id]
  79                 if last_run is None:  # Never run before
  80                     logger.debug(
  81                         f'id {update_id} has never been run; running it now'
  82                     )
  83                     self.update(
  84                         update_id, self.now, self.last_reminder_ts[update_id]
  85                     )
  86                     self.last_reminder_ts[update_id] = self.now
  87                 else:
  88                     delta = self.now - last_run
  89                     if delta.total_seconds() >= refresh_secs:  # Is overdue
  90                         logger.debug('id {update_id} is overdue; running it now')
  91                         self.update(
  92                             update_id,
  93                             self.now,
  94                             self.last_reminder_ts[update_id],
  95                         )
  96                         self.last_reminder_ts[update_id] = self.now
  97
  98
  99 class AutomaticStateTracker(StateTracker):
 100     """Just like HeartbeatCurrentState but you don't need to pump the
 101     heartbeat; it runs on a background thread.  Call .shutdown() to
 102     terminate the updates.
 103     """
 104
 105     @background_thread
 106     def pace_maker(self, should_terminate) -> None:
 107         """Entry point for a background thread to own calling heartbeat()
 108         at regular intervals so that the main thread doesn't need to do
 109         so."""
 110         while True:
 111             if should_terminate.is_set():
 112                 logger.debug('pace_maker noticed event; shutting down')
 113                 return
 114             self.heartbeat()
 115             logger.debug(f'page_maker is sleeping for {self.sleep_delay}s')
 116             time.sleep(self.sleep_delay)
 117
 118     def __init__(
 119         self,
 120         update_ids_to_update_secs: Dict[str, float],
 121         *,
 122         override_sleep_delay: Optional[float] = None,
 123     ) -> None:
 124         super().__init__(update_ids_to_update_secs)
 125         if override_sleep_delay is not None:
 126             logger.debug(f'Overriding sleep delay to {override_sleep_delay}')
 127             self.sleep_delay = override_sleep_delay
 128         else:
 129             periods_list = list(update_ids_to_update_secs.values())
 130             self.sleep_delay = math_utils.gcd_float_sequence(periods_list)
 131             logger.info(f'Computed sleep_delay={self.sleep_delay}')
 132         (thread, stop_event) = self.pace_maker()
 133         self.should_terminate = stop_event
 134         self.updater_thread = thread
 135
 136     def shutdown(self):
 137         """Terminates the background thread and waits for it to tear down.
 138         This may block for as long as self.sleep_delay.
 139         """
 140         logger.debug(
 141             'Setting shutdown event and waiting for background thread.'
 142         )
 143         self.should_terminate.set()
 144         self.updater_thread.join()
 145         logger.debug('Background thread terminated.')