Optionally surface exceptions that happen under executors by reading
[python_utils.git] / config.py
index ea5f68a296b66ea8946a61e6f85fe1891a0b33a8..f543b0aab2ed1c2a72760b934c813426426df3a8 100644 (file)
--- a/config.py
+++ b/config.py
@@ -89,7 +89,7 @@ args = argparse.ArgumentParser(
     description=None,
     formatter_class=argparse.ArgumentDefaultsHelpFormatter,
     fromfile_prefix_chars="@",
-    epilog=f'{program_name} uses config.py ({__file__}) for global, cross-module configuration setup and parsing.'
+    epilog=f'{program_name} uses config.py ({__file__}) for global, cross-module configuration setup and parsing.',
 )
 
 # Keep track of if we've been called and prevent being called more
@@ -133,6 +133,16 @@ group.add_argument(
     default=None,
     help='Populate config file compatible with --config_loadfile to save global config for later use.',
 )
+group.add_argument(
+    '--config_rejects_unrecognized_arguments',
+    default=False,
+    action='store_true',
+    help=(
+        'If present, config will raise an exception if it doesn\'t recognize an argument.  The '
+        + 'default behavior is to ignore this so as to allow interoperability with programs that '
+        + 'want to use their own argparse calls to parse their own, separate commandline args.'
+    ),
+)
 
 
 def is_flag_already_in_argv(var: str):
@@ -143,36 +153,20 @@ def is_flag_already_in_argv(var: str):
     return False
 
 
-def parse(entry_module: Optional[str]) -> Dict[str, Any]:
-    """Main program should call this early in main().  Note that the
-    bootstrap.initialize wrapper takes care of this automatically.
+def reorder_arg_action_groups(entry_module: Optional[str]):
+    reordered_action_groups = []
+    for group in args._action_groups:
+        if entry_module is not None and entry_module in group.title:
+            reordered_action_groups.append(group)
+        elif program_name in group.title:
+            reordered_action_groups.append(group)
+        else:
+            reordered_action_groups.insert(0, group)
+    return reordered_action_groups
 
-    """
-    global config_parse_called
-    if config_parse_called:
-        return config
 
+def augment_sys_argv_from_environment_variables():
     global saved_messages
-
-    # If we're about to do the usage message dump, put the main module's
-    # argument group last in the list (if possible) so that when the user
-    # passes -h or --help, it will be visible on the screen w/o scrolling.
-    reordered_action_groups = []
-    global prog
-    for arg in sys.argv:
-        if arg == '--help' or arg == '-h':
-            for group in args._action_groups:
-                if entry_module is not None and entry_module in group.title:
-                    reordered_action_groups.append(group)
-                elif program_name in group.title:
-                    reordered_action_groups.append(group)
-                else:
-                    reordered_action_groups.insert(0, group)
-            args._action_groups = reordered_action_groups
-
-    # Examine the environment for variables that match known flags.
-    # For a flag called --example_flag the corresponding environment
-    # variable would be called EXAMPLE_FLAG.
     usage_message = args.format_usage()
     optional = False
     var = ''
@@ -200,6 +194,7 @@ def parse(entry_module: Optional[str]) -> Dict[str, Any]:
                             f'Initialized from environment: {var} = {value}'
                         )
                         from string_utils import to_bool
+
                         if len(chunks) == 1 and to_bool(value):
                             sys.argv.append(var)
                         elif len(chunks) > 1:
@@ -207,10 +202,10 @@ def parse(entry_module: Optional[str]) -> Dict[str, Any]:
                             sys.argv.append(value)
                 var = ''
                 env = ''
-        else:
-            next
 
-    # Look for loadfile and read/parse it if present.
+
+def augment_sys_argv_from_loadfile():
+    global saved_messages
     loadfile = None
     saw_other_args = False
     grab_next_arg = False
@@ -227,19 +222,51 @@ def parse(entry_module: Optional[str]) -> Dict[str, Any]:
             saw_other_args = True
 
     if loadfile is not None:
+        if not os.path.exists(loadfile):
+            raise Exception(
+                f'ERROR: --config_loadfile argument must be a file, {loadfile} not found.'
+            )
         if saw_other_args:
             msg = f'Augmenting commandline arguments with those from {loadfile}.'
-            print(msg, file=sys.stderr)
-            saved_messages.append(msg)
-        if not os.path.exists(loadfile):
-            print(f'ERROR: --config_loadfile argument must be a file, {loadfile} not found.',
-                  file=sys.stderr)
-            sys.exit(-1)
+        else:
+            msg = f'Reading commandline arguments from {loadfile}.'
+        print(msg, file=sys.stderr)
+        saved_messages.append(msg)
+
         with open(loadfile, 'r') as rf:
             newargs = rf.readlines()
         newargs = [arg.strip('\n') for arg in newargs if 'config_savefile' not in arg]
         sys.argv += newargs
 
+
+def parse(entry_module: Optional[str]) -> Dict[str, Any]:
+    """Main program should call this early in main().  Note that the
+    bootstrap.initialize wrapper takes care of this automatically.
+
+    """
+    global config_parse_called
+    if config_parse_called:
+        return config
+    global saved_messages
+
+    # If we're about to do the usage message dump, put the main
+    # module's argument group last in the list (if possible) so that
+    # when the user passes -h or --help, it will be visible on the
+    # screen w/o scrolling.
+    for arg in sys.argv:
+        if arg == '--help' or arg == '-h':
+            args._action_groups = reorder_arg_action_groups(entry_module)
+
+    # Examine the environment for variables that match known flags.
+    # For a flag called --example_flag the corresponding environment
+    # variable would be called EXAMPLE_FLAG.  If found, hackily add
+    # these into sys.argv to be parsed.
+    augment_sys_argv_from_environment_variables()
+
+    # Look for loadfile and read/parse it if present.  This also
+    # works by jamming these values onto sys.argv.
+    augment_sys_argv_from_loadfile()
+
     # Parse (possibly augmented, possibly completely overwritten)
     # commandline args with argparse normally and populate config.
     known, unknown = args.parse_known_args()
@@ -249,15 +276,21 @@ def parse(entry_module: Optional[str]) -> Dict[str, Any]:
     # future argument parsers.  For example, unittest_main in python
     # has some of its own flags.  If we didn't recognize it, maybe
     # someone else will.
+    if len(unknown) > 0:
+        if config['config_rejects_unrecognized_arguments']:
+            raise Exception(
+                f'Encountered unrecognized config argument(s) {unknown} with --config_rejects_unrecognized_arguments enabled; halting.'
+            )
+        saved_messages.append(
+            f'Config encountered unrecognized commandline arguments: {unknown}'
+        )
     sys.argv = sys.argv[:1] + unknown
 
     # Check for savefile and populate it if requested.
     savefile = config['config_savefile']
     if savefile and len(savefile) > 0:
         with open(savefile, 'w') as wf:
-            wf.write(
-                "\n".join(original_argv[1:])
-            )
+            wf.write("\n".join(original_argv[1:]))
 
     # Also dump the config on stderr if requested.
     if config['config_dump']: