bellevue_reporter_rss_renderer.py

   1 #!/usr/bin/env python3
   2
   3 import logging
   4 import re
   5 from typing import List, Dict
   6 import xml
   7 import xml.etree.ElementTree as ET
   8
   9 import generic_news_rss_renderer as gnrss
  10
  11
  12 logger = logging.getLogger(__file__)
  13
  14
  15 class bellevue_reporter_rss_renderer(gnrss.generic_news_rss_renderer):
  16     """Read the Bellevue Reporter's RSS feed."""
  17
  18     def __init__(
  19         self,
  20         name_to_timeout_dict: Dict[str, int],
  21         feed_site: str,
  22         feed_uris: List[str],
  23         page_title: str,
  24     ):
  25         super().__init__(
  26             name_to_timeout_dict, feed_site, feed_uris, page_title
  27         )
  28
  29     def get_headlines_page_prefix(self) -> str:
  30         return "bellevue-reporter"
  31
  32     def get_details_page_prefix(self) -> str:
  33         return "bellevue-reporter-details"
  34
  35     def should_use_https(self) -> bool:
  36         return True
  37
  38     def munge_description(self, description: str, item: ET.Element) -> str:
  39         description = re.sub("<[^>]+>", "", description)
  40         description = re.sub(
  41             "Bellevue\s+Reporter\s+Bellevue\s+Reporter", "", description
  42         )
  43         description = re.sub("\s*\-\s*Your local homepage\.\s*", "", description)
  44         description = re.sub("[Ww]ire [Ss]ervice", "", description)
  45         return description
  46
  47     @staticmethod
  48     def looks_like_football(title: str, description: str) -> bool:
  49         return (
  50             title.find("NFL") != -1
  51             or re.search("[Ll]ive [Ss]tream", title) is not None
  52             or re.search("[Ll]ive[Ss]tream", title) is not None
  53             or re.search("[Ll]ive [Ss]tream", description) is not None
  54         )
  55
  56     @staticmethod
  57     def looks_like_review(title: str, description: str) -> bool:
  58         return "review" in title or "Review" in title
  59
  60     @staticmethod
  61     def looks_like_spam(title: str, description: str) -> bool:
  62         return (
  63             'marketplace' in description
  64             or 'national-marketplace' in description
  65             or re.search('[Ww]eed', title) is not None
  66             or re.search('[Cc]annabis', title) is not None
  67             or re.search('[Cc]annabis', description) is not None
  68             or 'THC' in title
  69             or re.search('[Ll]ose [Ww]eight', title) is not None
  70             or re.search('[Ll]ose [Ww]eight', description) is not None
  71         )
  72
  73     def item_is_interesting_for_headlines(
  74         self, title: str, description: str, item: xml.etree.ElementTree.Element
  75     ) -> bool:
  76         unfiltered_description = item.findtext("description")
  77         if self.is_item_older_than_n_days(item, 10):
  78             logger.info(f'{title}: is too old!')
  79             return False
  80         if bellevue_reporter_rss_renderer.looks_like_spam(title, unfiltered_description):
  81             logger.debug(f'{title}: looks like spam')
  82             return False
  83         if bellevue_reporter_rss_renderer.looks_like_football(title, description):
  84             logger.debug(f'{title}: looks like it\'s about football.')
  85             return False
  86         if bellevue_reporter_rss_renderer.looks_like_review(title, description):
  87             logger.debug(f'{title}: looks like a review.')
  88             return False
  89         return True
  90
  91     def item_is_interesting_for_article(
  92         self, title: str, description: str, item: xml.etree.ElementTree.Element
  93     ) -> bool:
  94         unfiltered_description = item.findtext("description")
  95         if self.is_item_older_than_n_days(item, 10):
  96             logger.debug(f'{title}: is too old!')
  97             return False
  98         if bellevue_reporter_rss_renderer.looks_like_spam(title, unfiltered_description):
  99             logger.debug(f'{title}: looks like spam')
 100             return False
 101         if bellevue_reporter_rss_renderer.looks_like_football(title, description):
 102             logger.debug(f'{title}: looks like it\'s about football.')
 103             return False
 104         if bellevue_reporter_rss_renderer.looks_like_review(title, description):
 105             logger.debug(f'{title}: looks like a review.')
 106             return False
 107         return True
 108
 109
 110 # Test
 111 # x = bellevue_reporter_rss_renderer(
 112 #    {"Fetch News" : 1,
 113 #     "Shuffle News" : 1},
 114 #    "www.bellevuereporter.com",
 115 #    [ "/feed/" ],
 116 #    "Test" )
 117 # d = """
 118 # <DIV style="padding:8px;
 119 #     font-size:44pt;
 120 #     -webkit-column-break-inside:avoid;"><P>
 121 # <B>Task force will tackle issues of racial justice, police reform</B>
 122 # <BR>Bellevue Reporter
 123 # Bellevue Reporter - Your local homepage.
 124 # Inslee names civil rights activists, pastors, and cops to panel that may forge ideas f#or new laws Task force will tackle issues of racial justice, police reform
 125 # Wire Service
 126 # </DIV>"""
 127 # d = x.munge_description(d)
 128 # print(d)
 129 # if x.fetch_news() == 0:
 130 #    print("Error fetching news, no items fetched.")
 131 # x.shuffle_news()