RSSproObce: kdo čte stránky obcí a proč
Účel
Program RSSproObce čte veřejné úřední desky a aktuality českých obcí a vytváří z nich informační kanály (RSS, Atom), aby se lidé o nových dokumentech své obce dozvěděli včas. Vzniká v projektu „Vývoj softwarové platformy pro automatizované generování a inteligentní (AI) agregaci informačních kanálů (RSS) z webů českých obcí“.
Kdo za čtením stojí
Projekt realizuje MASTER IT Technologies, a.s. (MITT), příjemce inovačního voucheru CZ.01.01.01/05/24_043/0010262. Platformu pro MITT vyvíjí a ověřuje Vysoká škola báňská – Technická univerzita Ostrava (VŠB-TUO).
Co čteme
- Úřední desku a aktuality obce na jejím veřejném webu a dokumenty, na které odkazují.
- Vlastní kanály RSS a otevřená data obce (OFN), pokud je obec zveřejňuje.
- Úřední desku, kterou pro obec zveřejňuje obec s rozšířenou působností.
Čteme jen stránky dostupné bez přihlášení. Nepřihlašujeme se, nevyplňujeme formuláře a nepřijímáme podmínky užití. Do kanálů nepřebíráme osobní údaje soukromých osob a položka z kanálu zmizí nejpozději po sejmutí dokumentu z úřední desky.
Jak rychle čteme
- K jednomu webu a k jedné IP adrese serveru vede vždy nejvýše jedno spojení.
- Mezi dvěma požadavky na tentýž web nebo tutéž adresu je nejméně 5 s, déle, pokud o to web žádá.
- Soubor robots.txt čteme a zaznamenáváme a jeho Crawl-delay dodržujeme.
- Odpověď 503 s hlavičkou Retry-After vyčkáme.
- Používáme podmíněné dotazy (ETag, Last-Modified), takže nezměněná stránka se znovu nepřenáší.
- Každý web má denní limit počtu požadavků.
Jakékoli odmítnutí (HTTP 401, 403, 407, 429 nebo 451, stránka s ověřením typu captcha, přesměrování na přihlášení nebo blokování adresy) čtení daného webu zastaví. Případ pak posoudí člověk a čtení se neobnoví pod jinou identitou ani z jiné adresy.
Jak se program představuje
Každý požadavek nese hlavičku User-Agent RSSproObce/1.0 (+https://crawler.rss.databridge.city/) a hlavičku From s adresou rss-crawler@hub440.cz. Jinou identitu program nepoužívá.
Odkud čteme
Všechny požadavky odcházejí z jediné pevné adresy 3.78.33.17. Adresu neměníme a nepoužíváme proxy.
Námitky a kontakt
Dotazy a námitky posílejte na rss-crawler@hub440.cz.
- Obec nebo provozovatel webu může požádat o zpomalení nebo zastavení čtení. Rychlost snížíme nebo čtení pozastavíme v pracovní den, kdy žádost dojde; žádost poté posoudíme.
- Kdo nesouhlasí se zpracováním údajů, které se ho týkají, může vznést námitku. Vyřídíme ji do jednoho pracovního dne od doručení.