Tento kód slouží ke třem účelům:

• automatický robot, který vytváří screenshoty a převádí data z webů KHS do tabulky COVID-19 po okresech, KHS
• každodenní záloha screenshotů všech 14 krajských hygienických stanic
• měsíční záloha Google Spreadsheet se všemi daty

⚠️ Všechna data jsou dostupná na Google Spreadsheet COVID-19 po okresech, KHS, případně na zkráceném odkazu:

https://www.sablatura.info/covid/data/khs 

Většinu dat sbírá robot (web crawler) automaticky. Každý den jej několikrát spustím, data se stáhnou z webů, automaticky vyčistí a nahrajou na list Crawl: dnes. Finální crawl dělám na konci dne, typicky mezi 22 a 2 hodinou ranní. Poté data ručně kontroluji, opravuji chyby OCR a některá data dopisuji.

Počty z KHS jsou verifikované, tedy trochu nižší, než standardně zveřejňuje Ministerstvo zdravotnictví. To je proto, že evidují data zaslaná z laboratoří přímo na ISIN, KHS ale následně přebírají data z ISIN a kontrolují (a pak zveřejňují na webu). A pak taky netrpí tím, že by byly o 7-11 dní zpožděné.

• Tesseract.js, umělá inteligence natrénovaná pro čtení dat z Ostravy, Plzně a Zlína (bohužel dodávají data jako obrázek)
• Puppeteer (konzolová verze Chrome), který bleskurychle prochází web
• PDFreader, který exportuje texty z PDF a jejich pozice
• Express server, který přes pdf.js generuje z PDF obrázky pro použití v OCR (bohužel neexistuje stabilnější node.js řešení bez nutnosti přepsat celé pdf.js od Mozilly)
• Sharp, bleskurychlé modifikace obrázků pro účely OCR

Pozor, celé repo má více než 3 GB, samotný zdrojový kód pak cca 500 MB.

Při vývoji zemřely tisíce subverzí umělé inteligence. Zvláště ty, které nedokázaly rozlišit mezi 6 a 8. Nechť je jim křemíkové nebe lehké. Pokud znáte Sarah Connorovou, možná budu potřebovat číslo.

• Web: sablatura.info
• Email: [email protected]
• FB: Messenger

Moje další COVID-19 API lze nalézt na COVID API.