Od ručného zisťovania cien k digitálnej cenovej štatistike
19
Digitalizovaných skupín produktov
3
Integrované dátové zdroje
10+
Podporovaných indexových metód
V4
Medzinárodná prezentácia
Organizácia
Národný štatistický úrad modernizuje zber cenových dát
Štatistický úrad Slovenskej republiky (ŠÚ SR) je národná autorita zodpovedná za oficiálnu cenovú štatistiku vrátane indexu spotrebiteľských cien (CPI), ktorý je kľúčovým vstupom do údajov o inflácii na Slovensku. Pracuje podľa prísnych metodických štandardov v súlade s usmerneniami Eurostatu a poskytuje vláde, centrálnym bankám aj verejnosti presné a včasné ekonomické dáta.
Keď digitálny obchod zmenil retail v celej Európe, ŠÚ SR čelil rastúcej výzve: metódy zberu cenových dát nedržali krok s tým, ako a kde sa tovar naozaj predáva.
Výzva
Zber dát navrhnutý pre éru pred digitalizáciou
Zber cenových dát na ŠÚ SR stál na troch paralelných metódach. Skenerové dáta z veľkých obchodných reťazcov pokrývali potraviny. Národné účty pokrývali energie a palivá. Všetko ostatné (spotrebná elektronika, oblečenie, nábytok, športové potreby a ďalšie) sa zbieralo tradične: zamestnanci v teréne každý mesiac navštevovali kamenné predajne a ručne zapisovali ceny.
Táto tretia metóda, ktorá pokrývala najširší okruh skupín produktov, mala vážne obmedzenia:
Vysoké a rastúce náklady na údržbu
Subjektívny výber vzorky podľa zamestnanca, ktorý obchod navštívil
Žiadne dáta o objeme predaja, len ceny
Žiadne digitalizované parametre produktov, a teda ani zhlukovanie produktov podľa dát
Častejší zber by náklady úmerne znásobil
Zadanie bolo jasné: digitalizovať zber cenových dát pre skupiny produktov, ktoré sa zbierali ručne, znížiť závislosť od návštev v teréne a pripraviť základ pre škálovateľnejší a štatisticky robustnejší prístup, ktorý by sa raz mohol stať súčasťou oficiálnej produkcie.
Riešenie
Digitálny zber cenových dát v AWS
Projekt DCM (Dynamic Price Model) mal nahradiť ručný zber v teréne automatizovaným digitálnym zberom dát pre 19 skupín produktov na úrovni ECOICOP 5, okrem iného obuv, oblečenie, športové potreby, spotrebnú elektroniku, nábytok, mobilné telefóny, hračky a hodinky.
Ako hlavný dátový zdroj sa ukázala Heureka, popredný porovnávač cien. Partnerstvo s ňou prekonalo očakávania: okrem cien a parametrov produktov poskytla aj predané množstvá, vďaka čomu sa v tejto kategórii po prvýkrát dali použiť vážené štatistické metódy. Výsledný dataset obsahoval ID a názvy produktov, predané množstvá súhrnne za všetkých pripojených predajcov, dáta o tržbách, zoznam zapojených predajcov a kompletné parametre produktov, ktoré umožnili ďalšie zhlukovanie.
Doplnili ho denné cenové dáta z Google Ads získavané cez API služby tretej strany a týždenný web scraping vybraných e-shopov, ktorý priniesol aktuálne ceny a ďalšie parametre produktov.
Celé technické riešenie, vyvinuté v AWS v Pythone a neskôr migrované do SAS ako cieľového prostredia ŠÚ SR, pokrývalo automatizovaný zber dát, viacstupňové čistenie, zhlukovanie produktov pomocou strojového učenia a kompletnú sadu výpočtov indexov v súlade s metodikou Eurostatu.
Míľniky
Ako sme to postavili
Vyhodnotenie dátových zdrojov pre 19 skupín produktov podľa veľkosti vzorky, bohatosti parametrov a technickej realizovateľnosti
Partnerstvo s Heurekou pre dátový feed, vďaka ktorému boli popri cenách k dispozícii aj predané množstvá
Integrácia Google Ads API a cieleného web scrapingu ako doplnkových zdrojov
Dátový model DCM v AWS: zber, čistenie, zhlukovanie, výpočet indexov
Implementácia 10 metód výpočtu indexov (bilaterálnych a multilaterálnych, vážených aj nevážených)
Migrácia riešenia z AWS/Pythonu do SAS, produkčného prostredia ŠÚ SR
Dashboardy v Power BI na vizualizáciu výstupov systému počas celého vývoja
Zapojené strany
Kľúčový míľnik
Vážená štatistika vďaka jedinému partnerstvu
Keď Heureka súhlasila, že popri cenách bude zdieľať aj predané množstvá, projekt získal jedinou integráciou dáta vážené predajom od desiatok predajcov. DCM sa tak zo zberu cien zmenil na základ, ktorý dokáže podporiť spotrebiteľskú cenovú štatistiku v súlade s Eurostatom.
Výsledok
Základ pre budúcnosť cenovej štatistiky na Slovensku
Projekt DCM priniesol funkčný digitálny zber cenových dát od začiatku do konca pre 19 skupín produktov, ktorý v jednom integrovanom systéme automatizuje zber, čistenie, zhlukovanie aj výpočet indexov. Z analýzy realizovateľnosti a návrhu sa stala plná technická implementácia, vyvinutá v AWS a migrovaná do produkčného prostredia ŠÚ SR v SAS.
Riešenie ukázalo, že dokáže počítať cenové indexy bilaterálnymi aj multilaterálnymi metódami, s váhami podľa predaja aj bez nich, čo je výrazný krok nad rámec toho, čo by ručný proces kedy zvládol. Dashboardy v Power BI dávali jasný prehľad o správaní systému v každej fáze.
Projekt mal skorý dosah aj za hranicami Slovenska. Ešte pred finálnym odovzdaním dostal vývojový tím pozvanie predstaviť riešenie na konferencii národných štatistických úradov krajín V4 v Bratislave v marci 2023, kde prístup DCM predstavil zástupcom Česka, Poľska a Maďarska.