Spätný test modelu
Namiesto sľubov meranie: dnešnú výpočtovú pipeline (okno 8 prieskumov, exponenciálne váženie, house-effect korekcia) sme spustili k mesačným bodom pred voľbami 2016, 2020 a 2023 (vždy LEN z prieskumov dostupných v danom momente) a porovnali so skutočným výsledkom. Každá zmena modelu musí najprv vyhrať v tomto teste (kvalitná brána), až potom sa nasadí.
Priemerná chyba (MAE)
1.76 p. b.
odhad vs výsledok, T−0
Systematický bias
+0.03 p. b.
kladný = nadhodnocuje
Pokrytie 80 % intervalu
89.11 %
ideál ~80 %, menej = prílišná istota
CRPS
1.32
nižšie = lepšie (kvalita distribúcie)
Správny víťaz
5/5
vstupy do NR: 88.68 % správne
Spoľahlivosť pravdepodobností vstupu do parlamentu
Týždeň po týždni posledných 26 týždňov pred voľbami 2016, 2020 a 2023 sme zaznamenali, akú pravdepodobnosť vstupu do NR model každej strane dával (spolu 1 394 predikcií) a porovnali s tým, či strana do parlamentu naozaj vstúpila. Dobre kalibrovaný model má byť „úprimný": z predikcií „70 %" sa má splniť zhruba 70 %.
Brier skóre
0,142
0 = dokonalé · 0,25 = hádanie mincou (50 %)
Skill oproti baseline
+41 %
o toľko lepší Brier než konštantná predikcia 59 % (podiel skutočných vstupov)
Hodnotených predikcií
1 394
3 volebné cykly × týždenné body × strany
Ako čítať diagram
Každý bod je skupina predikcií s podobnou pravdepodobnosťou (napr. 60–70 %). Vodorovná os = čo model tvrdil, zvislá = ako často sa vstup naozaj konal. Bod na prerušovanej diagonále znamená dokonalú kalibráciu; bod pod diagonálou znamená, že model bol v tom pásme príliš sebavedomý, nad diagonálou príliš opatrný. Veľkosť bodu = počet predikcií v pásme.
Brier skóre po cykloch
| Voľby 2010 | 0,128 | 243 predikcií |
| Voľby 2012 | 0,110 | 244 predikcií |
| Voľby 2016 | 0,143 | 243 predikcií |
| Voľby 2020 | 0,159 | 340 predikcií |
| Voľby 2023 | 0,159 | 324 predikcií |
Case study PS/SPOLU 2020: near-miss, ktorý preveril model
Koalícia PS/SPOLU získala vo voľbách 2020 presne 6,96 %, o štyri stotiny percentuálneho bodu menej, než vyžadovala 7 % hranica pre koalície. Najtesnejší neúspech modernej slovenskej volebnej histórie je ideálny test poctivosti pravdepodobností: model, ktorý by vstup koalície tvrdil „na istotu", by tu tvrdo narazil.
V predvečer volieb dával model koalícii PS/SPOLU odhad 9,0 % a pravdepodobnosť vstupu 77 %; skutočnosť (6,96 %) skončila tesne pod hranicou. Model teda správne komunikoval, že vstup je neistý, nie istý ani vylúčený. Je to priamy dôsledok empirickej kalibrácie šumu (model v1.5): σ nakalibrovaná na historické chyby prieskumov drží strany na hrane prahu v poctivom pásme neistoty. Presne pre takéto prípady publikujeme pravdepodobnosti namiesto binárnych verdiktov „postúpi / nepostúpi", a ich kalibráciu meriame v diagrame vyššie.
Voľby 2010
skutočné výsledky →Chyba odhadu podľa vzdialenosti od volieb
Finálny odhad (T−0, 42 prieskumov k 2010-06-12) vs výsledok
| Strana | Model | Výsledok | Chyba | P(vstup) | 80 % interval |
|---|---|---|---|---|---|
| Smer | 31.1 % | 34.79 % | -3.7 | 100 % ✓ | v intervale |
| SDKÚ-DS | 12.6 % | 15.42 % | -2.9 | 99 % ✓ | v intervale |
| SaS | 12.6 % | 12.14 % | +0.4 | 99 % ✓ | v intervale |
| KDH | 9.0 % | 8.52 % | +0.5 | 93 % ✓ | v intervale |
| Most-Híd | 6.3 % | 8.12 % | -1.9 | 71 % ✓ | v intervale |
| SNS | 7.4 % | 5.07 % | +2.3 | 83 % ✓ | v intervale |
| SMK-MKP | 5.3 % | 4.33 % | +1.0 | 56 % | v intervale |
| hzds | 5.0 % | 4.32 % | +0.7 | 51 % | v intervale |
| kss | 2.1 % | 0.83 % | +1.3 | 2 % | v intervale |
Chybná klasifikácia vstupu: SMK-MKP (model čakal vstup) · hzds (model čakal vstup)
Voľby 2012
skutočné výsledky →Chyba odhadu podľa vzdialenosti od volieb
Finálny odhad (T−0, 64 prieskumov k 2012-03-10) vs výsledok
| Strana | Model | Výsledok | Chyba | P(vstup) | 80 % interval |
|---|---|---|---|---|---|
| Smer | 39.5 % | 44.42 % | -5.0 | 100 % ✓ | v intervale |
| KDH | 11.0 % | 8.82 % | +2.2 | 98 % ✓ | v intervale |
| OĽaNO | 6.1 % | 8.56 % | -2.5 | 68 % ✓ | v intervale |
| Most-Híd | 6.6 % | 6.90 % | -0.3 | 75 % ✓ | v intervale |
| SDKÚ-DS | 6.1 % | 6.10 % | +0.0 | 69 % ✓ | v intervale |
| SaS | 6.0 % | 5.88 % | +0.2 | 68 % ✓ | v intervale |
| SNS | 4.3 % | 4.56 % | -0.3 | 36 % | v intervale |
| SMK-MKP | 4.3 % | 4.29 % | +0.0 | 36 % | v intervale |
| obcianskyhlas | 4.1 % | 1.59 % | +2.5 | 31 % | mimo |
| hzds | 1.0 % | 0.93 % | +0.1 | 0 % | v intervale |
Voľby 2016
skutočné výsledky →Chyba odhadu podľa vzdialenosti od volieb
Finálny odhad (T−0, 111 prieskumov k 2016-03-05) vs výsledok
| Strana | Model | Výsledok | Chyba | P(vstup) | 80 % interval |
|---|---|---|---|---|---|
| Smer | 35.5 % | 28.28 % | +7.2 | 100 % ✓ | mimo |
| SaS | 5.0 % | 12.10 % | -7.1 | 51 % ✓ | mimo |
| OĽaNO | 6.0 % | 11.02 % | -5.0 | 70 % ✓ | mimo |
| SNS | 9.3 % | 8.64 % | +0.6 | 96 % ✓ | v intervale |
| Most-Híd | 8.1 % | 6.50 % | +1.6 | 91 % ✓ | v intervale |
| #SIEŤ | 12.5 % | 5.60 % | +6.9 | 100 % ✓ | mimo |
| KDH | 7.6 % | 4.94 % | +2.6 | 88 % | v intervale |
| SMK-MKP | 4.2 % | 4.04 % | +0.1 | 31 % | v intervale |
| SDKÚ-DS | 1.4 % | 0.26 % | +1.1 | 0 % | v intervale |
Chybná klasifikácia vstupu: KDH (model čakal vstup)
Voľby 2020
skutočné výsledky →Chyba odhadu podľa vzdialenosti od volieb
Finálny odhad (T−0, 211 prieskumov k 2020-02-29) vs výsledok
| Strana | Model | Výsledok | Chyba | P(vstup) | 80 % interval |
|---|---|---|---|---|---|
| OĽaNO | 20.9 % | 25.02 % | -4.2 | 100 % ✓ | v intervale |
| Smer | 15.7 % | 18.29 % | -2.5 | 100 % ✓ | v intervale |
| Sme rodina | 7.2 % | 8.24 % | -1.1 | 81 % ✓ | v intervale |
| ĽSNS | 9.2 % | 7.97 % | +1.2 | 93 % ✓ | v intervale |
| PS/SPOLU | 9.0 % | 6.96 % | +2.0 | 77 % | v intervale |
| SaS | 6.4 % | 6.22 % | +0.2 | 73 % ✓ | v intervale |
| Za ľudí | 7.1 % | 5.77 % | +1.4 | 80 % ✓ | v intervale |
| KDH | 5.3 % | 4.65 % | +0.7 | 56 % | v intervale |
| SMK-MKP | 4.0 % | 3.90 % | +0.1 | 29 % | v intervale |
| SNS | 3.5 % | 3.16 % | +0.3 | 19 % | v intervale |
| Dobrá voľba | 3.3 % | 3.06 % | +0.2 | 16 % | v intervale |
| Vlasť | 3.0 % | 2.93 % | +0.1 | 11 % | v intervale |
| Most-Híd | 3.2 % | 2.05 % | +1.2 | 15 % | v intervale |
Chybná klasifikácia vstupu: PS/SPOLU (model čakal vstup) · KDH (model čakal vstup)
Voľby 2023
skutočné výsledky →Chyba odhadu podľa vzdialenosti od volieb
Finálny odhad (T−0, 332 prieskumov k 2023-09-30) vs výsledok
| Strana | Model | Výsledok | Chyba | P(vstup) | 80 % interval |
|---|---|---|---|---|---|
| Smer | 20.1 % | 22.94 % | -2.9 | 100 % ✓ | v intervale |
| PS | 18.0 % | 17.96 % | +0.1 | 100 % ✓ | v intervale |
| Hlas | 13.2 % | 14.70 % | -1.5 | 99 % ✓ | v intervale |
| OĽaNO | 7.8 % | 8.89 % | -1.1 | 85 % ✓ | v intervale |
| KDH | 6.1 % | 6.82 % | -0.7 | 68 % ✓ | v intervale |
| SaS | 6.4 % | 6.32 % | +0.1 | 72 % ✓ | v intervale |
| SNS | 5.8 % | 5.62 % | +0.1 | 63 % ✓ | v intervale |
| Republika | 7.3 % | 4.75 % | +2.5 | 81 % | v intervale |
| Aliancia | 3.2 % | 4.38 % | -1.2 | 15 % | v intervale |
| Demokrati | 3.5 % | 2.93 % | +0.6 | 20 % | v intervale |
| Sme rodina | 4.6 % | 2.21 % | +2.4 | 42 % | v intervale |
| MF | 0.2 % | 0.11 % | +0.1 | 0 % | v intervale |
Chybná klasifikácia vstupu: Republika (model čakal vstup)
Ako test čítať
- Replay používa výhradne prieskumy publikované PRED daným cutoffom (žiadny pohľad do budúcnosti) a dobové volebné prahy: OĽaNO ako hnutie (5 %), PS/SPOLU 2020 ako koalícia (7 %).
- Merania volebného jadra a potenciálu do modelu nevstupujú (post-hoc korekcie z nich boli vo verzii 1.8 odstránené: spätný test ukázal, že merateľne nič nepridávali); test aj živý model hodnotia čistý prieskumový model.
- Pokrytie 80 % intervalu pod 80 % znamená, že model je príliš sebavedomý. Toto zistenie viedlo k empirickej kalibrácii šumu σ(p) z historických chýb (model v1.5) a k horizontovej zložke neistoty, ktorá rastie s časom do volieb (model v1.6, viď zmeny modelu). Intervaly v teste ďaleko pred voľbami sú preto širšie než tesne pred nimi.
- Kalibračné vstupy modelu (váhy agentúr, chybový kernel σ, horizontová κ) sa v teste počítajú leave-one-cycle-out: pre hodnotený cyklus sa fitujú výhradne z OSTATNÝCH cyklov, takže model nikdy „nevidí" voľby, na ktorých je meraný. Živý model pre rok 2027 používa kalibráciu zo všetkých troch cyklov.
- CRPS (continuous ranked probability score) hodnotí celú predikčnú distribúciu, nie len bodový odhad; počíta sa analyticky z normálneho rozdelenia, z ktorého simulácie vzorkujú.
- Brier skóre a reliability diagram vychádzajú z týždenných predikcií (T−26 až T−0 týždňov, tri cykly). Po sebe idúce týždne zdieľajú časť prieskumov v okne, takže jednotlivé body nie sú nezávislé pozorovania: hodnotia priebeh modelu v čase, nie „nové" experimenty. Rovnaký prístup používajú svetové forecast weby.
Výsledky spätného testu prepočítava serverový beh modelu raz za 5 dní. Celá metodika → · Zmeny modelu →