Ükskõik millise analüüsi metoodikas on võimalik kahelda, aga üks kasulik küsimus on: kui palju muutuksid tulemused, kui metoodikat veidi muuta?
Postimehe tehtud koolide pingerida riigieksamitulemuste põhjal teeb mitu eeldust, muuhulgas selle, et kõik kolm ainet on võrdse kaaluga (seal on veel mitu subjektiivset otsust, näiteks inglise keele tulemuste arvessevõtmise metoodika, aga jätame nad praegu kõrvale). Mis juhtub, kui varieerime eri ainete kaale?
Võtsin Postimehe tabeli ja simuleerisin 500 korda, milline oleks edetabel, kui võrdsete kaalude asemel kasutame juhuslikke kaale (ühtlane jaotus [0, 1], normaliseeritud nii, et summa oleks konstantne). See peaks näitama, kui robustsed on tulemused variatsioonidele metoodikas.
Graafikul on x-teljel Postimehe järjekorranumber ja y-teljel iga kooli jaoks 500 simuleeritud järjekorranumbrit. Iga joon on üks simulatsioon. Mida rohkem iga kooli simuleeritud järjekorranumber vertikaalselt laiali määritud on, seda rohkem muudab täpne metoodika selle kooli edetabelikohta.
Edetabeli tipp — nii esimesed 5 kohta — eriti ei varieeru. Sealt edasi läheb asi aga kiiresti palju kirjumaks: enamiku koolide koht varieerub u 20 võrra ja mõnel koguni 100 kohta 120-st! (Väga suur variatsioon tekib, kui koolil on üks eksamitulemus erakordselt hea või erakordselt halb võrreldes sama kooli ülejäänud kahe tulemusega.)
Ma ei ütle, et kui eesmärk on koole järjestada, siis see metoodika on täiesti mõttetu. Pigem tahaksin, et selliste pingeridade juures antaks ligikaudne usaldusvahemik, mis küll tihti näeks välja umbes “kool X asub vahemikus 30-80”, aga see annakski õige ettekujutuse edetabeli usaldusväärsusest.
