Kust leida usaldusväärset infot?

I

Hiljuti Tartus toimunud tõepõhjahäkatonil arutasin osalejate ja mentoritega küsimust: kuidas leida tõtt? Kui meil on konkreetne küsimus, näiteks “kas kofeiini tarbimine on sinu jaoks hea“, siis kust leiaksime infot, mis oleks täielik ja kallutamata? (Kui tahad laiemat ettekujutust mingist alast, annab head juhised LW artikkel “Scholarship: How to Do It Efficiently“.)

Sõltub, palju aega raatsid investeerida. Kui vaid paarkümmend sekundit, siis on Wikipedia parim lahendus, sest sinna on vabatahtlikud pannud kokku palju kvaliteetseid artikleid igal mõeldaval teemal.

Ülalnimetatud häkatonil argumenteerisid paar inimest, et Wikipedias olevat ei saa usaldada, sest see on vabalt muudetav. Tõepoolest, wiki juures on halb see, et igaüks saab sisu muuta: suvalisel hetkel võib olla keegi vandaalitsenud, valeinfot lisanud või muul viisil artikli ära rikkunud. Samas on wiki juures hea see, et igaüks saab sisu muuta: kui artikkel on selgelt kallutatud või kajastab mingit argumenti ebaausalt, saab igaüks selle korda teha¹ ning wiki eeskirjad ja teised kaastöölised hoolitsevad kvaliteedistandardi hoidmise eest.

Wiki fundamentaalne omadus ei ole mitte alati-korrektsus, vaid lõpuks-korrektsus: piisava aja möödudes on probleem lahendatud — ja kui seda juba märkasid, siis miks mitte muutus ise sisse viia?

II

Kui tahan küsimust sügavamalt uurida, siis minu allikad on tüüpilised järgmised, alustades usaldusväärsematest. Räägin siin peamiselt pehmetest aladest — sellistest, kus tõendite usaldamise standard ei ole päris 5σ.

Ülevaateartiklid. Ülevaate (review) eesmärk on võtta kokku kõik mingit teemat — näiteks “kas e-sigarettide suitsetamine tekitab vähki” — uurinud varem avaldatud artiklid. Artikleid võib olla sadu; autor filtreerib välja puuduliku metoodikaga artiklid ja annab mingi hinnangu teaduse hetkeseisu kohta. Just täielikkuse tõttu on ülevaateartiklid parim allikas: tihti on samal teemal palju artikleid mõlemalt poolt ning kui aktsepteeriksime argumente stiilis “see üks artikkel leidis X” või isegi “need seitse artiklit leidsid X”, saaksime nii peaaegu iga väidet toetada. Seetõttu tahame näha kõiki kvaliteetseid teadustulemusi ühel teemal nii, et keegi ei varja endale ebasobivaid, ja just seda ülevaateartiklid teevad.

Kaks parimat kohta, kust ülevaateid leida, on Cochrane Review ja PubMed. Need allikad katavad küll peamiselt tervisega kokkupuutuvaid teemasid (meditsiin, toitumine, treening, bioloogia), aga nad on kvaliteedi kuldstandard. Järgmine variant on lüüa Google Scholarisse sisse “<sinu teema> review” või “<sinu teema> meta-analysis”.

Muide, väga head võivad olla ka õpikud, mis on nagu pikad ja hästi struktureeritud ülevaateartiklid. Kui tahan teada, mis on mingi ala parim õpik, alustan LessWrongi õpikusoovitustest ja üldiselt soovitatud õpikute guugeldamisest.

Üksikud teadusartiklid. Kui leiad oma küsimuse kohta näiteks Google Scholarist ainult ühe teadusartikli ja selle autorid arvavad samuti, et varem tööd samal teemal tehtud pole, pead toetuma ainult sellele artiklile. Eelpool mainitud põhjustel on ohtlik uskuda ainult üht või isegi kümmet artiklit, kui sa ei ole sama põhjalikult otsinud artikleid, mis vastupidist väidaks.

Üksiku artikli usaldusväärsust saab heuristiliselt hinnata: kes on autorid? Mis asutustesse nad kuuluvad? Kas mõnel neist võiks potentsiaalselt olla isiklik eelistus ühe või teise tulemuse poolt? Kes uuringut rahastas? Kas kasutatud meetod ja andmeanalüüs tunduvad mõistlikud?

Mõnikord ei aita isegi need küsimused. Seda illustreerib Pizzagate’iks tituleeritud juhtum, kus maineka Cornelli ülikooli professor Brian Wansink pumpas väikesest andmestikust välja 4 artiklit, neist kõik räigeid statistilisi eksimusi tehes — tõenäoliselt tahtlikult. Üks kontroll leidis neist artiklitest kokku 150 viga ja kõige hullem on, et professor ise ei tundu seda väga tõsiselt võtvat. Soovitan lingitud lugu lugeda; see vähendab loodetavasti pimeusku, et kui “teadlased ütlevad”, siis see tähendab alati sama asja.

Muide, ma ei taha levitada üldist umbusku teaduse vastu. Teaduses ja eriti sotsiaalteadustes on paratamatult väga palju müra, sest uuritavad teemad on keerulised. Just sel põhjusel peaksime olema ettevaatlikud tulemuste tõlgendamisel: tihti selgub, et esimese uuringuga leitud tulemus ei pea kordamisel vett. Hunnikut kuulsaid psühholoogiaeksperimente korrata üritanud Reproducibility Project leidis 60%-l juhtudest, et kordamine ebaõnnestus (s.t. originaalartiklis väidetud efekti ei leitud).

Populaarteaduslikud artiklid. Räägin väljaannetest nagu Scientific American ja Imeline Teadus. Artikkel, mis viitab allikale — näiteks intervjueerib konkreetset teadlast, kelle kohta saad pärast juurde uurida, või annab otse teadusartiklite nimed, mida edasi uurida — on veidi usaldusväärsem kui väikesed viideteta nupukesed. Kui allikaid pole, olen oluliselt skeptilisem.

Populaarteadus peab olema huvitav: faktide abil või nende ümber tuleb kududa stoori, mis inimestele peale läheks. Kui see õnnestub, on tulemuseks kaasakiskuv reis meid ümbritseva maailma ilusse. Kui see läheb viltu, on tulemuseks eksitav jura, mis on lugejatele aktiivselt kahjulik.

Lood tavaväljaannetes. Näiteks tervis.postimees.ee. Need on artiklid, mida vaadates kõige rohkem piinlen, sest:

• kasutatakse fraase stiilis “teadlased on leidnud” või “teadlased ütlevad” ilma mainimata, kes täpselt leidis, kas see on peer-reviewed ning kus see avaldati — viited puuduvad.
• mõnikord on artikkel väga rohmakalt tõlgitud ingliskeelsest loost. Kaheksa minutiga tehtud eestikeelne tõlge Business Insideri artiklist, mis on omakorda kokku kraabitud originaal-teadusartikli kõige intrigeerivamatest lausetest — sealjuures üheski sammus viiteid andmata –, see pole isegi vale. See info on nii häguse päritoluga, et seda ei ole võimalik ei toetada ega ümber lükata. Oma maailmapildi uuendamise mõttes on selline artikkel täiesti väärtusetu, isegi kui ta 10 sekundiks su meelt lahutab.
• halvasti esindatud teadustulemused vähendavad inimeste usaldust teaduse vastu. Vt mu argumenti piima ja surma vahelist seost kajastava Postimehe artikli kohta.

III

Eelnevast taksonoomiast eraldi asetan kaks infoallikat: blogid ja dokumentaalfilmid.

Dokumentaalfilmid. Ükskõik millist filmi seob kokku ja teeb vaatajale loogiliseks hea stoori. Nagu populaarteaduslike artiklite puhul, on ka siin võimalik seda teha hästi, seega iseenesest ei ole see veel surmahoop.

Palju murettekitavam on aga see, et paljude dokumentaalfilmide autorid alustavad positsioonist “me tahame maailmale näidata, et X on hea ja Y on paha” (näiteks “Cowspiracy“²)  või “X-l on õigus ja Y on valevorst” (vandenõuteooriad). Tunni aja jooksul esitletakse hunnikut veenvaid argumente ja intervjuusid autoriteetidega ning filmi lõpuks tundub, et ainult idioot arvaks midagi muud kui filmis argumenteeritut. Probleem on aga selles, et film näitas ainult pooltargumente, mitte tasakaalustatud analüüsi.

Minu hüpotees, miks nii tehakse: sõnum “X on hea ja Y on paha” on emotsionaalselt palju võimsam kui “nii X kui Y jaoks on poolt- ja vastuargumente ja neid kõiki arvesse võttes tundub X parem kui Y”. Filmitegijate seisukohast on mõistlik valida sõnum, mis kõige võimsamalt publikuni jõuab, aga just seetõttu olen neid dokfilme vaadates väga skeptiline. Indie-dokid langevad sellesse kategooriasse palju tihemini kui näiteks ETV või BBC toodetud.

Blogijad, avaliku elu tegelased, suvalised veebilehed. Vaikimisi ei usalda ma faktiväiteid, mis tulevad nimetatud allikatest. Kui olen nende kirjutistega juba üsna hästi kursis ja olen rohkem veendunud, et autorid on nõus avalikult oma vigu tunnistama ja meelt muutma ning et valeinfo levitamise vältimine on nende jaoks oluline, saan juba veidi kindlam olla. Näiteks arvan vaikimisi, et suvaline LessWrongi postitus, mis on vähemalt paar nädalat üleval olnud, on koos kommentaaridega mõistlik infoallikas; ka Scott Alexander tundub mulle piisavalt usaldusväärne.

Muide, usaldussuhetest saab moodustada kasulikke ahelaid. Kui mina usun, et Scott on mõistlik ja tema usub, et Andrew Gelman on mõistlik (ja mina Andrew’d veel ei tea), võin ka mina olla üsna kindel, et Andrew on mõistlik (usaldus on transitiivne). Muidugi peame veidi seda uut usaldust diskonteerima — võib-olla on Scotti standardid ja väärtused teistsugused kui minul –, aga põhimõte kehtib: Andrew on minu jaoks parem infoallikas kui keskmine inimene tänavalt.

Kaanepilt: Eliot Philips, avaldatud litsentsi CC BY-NC all. Originaali on siin modifitseeritud.

Jaga:

1. Kusjuures eriline motivatsioon parandusi teha on poolel, kellele ülekohut tehti.
2. Ma olen nõus filmi järeldusega — et peaksime vältima loomseid tooteid –, aga kui ma ei oleks ise varem samale järeldusele jõudnud, ei usaldaks ma selle filmi argumentatsiooni.