Contemporary use of power analysis in hypothesis testing in cognitive science

Raziskave z nizko ravnjo moči spodkopavajo ponovljivost rezultatov znanstvenih raziskav. Kljub temu, da sodobna metodološka literatura jasno opisuje negativne posledice zanemarjanja moči in ponuja številne smernice za izvajanje analiz moči, ostaja razširjenost študij s prenizko ravnjo moči pereč problem. V magistrskem delu preučujemo stanje praks analize moči v sodobnih raziskavah na različnih metodoloških pod področjih kognitivne znanosti. Osredotočimo se predvsem na pogostost izvajanja analiz moči, njihovo jasnost in doslednost ter utemeljenost uporabljenih parametrov, zlasti v povezavi s konvencionalnimi vrednostmi parametrov. Fisher je v začetku 20. stoletja prvič predstavil metodo testiranja hipotez, ki je služila kot izhodišče za nadaljnje delo Neymana in Pearsona. Ta sta kasneje oblikovala bolj sistematičen okvir testiranja hipotez z jasno opredelitvijo napak tipa I in tipa II ter uvedbo koncepta statistične moči. Osrednji element njunega pristopa ni le nadzor verjetnosti lažno pozitivnih rezultatov (napaka tipa I), temveč tudi zmanjševanje verjetnosti lažno negativnih rezultatov (napaka tipa II), kar posledično poveča raven statistične moči. Kljub temu, da metodološka literatura vedno znova opozarja na negativne posledice nizke statistične moči, problem nezadostne moči v sodobnih empiričnih študijah še vedno vztraja. Glede na razširjenost smernic in dostopnost orodij za izračun analize moči ostaja vzrok za vztrajnost problema nejasen. V pričujočem magistrskem delu predlagamo, da je nizka statistična moč sodobnih empiričnih študij vsaj deloma posledica neustrezne ali popolne neuporabe analize moči. Z namenom raziskovanja te predpostavke, smo v prvem delu magistrskega dela pregledali sodobne metodološke smernice in učna gradiva za izvajanje analize moči. V nadaljevanju smo preverjali ali sodobne empirične raziskave upoštevajo zbrane smernice s pomočjo sistematičnega pregleda. Za namen sistematičnega pregleda smo izbrali študije s področja kognitivne znanosti, ki se razlikujejo glede na ubrane metodološke pristope. Razvrstili smo jih v tri skupine in sicer vedenjske, nevro-slikovone in nevropsihološke raziskave. Vsako študijo smo ovrednotili na podlagi kodirnega postopka, ki smo ga zasnovali glede na smernice metodološke literature. Postopek je preverjal prisotnost in vrsto analize moči, pogostost poročanja parametrov ter njihovo utemeljitev. Ugotovili smo, da je iz celotnega vzorca sodobnih empiričnih študij (N = 355), le 18.31% (N = 65) poročalo o uporabi analize moči. Razlike med metodološkimi skupinami so bile precejšnje. V skupini vedenjskih raziskav je 30.72% študij poročalo o izvedbi analize moči, medtem ko sta v nevropsihološki in nevro-slikovni skupini le 8.42% oziroma 6.31% študij navedli izračune moči. Spodbudno je, da so raziskovalci, ki so poročali o uporabi analize moči, pogosto poročali tudi o uporabljenih parametrih, predvsem v vedenjski kategoriji. Kljub temu so bile eksplicitne utemeljitve izbir parametrov redke, razen za velikost učinka, ki je bila utemeljena v 90.00% primerov. Nadaljnja analiza je pokazala, da so bile izbrane vrednosti moči in velikosti učinka pogosto konvencionalne, saj je 64.15% vrednosti moči temeljilo na konvencionalni vrednosti .80, 42.31% utemeljitev vrednosti učinka pa se je sklicevalo na Cohenove mejnike. Ugotovitve sistematičnega pregleda kažejo, da je analiza moči dokaj poredko uporabljena. Ta ugotovitev je skladna z našo izhodiščno predpostavko, ki kot razlog za nizko statistično moč sodobnih raziskav navaja neuporabo analize moči. Rezultati neuporabe analize moči so bili predvsem razvidni na področjih nevro-slikovnih in nevropsiholoških raziskav. Poleg tega pogosto navajanje parametrov, uporaba konvencionalnih vrednosti in pomanjkanje dodatnih utemeljitev kaže na nadaljnjo odvisnost od arbitrarnih mejnikov. Za izboljšanje zanesljivosti in informativnosti znanstvenih rezultatov predlagamo uporabo 95-odstotne statistične moči kot nadomestilo za konvencionalni 80-odstotni prag. To rešitev predlagamo takrat, ko druge utemeljitve za določitev vrednosti moči ni na voljo. Pričujoče magistrsko delo izpostavi razkorak med metodološkimi priporočili in dejanskimi raziskovalnimi praksami ter ponuja implikacije za povečanje robustnosti in ponovljivosti znanstvenih ugotovitev. S tem prispeva k širši razpravi o kakovosti raziskav in reformah, saj opozarja na vztrajajoče pomanjkljivosti prakse analize moči ter podaja priporočila usklajena s sodobnimi metodološkimi smernicami. Z izboljšanjem kakovosti načrtovanja in poročanja o znanstvenih izsledkih lahko znanstvena skupnost stremi k bolj pregledni in zaupanja vredni kumulativni znanosti.