Tematická oblast: metodologie psychologie (validita experimentů, vědecká spolehlivost) 

Kdo, kdy, kde: Open Science Collaboration (270+ psychologů vedených Brianem Nosekem), publikováno 2015 ve Science. 

Průběh „megastudie“: Tým si vytkl cíl ověřit spolehlivost psychologických objevů. Vybral 100 experimentů publikovaných v prestižních psychologických časopisech roku 2008 (různé obory: sociální, kognitivní, neuro atd.). Tyto studie pak nezávislé týmy výzkumníků zkopírovaly (zreplikovaly) s pokud možno stejně velkým nebo větším počtem účastníků a stejnými podmínkami. Po provedení všech replikací se srovnaly výsledky: zda i opakování vyjde statisticky významné a podobně silné jako originál. 

Zjištění: Výsledky byly znepokojivé: pouze 36 % replikací dosáhlo statisticky významného výsledku shodného se závěrem originální studie. Jinak řečeno, u ~64 % pokusů se nepodařilo prokázat efekt, který původní autoři hlásili. Navíc i u těch, které „vyšly“, byla průměrná velikost efektu jen zhruba poloviční oproti původním studiím. (Pozn.: 97 % původních studií mělo významný výsledek – publikují se hlavně pozitivní nálezy – ale replikace potvrdily jen třetinu z nich.) Toto systematické zjištění rozpoutalo v oboru “replikační krizi” – uvědomění, že mnoho slavných efektů je nespolehlivých nebo nadsazených. 

Význam pro psychologii: Replikační krize byla budíčkem pro celou vědu, nejen psychologii. Ukázala, že faktory jako malé výběrové soubory, publikační bias (preferování pozitivních výsledků), p-hacking a neprůhledné analýzy vedou k tomu, že literatura může být plná falešných stop. V psychologii to vedlo k reformě vědeckých praktik: rozšířilo se předběžné registrování studie (aby se předešlo účelové změně hypotéz), sdílení dat a tlaky časopisů na publikaci i replikací a nulových výsledků. Zrodilo se hnutí Open Science, prosazující větší transparentnost a důraz na replicability jako klíčový znak vědy. Mnohé slavné fenomény (primingové efekty, síla vůle jako vyčerpatelný zdroj, efekty držení moci) byly nově testovány – a nejednou se zjistilo, že byly přehnané nebo neexistují v deklarované míře. 

Metodologická omezení: Kritici (např. Gilbert et al., 2016) namítli, že některé replikace nemusely přesně trefit podmínky originálu, nebo že provedení v jiné kultuře mohlo ovlivnit výsledek. Replikační tým však argumentoval, že celkový trend je tak silný, že chyby provedení by musely postihnout desítky studií, což je nepravděpodobné. Pozdější projekt ManyLabs 2018 znovu replikoval vybrané neúspěšné replikace s ještě větším vzorkem a peer-review protokolem – a stejně je nepotvrdil. Čili i přes námitky většina komunity přijala, že opravdu máme replikační krizi. 

Etické aspekty: Projekt byl spíše meta-vědecký – nepřinášel újmu účastníkům, spíše reputacím autorů. Někteří vědci se cítili dotčeni, když jejich studie nešla zopakovat, ale z hlediska etiky výzkumu to byl legitimní proces ověřování. 

Replikovatelnost: Tento projekt sám o sobě byl replikací mnoha studií. Podobné iniciativy proběhly i v jiných oborech: např. Reproducibility Project: Cancer Biology s podobnými závěry, Many Labs projekty v psychologii atd. Celkově se ukazuje, že reprodukovatelnost historických studií v psychologii i dalších vědách je kolem 40–60 %. 

Současná aplikace: V psychologickém výzkumu došlo k změně standardů: důraz na větší velikosti vzorků, předběžnou registraci hypotéz, otevřená data (Open Data), multilab replikace a potvrzování překvapivých jevů, než jsou široce přijaty. Některé učebnice musely přehodnotit kapitoly – např. efekty „síly vůle jako svalu“ nebo „chameleoní efekt primingu“ se dnes vykládají s upozorněním, že evidence je sporná. Vznikly platformy jako Psychological Science Accelerator, které koordinují velké mezinárodní studie pro robustní testování hypotéz. 

Zajímavosti: „Replikační krize“ se stala tématem i memů a vtipů v oboru („That feeling when p < .05 but can’t reproduce it…“). Někteří starší psychologové se bránili (např. známý Roy Baumeister nazval replikátory „shrmáždění nygři, co ničemu nerozumí“ – což mu nevyšlo…). Nicméně celkově mladší generace vědců tuto sebereflexi oboru přivítala. Psychologie tak dnes patří k lídrům v prosazování Open Science napříč vědami.