Replikační krize
![ikona](http://upload.wikimedia.org/wikipedia/commons/thumb/2/2c/Broom_icon.svg/48px-Broom_icon.svg.png)
![](http://upload.wikimedia.org/wikipedia/commons/thumb/1/11/Preferences-system.svg/16px-Preferences-system.svg.png)
Replikační krize (anglicky: replication crisis) je krize, kdy bylo zjištěno, že mnoho studií napříč několika vědními obory je těžké zopakovat a snaha o dospění k stejným výsledkům končí často neúspěšně. I když právě schopnost zopakovat výsledek z předešlých studií je považována za jednu ze základních složek vědy. Umožňuje totiž změnit zažité názory vědců.[1] Replikační krize je nejčastěji spojována s psychologií a medicínou, objevuje se ale i u ostatních oborů jako ekonomie, biologie, či sociální vědy.[2] V jistých oborech může být reprodukovatelná i méně než třetina výsledků.[3]
Počátky krize
Daryl J. Bem
V psychologii je uváděn za počátek replikační krize rok 2011, kdy Daryl J. Bem provedl experiment, který prokazoval existenci časově obrácené kauzality a tedy, že budoucí události mají kauzální účinek na minulé události. Tato studie byla následně vydána ve vědeckých vlivných časopisech Social Psychology a Journal of Personality, což vyvolalo pochybnosti ve vědecké sféře. Pokus byl poté proveden dalšími nezávislými vědeckými týmy pomocí stejných metod, jak tomu bylo u Bema, avšak s neúspěšným výsledkem. Výsledné replikační studie, popírající tu originální, pak byly vědeckými časopisy odmítnuty včetně časopisů, které Bemovu studii publikovaly. Následkem toho bylo vyvolání pochybností z řad vědců v další publikované studie.[4]
Diederyk Alexander Stapel
Dalším případem, který vyvolal diskuzi ohledně replikační krize je vědecký podvod nizozemského psychologa Diederyka Stapela. V roce 2011 se ukázalo, že psycholog manipuloval s daty, a to nejméně ve 30 svých publikacích. Velká část jeho kariéry tak byla postavena na pochybných základech. Svým kolegům měl předkládat jím upravené a zkreslené hodnoty, které byly dále analyzovány. K roku 2019 bylo staženo 58 jeho publikací.[5][6]
Příčiny replikační krize
Publikační zkreslení
Vědecké časopisy publikují články s významnými závěry, zjištěním a vyvolávají tak tlak na vědce, kteří upravují data tak dlouho dokud nedosáhnou chtěného výsledku, který pak může být publikován. Studie, které dochází k negativním výsledkům, popřípadě samotné replikace studií jsou pak často odmítány a oproti těm pozitivním zaujímají v časopisech jen zlomek.[7]
Velikost zkoumaného vzorku
Studie, které vycházejí z malého vzorku zkoumaných subjektů mohou mít zkreslené výsledky a může se zde projevit náhoda. Následná replikace je pak obtížná, vychází-li z většího vzorku, který by měl být objektivnější.[8]
Nízká statistická síla
Statistická síla určuje pravděpodobnost, s kterou studie správně zamítne nulovou hypotézu. Například v neurovědě je publikováno 85 % studií se statisticky významným výsledkem, nicméně průměrná statistická síla těchto studií dosahuje přinejlepším hodnoty 31 %. Pokud by nedocházelo ke zkreslení publikování statisticky významných výsledků, měly by se tyto dvě hodnoty shodovat. Rozdíl mezi těmito hodnotami (85 % a 31 %) je proto indikátorem zkreslení.[7]
Změna stavu
I když studie provedená v minulosti proběhla v pořádku, studie snažící se o replikaci mohou vykazovat odlišný závěr vlivem změny prostředí, smýšlení lidí, politické situace, času aj.[8]
Vědecký „cheating“
Cherry picking
Zatajení, či ignorování některých proměnných, které se podílely na výsledku, nebo zveřejnění jen významných, pozitivních výsledků z velkého počtu realizovaných pokusů.[9][7]
HARKing
(hypothesizing after the results are known)
Pochybný vědecký postup, kdy hypotéza je vytvořena až poté co jsou známy výsledky. Předchozí hypotéza je mnohdy vynechána, neboť se neslučuje s výsledky testu. Následně je stanovena taková hypotéza, která koresponduje s výsledky práce a činí tak studii úspěšnou, i když prvotní studie chtěla najít zcela jiný efekt. Takovýto postup, kdy otázka je uměle předložena až po znalosti výsledku není v souladu se správným vědeckým postupem. [7][9]
p-hacking
Zneužití datové analýzy, kdy jsou sbírána data tak dlouho dokud nenastane potřebná hodnota p. Často je tak sbíraný vzorek nižší, než původně výzkumníci zamýšleli. Patří sem i upravování hodnoty p, například zaokrouhlováním (0,054 na 0,05 aj.).[7]
Možná řešení
V posledních letech (přinejmenším od roku 2011) probíhají mezi vědci a veřejností debaty, jak zabránit publikování těchto pochybných, zkreslených studií a byla navržena možná opatření.[10]
Podpora předběžných registrací
Jedná se o registraci vědecké studie na oficiálních místech před jejím provedením. Měla by znemožnit zkreslení výsledků, úpravu dat, či HARKing.[11]
Snížení hodnoty p
Mnoho publikací vyžaduje pro získání statistické významnosti hodnotu p < 0,05. Mnoho vědců navrhuje snížit tuto hodnotu pod 0,005, což by mělo zjednodušit samotnou reprodukovatelnost.[12]
Zařazení replikací do studia
Studenti by na základě přesných metodologických postupů replikovali původní studie, přičemž by pomohli vědecké komunitě s ověřitelností dosud neověřených prací a získali by praktické zkušenosti. Podobně tomu je například na univerzitě ve Washingtonu.[13]
Přístup časopisů
Replikace studií by se na poli vědeckých časopisů měly stát standardně publikovanými. Nynější přístup je takový, že replikace jsou vnímány jako nezajímavé, protože buď pouze potvrdí efekt předchozí studie anebo přichází s negativním výsledkem, který není pro časopis tak atraktivní.[14]
Transparentnost dat
Dalším možným způsobem je sdílení nezpracovaných dat. Data by byla uložena na online úložištích, kde mohou být následně kontrolována, vyhodnocována a přezkoumávána veřejností, či dalšími vědci. Jedním z takových úložišť je například Open Science Framework (osf.io).[15]
Replikační projekty
Open Science
V roce 2015 časopis Science zveřejnil článek, který zkoumal reprodukovatelnost experimentů v psychologii. Bylo vybráno 100 studií ze třech psychologických časopisů s cílem dosáhnout stejných výsledků, jak tomu bylo u původních studií. Pouze u 36 % z 97 % originálních studií bylo dosaženo signifikantních výsledků.[16]
Many Labs 1
Do projektu bylo zapojeno 36 výzkumných týmů z 11 zemí s cílem replikovat zvolených 13 psychologických efektů. Všechny týmy musely striktně dodržovat stanovený postup a kritéria. Výsledek projektu ukázal, že se týmům podařilo úspěšně replikovat 10 z 13 efektů. Ani jednomu z týmu se nepodařilo replikovat zbylé 3 efekty (flag priming, currency priming, imagined contact).[17]
Amy Cuddy – power posing
V roce 2015 se Eva Ranehill a její tým rozhodli replikovat „postoj síly“, který byl publikován již roku 2010 ve vědeckém časopisu Psychological Science americkou psycholožkou Amy Cuddy. Postoj měl být jakýsi „life-hack“ a umožnit člověku dosáhnout větší síly, přičemž samotný postoj měl ovlivnit i hladinu hormonů v těle. Při replikaci byl vybrán vzorek zhruba pětkrát větší než při původním pokusu. Týmu se nepodařilo dosáhnout původního efektu a shledal tak toto tvrzení jako další z případů, kdy vlivem náhody bylo dosaženo statisticky významného výsledku.[18]
Reference
- ↑ https://phys.org/news/2021-11-social-scientists-replication-capable-beliefs.html - Testing social scientists with replication studies shows them capable of changing their beliefs
- ↑ PIPER, Kelsey. Science has been in a "replication crisis" for a decade. Have we learned anything?. Vox [online]. 2020-10-14 [cit. 2020-11-29]. Dostupné online. (anglicky)
- ↑ https://techxplore.com/news/2022-04-robot-scientist-eve-one-third-scientific.html - 'Robot scientist' Eve finds that less than one-third of scientific results are reproducible
- ↑ R, Dr. Replicability-Index [online]. 2018-01-05 [cit. 2020-11-29]. Dostupné online. (anglicky)
- ↑ BHATTACHARJEE, Yudhijit. The Mind of a Con Man (Published 2013). The New York Times. 2013-04-26. Dostupné online [cit. 2020-11-29]. ISSN 0362-4331. (anglicky)
- ↑ diederik stapel. Retraction Watch [online]. [cit. 2020-11-29]. Dostupné online. (anglicky)
- ↑ a b c d e FIDLER, Fiona; WILCOX, John. Reproducibility of Scientific Results. Příprava vydání Edward N. Zalta. Winter 2018. vyd. [s.l.]: Metaphysics Research Lab, Stanford University Dostupné online.
- ↑ a b The Replication Crisis in Psychology. Noba [online]. [cit. 2020-11-29]. Dostupné online. (anglicky)
- ↑ a b MURPHY, Kevin R.; AGUINIS, Herman. HARKing: How Badly Can Cherry-Picking and Question Trolling Produce Bias in Published Results?. Journal of Business and Psychology. 2019-02-01, roč. 34, čís. 1, s. 1–17. Dostupné online [cit. 2020-11-29]. ISSN 1573-353X. DOI 10.1007/s10869-017-9524-7. (anglicky)
- ↑ Replikační krize aneb odvrácená strana vědy – Trefně Ftipně Konkrétně [online]. [cit. 2020-11-29]. Dostupné online.
- ↑ Psychology’s ‘registration revolution’ | Chris Chambers. the Guardian [online]. 2014-05-20 [cit. 2020-11-29]. Dostupné online. (anglicky)
- ↑ BENJAMIN, Daniel J.; BERGER, James O.; JOHANNESSON, Magnus. Redefine statistical significance. Nature Human Behaviour. 2018-01, roč. 2, čís. 1, s. 6–10. Dostupné online [cit. 2020-11-29]. ISSN 2397-3374. DOI 10.1038/s41562-017-0189-z. (anglicky)
- ↑ MARWICK, Ben; WANG, Li-Ying; ROBINSON, Ryan. How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology. Advances in Archaeological Practice. 2020/02, roč. 8, čís. 1, s. 78–86. Dostupné online [cit. 2020-11-29]. ISSN 2326-3768. DOI 10.1017/aap.2019.38. (anglicky)
- ↑ Data a výzkum - SDA Info. dav.soc.cas.cz [online]. [cit. 2020-11-29]. Dostupné online.
- ↑ IOANNIDIS, John P. A. Anticipating consequences of sharing raw data and code and of awarding badges for sharing. Journal of Clinical Epidemiology. 2016-02-01, roč. 70, s. 258–260. PMID: 26163123. Dostupné online [cit. 2020-11-29]. ISSN 0895-4356. DOI 10.1016/j.jclinepi.2015.04.015. PMID 26163123. (English)
- ↑ (PDF) Estimating the Reproducibility of Psychological Science. ResearchGate [online]. [cit. 2020-11-29]. DOI: 10.1126/science.aac4716. Dostupné online. (anglicky)
- ↑ A replication example: The Many Labs Project. Berkeley Initiative for Transparency in the Social Sciences [online]. 2018-05-02 [cit. 2020-11-29]. Dostupné v archivu pořízeném z originálu dne 2020-12-05. (anglicky)
- ↑ FUNG, Andrew Gelman, Kaiser. Amy Cuddy’s “Power Pose” Research Is the Latest Example of Scientific Overreach. Slate Magazine [online]. 2016-01-19 [cit. 2020-11-29]. Dostupné online. (anglicky)