Peste jumătate din studiile de psihologie eșuează testul de reproductibilitate

Cel mai mare studiu de replicare până acum pune la îndoială multe rezultate pozitive publicate.

Nu crede tot ce citești în literatura de psihologie. De fapt, două treimi poate că nu sunt de încredere.

În cel mai mare proiect de acest tip, Brian Nosek, un psiholog social și președinte al Centrului pentru Știință Deschisă în Charlottesville, Virginia, și 269 de co-autori au repetat metodele relatate în 98 de lucrări originale din trei jurnale de psihologie, pentru a afla dacă pot obține aceleași rezultate.

Studiile asumate au variat de la dacă exprimarea nesiguranțelor le perpetuează la diferențe în felul în care copiii și adulții răspund la stimuli de teamă, la căi eficiente de a preda aritmetica.

Conform evaluărilor calitative ale replicatorilor, precum s-a relatat anterior de Nature, numai 39 din 100 de încercări de replicare au fost reușite. (Au fost 100 de încercări de replicare pentru 98 de lucrări deoarece în două cazuri eforturile de replicare au fost duplicate de echipe separate.) Dar dacă o încercare de replicare este considerată reușită sau nu e simplu de conchis. Astăzi în Science, echipa relatează diversele măsuri pe care le-au folosit pentru a răspunde la această întrebare¹.

Cifra de 39% derivă din aprecierile subiective de succes sau eșec (vezi graficul ‘Reliability test’). O altă metodă evalua dacă un efect semnificativ statistic poate fi găsit, și a produs un rezultat și mai dezolant. În timp ce 97% din studiile originale au identificat un efect semnificativ, doar 36% din studiile de replicare au identificat rezultate semnificative. Echipa a constatat de asemenea că măsura medie a efectelor identificate în studiile replicate ajungea la doar jumătate din cele în studiile originale.

Nu este nici o cale de a ști dacă o lucrare individuală este adevărată sau falsă pe baza acestui studiu, zice Nosek. E posibil ca metodologia originală sau de replicare să fie greșită, sau să existe diferențe cruciale între cele două ce pot fi subapreciate. Cu toate acestea, proiectul semnalează publicarea de amploare a studiilor ce nu rezistă la examinare.

Deși Nosek e de-acord că majoritatea resurselor ar trebui să fie direcționate către noi cercetări, el sugerează că și numai 3% din finanțarea științifică devotată replicării ar putea face o mare diferență. Cifra actuală, zice el, e de aproape zero.

Articole relevante

• Primele rezultate din cel mai mare test de reproductibilitate de psihologie
• Studiile de replicare: o copie proastă
• Proiectul de reproductibilitate: Psihologie

Eșecuri de replicare

Studiul face parte din Proiectul de Reproductibilitate, lansat în 2011 pe fondul cazurilor de profil înalt de fraudă și analiză statistică defectuasă ce a dus la o criză de identitate în psihologie.

John Ioannidis, un epidemiolog la Universitatea Stanford din California, spune că adevărata rată de eșuare a replicării poate trece de 80%, chiar și mai mare decât sugerează Nosek. Asta deoarece Proiectul de Reproductibilitate a vizat lucrări din jurnale înalt respectate, cercetătorii originali au lucrat alături de replicatori și echipele de replicare au optat pentru lucrări utilizând metode relativ ușoare – toate lucruri ce pot ușura replicarea.

Dar, adaugă el, “O putem folosi pentru a îmbunătăți situația în loc să ne lamentăm. Simplul fapt că colaborarea s-a petrecut la o scară atât de largă sugerează că cercetătorii sunt dispuși să ia direcția îmbunătățirii.”

Lucrarea publicată în Science diferă față de lucrările anterioare de replicare deoarece echipa a replicat un număr atât de mare de experimente, zice Andrew Gelman, un statician de la Universitatea Columbia din New York. În trecut, unii cercetători au respins indicații de probleme de amploare deoarece implicau eforturi de replicare mici sau erau bazate pe simulări statistice.

Dar le va fi greu să minimalizeze acest studiu, zice Gelman. “Sunt dovezi empirice, nu argumente teoretice. Valoarea proiectului constă în faptul că putem spera că nu vor mai fi atât de încrezători în afirmațiile lor.”

Publicarea părtinitoare

Scopul, zice Nosek, nu este de a critica lucrări individuale ci de a afla în ce măsură părtinirea conduce publicarea în psihologie. De pildă, studii plictisitoare dar precise s-ar putea să nu fie publicate, sau cercetătorii ar putea obține rezultate interesante mai puțin prin documentarea efectelor reale cât prin câștigarea loteriei statistice; găsirea unui rezultat semnificativ prin noroc chior sau încercarea diverselor metode analitice până când se potrivește ceva.

Nosek e de părere că și alte domenii științifice pot avea multe în comun cu psihologia. O analiză a constatat că numai 6 din 53 de lucrări de profil înalt în biologia cancerului pot fi reproduse² și un proiect de reproductibilitate în biologia cancerului legat este în desfășurare. Stimulentele de a găsi rezultate demne de publicații de profil înalt sunt puternice în toate domeniile, și îi poate face pe oameni să-și piardă obiectivitatea. “Dacă asta se petrece pe scară largă, atunci literatura de publicistică poate fi mai frumoasă decât realitatea”, zice Nosek.

Rezultatele publicate astăzi ar trebui să provoace o dezbatere mai largă în legătură cu practica științifică și de publicare optimă, zice Betsy Levy Paluck, psiholog social la Universitatea Princeton din New Jersey. “Asta indică că nu cunoaștem balanța între inovație și replicare.”

Referințe

1. Open Science Collaboration. Sciencehttp://dx.doi.org/10.1126/science.aac4716 (2015).
2. Begley, C. G. & Ellis, L. M.Nature483, 531–533 (2012)