SOM-forskare i Nature Human Behaviour

*Uppdatering oktober 2024:
Denna artikel har nyligen dragits tillbaka på initiativ av tidskriften, med ett delvist godkännande från författarna. Författarna har blivit inbjudna att skicka en ny version av artikeln och arbetar nu med detta. Anledningen till tillbakadragandet var att studien hade brustit vad gäller vissa delar av analysernas förregistrering. Läs mer i Natures egen retraction note.
 

*Ursprunglig text från november 2023:
Idag publicerades artikeln "High replicability of newly discovered social-behavioural findings is achievable" i den högt rankade tidskriften Nature Human Behaviour. Artikeln beskriver resultaten av en mångårig amerikansk metastudie av replikerbarhet inom samhällsvetenskaplig forskning. En av författarna till artikeln är SOM-institutets Sebastian Lundmark.

Replikationskris inom samhällsvetenskap

Att resultat från studier av människor är replikerbara, alltså att man med samma metod men med nya data kan få samma resultat som originalforskarna, är centralt för forskningens trovärdighet. I slutet av 00-talet uppstod det som numera benämns som replikationskrisen inom samhällsvetenskaplig forskning, efter att flera storskaliga internationella studier försökt replikera tidigare publicerade resultat, framförallt inom psykologi. Endast ett fåtal av resultaten visade sig replikerbara och de som lyckades uppvisade oftast mycket svagare effekter än vad som tidigare påståtts.

För att studera replikerbarhet mer systematiskt påbörjades därför år 2016 ett storskaligt projekt med forskare från fyra amerikanska lärosäten: UC Santa Barbara, UC Berkeley, Stanford University, och University of Virginia. Experimentet gick ut på att först hitta nya effekter inom en rad samhällsvetenskapliga forskningsfält och därefter låta andra oberoende forskare knutna till projektet försöka replikera dessa effekter vid sina lärosäten. Detta genom att dels noggrant följa originalstudiens procedur men framförallt genom att förhålla sig till bästa metodpraxis vad gäller exempelvis förregistrering av hypoteser, gedigen dataanalys och användning av stora urval. Under sex år genomfördes därför 80 nya datainsamlingar med totalt 120 000 respondenter.

Positivt resultat skapar trovärdighet

Resultatet av denna metastudie är glädjande för forskarvärlden. Författarna lyckades nå en 86-procentig nivå av replikerbarhet, vilket framförallt visar att det gör stor skillnad för replikerbarheten - och i förlängningen även trovärdigheten - om studien från början är genomförd enligt bästa praxis vad gäller både datainsamling och analys.

– Vi anser att resultatet av vår studie ger oss tillförlit till att nya rön och vetenskapliga fynd inom samhällsvetenskapen går att påvisa om och om igen utan problem, så länge som vi som forskare följer bästa praxis. Detta var något som replikationskrisen hade gjort många av oss osäkra på, säger Sebastian Lundmark, forskare vid SOM-institutet och medförfattare till artikeln.

Involverad i hela processen

Efter att Sebastian Lundmark disputerat vid Statsvetenskapliga institutionen vid Göteborgs universitet arbetade han som postdoc i vid Stanford University. Där arbetade Sebastian tillsammans med forskaren Jon Krosnick med att hitta de nya experimenteffekter som skulle replikeras, parallellt med att de försökte replikera de andra lärosätenas resultat.

När Sebastian senare återvände till Sverige och anställdes som forskare vid SOM-institutet övergick hans roll i projektet till att utveckla och kvalitetssäkra de uppföljningsundersökningar där cirka 1 200 icke-forskare och 72 forskare ombads försöka förutsäga utfallet av såväl de nya experimenten som experiment i redan tidigare publicerad forskning.

Resultaten av denna uppföljningsstudie visade att de nya experimenten var lika svåra att förutsäga som redan tidigare publicerade experiment, vilket gav extra legitimitet till projektet då det indikerar att de studier som valts ut för replikering inte verkade vara varken enklare eller svårare att replikera än andra studier.

– Det har varit ett långt och tidskrävande projekt, men det känns fantastiskt att nu få höra forskarsamhällets reaktioner på resultaten. Det jag tycker man ska ta med sig från vår studie är just vikten av att använda sig av bästa praxis i sina datainsamlingar och analyser, vilket vi i artikeln uttrycker som: ”with high rigor, high replicability is achievable.” Säger Sebastian Lundmark.

Läs mer om studien i pressmeddelandet från UC Santa Barbara