Kan vi stole på forskning?

Kan vi stole på forskning?

Den siste tiden har det vært mye debatt rundt alternative fakta, og falske nyheter. På tross av at vi har mer informasjon tilgjengelig enn vi har hatt noen gang tidligere i historien, virker det allikevel vanskelig å finne frem til klare svar.

«Forskning viser at…»: Er det grunnlag for å være skeptisk til forskningen?

Inspirasjonen til denne bloggteksten kom fra en kollega da hun delte en forskningsartikkel på sin Facebook-side. I kommentarfeltet dukket det opp en del kritiske meninger, blant annet en kvinne som lurte på hva forskerne nå hadde funnet på – de mente jo så mangt, og endret mening fra dag-til-dag. Det er kanskje ikke så rart hvordan noen er skeptiske til forskningen: vi får presentert motstridende forskningsfunn med jevne mellomrom, og det kan virke som om forskerne ikke helt klarer å bestemme seg. Men hvordan har dette seg?

 

Vitenskapen bygger på sannsynlighetsvurderinger

Siden denne bloggen skal være informativ – og til en viss grad underholdende – er dagens tema noe vanskelig å skrive enkelt om. Men, vi skal gjøre et forsøk! Dagens første budskap som er viktig å få med seg: forskning bygger på sannsynlighetsvurderinger.
La oss si at vi sammenlikner andelen gule biler i Oslo og i Bergen. Vi står i flere veikryss og teller mange biler, og etter en stund har vi data fra begge byene. Vi ser i dataene våre at det er en større andel gule biler i Oslo, og trekker konklusjonen om at det er en forskjell mellom de to byene. Men, det vi må passe på er at det kanskje var flere gule biler ute og kjørte på gatene i den ene byen akkurat den dagen vi var der. Dersom det er tilfellet, så kan vi ikke være sikre på at det er flere gule biler her eller der.

Dokumenter
Statistiske analyser kan (sannsynligvis) skille fakta fra tilfeldigheter

Så hva gjør vi? Vi må – enkelt forklart – vurdere sannsynligheten for at den forskjellen vi ser mellom Oslo og Bergen faktisk eksisterer (at det faktisk er en større andel gule biler) og ikke er tilfeldig (at det tilfeldigvis var flere gule biler på veiene i den ene byen da vi var og målte). Det er her statistiske analyser kommer inn i bildet. Vi analyserer dataene og vurderer hvor sannsynlig det er at denne forskjellen faktisk eksisterer. Denne sannsynlighetsvurderingen er det man kaller signifikanstest. Akkurat som offside-regelen i fotball er signifikanstesting egentlig et nokså enkelt konsept, men veldig vanskelig å forklare verbalt. Vi sparer dermed denne forklaringen til en senere tekst. Det du – som sagt – trenger å få med deg i denne omgang er at forskningsresultater er baserte på sannsynligheter.

 

Vi kan finne det meste om vi leter lenge nok

Forskeren samler altså inn data og gjennomfører statistiske analyser for å vurdere hvor sannsynlig det er at forskjellen de har funnet faktisk eksisterer eller er tilfeldig. Men, med sannsynlighetsvurdering er det også rom for feil og tilfeldige utfall. Om du kaster mynt-og-kron så har du 50 % sannsynlighet for å få enten mynt eller kron. Om du kaster mange nok ganger, vil du allikevel kunne klare å kaste 10 mynt på rad, selv om dette er veldig usannsynlig. Med andre ord: om man leter lenge nok, så kan man – og vil man – finne sensasjonelle resultater.

 

Replikere forsøk

Disse resultatene kan være tilfeldig tullball som har oppstått ved en tilfeldighet, derfor må vi jobbe videre for å sikre oss at resultatene våre er så nært opp mot virkeligheten som mulig. I forskningen er det derfor utrolig viktig å replikere forsøk, noe som betyr at vi forsøker å gjenskape studien og resultatene for å se om vi kan finne de samme forskjellene om igjen. For eksempel, om vi i en studie finner at det fiktive tilsetningsstoffet X øker sannsynligheten for å utvikle kreft, kan vi ikke stoppe etter denne ene studien og bannlyse Tilsetningsstoff X: Vi må gjennomføre flere studier og replikere samme resultat for å kunne trekke sikre(re) konklusjoner.

"Prize wheel with empty slices. Suitable for adding your own text, numbers.Similar images:"

Medias fremstilling av forskning er ikke alltid den beste

Klarer du å spotte hvorfor vi ofte får et skjevt bilde av forskningen? Problemet med vårt møte med forskning er ikke at forskningen i seg selv er dårlig, men bygger i stor grad på hvilke kanaler som formidler forskningen ut i befolkningen. Mange av mediene  lever jo av salg, klikk og interesse fra befolkningen, og det er som regel sensasjonelle, dramatiske, og viktige overskrifter som selger. Ingen vil høre nyheten om at «nok en studie har funnet at det fiktive tilsetningsstoffet X ikke har noen negative konsekvenser»: Dette har liten relevans for vårt daglige liv, og medfører nok ikke noe store hopp i salg eller klikk på tabloidenes nettsider. Det som, derimot, skaper reaksjoner, økte salg og klikk, er oppsiktsvekkende resultater: «Ny studie viser at tilsetningsstoff X fører til kreft!».

 

Når kan man konkludere?

Som vi har vært inne på allerede må vi ha is i magen før vi trekker absolutte konklusjoner basert på forskning. Tabloidene henviser ofte til én studie som viser støtte for at tilsetningsstoff X er assosiert med økt sannsynlighet for å utvikle kreft, men nevner kanskje ikke foreliggende litteratur: Om det er gjort 100 studier av tilsetningsstoff X som ikke har funnet at X har negative helseeffekter, er det da mer sannsynlig at denne nye studien har oppdaget en plutselig endring i X sin effekt, eller kan det være statistiske tilfeldigheter?

 

To tips til hvordan å forstå forskningen

Det er vanskelig for oss å få et klart oversiktsbilde over forskningen. Når du søker opp forskningen på Google får du som regel tabloidavisenes omtale av forskningen, og siden nullfunn (studier som ikke finner støtte for hypotesen) ikke er på langt nært like «sexy» som artikler som viser en effekt, vil du nok i større grad finne de sensasjonelle funnene omtalt. Så, med dette i bakhodet, her kommer to poeng du bør ha i mente når du leser om forskningsartikler i tabloidene:
1. Du har – som sagt – ikke alltid tilgang på originalartikkelen. Den beskrivelsen av studien – og effekten(e) de fant – er ofte beskrevet av en journalist, og ikke av forskerne selv. Journalisten har som regel ikke utdanning innen det aktuelle feltet, og det er derfor rom for at effekter overdrives eller feiltolkes. Du har heller ikke tilgang på de faktiske dataene, så du har ingen mulighet til å vurdere gyldigheten til journalistens påstander om forskningen.
2. Du har kun én artikkel tilgjengelig. Som nevnt er det viktig med replikasjoner, og vi må se på mer enn én studie for å kunne trekke sikre konklusjoner. Avisene omtaler gjerne den ene studien som fant en sensasjonell effekt, og glemmer å nevne om det er studier som ikke viser samme effekt. Om det er 100 studier som viser ingen effekt og én som viser en effekt, vet vi at det med relativt stor sannsynlighet kan dreie seg om et nullfunn.

Bøker og forstørrelsesglass

Vi skal ikke avskrive forskningen

Poenget med denne teksten er ikke at du skal bli skeptisk til forskning eller miste troen på at forskningen kan fortelle oss noe som helst. Nei, snarere tvert imot: Om det er en effekt, en forskjell, eller ingen, så vil forskningen kunne avdekke disse forholdene, men vi må ha flere enn én studie for å kunne trekke sikre konklusjoner.

 

Nullfunn er sensasjonelle!

Dersom du føler en mistillit til forskningen fordi du føler den vakler frem og tilbake og viser forskjellige effekter fra dag-til-dag, så er du ikke alene. Tabloidene er motiverte til å skrive om sensasjonelle funn, men som vi ser så er det ikke alltid slike funn er så gyldige som man kanskje tror. Enn så lenge er det greit å forholde seg til tabloidene og lese om hva enkeltstudier har vist. Men, ha informasjonen fra dette blogginnlegget i bakhodet i møte med forskning i tabloidene: Nullfunn eksisterer, og de er som regel sensasjonelle.

Jeg vil lære mer om psykologi

Relaterte innlegg