Why Most Published Research Findings Are False

'Why Most Published Research Findings Are False’

http://www.scienceguide.nl/201611/sombere-les-voor-medische-wetenschap.aspx

Hij kondigde al aan dat het verhaal niet al te opbeurend zou zijn: John Ioannidis nam de Anatomische Les 2016 in het Concertgebouw voor zijn rekening en kraakte harde noten over de staat van de geneeskunde. “We betalen de prijs voor het succes van de wetenschap.”

Stanford-hoogleraar John Ioannidis is misschien wel de meest invloedrijke medisch wetenschapper ter wereld. In 2005 zorgde de Grieks-Amerikaanse wetenschapper voor een schok in de medische wereld. Ioannidis hield 49 wetenschappelijke medische doorbraken tegen het licht. Van die 49 onderzoeken, claimde 45 er een effectieve behandelmethode te hebben gevonden.

Die claims waren op zijn zachtst gezegd overdreven. Zo ontdekte Ioannidis dat 41 procent van de onderzoeken de uitkomsten overdreven of dat er fouten waren gemaakt. Dat was een nogal ongemakkelijke boodschap voor de medische wetenschap.

In het artikel ‘Why Most Published Research Findings Are False’ beschreef hij zijn uitkomsten en dat schetst een tamelijk somber beeld. “Is het werkelijk niet te voorkomen dat de meeste onderzoeksuitkomsten niet kloppen, of kunnen we de situatie verbeteren? Een belangrijk probleem is dat het onmogelijk is om met 100% zekerheid te weten wat de waarheid is in iedere wetenschappelijke vraag.” De medische wetenschap staat er derhalve niet al te goed op bij Ioannidis en hoewel hij enorm veel bijval heeft gekregen van zijn collega’s wereldwijd, lijkt er in de afgelopen tien jaar niet heel veel veranderd te zijn.

Onderzoekbias

Ioannidis ziet nog altijd hoe de obsessie voor het vinden van investeringen in onderzoek, wetenschappers tot foute praktijken verleidt. “Het gaat op allerlei manieren fout. Van het afzwakken van de betrouwbaarheid tot het onbewust en onbedoeld manipuleren van resultaten. Als je een wetenschappelijke carrière nastreeft, ga je onbewust ook op zoek naar resultaten die goed zijn voor het verloop van je carrière.”

Deze onderzoekbias is een belangrijk onderdeel van de dagelijkse gang van zaken die er toe leidt dat er foutief, en soms zelfs schaamteloos frauduleus, gehandeld wordt in de medische wetenschap. In zijn zoektocht door de wetenschap trof hij talloze voorbeelden aan. Van simpelweg ontbrekende gegevens, veel te kleine groepen bij een klinische trial tot een algeheel gebrek aan transparantie. “We betalen momenteel de prijs voor het succes van de wetenschap.”

Ioannidis nam de gelegenheid te baat om zijn geloof in de medische wetenschap uit te drukken aan de hand van levenseinde van klassieke kunstenaars als Johann Sebastian Bach. Die kreeg in zijn nadagen te maken met blindheid en werd behandeld door John Taylor die met een snee in het oog hoopte de kwaal te behandelen. Bach stierf uiteindelijk aan een beroerte, hoogstwaarschijnlijk ten gevolge van de onconventionele behandeling. We zijn van ver gekomen, zo wilde Ioannidis maar illustreren. 

Afslag naar een donkere steeg

Ioannidis ziet de ontwikkeling van het wetenschappelijk bedrijf dan ook als één van de grootste prestaties van de mensheid. Dat is echter geen opmaat naar een positief verhaal, want datzelfde succes vormt nu de grootste dreiging. “De wetenschap is afgeslagen naar een donkere steeg.”

Volgens Ioannidis zorgen perverse prikkels er voor dat het zelfreinigend vermogen van de medische wetenschap minder en minder zijn werk doet. “Wetenschap is gebaseerd op vertrouwen,” maar Ioannidis ziet daar weinig meer van terug. Het overgrote deel? aan onderzoekers doet matig onderzoek in de hoop op een volgende stap in de carrière. In Nederland is een promotietraject vaak zelfs de beste route naar een opleidingsplek als arts.

Omdat wetenschappers weinig tijd hebben om hun negatieve resultaten te publiceren, doen andere wetenschappers veel dubbel werk. Zo ontstaat een voorkeur voor snel resultaat. “Er wordt aan cherry-picking gedaan door onderzoekers. Overigens denk ik dat ieder wetenschapsdomein wel met dergelijke problemen te maken heeft.”

Balanceren tussen geloofwaardigheid en betekenis

“We moeten de mogelijkheden voor het ontwikkelen van bias reduceren. We moeten ons rekenschap geven van diezelfde bias en we moeten er veel alerter op zijn,” stelt Ioannidis. In de wetenschap is het volgens hem balanceren tussen de geloofwaardigheid en de betekenis van onderzoek. “We moeten weg van de aandacht voor de betekenis van ons onderzoek, en meer werken aan onze geloofwaardigheid.”

Transparantie en onderlinge controle zijn volgens Ioannidis de sleutel naar de terugkeer van het zelfreinigend vermogen van de medische wetenschap. Gelukkig zijn daar voorbeelden van te vinden. Zo zijn er tijdschriften die eerst een peer-review doen op basis van de inleiding en methodologie en laat PubPeer wetenschappers ook na publicatie nog met elkaar in debat gaan over elkaars bevindingen. Het zijn een paar hoopvolle initiatieven in het verder weinig hoopvolle betoog van Ioannidis. 

Tim Cardol