Op het gebied van voeding en gezondheid zijn er vele discussies gaande. Sommige standpunten worden gefundeerd door wetenschappelijke onderzoeken. Als er eenmaal iets is bewezen dan gaan we er vanuit dat het daadwerkelijk waar is. Is dat ook zo? Of zijn er redenen om te twijfelen aan wetenschappelijke waarheden?
Waarom zouden we moeten twijfelen aan wetenschappelijke onderzoeken?
1. Onderzoekers ontwerpen vaak studies om bepaalde uitkomsten te vinden
Zelfs de BMJ (British Medical Journal) is in een onderzoek getuind, waarbij het fundament lag bij niet-objectie onderzoeksvragen. Wanneer het onderzoek werd herhaald met neutrale vragen, bleek de uitkomst 180 graden anders (1).
2. Onderzoekers verzinnen de informatie soms zelf
Dat deze praktijken zelfs onder hoogleraren plaatsvindt, bewijst de Nederlandse hoogleraar Diederik Stapel. De fraude kwam enkele jaren geleden aan het licht. Hij werkte op dat moment op de Universiteit van Tilburg. Hij wilde bewijzen dat vleeseters egoïstische hufters zouden zijn. Naderhand bleek dat hij de cijfers uit zijn duim had gezogen (2). Helaas bleek dit niet het enige op fictieve cijfers gebaseerde onderzoek, hij heeft er nog vele andere op zijn naam staan (3) en er nooit excuus voor aangeboden (4). De studies van Stapel worden door wetenschappers nog altijd aangehaald om hun standpunten kracht bij te zetten (5). Helaas blijk Stapel niet de enige te zijn die gegevens verzint, alleen al in Nederland zijn er tientallen gevallen bekend van andere professoren die zich hieraan schuldig maakten (6).
3. 65% van de onderzoeken geeft bij herhaling een andere uitkomst
Mensen geloven vaak wat er in de wetenschappelijk literatuur te vinden is, maar dit blijkt vaak gebaseerd op drijfzand, omdat de onderzoeken bij reproductie vaak totaal andere uitslagen geven (7).
4. Onderzoek is vaak niet te reproduceren
Veel onderzoeken die in gerespecteerde tijdschriften worden gepubliceerd blijken niet te controleren te zijn, omdat het onderzoek niet te herhalen is. Bij een steekproef bleken 47 van de 53 gepubliceerde onderzoeken onmogelijk te herhalen te zijn (8). Echt schokkend!
5. 15% van de artsen zegt op de hoogte te zijn van onderzoeksfraude
Bij een enquête onder 1600 artsen door vakblad Medisch Contact blijkt 15% toe te geven getuige te zijn geweest van onderzoeksfraude (9). De betrokkenen waren onder andere medisch specialisten, bedrijfsartsen, huisartsen en specialisten ouderengeneeskunde.
6. Onderzoeken worden meestal betaald door het bedrijfsleven
De tijd dat de overheid vele studies volledig subsidieerde, is helaas geweest. Om geld op te halen voor een studie moeten onderzoekers steeds vaker bedrijven aantrekken om de begroting rond te krijgen (10, 11). Het blijkt dat onderzoeken hierdoor bewust of onbewust toch kunnen worden gekleurd (12).
7. Wetenschappers gaan vaak voor hun ego
De UVA-docent Gerben Moerman legt in deze online college haarfijn uit waarom onderzoekers informatie verzinnen en overdrijven. De reden moet volgens hem worden gezocht in het feit dat veel wetenschappers graag status en aanzien willen. Met de honderdduizenden onderzoeken die jaarlijks worden vrijgegeven, kun je dit enkel bereiken door veel te publiceren met spraakmakende resultaten. Hoe meer je in de medische literatuur voorkomt, hoe meer je voorstelt, aldus Moerman. Dan ontkom je er niet aan om onderzoeksinformatie te verzinnen of te falsificeren.
8. Veel toegepaste truc: alleen positieve resultaten worden gepubliceerd
Deze truc wordt vaak gebruikt. Regelmatig wordt informatie achtergehouden die de gewenste uitkomsten in de weg staat. Soms worden hele onderzoeken niet gepubliceerd en komen alleen de onderzoeken uit die de betreffende opdrachtgevers wèl bevallen (13).
9. Wetenschappers interpreteren statistiek vaak erg optimistisch
Wetenschappers gebruiken vaak een maximale p-waarde van 0,05 om aan te tonen dat hun stelling significant waar is. Volgens experts blijken onderzoeken er dan in zeker 30 procent van de gevallen naast te zitten (14). Vaak veranderen wetenschappers aannames om een p-waarde te halen van 0,05, dit noemen we ook wel p-hacking (15). Maar vaak blijkt de significantie toch niet te kloppen, zelfs als er een p-waarde kleiner dan 0,05 wordt gehaald. De gouden standaard in de wetenschappelijke wereld blijk volgens Nature helemaal niet zo betrouwbaar als gedacht (16).
10. Goed onderzoek is bijna onbetaalbaar
Goede onderzoeken duren lang, hebben veel deelnemers nodig en zijn daardoor erg duur. Om die reden kiezen onderzoekers vaak voor korte termijnen met weinig deelnemers. De betrouwbaarheid gaat hierdoor vaak hard achteruit.
11. Veel onderzoekers halen de krenten uit de pap
Dit heet ook wel Cherry picking. Tijdens de onderzoeken kunnen onderzoekers enkel gegevens naar voren halen die hen goed uitkomen. Maar ook bij de kwalitatief hoog aangeslagen meta-analyses kunnen onderzoekers gemakkelijk onderzoeken betrekken of uitsluiten door hun eisen slim naar hun hand te zetten. Zo kunnen twee meta-analyses met gelijke vraagstukken op hetzelfde moment een geheel andere uitkomst hebben (17).
12. Er is meer onbewezen dan bewezen
Dat je van de regen nat wordt is nog niet bewezen, maar hoeft daarmee niet onwaar te zijn. Iedereen weet dat je van de regen nat wordt. Absence of evidence is not evidence of absence, oftewel afwezigheid van bewijs is geen bewijs van afwezigheid. Of beter gezegd: afwezigheid van bewijs van waarheid is niet gelijk aan bewijs van onwaarheid. Vaak wordt er in een discussie het argument aangedragen dat iets wetenschappelijk niet is bewezen, maar daarmee kan het nog wel waar zijn. Je ogen sluiten voor een mogelijke nieuwe waarheid is dan echt kortzichtig.
13. Sommige onderzoekers hebben stiekem dubbele belangen
Sommige onderzoekers verzwijgen dat ze belangen hebben bij een bepaalde uitkomst. Zo speelde vorig jaar nog de belangenverstrengeling in een onderzoek naar HPV-vaccins (18). Hoogleraar en klinisch patholoog Chris Meijer van het VUmc te Amsterdam leidde een onderzoek naar baarmoederhalskanker, maar verzweeg dat hij ook aandelen had in Diassay BV, de maker van HPV-vaccins. Helaas is dit niet het enige voorbeeld van conflicterende belangen. Officieel moeten onderzoekers hun belangen vermelden onder het kopje “Conflict of interests”, maar dat gebeurt lang niet altijd.
14. Sluitend bewijs is bij medische studies niet hard te maken
Vaak zeggen op wetenschap beluste mensen dat het niet bewezen is. Als je goed de uitkomsten van medische studies leest, dan kom je er algauw achter dat onderzoekers woorden gebruiken als: waarschijnlijk, mogelijk, aannemelijk, volgens deze cijfers, het lijkt erop dat etc. Je leest zelden een harde conclusie om de simpele reden dat dit erg lastig is bij medische studies. Het menselijk lichaam en biochemie behoren tot de moeilijkste onderzoeksgebieden, omdat het onderzoek gedaan wordt met levend materiaal, waarbij er altijd talloze uitzonderingen mogelijk zijn. Zelfs de beste onderzoeken kunnen dit niet corrigeren.
15. Inzichten veranderen continu en worden meermaals herzien
De waarheid van vandaag kan de leugen van morgen zijn. Zo veranderen levensmiddelen vaak van de status ongezond naar gezond en weer terug. Vooral melk, verzadigd vet en alcohol hebben hier veel last van gehad. De doorsnee man weet niet meer wat waar is, omdat er zo veel tegengestelde berichten opduiken. Allemaal gelanceerd door wetenschappers die vol overtuiging hun cijfers wereldkundig maakten.
16. Onderzoekers kijken soms onbewust alleen naar wat hun bevalt
Deze vooringenomenheid van de observator noemen we ook wel “observer bias”. Het wil zeggen dat de onderzoeker onbewust alleen dingen ziet die zijn hypothesen ondersteunen. Dit kan subjectief doorwerken op vele gebieden, zoals het interpreteren van open vragen. Dubbelblinde onderzoeken, waarbij de onderzoekers en de deelnemers geen weet hebben of het middel echt is of een placebo, verminderen de kans op de bias (de vertekening van het resultaat).
17. Op elk onderzoek valt iets aan te merken
Van de 50.000 onderzoeken per jaar die in tijdschriften worden gepubliceerd, blijken jaren later slechts 3.000 van voldoende kwaliteit te zijn (19). Maar op die 3.000 onderzoeken valt nog steeds van alles aan te merken. Elk onderzoek heeft zijn eigen blinde vlek en deze komt soms aan het licht, maar soms ook helemaal niet. Reden te meer om onderzoeken altijd met een korreltje zout te nemen.
Hoe herken je goede onderzoeken?
Observationeel of experimenteel? Correlatie of causaal?
Er zijn experimentele onderzoeken en observationele onderzoeken. Bij een experimenteel onderzoek worden gemakkelijker de variabelen uitgesloten zodat een causaal verband, oorzaak en gevolg, is waar te nemen. Bij een observationeel onderzoek kan slechts een correlatie worden vastgesteld; een mogelijk verband. IJsjes zorgen voor meer mensen op het strand. Dat is duidelijk waar te nemen. Hoe meer ijsjes er verkocht worden, hoe meer mensen er op het strand komen. Dat kan je conclusie zijn, maar misschien zijn er nog andere factoren, zoals in dit duidelijke voorbeeld: het weer. Een experimenteel onderzoek heeft de voorkeur. Het beste kunnen we vertrouwen op een systematische review. Een meta-analyse, een verzameling van studies die volgens strenge criteria is geselecteerd, is een goede tweede. Een goede derde zijn Randomized Controlled Trials (RCT), waarbij onderzoekers en deelnemers niet weten wie de placebo krijgt.
Kwalitatief versus kwantitatief onderzoek
Veel onderzoekers leunen op kwalitatieve onderzoeken. Deze bevatten open vragen en kunnen gemakkelijk onbewust verkeerd geïnterpreteerd worden. Kwantitatieve onderzoeken zijn gebaseerd op gesloten vragen en hebben minder last van de kleuring door de onderzoekers.
De betere onderzoeken:
- hebben veel deelnemers (een hoge n-waarde)
- zijn niet op dieren getest, maar op mensen
- zijn niet in een reageerbuisje gedaan (in vitro), maar in levend materiaal (in vivo)
- zijn recent uitgevoerd
- zijn kwantitatief van opzet (met gesloten vragen)
- hebben een controlegroep (in geval van klinisch onderzoek)
- zijn peer-reviewed (dus gepubliceerd in een groot tijdschrift)
- zijn experimenteel, liefst via systematische reviews of meta-analyses
- zijn vaak herhaald met dezelfde uitkomsten
- hebben een lage p-waarde, oftewel een hoge significantie (in lijn der verwachting).
Medische onderzoeken dragen zeker bij tot vergroting van onze kennis, waardoor we betere keuzes kunnen maken voor de toekomst. Het probleem is, dat onderzoek mensenwerk is en daardoor niet vrij van fouten. Daarbij komt dat zelfs de beste onderzoeken naderhand vaak toch worden herzien door voortschrijdend inzicht. Wetenschappelijke kennis is een momentopname en geeft de stand van kennis op een bepaald moment weer. Het verleden heeft ons geleerd dat het niet verstandig is om ons hierop blind te staren en dat we ons eigen boerenverstand zeker niet moeten onderschatten!
