Wat betekent significant?

Wanneer onderzoekers een nieuw middel of een bepaalde aanpak testen, willen ze weten of het gevonden effect echt is, of dat het net zo goed toeval had kunnen zijn. Het woord significant betekent dat de uitkomst een vooraf gekozen statistische grens passeert. Het is een statistische uitspraak, geen maat voor hoe groot of belangrijk een effect in de praktijk is.

Hoe werkt dat in de praktijk?

Stel dat twee groepen mensen worden vergeleken: de ene groep krijgt een bepaalde interventie, de andere niet. Na afloop blijkt er een verschil in uitkomst. De vraag is dan: zou dit verschil ook kunnen optreden als de interventie helemaal geen effect had? Om dat te beoordelen berekenen onderzoekers een zogeheten p-waarde. Die p-waarde geeft aan hoe waarschijnlijk het is dat je het gevonden resultaat (of een nog extremer resultaat) zou zien als er in werkelijkheid geen verschil bestaat. Hoe kleiner de p-waarde, hoe minder goed de uitkomst past bij die aanname van geen verschil, binnen het gebruikte rekenmodel.

Vaak geldt als grens p kleiner dan 0,05. De p-waarde is niet de kans dat het resultaat door toeval is ontstaan. De grens van 0,05 is breed gebruikt, maar staat ook ter discussie. De American Statistical Association waarschuwt voor conclusies die alleen van deze drempel afhangen. Sommige wetenschappers pleiten voor een grens van 0,005.

Significant is niet hetzelfde als belangrijk

Een veelvoorkomend misverstand is dat “statistisch significant” automatisch betekent dat een resultaat ook klinisch relevant is. Een heel groot onderzoek kan een minuscuul verschil aan het licht brengen dat statistisch significant is, maar in de dagelijkse praktijk nauwelijks iets uitmaakt. Andersom kan een klein onderzoek een groot verschil vinden dat nét niet significant is, simpelweg omdat er te weinig deelnemers waren. Het woord zegt dus of de statistische grens is gehaald, niet hoe betrouwbaar de meting is of hoe belangrijk het effect is.

In alledaags taalgebruik betekent “significant” zoiets als “belangrijk” of “beduidend”. In de wetenschap heeft het een veel preciezere betekenis: het gaat om het halen van een statistische toetsgrens. Dat onderscheid is goed om in het achterhoofd te houden wanneer je leest over onderzoeksresultaten, of het nu gaat om voeding, beweging, of welke andere gezondheidsinterventie dan ook.