Wat is statistische significantie?

Wanneer wetenschappers onderzoek doen (bijvoorbeeld naar het effect van een voedingsstof op de gezondheid) willen ze weten of het gevonden resultaat echt iets betekent, of dat het net zo goed door toeval verklaard kan worden. Statistische significantie is het gereedschap waarmee ze dat onderscheid maken. Een resultaat heet statistisch significant als de kans klein is dat het puur door toeval is ontstaan.

Hoe werkt het in de praktijk?

Onderzoekers formuleren vooraf een zogenaamde nulhypothese: de aanname dat er géén verschil of verband bestaat. Vervolgens berekenen ze uit hun data een p-waarde. Die p-waarde drukt uit hoe waarschijnlijk het is dat je een resultaat vindt dat minstens zo opvallend is als wat je hebt waargenomen, áls de nulhypothese waar zou zijn. Hoe kleiner de p-waarde, hoe onwaarschijnlijker het is dat toeval de verklaring is.

Vóór het onderzoek begint, kiezen onderzoekers een drempelwaarde, het significantieniveau, vaak aangeduid met de Griekse letter alfa (α). De meest gebruikte grens is 0,05, oftewel 5%. Komt de p-waarde onder die grens uit, dan wordt het resultaat als statistisch significant beschouwd en verwerpen de onderzoekers de nulhypothese. Bij een p-waarde van bijvoorbeeld 0,03 zou je zeggen: de kans dat dit resultaat puur door toeval ontstond, is kleiner dan 3%.

Wat het wél en níet zegt

Een veelvoorkomend misverstand is dat statistische significantie automatisch betekent dat een resultaat ook belangrijk of groot is. Dat is niet zo. Bij heel grote onderzoeksgroepen kan zelfs een piepklein verschil statistisch significant worden, terwijl het in de praktijk nauwelijks uitmaakt. Andersom kan een klein onderzoek een relevant verschil missen, simpelweg omdat er te weinig deelnemers waren om het overtuigend aan te tonen.

In de medische wereld is dit onderscheid bijzonder relevant. Een nieuw dieet kan een statistisch significant effect hebben op bloeddruk, maar als dat effect slechts 1 mmHg bedraagt, heeft het voor de meeste mensen weinig praktische waarde. Daarom kijken onderzoekers naast statistische significantie ook naar de effectgrootte en de klinische relevantie van hun bevindingen.

Discussie over de drempelwaarde

De gangbare grens van 0,05 staat al jaren ter discussie. Sommige wetenschappers pleiten ervoor om de drempel te verlagen naar 0,005, omdat bij de huidige grens te veel resultaten als significant worden bestempeld die later niet reproduceerbaar blijken. De American Statistical Association heeft zelfs gewaarschuwd tegen het klakkeloos gebruiken van p-waarden als alles-of-niets-oordeel. Anderen stellen voor om helemaal af te stappen van vaste drempels en in plaats daarvan de p-waarde als een glijdende schaal te rapporteren, zodat lezers zelf kunnen beoordelen hoe sterk het bewijs is.

Voor wie medisch onderzoek leest (of het nu gaat over voeding, beweging of andere gezondheidsonderwerpen) is het goed om te weten dat “statistisch significant” niet hetzelfde is als “bewezen” of “belangrijk”. Het is één stukje van de puzzel, niet het hele plaatje.