Een tijdje geleden was het hét wetenschapsberichtje van de dag: het verband tussen chocolade-eet-frequentie en een lage body mass index (BMI), geclaimd door Beatrice Golomb en twee collega’s in de Archives of Internal Medicine. Eerst omdat het een onweerstaanbaar navertelweetje was, zo bleek wel op Twitter, daarna vanwege de vele sceptische geluiden die er te horen waren – over het onderzoek an sich én de berichtgeving erover. Aangezien ik zelf ook een berichtje wijdde aan het artikel, wil ik ‘met de kennis van nu’ daar nog even op terugblikken, om te zien hoe goed of slecht ik het destijds heb aangepakt.
Wat was mijn werkwijze? De week voordat het nieuws de wereld in ging, kwam ik het item tegen in een lijstje van persberichten onder embargo, dat onder wetenschapsjournalisten wordt verspreid. De deal daarbij is: je mag je al in de materie verdiepen, zolang je maar belooft er pas na het officiële verschijningsmoment van de paper in kwestie over te publiceren. Die tijd benutte ik door de paper op te vragen (wat me overigens vier mailtjes naar drie verschillende personen kostte) en te lezen, en door een aantal niet bij het onderzoek betrokken gezondheidswetenschappers per mail om hun reactie te vragen.
Vervolgens maakte ik een berichtje dat als volgt was opgebouwd: eerst een tongue-in-cheek openingsalineaatje dat eindigt met de bevinding dat “mensen die vaak chocolade eten in de regel minder dik zijn dan anderen”. Dan een feitelijke alinea die uitlegt hoe men aan dit resultaat kwam. Dan de alinea die het ‘correlatie is nog geen causatie’-aspect benadrukt, oftewel: hiermee is niet aangetoond dat de chocolade de lagere BMI veróórzaakt. (Elke kop met deze strekking is dus fout.) Dan een alineaatje over de onderzoekers zelf, die toch in een oorzakelijk verband leken te geloven en daarbij onder meer verwezen naar studies met knaagdieren. Dan een alinea met kritische opmerkingen van Jaap Seidell, de gezondheidswetenschapper die uiteindelijk mijn vraag om een reactie beantwoordde. En dan een samenvattende alinea:
“Het is dus de vraag of we op basis van het onderzoek van Golomb écht mogen concluderen dat slanke mensen vaker chocolade eten dan dikke. En op een onderzoek dat laat zien dat bij mensen het vaak eten van chocolade ook daadwerkelijk leidt tot een gewichtsafname, is het zoals gezegd sowieso nog wachten.”
In eerste instantie was ik content met mijn bericht, dat de ochtend nadat het embargo was verlopen online verscheen. Ik had me op de paper gebaseerd, niet op het persbericht. Ik had onafhankelijke deskundigen geraadpleegd. Ik was niet in de correlatie-causatie-valkuil getrapt. En ik eindigde met een paar duidelijke ‘neem dit met een korreltje zout’-zinnen.
Maar was dat genoeg? Misschien niet, want later die dag werd onder meer een blogpost van arts en voedingsdeskundige Yoni Freedhoff flink rondgetwitterd, waarin hij zijn vernietigende mening over de paper niet onder stoelen of banken stak:
I’m left scratching my head trying to understand how this could possibly have made it to – let alone passed – peer review, and why it is that ethics and accuracy don’t seem to matter to the folks who write press releases, or to the respected researchers who are drawing these unbelievably irresponsible and over-reaching conclusions despite undoubtedly knowing better. It also makes me wonder just how exactly they all manage to sleep at night.
Ook Hans van Maanen was – zoals te verwachten – uiterst kritisch in zijn Volkskrantcolumn over het onderzoek.
En tja, dan heb je dus toch nog het gevoel dat je er in zekere mate ‘in bent getrapt’. Dat je meer minpunten had moeten aanstippen, strenger voor het onderzoek an sich had moeten zijn, had moeten vermelden dat de studie eigenlijk voor iets heel anders was opgezet, had moeten inzien dat het gespeculeer over een toch oorzakelijk verband niet zo goed was onderbouwd door literatuur als de onderzoekers zelf impliceerden… Of misschien zelfs het hele bericht had moeten laten passeren, omdat je gut feeling je gelijk al zei dat het allemaal niet zo gek veel voorstelde.
Om met dat laatste te beginnen: dat lijkt me toch niet de beste zet. Als je zo’n chocoladepersbericht voorbij ziet komen, weet je bij voorbaat dat allerlei media er een bericht aan gaan wijden en weet je ook dat een deel van die media daarbij de plank mis gaat slaan. Daar mogen dan van mij zeker genuanceerdere berichten tegenover staan, geschreven door mensen die beter kunnen inschatten wat zo’n onderzoek nu wel en niet zegt. Die zullen daarmee niet de Telegrafen van deze wereld overschreeuwen, maar ze zorgen er tenminste voor dat het juiste verhaal óók te lezen is. (En wel meteen, in plaats van een week later als kritisch achteraf-verhaal.)
Rest de vraag of ikzelf in dit geval de juiste persoon was om dat juiste verhaal te schrijven. Tja, niet helemaal. Ik ben geen gezondheidswetenschapper of wetenschapsjournalist die zich jaren heeft getraind in het opsporen van zwakke plekken in papers over voeding, dus misschien had ik me er niet aan moeten wagen. Aan de andere kant: het voelt ook weer niet alsof ik door het stof moet. Ik heb netjes de vereiste stappen gezet bij mijn research, geen foute conclusies getrokken uit de informatie die ik had, en een kritisch stuk geschreven. En dat alles zonder te kunnen putten uit andermans online geplaatste bedenkingen – want die waren er nog niet toen ik mijn stukje schreef.
Daarbij: het feit dat ik me nu zorgen maak dat ik toch niet kritisch genoeg ben geweest, zorgt er hopelijk voor dat mijn bullshitdetector een volgende keer bij een vergelijkbaar bericht nog ietsje beter zal werken. Want hoe graag ik mezelf na inmiddels toch aardig wat jaren ervaring als een volleerd wetenschapsjournalist zou zien, dat ben ik niet – en waarschijnlijk zal ik dat ook nooit zijn. En misschien is dat nooit eindigende leerproces wel een van de redenen dat ik dit werk zo leuk vind.