Aan dit artikel heeft de wereld niks (nou ja, bijna niks)

Sinds 1 januari zijn er tienduizenden wetenschappelijke artikelen verschenen over Covid-19. Dat maakt het volgens critici onmogelijk om bij te blijven. Voor het Outbreak Management Team, en  helemaal voor een individuele IC-arts. Wordt er te veel gepubliceerd?

“Ja. En niet alleen om bij te kunnen blijven. Een groter probleem is dat er te veel gepubliceerd wordt om de kwaliteit van de artikelen te kunnen waarborgen. Een van de belangrijkste fundamenten van academisch onderzoek is het systeem van peer reviews. Wetenschappers houden het werk van collega’s kritisch tegen het licht omdat ze ook willen dat dat met hun eigen werk gebeurt. Ik krijg zelf bijvoorbeeld meerdere reviewverzoeken per week, honderden per jaar. Maar het hoort officieel niet bij mijn functie. Ik krijg betaald om onderwijs te geven, onderzoek te doen en een groep wetenschappers aan te sturen. Een groot deel van de reviewverzoeken moet ik dan ook weigeren. Zo’n artikel wordt dus vervolgens niet gereviewd, of door iemand die minder goed in dit specifieke onderwerp zit. Dat heeft effect op de kwaliteit.”

Waarom wordt er zo veel gepubliceerd?

“Er is een hele industrie ontstaan rond publicaties. Aio’s die gedurende hun promotietraject vier of vijf artikelen moeten publiceren, mensen met een vaste aanstelling die beoordeeld worden op de hoeveelheid artikelen die ze uitbrengen. Er wordt gestuurd op kwantiteit. Dat is overigens niet nieuw. Toen ik dertig jaar geleden begon in de wetenschap had men het al over de overdreven publicatiedruk.”

Ook die publicatiedruk zou leiden tot slechtere wetenschap. Hoe werkt dat?

“Je ziet een grote druk op wetenschappers om relevant en interessant gevonden te worden en impact te hebben. Daardoor voelen wetenschappers zich niet zelden genoodzaakt om resultaten op te blazen. Kijk, wetenschap is geen aaneenschakeling van spannende ontdekkingen. Meestal komt het erop neer dat je een voorzichtige eerste bevinding doet, die nog zeer weinig zegt en ook omgeven is met onzekerheden. Maar als je je paper zo aankondigt, wil niemand hem hebben. Veel tijdschriften vragen: wat is het hoogtepunt van je artikel? Je moet het manuscript een beetje verkopen. Dus dat doe je. En dan volgt er nog een communicatieafdeling van een universiteit die de boel een beetje aandikt, een journalist die er een vette kop boven zet en voor je het weet gaat een slecht uitgevoerd onderzoek als een revolutionaire bevinding het internet over.”

De Grieks-Amerikaanse epidemioloog John Ioannidis beweerde een aantal jaar geleden dat de meeste onderzoeksresultaten niet kloppen. Heeft hij gelijk?

“Dit is een stevige bewering. Maar we zien wel dat er een heel systeem ontstaan is waarin wetenschappelijke resultaten overdreven worden en de beperkingen van een onderzoek slecht in het vizier zijn. In mijn vakgebied, de psychologie, is veel aandacht voor de replicatiecrisis. Wij zijn daarom een initiatief gestart om onderzoek te herhalen. Het basisidee is dat iets pas wetenschappelijke kennis is, als je een methode hebt ontwikkeld waarmee je een resultaat op betrouwbare wijze kunt produceren én reproduceren. In de psychologie bleek dat dit voor veel onderzoek niet opging. Uit een recente studie in Science blijkt dat een derde van een aantal belangrijke psychologische experimenten niet gerepliceerd kon worden.”

Is dat schokkend?

“Het is heel makkelijk om achteraf te zeggen: wat dom van die onderzoekers. Maar vaak is er gewerkt met de beste bedoelingen en met de kennis die toen voorhanden was. En dat iets wat later heel belangrijk bleek te zijn, destijds over het hoofd gezien werd…tja, dat is essentieel aan wetenschap bedrijven. We moeten niet vergeten dat het moeilijk is hè, goed onderzoek doen.”

Er wordt de afgelopen jaren steeds vaker gewerkt met grote datasets, waarin – zonder vooraf een hypothese te formuleren – gezocht wordt naar patronen. Is dat een groot probleem?

“Hypothese-gestuurd onderzoek is dé manier om causaliteit aan te tonen. Je begint met een theorie, vormt een hypothese en die ga je toetsen. Als je zomaar wat gaat grasduinen door de data, vind je altijd wel wat. Dat is overigens niet zo’n enorm probleem, zolang je het onderscheid maar maakt tussen toetsend en verkennend onderzoek. En daar wringt het nogal eens.”

Voor het publiek is het in de praktijk heel lastig om te bepalen welk onderzoek waardevol is. Kijk wat er nu rond het coronavirus gebeurt, elk onderzoek wat een mogelijke oplossing bekijkt gaat gelijk viraal. Zo zouden hoge concentraties vitamines helpen bij het voorkomen van Covid-19 en zijn er nog steeds mensen die denken dat hydroxychloroquine een adequaat geneesmiddel is. Bij wie ligt de taak om dit soort misverstanden te voorkomen?

“Je wilt dit misschien niet horen, want het is weer een typisch genuanceerd antwoord van een wetenschapper, maar: bij iedereen. Het is een systemisch probleem. Onderzoekers, persvoorlichters, journalisten, politici, burgers – we hebben allemaal de verantwoordelijkheid om hier alert mee om te gaan. Ik vind het bijvoorbeeld best goed dat er in toenemende mate factchecks plaatsvinden. En dat zelfs Twitter nu waarschuwingen plaatst bij tweets van Donald Trump die overduidelijk niet kloppen.”

Hebt u tips voor de nieuwsconsument om zich staande te houden tussen al het wetenschapsnieuws?

“Het is denk ik goed om je vraagtekens te plaatsen bij hele stellige beweringen. Hoe stelliger een wetenschapper is, hoe meer ik mijn twijfels heb. Ook is het goed om na te gaan of iemand wel echt specialist is op het gebied waarover hij of zij spreekt. Veel wetenschappers hebben de neiging om zich ook te bemoeien met dingen waar ze eigenlijk niet zoveel vanaf weten. Ik ken veel hoogleraren en allemaal kramen ze weleens onzin uit. Ook ikzelf overigens.

“En zonder mensen aan een complottheorie te willen helpen, mag je je best afvragen of er bij een onderzoek wellicht onzuivere motieven meespelen. Veel onderzoek naar de effecten van roken is bijvoorbeeld jarenlang mede mogelijk gemaakt door de tabaksindustrie.

“Het belangrijkste is om gewoon je gezond verstand te gebruiken. Elke dag staat er wel een bericht over de relatie tussen voeding en gezondheid in de krant. Maar zou het nou echt zo zijn dat bijvoorbeeld een halve avocado per dag voor iedereen hetzelfde effect heeft?”

Het gebrek aan eenduidige kennis is de afgelopen maanden best lastig gebleken. Aan de ene kant werd er aandachtig geluisterd naar de virologen van het Outbreak Management Team, aan de andere kant was er felle kritiek als RIVM-directeur Jaap van Dissel zijn opvattingen moest bijstellen. Heeft de samenleving te hoge verwachtingen gehad van de wetenschap?

“Ik denk het wel. De bevolking heeft tijdens deze crisis een kijkje gekregen in de keuken. En dat lijkt me een goede zaak. We moeten doordrongen raken van het feit dat de kennis die je als wetenschapper vergaart over het algemeen voorlopig is. Tot er een soort corpus ontstaat van bevindingen uit onderzoek dat goed herhaalbaar is. Dat proces verloopt traag. En dat is lastig als je, zoals nu, snel antwoorden wilt.”

Je hoorde de afgelopen tien jaar regelmatig dat wetenschap ‘ook maar een mening’ is. Zit daar misschien toch wel wat in?

“Nee. Churchill zei ooit over de democratie: het is de slechtste regeringsvorm die we hebben, afgezien van al het andere, wat nog slechter is. Zo zou je ook over wetenschap kunnen denken. Als we al kennis hebben, komt die van de wetenschap. Zonder zouden we verloren zijn. Dat gezegd hebbende, we zijn niet onfeilbaar. Ook wetenschappers vallen soms ten prooi aan menselijke gedragingen die je overal ziet. Slordigheid, ijdelheid, luiheid. We hebben al veel zelfcorrigerend vermogen, maar daar mag best een schepje bij. We moeten leren om niet te snel conclusies te trekken. Een zwaluw maakt nog geen zomer. Wetenschappers vinden het lastig om open te zijn over hun beperkingen. We denken dat dat ten koste gaat van onze status, of betrouwbaarheid. Maar het zou goed zijn als bij elke publicatie expliciet aangegeven wordt wat de generaliseerbaarheid en reikwijdte van de gepresenteerde bevindingen is.”