Zo leiden, verleiden en misleiden cijfers ons

Dinsdag 25 september een persbericht van het Erasmus MC over onderzoek onder (ex-)rokers: ‘Screening kan duizenden levens sparen’, luidde kop van het persbericht. Met veel tamtam maakte het academisch medisch centrum bekend dat bij (ex-)rokers die om de paar jaar een CT-scan lieten maken, eerder longkanker werd ontdekt. Hierdoor zou de kans dalen dat ze eraan doodgaan.

Na een kritisch artikel in de Volkskrant van een dag later, is de kop getransformeerd tot de iets minder roeptoeterende variant: ‘Longkankerscreening met CT voorkomt sterfgevallen’. Want weliswaar bleken er significant minder sterfgevallen aan longkanker te zijn in de gescreende groep, maar het totaal aantal overledenen was 934 tegen 904, een niet significant verschil.

Al kan ook dat nog steeds worden betwijfeld, meent Sanne Blauw, ruim een week later in een etablissement op Amsterdam CS. Reden voor het gesprek is haar boek ‘Het bestverkochte boek ooit (met deze titel)’, dat eind deze maand verschijnt. Daarin doet zij vlot geschreven uit de doeken hoe cijfers ons leiden, verleiden en misleiden. Kortom, ze probeert ons stervelingen erop te attenderen cijfers die fabrikanten, wetenschappers, politici, media, of wie dan ook over ons uitstorten niet rücksichtslos voor waar aan te nemen – overigens ook niet meteen voor onwaar – maar ze op gepast kritische wijze te bekijken.

Zoals dus in het bericht van het Erasmus MC over het screenen van (ex-)rokers. “Met dit bericht is zo’n beetje alles mis, wat ik mijn boek beschrijf”, zegt Blauw. “Ten eerste heeft degene die het naar buiten brengt een enorm belang bij een resultaat, al was het maar omdat er veel geld met het onderzoek is gemoeid. Ten tweede werd het wereldkundig gemaakt op een congres, terwijl er geen onderzoeksverantwoording bij zat en het onderzoek nog niet is gepubliceerd – echt heel kwalijk. Geloof me, een congrespraatje is echt iets anders dan een peer reviewed artikel. Maar ook is de verzameling cijfers niet representatief, wordt er zomaar geëxtrapoleerd naar duizenden doden die kunnen worden voorkomen, en zo is er nog wel het een en ander op deze claim aan te merken.”

Blauw is echter niet verbaasd. Sinds ze een kleine vier jaar geleden haar wetenschappelijke bestaan verruilde voor eentje in de journalistiek, als ‘ontcijferaar’ bij de Correspondent, heeft ze wel de nodige discutabele onderzoekscijfers en dubieuze peilingen voorbij zien komen. Of het nu door brouwerijen gesponsord onderzoek naar de gezondheidseffecten van alcohol is, intelligentietesten met een biased vraagstelling zijn, of experimenten onder totaal niet representatieve steekproeven behelst. Het komt nu allemaal aan bod in haar boek.

Op zich niks nieuws onder de zon natuurlijk, want zolang er gecijferd wordt, wordt er ook gegoocheld, en wordt er over dit gegoochel kritisch geschreven. Zoals op tamelijk briljante wijze door Darrell Huff in ‘How to lie with statitics’ uit 1954. Dat beaamt Blauw, maar het kan volgens haar geen kwaad om het geheugen van de mensen met een ietwat handzamere versie op te frissen. Bovendien zijn er sinds Huffs boek het licht zag, wel de nodige psychologische inzichten bijgekomen over de verhouding tussen mensen en cijfers. En die hebben eveneens een plekje gekregen in ‘Het bestverkochte boek ooit (met deze titel)’.

“Het blijft maar fout gaan, dus het werd wel weer eens tijd voor een boek”, vindt Blauw. Bovendien kan ze zich echt opwinden over wat er allemaal fout gaat en is ze in die zin ook een vrouw met een missie. “Er is vaak een gebrek aan kennis bij de ontvangers van cijfers, veel mensen hebben wiskundeangst of vinden cijfers intimiderend, maar tegelijkertijd zijn ze soms medeschuldig aan het verkeerd interpreteren van cijfers, omdat onderbuikgevoelens een belangrijke rol spelen.” In het boek wordt dat mooi geïllustreerd door het verhaal over een experiment waaruit bleek dat politieke voorkeur de interpretatie van cijfers danig beïnvloedt. Bijvoorbeeld in de VS bleek dat republikeinen vaker vast stelden dat strengere wetgeving omtrent wapens niet werkte, ook in de groep republikeinen die cijfers kreeg voorgeschoteld waaruit het tegendeel kon worden afgelezen. Bij democraten was dat juist andersom: die zagen vaker de criminaliteit dalen, ook wanneer dat niet uit de cijfers bleek.

Waarom we ons laten misleiden door cijfers, weet Blauw inmiddels wel: “We hebben het idee dat cijfers objectieve bewijzen zijn, terwijl ze dat natuurlijk niet zijn. We denken dat cijfers heel precies zijn en geen ruimte laten voor twijfel of nuancering, maar dat is niet zo.”

Blauw begint haar boek dan ook met het schetsen van een scene waarin ze in het kader van haar promotieonderzoek bij Economie naar geluk en inkomensongelijkheid een vraaggesprek heeft met de Boliviaanse schoonmaakster Juanita. “Mijn op 11-hoog op campus Woudestein bedachte vragenlijst, bleek niet echt te werken. Bovendien bekroop me toen voor het eerst een gevoel dat het leven complexer is dan cijfers, en dat ik hier te maken had met een mens van vlees en bloed, die dingen zei die ik helemaal niet kwijt kon in cijfers.”

Langzaamaan groeide bij Blauw het besef dat ze minder met cijfers an sich had, en meer met de verhalen achter de cijfers. Opmerkelijk, aangezien ze sinds haar kleutertijd in de ban van cijfers was geweest. Ze wilde aanvankelijk Geneeskunde studeren, maar toen ze bij een vriendin de econometristenbijbel voor eerstejaars, ‘Calculus’, zag, opteerde ze alsnog voor de studie Econometrie. De kiem voor het feit dat ze nu, zoveel jaar na dato, geen cijfergoochelaar is, maar ontcijferaar is wellicht daar in het gesprek met Juanita gelegd.

In haar boek laat ze aan de hand van het adagium van William Bruce Cameron ‘Not everything that counts, can be counted. Not everything that can be counted, counts’ zien dat wat je meet is bedacht, gebaseerd is op vooroordelen en uiteindelijk vaak in maar één getal wordt vervat. Of het nu iemands IQ, de opwarming van de aarde, of het kanspercentage op overlijden bij een bepaalde aandoening betreft. Dat zet de deur wagenwijd open voor een reeks ‘ongelukjes’. De omstandigheden of de vragen deugen niet, de samenstelling van de onderzoeksgroep is niet representatief of te klein, onzekerheidsmarges worden (al dan niet bewust) over het hoofd gezien, en last but not least: de producent of verspreider van de cijfers heeft belang bij de uitkomsten.

Al met al, blijft Blauw, naar eigen zeggen conform haar karakter, genuanceerd over cijfers, ondanks de denkfouten, onderbuikgevoelens en belangen die er bijna altijd achter schuilgaan. “Ik ben niet anticijfers, of zo”, zegt ze. Maar cijfers zijn wel slechts een venster op de werkelijkheid, schrijft ze ergens. “En dan ook nog vaak een venster van matglas.”