Crisis in de wetenschap

Iedereen kent ze, de onderzoeken op Nu.nl waar je bij het koffieapparaat goede sier mee maakt: wie een koekje laat staan vult zijn puzzel beter in, met een potlood tussen je tanden krijg je een beter humeur, en wie aan bejaarden denkt, gaat automatisch langzamer lopen. Deze onderzoeken, afkomstig uit de sociale psychologie, bleken alleen niet te herhalen. Het resultaat: crisis.

Rolf Zwaan, professor in de biologische en cognitieve psychologie bij de Faculteit der Sociale Wetenschappen, onderzoekt hoe het nu verder moet met de sociale psychologie. Naast zijn reguliere werk als onderzoeker en docent, test hij namelijk via replicatiestudies hoe betrouwbaar eerder onderzoek is. Bovendien is hij verwikkeld in de strijd tussen ‘oude’ en ‘nieuwe’ sociaal-psychologen.

Laten we bij het begin beginnen. Wat is er precies aan de hand in de sociale psychologie? De problemen kwamen een paar jaar geleden aan het licht. “In dit domein werden een aantal high profile-fraudegevallen ontdekt, met Diederik Stapel als dieptepunt”, vertelt Zwaan, om zich direct daarna te verbeteren. “Deels vermeende fraudegevallen moet ik zeggen. Stapel was de enige die bekende.”

Ook Rotterdam moest eraan geloven dankzij Dirk Smeesters. Deze hoogleraar Consumentengedrag aan de Rotterdam School of Management had de ruwe data van twee van zijn artikelen niet meer ter inzage beschikbaar. “In die tijd werd ik gebeld door de toenmalige rector, Henk Schmidt. Hij zei: ‘We hebben onze eigen Stapel’. Of ik de commissie wilde leiden die dit geval zou onderzoeken.”

En hoewel fraudegevallen zeldzaam zijn, brachten ze wel een structureel probleem aan het licht. Veel onderzoekers passen — vaak onbewust – statistische methoden verkeerd toe. “Vaak zocht men zoveel mogelijk proefpersonen en deed daarmee zoveel mogelijk experimenten. En dan zeiden ze: ‘We kijken aan het eind van het semester wel welke effecten significant zijn.’ De hypothese stelden ze dus achteraf op. Oftewel: ze schoten eerst en tekenden er later een roos omheen.” Volgens hem waren deze wetenschappers zeker niet allemaal bewust aan het frauderen. ”In hun omgeving was dat normaal, zo ging het gewoon. Ze dachten dat ze goed bezig waren.”

Hoe dat komt? In de hele wetenschap is volgens Zwaan de prestatiedruk hoog. Het draait erom zoveel mogelijk te publiceren. “Hoe meer papers je hebt, hoe beter. Want hoe meer aanzien je krijgt, hoe hoger je salaris, enzovoorts.” Soms is de productie zelfs direct gekoppeld aan het beloningssysteem. Op Florida State University – waar hij bijna dertien jaar werkte – had het aantal papers direct invloed op je salaris. “Zit je in de top drie van het departement? 10 procent salaris erbij. Daaronder? 5 procent. Hierdoor had de ene wetenschapper een groot huis met een mooi zwembad en de ander een klein appartement.”

Zwaan vertelt hoe het was toen hij in 2007 vertrok: “De een had een salaris van 150 duizend dollar, en de ander van 60 duizend. En dat met dezelfde functie. Dan krijg je mensen die kort door de bocht gaan wanneer ze hun data analyseren.” Die perverse prikkel komt terug in elke tak van de maatschappij. Smalend: “Zelfs bij bridge. Daar kun je ook geld mee verdienen. Spelers gaan dan op een bepaalde manier kuchen om aan hun partner te laten weten welke kaarten ze hebben. Valsspelen is een soort doping.”

Is sociale psychologie dan de rotte appel van de wetenschap? Zwaan benadrukt dat dit niet het geval is. De problemen in de sociale psychologie liggen alleen aan de oppervlakte, aangezien het om onderzoek gaat dat gemakkelijk gerepliceerd kan worden. Bovendien komen ‘spannende’ conclusies vaak in de media. “Maar er zijn ook problemen bij neurowetenschappen, politicologie, biologie, medische wetenschappen, noem maar op.” Die onderzoeken zijn alleen vaak duurder en moeilijker herhaalbaar, waardoor hun problemen minder snel aan het licht komen.

De crisis in de sociale psychologie heeft de ingrediënten van een, in Zwaans woorden, ‘Shakespeareaans drama’. “Gevestigde sociaal- psychologen, die het gevoel hebben dat hun carrière of nalatenschap net voor hun pensioen wordt weggevaagd, staan tegenover the new kids on the block die zien dat de gevestigde orde op de verkeerde manier prijzen wint.”

Gelukkig is er hoop. “Een nieuwe generatie kijkt kritischer naar het doen van onderzoek. Dus over een aantal jaren, als de oudere generatie met pensioen is, zal de cultuur veranderen in eentje waarin onderzoekers preciezer te werk gaan.” Die nieuwe generatie zal een aantal dingen anders doen, somt Zwaan op.

De belangrijkste verandering blijkt een enorme open deur. “Stel van tevoren je hypothese op en zet ook meteen op papier wat de criteria zijn wanneer proefpersonen wel en niet meetellen in je resultaten.” Alsof Zwaan het er probeert in te stampen, herhaalt hij het een aantal keren in het gesprek. De werkelijkheid blijkt namelijk weerbarstig. “Er is nog steeds veel weerstand tegen dit idee omdat het ‘de creativiteit zou belemmeren’.”

Ook moet het beloningssysteem anders. Het tijdschrift Psychological Science maakte daar een eerste stap in. “Dat blad had veel artikelen die niet repliceerbaar bleken. Daarop veranderden ze hun policy. Onderzoekers moeten van tevoren zeggen wat hun hypothesen zijn en krijgen een speciale badge als ze hun data openbaar maken.”

Hij haalt de wetenschapsfilosoof Karl Popper aan, die eens zei: ‘Een bevinding is pas wetenschappelijk als je die kunt herhalen’. “Dat moet weer belangrijker worden, het repliceren van onderzoek. De grote bladen vinden die artikelen alleen niet interessant genoeg. Het is blijkbaar leuker om The Beatles te zijn dan hun coverband.”

Voor al deze plannen is aan de ene kant veel animo. Zo is er afgelopen zomer een nieuwe wetenschappelijke organisatie in het leven geroepen: The Society for the Improvement of Psychological Science, die al meer dan duizend leden heeft. Aan de andere kant schieten sommige wetenschappers in een defensieve houding wanneer ze merken dat hun onderzoek niet gerepliceerd kan worden. “Ze zeggen dan: die lui zijn incompetent en ze hebben slechte bedoelingen.”

Volgens Zwaan is dat nooit de insteek bij replicaties. “Als ik al negatieve bedoelingen zou hebben, zou ik die niet eens kunnen uitoefenen. Het meeste replicatiewerk wordt namelijk uitbesteed aan aio’s en student-assistenten. Zij weten niet eens hoe ik over de studie denk, als ik daar al een mening over heb. Ik analyseer enkel de data.”

Stellige woorden gebruikt hij, als hij praat over de ‘cultuuromslag’ die moet plaatsvinden in de wetenschap. Maar hoe stelliger de woorden, hoe meer hij ze weegt. Af en toe klinkt er twijfel door, dan heroverweegt Zwaan zijn woorden en neemt hij ze terug. Soms komt er uit de hoogleraar een weloverwogen sneer, verpakt in een aardige toon richting de gevestigde orde, die the new kids binnen de sociale psychologie en relatieve buitenstaanders zoals hij overigens (ook) van van alles en nog wat beschuldigen. De lijst met aanklachten is lang: “Bullies, nothing in our brains, nitwits, self-appointed sheriffs, dataterroristen, noem het maar.”

Je kunt denken: waar bemoeit cognitief psycholoog Rolf Zwaan zich mee? “Toen ik voor de commissie werd gevraagd die het fraudegeval op de EUR ging onderzoeken, begon het allemaal. Ze hadden iemand nodig uit een aanpalend vakgebied die verder geen belangen in het verhaal had.” Al onderzoekend kwam er een realisatiemoment. “Ik zag wat er allemaal fout ging en hoe los van de realiteit die wetenschap soms stond.”

Zwaan illustreert dat met Smeesters’ onderzoek, dat te maken had met het fenomeen dat je triviantvragen beter beantwoordt als je een foto van Einstein ziet, dan wanneer je een foto van een voetbalhooligan ziet. Smeesters bouwde daarop voort. “Als dat experiment in een rode map zat, dan zouden mensen het slechter doen als ze een foto van Einstein zagen. Zat het in een blauwe map, dan zou het wél volgens verwachting gaan. Dat was het moment waarop ik dacht: hier moet iets rechtgezet worden.”

Natuurlijk kan Zwaan zelf ook onderwerp worden van replicatiepogingen, maar daar maakt hij zich geen zorgen over. Integendeel zelfs. “Ik juich het toe als mijn werk gerepliceerd wordt. Natuurlijk zal er ook in mijn onderzoek een foutmarge zitten. Zo zit de statistiek nou eenmaal in elkaar. En ik ben niet anders dan andere cognitief-psychologen. Want hoewel het probleem hier minder groot is dan in de sociale psychologie, wordt ook hier niet alles gerepliceerd.”

Wat doet dit met de mens achter de onderzoeker? Zwaan geeft toe: “Ja, ik moet oppassen dat ik de grens tussen scepsis en nihilisme niet overschrijd.” Hij merkt aan zichzelf dat hij nu op een andere manier naar onderzoeken kijkt, zelfs naar die welke niet in het nieuws komen. “Vroeger las ik de resultaten en dacht: oh, goed onderzoek, mooie resultaten. Nu lees ik ook de methoden. Klopt dit wel allemaal?”

Op de EUR valt het volgens Zwaan nog wel mee, stelt hij gerust. “We hoeven niet bang te zijn dat het hier een soort Sodom en Gomorra is, al weet ik natuurlijk niet alles wat er gebeurt.” Er zijn voor zover Zwaan kan overzien in ieder geval geen mensen die een overdreven publicatiedrift hebben of die buitensporige media- aandacht krijgen. “Dat zijn vooral de factoren waar ik sceptisch van word.”

Door zijn onderzoek in de sociale psychologie begon Zwaan ook na te denken over waar wetenschap voor hem precies om gaat. “Wat wil ik achterlaten in de tijd dat we hier samen op de wereld zijn?” Vastberaden stelt hij vast: “Ik doe niet meer mee met de race wie de meeste papers heeft. Als ik met pensioen ga, wil ik dat ik een beter vakgebied heb achtergelaten.”

Dat is alleen niet altijd makkelijk in een omgeving met een publicatiecultuur. Hij glimlacht. “Ik heb het geluk dat ik het me kan permitteren niet te veel focus te leggen op publiceren.” Dan, met gefronste wenkbrauwen: “Ik maak me gewoon zorgen over mijn vakgebied. Dat probeer ik beter te maken via onderwijs en nieuwe methodes als het publiceren van data.”

Als laatste: wat moeten we voortaan met die onderzoekjes op Facebook en Nu.nl? “Het ligt niet alleen aan de manier waarop de wetenschap te werk gaat.” Volgens Zwaan zijn er namelijk nog veel meer belangen die meespelen. “Een journalist wil zo veel mogelijk clicks en een persdienst van de universiteit wil veel in de media komen.” Dus, hoeveel is er waar van wat we lezen? Zwaan noemt cijfers, maar neemt die later weer terug. “Ik heb geen idee. Benader het in ieder geval heel sceptisch. Ben je echt geïnteresseerd, zoek dan op waar de claims op gebaseerd zijn.”