Vorige week publiceerde een internationale groep onderzoekers onder leiding van Stanford-epidemioloog John Ioannidis een manifest in het tijdschrift Nature Human Behaviour. Het bevatte een lange lijst aan maatregelen die de wetenschap „gezonder” moet maken. Met andere woorden: is de wetenschap nu dan ziek?

Zo zou Lex Bouter het niet willen noemen: „De wetenschap heeft serieuze problemen, maar er wordt ook hard aan gewerkt om ze op te lossen.’’ Bouter is sinds vier jaar hoogleraar Methodologie en integriteit aan de Vrije Universiteit (VU). Hij doet onderzoek naar twijfelachtige onderzoekspraktijken, ook wel sloppy science genaamd.

Hij heeft dus een goede kijk op de toestand van de wetenschap. Te meer omdat hij bestuurder is geweest – hij was van 2006 tot 2013 rector van de VU. Vanuit de bestuurskamer heeft hij het wetenschappelijk onderzoek, en de beoordeling ervan, zien veranderen. „Het is hypercompetitief geworden”, zegt hij, in een glazen vergaderruimte, op de twaalfde verdieping van het hoofdgebouw. Verder is bij de beoordeling van onderzoekers sterk de nadruk komen te liggen op publicaties en citaties. „Daar is een bijziende concentratie op ontstaan, ook bij bestuurders”, zegt Bouter. „Deze combinatie heeft twijfelachtige praktijken in de hand gewerkt.”

„Dat je alleen de experimenten meldt die het verwachte resultaat geven. Of dat je bepaalde data weglaat, zodat je een significant resultaat overhoudt, dat je vervolgens kunt publiceren.”

U heeft onlangs gezegd dat ‘sloppy science’ erger is dan regelrechte fraude.

„Daar ben ik van overtuigd geraakt, hoewel het lastig te bewijzen is. Want er is weinig onderzoek naar gedaan. Onderzoeker Daniele Fanelli heeft een meta-analyse uitgevoerd op alle enquêtes waarbij onderzoekers was gevraagd of ze wel eens gefraudeerd hadden ofquestionable research practices hadden gebruikt. 1 tot 2 procent gaf fraude toe, terwijl die qrp’s op 33 procent uitkwamen. Omdat het zelfrapportages waren, is dit waarschijnlijk een onderschatting.”

Is dat veel, 33 procent?

„Dat vind ik wel. Ik schrok ervan. Maar die 33 procent is moeilijk te vertalen naar een percentage gepubliceerde artikelen waar iets mis mee zou zijn. Ook hier geldt: we weten het niet. Er is gênant weinig onderzoek.

„Zelf hebben we een enquête gehouden onder de ruim duizend bezoekers van de vier wereldcongressen voor wetenschappelijke integriteit die er tot nu toe zijn geweest. We legden hun een lijstje met zestig misdragingen voor en vroegen: wat denk je dat het vaakst voorkomt, en wat vind je het ergst, in termen van schade aan het vertrouwen in de wetenschap, en schade aan de waarheidsvinding. Daarna vermenigvuldigden we beide scores. De drie varianten van fraude – verzinnen van data, vervalsen van data en plagiaat – stonden niet in de top-20.”

Wat scoorde wel hoog?

„Bijvoorbeeld de slechte begeleiding van jonge onderzoekers, waardoor zij niet goed geschoold worden in onderzoeksmethoden, statistiek en integriteit.”

Waarom gebeurt dat zo slecht?

„Hypercompetitie. Belang van de eigen carrière. Ik heb het zelf meegemaakt. In de jaren 90 was ik wetenschappelijk directeur van onderzoeksinstituut EMGO, hier aan het VUmc. Ik onderzocht aandoeningen van het bewegingsapparaat: rugpijn, nekpijn, tennisellebogen. Op enig moment had ik 30 promovendi. Ik zorgde wel dat ze begeleiders hadden, maar dat was natuurlijk veel te veel.”

Want veel promovendi betekent veel publicaties?

„Het is een perverse prikkel. Onlangs stelde iemand in Nature voor om met een quotum voor promovendi te gaan werken. Maximaal 5 of 10 per hoogleraar.”

Wat vindt u daarvan?

„Ik vind het geen slecht idee.”

En wat vonden de congresgangers die u heeft geënquêteerd nog meer erg?

„Selectief citeren scoorde ook hoog. Ik heb in Maastricht twee promovendi die daarnaar kijken. Het is bekend dat tijdschriften liever positieve resultaten publiceren dan negatieve. Het idee erachter is dat positieve resultaten meer citaties krijgen. En hoe meer citaties, hoe hoger je aanzien. Maar dit was tot nog toe niet onderzocht. Het lijkt er inderdaad uit te komen, hoewel het nog werk in uitvoering is. De twee promovendi hebben bijvoorbeeld gekeken naar publicaties over transvetten en cardiovasculaire risico’s. Positieve publicaties worden twee tot drie keer meer geciteerd dan negatieve. Ze zoeken nu ook uit of ze de vooroordelen van de diverse onderzoeksteams in kaart kunnen brengen, en of dat van invloed is op de geciteerde publicaties.”

Waarom is dit erg?

„Net als selectief publiceren kan het tot verkeerde, zelfs schadelijke conclusies leiden. In de biomedische wetenschappen zijn er veel voorbeelden van. Neem het gebruik van anti-depressiva door jongeren. Meta-analyses op gepubliceerde data laten een gunstig effect zien met weinig bijwerkingen. Dat komt omdat voornamelijk de positieve data zijn gepubliceerd.Garbage in, garbage out, zeg ik altijd. Pas als je alle data bekijkt, ook de niet gepubliceerde, blijkt dat de effectiviteit van de middelen beperkt is, en komt ook naar voren dat er een klein risico is op zelfmoord.”

Spelen die twijfelachtige praktijken in alle vakgebieden even erg?

„Weten we niet.”

Hoe is de wetenschap eigenlijk zo hypercompetitief geworden?

„Ze is enorm gegroeid en gedemocratiseerd. De wetenschap is veel meer een carrière-optie geworden. En een populaire ook. Je merkt het aan de promovendi. De meesten willen er graag verder in. Maar er is slechts plek voor zo’n 20 tot 30 procent van hen. Want er is geen geld om ze allemaal te houden.

„Ook een rol speelt dat het aandeel tijdelijk geld, subsidies op projectbasis, sterk is gegroeid. Met name jonge onderzoekers leven daardoor in grotere onzekerheid. De kans op een volgende subsidie, en misschien een vaste baan, kunnen ze vergroten met aansprekende publicaties in hoog aangeschreven bladen.”

Hoe was dat in uw tijd als rector?

„Als er moest worden vergaderd over de aanstelling van een nieuwe decaan of hoogleraar haalde altijd wel iemand een papiertje uit zijn zak met een rangschikking op basis van de h-index, een indicator voor de mate waarin iemands werk wordt geciteerd. Het is geen brede maatstaf voor kwaliteit. Toch werd het gebruikt. En dat heeft onder onderzoekers een cultuur uitgelokt van cherry picking. Je winkelt selectief in alle resultaten die je hebt. Zelfs in een zee van tegenvallende resultaten vind je wel iets om een prachtig verhaal mee te schrijven.”

Aan de VU hebben zich diverse fraudegevallen voorgedaan. In 2012 speelde de kwestie rond de gepensioneerde antropoloog Mart Bax op. Een jaar later concludeerde een commissie dat hij verzonnen onderzoeksresultaten had gepubliceerd en niet-bestaande artikelen op zijn publicatielijst had gezet. In 2014 volgde de zaak rond emeritus economiehoogleraar Peter Nijkamp, die uitvoerig, en soms omvangrijke tekstblokken uit eerder eigen werk hergebruikte, zonder bronvermelding.

Hoe kijkt u terug op deze kwesties?

„Het geval van antropoloog Mart Bax heb ik als rector van dichtbij meegemaakt. Dat was gênant, maar ik weet niet of zijn gedrag door die publicatiecultuur is veroorzaakt. Dat vind ik suggestief.”

En de kwestie rond Nijkamp?

„Die begon te spelen toen ik net weg was. Die zaak is erg ingewikkeld, en nog steeds niet afgelopen.”

U heeft onlangs ook onderzoek gedaan naar de relatie tussen persoonlijkheidskenmerken van onderzoekers en sloppy science. Wat komt daar uit?

„Dat was werk van Joeri Tijdink. Hij is vorig jaar bij me gepromoveerd. Hij deed dat onderzoek aan drie umc’s, met medische wetenschappers op allerlei niveau’s. Hij vond een samenhang tussen machiavellisme en het niet zo nauw nemen met de voorschriften. Maar een samenhang zegt niks over oorzaak en gevolg.”

U zei dat er veel gebeurt om het onderzoeksproces te verbeteren. Wat zoal?

„Dat je als onderzoeker van tevoren moet vastleggen wat je gaat doen, en hoe. En dat je ook al je datasets openbaar maakt. Er zijn inmiddels tientallen tijdschriften die zo werken. Als zo’n tijdschrift je opzet en methoden goedkeurt, mag je later je resultaten publiceren. Of die nou positief zijn, of negatief. Bij medische trials is al midden jaren 90 voor zo’n opzet gekozen. Er zijn trial-registers opgericht. Het treurige nieuws is dat het niet heel consequent is doorgevoerd. Van de gepubliceerde trials staat slechts de helft in een register. Het is een bloody shame.”

Nobelprijswinnaar Ben Feringa pleit voor een miljard euro extra per jaar voor het Nederlands onderzoek. Zou dat de druk van de ketel halen?

„Ik betwijfel of het reëel is, maar wonderen gebeuren soms. Los daarvan los je daarmee het wezenlijke probleem niet op. Het is als met asfalt, als je meer uitrolt komen er meer auto’s. Binnen de kortste keren loop je weer tegen grenzen op.”

Moet er dan een quotum komen voor het aantal onderzoekers?

„Ik heb er de oplossing niet voor, maar je moet je wel realiseren dat het raar is om uit te gaan van een volstrekt onbeheerst groeimodel.”

---