De tekortkomingen van de psychologie

  

 

Mensen gaan langzamer lopen nadat ze blootgesteld zijn aan woorden die met ouderdom te maken hebben, zoals ‘rimpels’ of ‘gepensioneerd’, concludeerde de Amerikaanse psycholoog John Bargh in 1996 in een baanbrekend onderzoek. Als je mensen onbewust met woorden kunt beïnvloeden, ligt er een nieuw onderzoeksterrein voor psychologen braak, zo vermoedde hij. Zijn studie, die binnen de psychologische gemeenschap insloeg als een bom en inmiddels 3800 keer is geciteerd - vormde dan ook de opmaat voor een reeks onderzoeken naar ‘social priming.’

Zo’n vaak geciteerd onderzoek klopt vast, denk je misschien, maar schijn bedriegt. Sinds Bargh zijn opzienbarende studie publiceerde, hebben verschillende wetenschappers zijn experiment proberen te repliceren, maar dit is slechts twee keer gedeeltelijk gelukt.

Barghs onderzoek en de discussies erover zijn illustratief voor de cultuur in de onderzoekspraktijk van psychologen en komt verschillende keren terug in De 7 doodzonden van de psychologie van Chris Chambers. De Britse hoogleraar cognitieve neurowetenschap schreef het boek uit ‘een diepe persoonlijke frustratie’ over de werkcultuur binnen de psychologie: ‘Als we op deze voet doorgaan, zal de reputatie van de psychologie als wetenschap steeds verder verslechteren en is de kans reëel dat ze verdwijnt.’

Wie het boek leest en zelf psycholoog is, zoals ik, schaamt zich al na het eerste hoofdstuk voor zijn beroepsgroep en dat neemt gaandeweg het boek alleen maar toe. Psychologische onderzoekers zijn onbetrouwbaar, pikken de krenten uit de pap, veranderen hun hypothese stiekem als de eerste resultaten tegenvallen - ‘harking’ heet dit, een acroniem van hypothesizing after results are known. Ze beschouwen hun data als hun hoogstpersoonlijk bezit, zijn fraudegevoelig, stoppen hun artikelen achter een betaalmuur en houden er ouderwetse kwaliteitsmetingen op na. Psychologen hebben hun deskundig oordeel verruild voor een oppervlakkige obsessie met cijfers, schrijft Chambers bezorgd en verontwaardigd.

Hun vakbroeders- en zusters uit de natuurwetenschappen doen het op alle terreinen stukken beter. De zondes zijn kennelijk inherent aan de psychologie, en aan de experimentele onderzoeksmethoden.

Chambers zelf is trouwens ook niet vrij van zonden, bekent hij schuldbewust. Twintig jaar geleden werd zijn eerste wetenschappelijke paper afgewezen. Zijn onderzoeksmethodes waren degelijk, maar zijn resultaten oninteressant, zo schreef een wetenschapper die zijn paper toetste.

Zijn supervisor probeerde hem op te beuren: ‘Je moet de reviewers een verhaal geven - iets waar ze opgewonden van raken - anders vinden ze je paper saai en wijzen ze het af.’

‘Maar de resultaten zijn de resultaten,’ riep de jonge Chris Chambers vertwijfeld. ‘Moeten we de data niet gewoon het verhaal laten vertellen?’

‘Zo werkt de wetenschap niet Chris,’ zei de supervisor. ‘Data vertellen geen verhalen, wetenschappers vertellen verhalen.’

Het was een beslissend moment in zijn carrière. Achteraf realiseert hij zich dat hij, net als andere wetenschappers, vele malen imperfecties heeft verdoezeld en nuances heeft weggelaten. ‘En ongetwijfeld op een onbewust niveau nog meer dan ik besef,’ schrijft hij gelaten.

 

Chambers haalt fel uit naar de wetenschappers die hun verzamelde data beschouwen als hun persoonlijk eigendom en weigeren ze als openbare bronnen te behandelen. Maar hij ontziet ook de wetenschappelijke tijdschriften niet, die er - op een enkele uitzondering na, zoals PLOS, een ‘tabloidcultuur’ op nahouden. De kritische neurowetenschapper spuit zijn gram over de ‘neofilie’ van gerenommeerde tijdschriften als Nature en Brain, die alleen artikelen publiceren die nieuw en boeiend zijn. Positieve en nieuwe bevindingen winnen het zo van negatieve en ware onderzoeksresultaten.

De eerste doodzonde is meteen de meest voorkomende tekortkoming van de psychologie en ook het moeilijkst uit te roeien: de confirmaton bias, de oermenselijke neiging om bewijs te zoeken dat strookt met onze overtuigingen, terwijl we bewijs dat daarmee in tegenspraak is, ontkennen of zelfs ontkrachten. Bovendien bevestigen we liever een hypothese, dat dat we haar proberen te falsifiëren. Onderzoekers martelen hun data net zo lang totdat er publiceerbare uitkomsten uitkomen, en dat is geen incident, maar een collectieve gewoonte. ‘Verborgen flexibiliteit’ noemt Chambers dit: een mooi woord voor het net zo lang aanpassen van de data - toevoegen of verwijderen - totdat ze statistisch significant zijn, ook wel p-hacking genoemd. En iedereen doet het, zo bleek in 2012 uit een enqueÌ‚te onder 2000 Amerikaanse psychologen. 100 procent van de psychologen gaf toe ten minste één keer data  te hebben verwijderd na de impact daarvan te hebben ingeschat.

De psychologie zou zichzelf moeten corrigeren en dus replicatie van onderzoeken moeten stimuleren, vindt Chambers. Maar replicatie is taboe: van alle duizend in de psychologie gepubliceerde papers proberen er slechts 21 een eerder experiment te repliceren, en van die 21 wordt slechts één daarvan uitgevoerd door een ander, onafhankelijk onderzoeksteam.

 

De 7 doodzondes van de psychologie is trouwens ook interessant voor niet-psychologen, vooral omdat zo duidelijk wordt beschreven wordt hoe gemakkelijk je als onderzoeker in de verleiding kunt komen om met kleine aanpassingen betere resultaten te krijgen. En bij vlagen leest het zelfs als een spannend boek, zeker als data-detective Uri Simonsohn ten tonele verschijnt. Deze Amerikaanse onderzoeker spoorde verschillende fraudes op, onder andere die van Dirk Smeesters van de Erasmus Universiteit. We lezen hoe een te mooi patroon in de standaarddeviaties Simonsohn alarmeerde en hoe hij de fraudeur kon ontmaskeren doordat hij de ruwe data kon inzien, iets wat helaas weinig onderzoekers willen.

Fraude is ook een doodzonde en daarin spant Diederik Stapel de kroon met zijn extreme datavervalsing. Het lijkt misschien alsof fraude het werk is van een paar rotte appels, maar Chambers laat overtuigend zien dat het systeem waarbinnen die rotte appels functioneren, zelf zo lek is als een mandje. Waar ligt de grens tussen bedenkelijke praktijken - zoals de wetenschapper die 100 observaties verzamelt en er 80 terzijde legt die niet stroken met zijn hypothese -  en de fraude van Stapel?’ vraagt hij zich vertwijfeld af.

Gelukkig blijft het niet bij kritiek alleen, maar doet Chambers ook suggesties om de cultuur te verbeteren en de zondes uit te roeien. Openheid en toegankelijkheid staan daarin centraal: openheid om data te delen met anderen, om replicatie mogelijk te maken, en weg met de betaalmuren waarachter al die prachtige onderzoeksverhalen zijn opgeborgen.

Zie dit boek niet als een aanval op de verdedigers van de status quo, schrijft Chambers ten slotte, ‘maar als een interventie op onszelf en een missie voor zelfverbetering.’ En zo is het.

 

Chris Chambers,  De 7 doodzonden van de psychologie. Pleidooi voor een cultuuromslag in de wetenschappelijke praktijk. Scriptum.  Uit het Engels vertaald door Vanja Walsmith. Illustraties door Anastasiya Tarasenko. 302 pagina’s. € 29,99.

 

Deze recensie is verschenen in het voorjaarsnummer van Skepter 2019.