Laatste Recensie

De tekortkomingen van de psychologie

  

 

Mensen gaan langzamer lopen nadat ze blootgesteld zijn aan woorden die met ouderdom te maken hebben, zoals ‘rimpels’ of ‘gepensioneerd’, concludeerde de Amerikaanse psycholoog John Bargh in 1996 in een baanbrekend onderzoek. Als je mensen onbewust met woorden kunt beïnvloeden, ligt er een nieuw onderzoeksterrein voor psychologen braak, zo vermoedde hij. Zijn studie, die binnen de psychologische gemeenschap insloeg als een bom en inmiddels 3800 keer is geciteerd - vormde dan ook de opmaat voor een reeks onderzoeken naar ‘social priming.’

Zo’n vaak geciteerd onderzoek klopt vast, denk je misschien, maar schijn bedriegt. Sinds Bargh zijn opzienbarende studie publiceerde, hebben verschillende wetenschappers zijn experiment proberen te repliceren, maar dit is slechts twee keer gedeeltelijk gelukt.

Barghs onderzoek en de discussies erover zijn illustratief voor de cultuur in de onderzoekspraktijk van psychologen en komt verschillende keren terug in De 7 doodzonden van de psychologie van Chris Chambers. De Britse hoogleraar cognitieve neurowetenschap schreef het boek uit ‘een diepe persoonlijke frustratie’ over de werkcultuur binnen de psychologie: ‘Als we op deze voet doorgaan, zal de reputatie van de psychologie als wetenschap steeds verder verslechteren en is de kans reëel dat ze verdwijnt.’

Wie het boek leest en zelf psycholoog is, zoals ik, schaamt zich al na het eerste hoofdstuk voor zijn beroepsgroep en dat neemt gaandeweg het boek alleen maar toe. Psychologische onderzoekers zijn onbetrouwbaar, pikken de krenten uit de pap, veranderen hun hypothese stiekem als de eerste resultaten tegenvallen - ‘harking’ heet dit, een acroniem van hypothesizing after results are known. Ze beschouwen hun data als hun hoogstpersoonlijk bezit, zijn fraudegevoelig, stoppen hun artikelen achter een betaalmuur en houden er ouderwetse kwaliteitsmetingen op na. Psychologen hebben hun deskundig oordeel verruild voor een oppervlakkige obsessie met cijfers, schrijft Chambers bezorgd en verontwaardigd.

Hun vakbroeders- en zusters uit de natuurwetenschappen doen het op alle terreinen stukken beter. De zondes zijn kennelijk inherent aan de psychologie, en aan de experimentele onderzoeksmethoden.

Chambers zelf is trouwens ook niet vrij van zonden, bekent hij schuldbewust. Twintig jaar geleden werd zijn eerste wetenschappelijke paper afgewezen. Zijn onderzoeksmethodes waren degelijk, maar zijn resultaten oninteressant, zo schreef een wetenschapper die zijn paper toetste.

Zijn supervisor probeerde hem op te beuren: ‘Je moet de reviewers een verhaal geven - iets waar ze opgewonden van raken - anders vinden ze je paper saai en wijzen ze het af.’

‘Maar de resultaten zijn de resultaten,’ riep de jonge Chris Chambers vertwijfeld. ‘Moeten we de data niet gewoon het verhaal laten vertellen?’

‘Zo werkt de wetenschap niet Chris,’ zei de supervisor. ‘Data vertellen geen verhalen, wetenschappers vertellen verhalen.’

Het was een beslissend moment in zijn carrière. Achteraf realiseert hij zich dat hij, net als andere wetenschappers, vele malen imperfecties heeft verdoezeld en nuances heeft weggelaten. ‘En ongetwijfeld op een onbewust niveau nog meer dan ik besef,’ schrijft hij gelaten.

 

Chambers haalt fel uit naar de wetenschappers die hun verzamelde data beschouwen als hun persoonlijk eigendom en weigeren ze als openbare bronnen te behandelen. Maar hij ontziet ook de wetenschappelijke tijdschriften niet, die er - op een enkele uitzondering na, zoals PLOS, een ‘tabloidcultuur’ op nahouden. De kritische neurowetenschapper spuit zijn gram over de ‘neofilie’ van gerenommeerde tijdschriften als Nature en Brain, die alleen artikelen publiceren die nieuw en boeiend zijn. Positieve en nieuwe bevindingen winnen het zo van negatieve en ware onderzoeksresultaten.

De eerste doodzonde is meteen de meest voorkomende tekortkoming van de psychologie en ook het moeilijkst uit te roeien: de confirmaton bias, de oermenselijke neiging om bewijs te zoeken dat strookt met onze overtuigingen, terwijl we bewijs dat daarmee in tegenspraak is, ontkennen of zelfs ontkrachten. Bovendien bevestigen we liever een hypothese, dat dat we haar proberen te falsifiëren. Onderzoekers martelen hun data net zo lang totdat er publiceerbare uitkomsten uitkomen, en dat is geen incident, maar een collectieve gewoonte. ‘Verborgen flexibiliteit’ noemt Chambers dit: een mooi woord voor het net zo lang aanpassen van de data - toevoegen of verwijderen - totdat ze statistisch significant zijn, ook wel p-hacking genoemd. En iedereen doet het, zo bleek in 2012 uit een enqueÌ‚te onder 2000 Amerikaanse psychologen. 100 procent van de psychologen gaf toe ten minste één keer data  te hebben verwijderd na de impact daarvan te hebben ingeschat.

De psychologie zou zichzelf moeten corrigeren en dus replicatie van onderzoeken moeten stimuleren, vindt Chambers. Maar replicatie is taboe: van alle duizend in de psychologie gepubliceerde papers proberen er slechts 21 een eerder experiment te repliceren, en van die 21 wordt slechts één daarvan uitgevoerd door een ander, onafhankelijk onderzoeksteam.

 

De 7 doodzondes van de psychologie is trouwens ook interessant voor niet-psychologen, vooral omdat zo duidelijk wordt beschreven wordt hoe gemakkelijk je als onderzoeker in de verleiding kunt komen om met kleine aanpassingen betere resultaten te krijgen. En bij vlagen leest het zelfs als een spannend boek, zeker als data-detective Uri Simonsohn ten tonele verschijnt. Deze Amerikaanse onderzoeker spoorde verschillende fraudes op, onder andere die van Dirk Smeesters van de Erasmus Universiteit. We lezen hoe een te mooi patroon in de standaarddeviaties Simonsohn alarmeerde en hoe hij de fraudeur kon ontmaskeren doordat hij de ruwe data kon inzien, iets wat helaas weinig onderzoekers willen.

Fraude is ook een doodzonde en daarin spant Diederik Stapel de kroon met zijn extreme datavervalsing. Het lijkt misschien alsof fraude het werk is van een paar rotte appels, maar Chambers laat overtuigend zien dat het systeem waarbinnen die rotte appels functioneren, zelf zo lek is als een mandje. Waar ligt de grens tussen bedenkelijke praktijken - zoals de wetenschapper die 100 observaties verzamelt en er 80 terzijde legt die niet stroken met zijn hypothese -  en de fraude van Stapel?’ vraagt hij zich vertwijfeld af.

Gelukkig blijft het niet bij kritiek alleen, maar doet Chambers ook suggesties om de cultuur te verbeteren en de zondes uit te roeien. Openheid en toegankelijkheid staan daarin centraal: openheid om data te delen met anderen, om replicatie mogelijk te maken, en weg met de betaalmuren waarachter al die prachtige onderzoeksverhalen zijn opgeborgen.

Zie dit boek niet als een aanval op de verdedigers van de status quo, schrijft Chambers ten slotte, ‘maar als een interventie op onszelf en een missie voor zelfverbetering.’ En zo is het.

 

Chris Chambers,  De 7 doodzonden van de psychologie. Pleidooi voor een cultuuromslag in de wetenschappelijke praktijk. Scriptum.  Uit het Engels vertaald door Vanja Walsmith. Illustraties door Anastasiya Tarasenko. 302 pagina’s. € 29,99.

 

Deze recensie is verschenen in het voorjaarsnummer van Skepter 2019.

 

 

Recenties

Muziek

Toen Jos Kessels na decennia terugkeerde naar het dorp van zijn jeugd, om de begrafenis van zijn tante bij te wonen, herkende hij zijn eigen herkomst niet...

De kunst van goed leven

Wie gelukkig wil worden, moet geen spullen meer kopen. Je wordt immers niet blij van dingen, maar van ervaringen. Schrap schuldgevoelens en afgunst uit...

Wij zijn slim

Het afgelopen jaar onderzocht Suzanne Weusten mentale uitglijders, variërend van kleine misgrepen tot grote ontsporingen. Ze schreef er een boek over. In...

Veerkracht

Sheryl Sandberg en haar man Dave Goldberg maken een trip naar Mexico om de vijftigste verjaardag van een vriend te vieren. Maar het weekend waarop ze zich...

De kracht van geld

  Ruzie over geld is de belangrijkste reden voor echtscheiding, zo concludeerden Amerikaanse onderzoekers in 2012, nadat ze zeven jaar lang 4500...

Gelijkhebben

    De afgelopen vijf jaar hebben we meer informatie geproduceerd dan gedurende de gehele geschiedenis van de mensheid. Goed om te weten, maar...

Hersenbeest

Wie herinnert zich niet het eerste moment van zelfbewustzijn, het besef dat je jezelf tegelijkertijd kunt ervaren én beschouwen. Je leeft van binnenuit...

Parkinson

Ik heb geen haast meer, denkt Henk Blanken, wanneer hij op 21 juni 2011 te horen krijgt dat hij ziek is. Tot dan toe heeft de ambitieuze journalist geleefd...

Beroofd van identiteit

In een samenleving waarin succes wordt bepaald door prestaties, is het rampzalig om je baan kwijt te raken. Wie zijn werk verliest, verliest zijn identiteit....

Haring aan de Seine

Marjoleine woont op kamers in Amsterdam als ze de vijftien jaar oudere Boy leert kennen, een stoere zelfverzekerde ex-ondernemer die net zijn vrouw en...

Vreemdgaan

  We leven in het tijdperk van de romantische liefde. Het volmaakte stel van nu zoekt alles bij elkaar: de geliefden zijn trouwe en loyale zielsverwanten...

Gelukkig oud worden

In zijn laatste levensfase voelt de mens zich gelukkiger dan in zijn jonge jaren. Wisten we dit maar eerder, dan hoefden we niet bang te zijn om oud te...

Relatietherapie

      Het beste recept voor een gezond en gelukkig leven is een goede relatie. Maar wat doe je als de liefde rafelrandjes krijgt of in...

Hoe de zwakken sterk worden

Een van de beroemdste gevechten uit het Oude Testament is de tweekamp tussen David en Goliath. Wat niemand verwachtte, gebeurde. De herdersjongen versloeg...

De dromenwever

Dromen interesseerden hem nauwelijks, zelfs zijn eigen schaarse dromen lieten hem koud. Totdat een vriendin hem vroeg of hij eens kon uitzoeken wat er...

Denkfouten

Op zoek naar pumps ontdekte ik in de uitverkoop een mooie aanbieding: het tweede paar schoenen voor de helft van de prijs. De zon scheen, de schoenverkoper...

Wachten op geluk

Het wachten op zijn kind kleurde de dagen van Coen Simon. Maar waarop wachtte hij eigenlijk? Dat weet je pas achteraf, als je vader wordt. Geldt dat niet...

Typisch testosteron

Wil je nog langer slaaf zijn van je testosteron of wil je je bevrijden uit de greep van je geslachtshormonen en een nieuwe man worden? In Typisch testosteron...

Wilskracht

Wie succes nastreeft, gezond wil blijven en een gelukkige relatie ambieert, heeft meer aan wilskracht dan aan intelligentie.   De Amerikaanse stuntman...

Iedereen liegt, behalve ik

Waarom vinden we de ene leugen aanvaardbaar en de andere niet? Jaren geleden sprak een piekfijn geklede vrouw me beleefd op straat aan. Of ik haar een...

Jessica Stern - Ontkenning

Terrorisme-expert Jessica Stern heeft een fascinatie voor gewelddadige mannen, haar verkrachter inbegrepen.   Jessica Stern is vijftien jaar oud...

Sherry Turkle - Alone Together

De moderne mens communiceert zich suf, maar heeft steeds minder contact. De mobiele telefoon is een verlengstuk van ons lichaam geworden. Kinderen die...

Roos Vonk revisited

Of ik achteraf nog achter de vijf sterren sta die ik op 18 juni in Boeken gaf aan Menselijke gebreken voor gevorderden van de Nijmeegse hoogleraar Roos...

The Social Animal

Wie denkt dat de mens primair het product is van zijn bewuste denken, heeft het mis. Het grootste deel van onze beslissingen verloopt onbewust, zo houden...

Menselijke gebreken

In ons binnenste huist een spin doctor die er voortdurend voor zorgt dat de buitenwacht een positief beeld van ons heeft. Mocht er onverhoopt een barstje...

Breinboeken

Het lijkt wel alsof de aandacht voor het verbeteren van ons brein toeneemt naarmate computers sneller en slimmer worden.  Maar waarom willen we veel...

Uitblinkers

We geloven maar al te vaak dat iemands succes het resultaat is van talent, persoonlijkheid en individuele verdiensten, schrijft de Canadese wetenschapsjournalist...

Van oor tot oor

Waar zit het ego eigenlijk?  Waar bevindt zich het alerte zelf?  Met die vragen begint Van oor tot oor, een ontdekkingsreis door het hoofd.  De...

In Darwins woorden

Charles Darwin was als kind een middelmatige leerling. ‘Ik geloof dat al mijn leraren en mijn vader mij beschouwden als een doorsnee jongen met een...

Misleid door toeval

Ruim voordat vorig jaar de kredietcrisis uitbrak, voorspelde filosoof, essayist en hoogleraar onzekerheidskunde Nassim Nicholas Taleb dat de door de overheid...