05 april 2016

De weervoorspellers van de psychologie

De helft psychologische studies bevat statistische fouten, lees ik in een Nederlandse krant. Waaarom ben ik niet verbaasd. Vijfenveertig jaar zit ik in dit vak en toen ik er aan begon stond de psychologie nog in haar kinderschoenen. We kregen als student in de rechten les van een professor die zijn carrière gebouwd had op twee boekjes: Moord en Dubbelzelfmoord. Nu zou deze op zijn best omschreven worden als het werk van een morbide fantast. Toen was het verplichte vakliteratuur en hij en zijn uitgever werden elk jaar beter van zijn verzamelde fantasmen. Achteraf bleek de man net als Freud alles, maar dan ook elke case study, verzonnen te hebben.

Het zijn zware tijden voor psychologen. De uitkomsten van het onderzoek gelden voor de sociale, klinische en experimentele psychologie, lees ik. Vooral sociaal psychologen misbruiken onderzoek om de samenleving bij te sturen. Tiens, zou enige linkse flinksigheid daarbij een rol spelen? Ach, een eindje verder in een ander weekblad lees ik dat wetenschappelijke tijdschriften vaak psychologische studies met onjuistheden publiceren. Bij de helft van de studies zijn statistische fouten gemaakt. Bij één op de acht studies gaat het om grote onzorgvuldigheden in de cijfers, waardoor de statistische uitkomsten onjuist zijn. Dat concludeert de Tilburgse onderzoeker Michèle Nuijten, na een steekproef met dertigduizend artikelen. Nuijten onderzocht de studies niet handmatig, maar gebruikte een instrument dat de statistische onderdelen toetste. Voor deze studie ontwikkelde Nuijten, samen met Sacha Epskamp van de Universiteit van Amsterdam, een instrument dat statistische onvolkomenheden in studies opspoort, statcheck. Dat werkt ongeveer zoals de spellingschecker die op spelfouten controleert. Handmatig is het lastig 30 duizend studies na te pluizen. Statcheck controleert het statistische deel waaruit moet blijken of de gevonden effecten in een experiment wel of geen toevalstreffer zijn. In papers die claimden dat het gevonden effect geen toeval was, zaten vaker ernstige fouten dan in studies die niet boven de toevalligheidsgrens uitkwamen.

De Tilburgse psycholoog Jelte Wicherts deed in 2011 al soortgelijke heranalyses en kwam tot dezelfde bevindingen. In een geruchtmakende enquête onder tweeduizend psychologen gaven twee op de tien onderzoekers toe dat ze weleens data hadden weggelaten of bijgesteld. Er zijn onderzoekers die hun resultaten aanpassen aan hun conclusies in plaats van andersom. Er werd nagegaan of de conclusies van de experimenten niet op toeval waren gebaseerd. Niet dus.

De conclusies van Nuyten zijn de tweede klap in twee maanden tijd voor het psychologische vakgebied. Eind augustus bleek dat psychologische onderzoeken vaak onbetrouwbaar zijn. Het vakblad Science schreef toen dat slechts 39 procent van de studies betrouwbare resultaten genereren. Uit meer dan de helft van de experimenten kwamen andere onderzoeksresultaten toen ze gereproduceerd werden. Maar de linkse media lopen weg met de resultaten. Niet zelden is er sprake van wensdenken of bewijs over zaken die er -in de ogen van de onderzoeker- logischerwijs zouden moeten zijn. Misschien moet er eens een onderzoek gestart worden waarom voornamelijk linkse mensen deze vormen van "wetenschap" beoefenen.

Overigens is de kwaliteit van de statistiek in veel artikelen in medische tijdschriften niet veel beter dan die van de psychologen. Ook worden er regelmatig spelfouten gemaakt. Voor dat laatste kan ik moeizaam begrip opbrengen. Spellbinders en eindredacteuren zijn niet meer wat ze geweest zijn. het erge is dat vooral beleidsmakers hun beleid baseren op dit zogenaamd wetenschappelijk onderzoek. Het lijkt wel economie of metereologie: achteraf altijd een verklaring, altijd gelijk.  I rest my case.

Marc van Impe

 

Bron: MediQuality

17:46 Gepost door Marc van Impe | Permalink | Commentaren (0)

10 juli 2012

Goochelaars

Ook al vliegt de leugen nog zo snel, de waarheid achterhaalt haar wel, zegt het spreekwoord maar dat geldt niet voor leugens die psychologen vertellen. Voor u naar mij uithaalt, dat is niet mijn conclusie maar die van professor Eric-Jan Wagenmakers van de universiteit van Amsterdam die zegt dat positieve resultaten in de wereld van de psychologie werken zoals geruchten: makkelijk te verspreiden moeilijk te ontkrachten. Ze halen de voorpagina in de vakpers, zijn dominant in het debat en wanneer ze herhaald moeten worden leidt dit vaak tot niets, maar daar verschijnt geen letter over of die wordt niet gelezen. “Er zijn experimenten van wie iedereen weet dat ze niet kunnen herhaald worden, maar dat haalt de literatuur niet,” zegt hij. Dat maakt het psychologisch onderzoek zo stevig als een kaartenhuis. Niet dus. Twee voorbeelden: vlakbij huis Diederik Stapel die de hufterigheid van vleeseters in scène zette. En ver van huis Robert Spitzer die beweerde dat hij holebi’s kon genezen middels een conversie therapie. Maar er is zoveel meer. John Ioannidis, een epidemioloog aan de Stanford School of Medicine in California stelt dat “de meeste gepubliceerde onderzoeksresultaten vals zijn.” Daniele Fanelli, socioloog aan de University of Edinburgh, stelt onomwonden dat psychologie en psychiatrie vijf maal onbetrouwbaarder zijn dan ruimtevaartkunde, de meest betrouwbare wetenschap. Fanelli onderzocht meer dan 4600 studies gepubliceerd tussen 1990 en 2007.  In 1959, had de statisticus Theodore Sterling al vastgesteld dat 97% van de studies in de vier belangrijkste publicaties eenzijdig positief waren. In 1995 was er niets veranderd. Statistisch gezien kàn dit niet. Een verklaring voor dit pathologisch leugenachtig gedrag is het feit dat de psycholoog of psychiater de nadruk legt op een “slightly freak-show-ish” resultaat, zegt Chris Chambers, een experimenteel psycholoog aan Cardiff University. “High-impact journals often regard psychology as a sort of parlour-trick area,” citeer ik hem letterlijk. De onderzoeker als goochelaar dus. Simmons weet waarover hij het heeft. In Psychological Science ‘bewees’ hij dat luisteren naar de song When I'm Sixty-four van The Beatles het leven van de luisteraar verkort met anderhalf jaar.  Ik kan u deze vakantie de lectuur van Nature in deze aanraden. Ondertussen kunt u met cognitieve gedragstherapie ongeveer alles genezen: een oorlogstrauma, chronische vermoeidheid, de pijn van het zijn en die tweet in uw oor. Veel leesplezier gewenst en een goede vakantie. En na een voorspoedige hemelvaart gezond weer op! You can never underestimate the stupidity of the general public, schreef Scott Adams in The Dilbert Future.
Marc van Impe

22:37 Gepost door Marc van Impe | Permalink | Commentaren (0)

10 juli 2011

Sushi

Ik doe niet aan kleine liefdes. Maar soms wordt grote weidse liefde smal. Een huis is als een oud lief. We gaan verhuizen. En dat betekent dat het oude huis gestaged moet worden, zoals dat tegenwoordig heet. Je verkoopt dus niet zomaar je geliefde pand, nee, voor je vertrekt moet je alles in scène zetten. Kadertjes van de muur en alle naakten in de kast, geen controversiële schedel onder een stolp. Alles akelig opgeruimd, alsof je net besloten hebt te overlijden en je je geliefden niet wil opzadelen met een grote opruimbeurt.

Waarom hebben we zoveel shit, roep ik , en bedoel eigenlijk, waarom heb jij zoveel troep? Natuurlijk zijn spullen allemaal waardevol en mag niets weg. Maar die oude Revu Médical de Liège? En al die Lancets met achterhaalde theorieën over maagzweren van meer dan 20 jaar geleden, die Neurology’s met fantastische thesissen rond Parkinson en Alzheimer, die Psychiatry today die nog niet wist wat ADHD was en voor alles een hysterische uitleg had en als dat niet pakte een analyse of twee, de BMJ waarvan we nu weten dat de toenmalige hoofdredacteur zich systematisch liet betalen door de sigarettenindustrie en er dus geen duidelijk verband was tussen tabak en roken. Allemaal evidence based nonsens. Het Belgisch Geneeskundig Tijdschrift? Lachen! En natuurlijk sla je aan het lezen. De kartonnen dozen blijven half gevuld als we besluiten er een flesje wijn bij open te trekken. Nee, dit mag echt niet weg, zegt de geleerde vrouw. Ze wijst naar mijn stapel 68-er sociologie die stijf staat van de politieke correctheid en de houdbaarheidsdatum al lang overschreden heeft. We lezen elkaar voor. Gezeten op het parket in de lentezon die door de ramen schijnt. De kater ligt wijdbeens in een warme straal van atomaire stofdeeltjes. Tegen de avond ben ik aan recenter werk gekomen. Ook al hopeloos gedateerd en van de hand van onaardige emeriti die nu meer door hun prostaat dan door hun wetenschap in beslag genomen worden. Mijn vrouw zegt: je moet aardig zijn tegen die onaardige mensen want die hebben aardigheid het hardste nodig.

Alle troep gaat de deur uit. Wetenschap is vernieuwen. Verhuizen is verjongen. Maar die twee rijen Freud en Jung houden we om onze kleinkinderen uit voor te lezen, ’s avonds voor het slapen gaan. Zoals we onze zoon voorlazen over de rol van enzymen en hoe je die namen kon herkennen. Je moet lief zijn voor je kinderen en kleinkinderen want zij zullen beslissen naar wel verzorgingstehuis je eventueel gaat. Freud en Jung mogen dus blijven. Zij zijn de surimi van de medische wetenschap. Het smaakt er naar. Maar het is wel nep. We gaan sushi eten.

Marc van Impe

10:54 Gepost door Marc van Impe | Permalink | Commentaren (2)