05 april 2016

De weervoorspellers van de psychologie

De helft psychologische studies bevat statistische fouten, lees ik in een Nederlandse krant. Waaarom ben ik niet verbaasd. Vijfenveertig jaar zit ik in dit vak en toen ik er aan begon stond de psychologie nog in haar kinderschoenen. We kregen als student in de rechten les van een professor die zijn carrière gebouwd had op twee boekjes: Moord en Dubbelzelfmoord. Nu zou deze op zijn best omschreven worden als het werk van een morbide fantast. Toen was het verplichte vakliteratuur en hij en zijn uitgever werden elk jaar beter van zijn verzamelde fantasmen. Achteraf bleek de man net als Freud alles, maar dan ook elke case study, verzonnen te hebben.

Het zijn zware tijden voor psychologen. De uitkomsten van het onderzoek gelden voor de sociale, klinische en experimentele psychologie, lees ik. Vooral sociaal psychologen misbruiken onderzoek om de samenleving bij te sturen. Tiens, zou enige linkse flinksigheid daarbij een rol spelen? Ach, een eindje verder in een ander weekblad lees ik dat wetenschappelijke tijdschriften vaak psychologische studies met onjuistheden publiceren. Bij de helft van de studies zijn statistische fouten gemaakt. Bij één op de acht studies gaat het om grote onzorgvuldigheden in de cijfers, waardoor de statistische uitkomsten onjuist zijn. Dat concludeert de Tilburgse onderzoeker Michèle Nuijten, na een steekproef met dertigduizend artikelen. Nuijten onderzocht de studies niet handmatig, maar gebruikte een instrument dat de statistische onderdelen toetste. Voor deze studie ontwikkelde Nuijten, samen met Sacha Epskamp van de Universiteit van Amsterdam, een instrument dat statistische onvolkomenheden in studies opspoort, statcheck. Dat werkt ongeveer zoals de spellingschecker die op spelfouten controleert. Handmatig is het lastig 30 duizend studies na te pluizen. Statcheck controleert het statistische deel waaruit moet blijken of de gevonden effecten in een experiment wel of geen toevalstreffer zijn. In papers die claimden dat het gevonden effect geen toeval was, zaten vaker ernstige fouten dan in studies die niet boven de toevalligheidsgrens uitkwamen.

De Tilburgse psycholoog Jelte Wicherts deed in 2011 al soortgelijke heranalyses en kwam tot dezelfde bevindingen. In een geruchtmakende enquête onder tweeduizend psychologen gaven twee op de tien onderzoekers toe dat ze weleens data hadden weggelaten of bijgesteld. Er zijn onderzoekers die hun resultaten aanpassen aan hun conclusies in plaats van andersom. Er werd nagegaan of de conclusies van de experimenten niet op toeval waren gebaseerd. Niet dus.

De conclusies van Nuyten zijn de tweede klap in twee maanden tijd voor het psychologische vakgebied. Eind augustus bleek dat psychologische onderzoeken vaak onbetrouwbaar zijn. Het vakblad Science schreef toen dat slechts 39 procent van de studies betrouwbare resultaten genereren. Uit meer dan de helft van de experimenten kwamen andere onderzoeksresultaten toen ze gereproduceerd werden. Maar de linkse media lopen weg met de resultaten. Niet zelden is er sprake van wensdenken of bewijs over zaken die er -in de ogen van de onderzoeker- logischerwijs zouden moeten zijn. Misschien moet er eens een onderzoek gestart worden waarom voornamelijk linkse mensen deze vormen van "wetenschap" beoefenen.

Overigens is de kwaliteit van de statistiek in veel artikelen in medische tijdschriften niet veel beter dan die van de psychologen. Ook worden er regelmatig spelfouten gemaakt. Voor dat laatste kan ik moeizaam begrip opbrengen. Spellbinders en eindredacteuren zijn niet meer wat ze geweest zijn. het erge is dat vooral beleidsmakers hun beleid baseren op dit zogenaamd wetenschappelijk onderzoek. Het lijkt wel economie of metereologie: achteraf altijd een verklaring, altijd gelijk.  I rest my case.

Marc van Impe

 

Bron: MediQuality

17:46 Gepost door Marc van Impe | Permalink | Commentaren (0)

De commentaren zijn gesloten.