P hacking

Glenn Begly, 10 jaar hoofd kankeronderzoek van het bio technologie bedrijf Amgen, besloot te proberen de belangrijkste studies over kankeronderzoek te reproduceren. Hij identificeerde 53 studies in de meest toonaangevende publicaties van de meest toonaangevende laboratoria. Van die 53 studies konden er slechts 6 gereproduceerd worden.

Vrijspreker: Dat is niet veel. Hoe kan dat?

Opperdienaar: Het is niet dat het fraudeurs zijn of zo, maar wetenschap is gewoon heel moeilijk en er komen vele variabelen bij kijken, zodat je een oorzaak gevolg verband niet zo maar bewezen hebt. Een gelijksoortige studie van Bayer liet een zelfde soort resultaat zien. Zowel het menselijk lichaam, het immuunsysteem, de economie en het klimaat, zijn hele ingewikkelde systemen. Een denkfout is gemakkelijk gemaakt.

Verder zijn wetenschappers niet alleen afhankelijk van publicaties en geld, het is ook erg vervelend als een theorie die in je brein ontsproot, na alle moeite die je er in stak, niet door de data bewezen wordt.

Vrijspreker: Wacht eens even, dat klinkt toch verdacht veel als fraude.

Opperdienaar: Het wordt ook wel ‘P hacking‘ genoemd. De P waarde is kans dat de nul hypothese waar is gegeven de test data. Dus de nul hypothese is dat het medicijn niet werkt en als de kans dat deze hypothese waar is, gegeven de test data, beneden de 0.05 is, dan wordt gesteld dat de nul hypothese verworpen kan worden en het medicijn werkt.

Maar stel nu dat je de 0.05 net niet haalt, dan is het verleidelijk nog even te kijken naar dat ene geval. Misschien moet je die er uitlaten, dat was een patiënt die eigenlijk een geval apart was met meerdere klachten. Hee, kijk, de P waarde is opeens onder de 0.05. De psycholoog Uri Simonsohn van de Universiteit van Pennsylvania heeft dit verschijnsel p-hacking genoemd.

Het wordt ook wel ‘het martelen van de data totdat deze bekent’ genoemd.

Vrijspreker: Is dat te bewijzen?

Opperdienaar: Jazeker, als je een heleboel studies bekijkt, variërend van politieke wetenschap tot economie en sociologie, dan zie je de P waardes opeens verdacht oplopen bij de 0.05. Dat is de handtekening van ‘P hacking’. Het is net als banktransacties die opeens een piek vertonen bij 9999 euro, omdat bij 10.000 speciale controles plaatsvinden. Wetenschappers porren de data en de onderzoeksmethode om de P waarde aan de goede kant van de 0.05 te krijgen.

Vrijspreker: Economen van de Oostenrijkse school hebben een grote weerzin tegen statistiek voor economische wetenschap, ze vertrouwen op a priori waarheden, logica en consistentie.

Opperdienaar: Dat is het grote methode geschil tussen de reguliere economen en de Oostenrijkse economen. De laatste geloven bijvoorbeeld dat als je een minimumloon instelt van 10 euro/uur, dat dit betekent dat alle mensen wiens productiviteit onder de 10 euro/uur zit, op termijn hun baan verliezen. Als je het minimumloon verhoogt tot 1000 euro/uur, is die termijn zelfs heel kort. Reguliere economen zeggen dan: “hoho, niet zo snel, het is heel ingewikkeld en dat kun je wel zo bedenken, maar je weet het pas zeker als je het meet”. Dan gaan ze met statistiek aan de gang om de werkeloosheid te vergelijken voor en na de invoering van het minimumloon en in regio’s waar het minimumloon wel en niet is in gevoerd.

Vrijspreker: Dan vinden ze zeker dat het niet klopt?

Opperdienaar: Inderdaad, wij van de staat vinden deze methode dan ook veel bruikbaarder, want er is veel meer mee te sjoemelen. Zelfs na al het gesjoemel heb je meestal alleen nog maar een correlatie en geen oorzaak gevolg verband, maar daar let niemand op.

Alleen met deze methode kun je werkgevers hebben die tegelijkertijd:

-Op winstbeluste graaiers en uitbuiters zijn

-Iemand in dienst houden waar ze gedwongen verlies op maken

Dat is met de logica van de Oostenrijkse methode niet mogelijk, maar de statistiek wijst het uit: kijk maar P=0.05. Er is gecorrigeerd voor van allerlei en nog wat verschillen, dat zou het minimumloon moeten isoleren.

Vrijspreker: Ik kan begrijpen dat de heersers en de economen liever met statistiek werken dan met logisch nadenken en consistentie.

Opperdienaar: Het geeft ons gewoon wat meer vrijheid om te bewijzen wat we toch al weten dat waar moet zijn.

John Joannides schreef in 2005 een paper getiteld “Why most published research papers are false”, waarin hij probeert aan te tonen aan de hand van het voorbeeld van schizofrenie, dat het aantal genen dat van invloed is op schizofrenie zo klein is tov het aantal genen dat niet van invloed is, dat het goed mogelijk is door puur toeval genen te testen die geen invloed hebben en toch door de P test heen te komen.

Neem ook dit onderzoek: Van getrouwde vrouwen in hun vruchtbare periode steunde 44.4% presidentskandidaat Mit Romney, terwijl van de vrouwen buiten hun ovulatie periode slechts 23.4% Mit Romney steunde. P=0.03

Vrijspreker: Waar! Feit!

Opperdienaar: De overheid martelt nu dus ook data via hun wetenschappers. Wetenschappers worden tenslotte geloofd.