In m’n artikel over het CPB meisje kondigde ik aan uitleg te zullen geven over het maar al te vaak onjuist gebruiken van cijfers en getallen. Nou, daar komt ie.
Wij mensen hebben een enorme behoefte om zaken in hokjes te stoppen. Bij voorkeur uitgedrukt in een cijfer. Lekker alle nuancering er uit. Dat begint vaak al bij de eerste schoolrapporten op heel jonge leeftijd. Hoe uitgebreid een verslag over een kind ook is, op een zeker punt vragen de ouders (of grootouders) toch: “En als ik het in een cijfer moet vertalen?” (Behalve natuurlijk wanneer het cijfer, denk aan de CITO toets, je niet uitkomt……..)
En dat gaat nooit meer over. Politici, media, consumenten en beslissers slaan bij voorkeur een geheel rapport over om te komen bij dat ene cijfer wat de uitkomst ”is”. Om vervolgens met dat cijfer in de hand te zeggen “zie je wel”. Dat cijfer gaat vervolgens een geheel eigen leven leiden. Dat ene cijfer. En dat cijfer wordt vervolgens te pas en te onpas gebruikt, vaak voor situaties waar het cijfer überhaupt niet voor bedoeld is. Of om tot een conclusie te komen die helemaal niet uit dat cijfer af te leiden is. Dat deed dus ook het CPB meisje.
Ik heb een mooie anekdote: “In de 2e wereldoorlog werden er wel erg veel Engelse vliegtuigen neergeschoten. Om dat enigszins te voorkomen dacht men aan een betere bepantsering. Maar dat kon natuurlijk niet overal, want dan werd het vliegtuig te zwaar. Dus ging men kijken naar de plekken waar de kogelgaten zaten” (straks het vervolg)
Wat kun je dan wel met cijfers en onderzoeken? Allereerst moet je vaststellen wat de cijfers en de uiteindelijke uitkomst niet (!) zeggen. En waarvoor je de uitkomst niet kunt gebruiken. Vervolgens moet je vaststellen waar je risico’s op onzorgvuldigheid en manipulatie zitten. Dan kom je bij aannames en selectie effecten. Beide hebben een zeer grote kans op (persoonlijke) vooringenomenheid, momentopname, a-selecte groepssamenstelling, onterechte extrapolatie en generalisatie. Dit kan nog vergroot worden wanneer er door personen uit de selectie antwoorden worden gegeven (men zegt vaak iets anders dan wat men werkelijk gaat doen). Bedenk dan ook dat veranderingen in de selectie onjuiste vergelijkingen geven (in feite heb je maar eenmaal (!) een klantenbestand).
Bedenk je nu ook dat ik het over een relatief simpele opgave heb. Wanneer je het over datamining of big data hebt, dan wordt het niet alleen veel complexer, maar kom je ook in een black box (dus niet zomaar terug te redeneren).
Ergo: De uitkomst van een onderzoek, uitgedrukt in één getal, is dus omkleed met heel veel afhankelijkheden en behoeft nuancering. Dat ene getal is vervolgens een hulpmiddel bij het nemen van beslissingen (en niet meer dan dat) mits onderzoek en doel zich juist tot elkaar verhouden. En bij het publiceren van dat getal moet je je bewust zijn van de manier waarop alles en iedereen ongenuanceerd met dat getal om zal gaan.
Het CPB meisje heeft helaas geprobeerd binnen 30 seconden een conclusie te ventileren die ze 1 op 1 door vertaalde naar een beleidswijziging. Dat kan dus niet, zo moge duidelijk zijn.
O ja, het vervolg van de anekdote: “Men was bijna zo ver om de toestellen extra te bepantseren op de plekken waar men de gaten waarnam. Tot iemand bedacht dat het er om ging waar de gaten niet (!) zaten……………………………..”
Denk daar maar eens over na.
Dus wordt vooral heel voorzichtig wanneer mensen het over “harde cijfers” of over “fact based” hebben. Zelfs vele professoren vliegen hiermee de bocht uit volgens van der Vaart. Dat is waarom deze statisticus, professor Aad van der Vaart, de Spinoza premie heeft gekregen. “Zinvolle analyse van vloedgolven aan data vergen nieuwe statistische technieken”. Ik weet dat nu. En jullie ook……Maar weet iedereen dit?
Wanneer je in de toekomst een getal ziet, bij voorkeur met veel cijfers achter de komma, en helemaal wanneer dat cijfer een prognose is, of wanneer dat cijfer op zich het bewijs zou zijn voor bepaalde beslissingen, denk dan nog even terug aan wat je net gelezen hebt. Er bestaan goede deskundigen, maar helaas ook vele opportunisten (en die laatsten zitten vooral bij de media).
Graag zal ik op je reacties reageren.
Rob Franse, met dank aan Jeroen, 18 juni 2015