Ontluisterende audit van de Corona-modellen van het RIVM

De superlatieven kunnen bijna niet op.

8-11-2023

Ontluisterende audit van de Corona-modellen van het RIVM

Samenvatting van het artikel

Op de website van het RIVM staat het rapport van een internationale audit-commissie, die het werk van de modelleurs van het RIVM, tijdens de Coronaperiode,heeft beoordeeld. Als je weet wat er echt gebeurd is rondom die modellen (geheim gehouden en slechte voorspellingen) dan val je van je stoel bij het lezen van dit rapport. De superlatieven vliegen je tegemoet. Fritsander Lahr, die een rechtszaak heeft moeten voeren, om cruciale data van het RIVM te krijgen, beschrijft wat hem in het rapport is opgevallen,

Lees volledig artikel: Ontluisterende audit van de Corona-modellen van het RIVM

Leestijd: 5 minuten

Ontluisterende audit van de Corona-modellen van het RIVM

Dit artikel is geschreven door ir. Fritsander Lahr. Hij is MSc. in statistiek. Hij heeft eind september 2020 een WOB-verzoek ingediend om de beschikking te krijgen over de broncode van de modellen van het RIVM en de gebruikte data, aannames en validaties. Dat werd geweigerd. Maar in februari 2023 gelastte de rechter dat die informatie wel aan hem moest worden geleverd. Hier heb ik erover geschreven.   In juli jl. kreeg hij uiteindelijk informatie, maar dat was in een dusdanige vorm, dat het niet via de computer verwerkt kon worden.

Hij heeft het auditrapport bestudeerd dat uitgebracht was over het modelleerwerk van het RIVM. Zijn schokkende bevindingen treft u hieronder aan.

Niet transparant

Er is een auditrapport verschenen over de activiteiten van de modelleergroep van het RIVM sinds begin 2020. Naast een aantal Nederlandse wetenschappers, staan ook diverse internationale vermeld, die blijkbaar achter inhoud van dit auditrapport staan.

Maar ik heb me heel erg verdiept in de modellen. En ben ook vanaf september 2020 bezig geweest om de modelcode en de inputdata van het model te krijgen om zo na te gaan hoe het kan dat het model gigantische ziekenhuisopnames voorspelde voor mei en juni 2020, terwijl de cijfers toen in werkelijkheid sterk waren gedaald. Maar men was niet bereid om die informatie te verstrekken na mijn WOB-verzoek. En pas toen de rechter in februari 2023 uitsprak dat die informatie wel verstrekt moest worden gebeurde dat pas in juli en augustus. Maar dan nog op een manier geleverd dat ik er verder niets mee kon doen.

Juist daarom heb ik met grote aandacht dat auditrapport gelezen en ik viel van de ene verbazing in de andere. Het is louter een lofzang op het geweldige werk van de modelleergroep van het RIVM. Waarbij beweringen gedaan worden, die verbijsterend zijn. Het lijkt wel alsof de modelleergroep zelf een reclamebrochure heeft mogen schrijven over hun werk en de auditgroep ongezien zijn handtekening heeft gezet.

Voorbeelden

Ik kom met een groot aantal voorbeelden, maar begin met datgene waarvoor ik een rechtszaak heb gevoerd en gewonnen. Het aanleveren van het model, de data, aannames en validaties.

Dit staat in het rapport over het transparant zijn van de modelleergroep van het RIVM.

Het RIVM zou substantiële inspanningen hebben verricht om het model en de data openbaar te maken. In werkelijkheid werd een WOB-verzoek afgewezen en pas na een rechtszaak werd de modelsource en de data aangeleverd, maar NIET op een bruikbare digitale wijze, zodat ook niet het model in een computer kon worden nagebootst.

Dit is representatief voor de wijze waarop de auditgroep heeft geopereerd. En het is bijna gênant om alle superlatieven over de grootse prestaties van de modelleergroep te lezen. Een aantal licht ik er hier uit. (Op een aantal onjuistheden in dit rapport kom ik in volgend artikel nog terug).

Zoals Prof. Ronald Meester, een specialist in modellen, al aangeeft in deze post op LinkedIn worden door de auditgroep de juiste vragen niet gesteld en de antwoorden niet gegeven.

Lofzang

Een kleine opsomming van de lofzang in het rapport

Onder Human resources is te lezen:

De prestaties waren excellent van de opmerkelijk kleine modelleerteams.

En de mensen hadden een ongekend hoge academische reputatie.

En volgens de audit hebben de modelleurs voortdurend de onzekerheden in hun analyses en outputs meegenomen. Dit zou best kunnen, maar bij het publiek kwamen die onzekerheden niet terecht en bij alle “experts die aan het woord werden gelaten in de media al helemaal niet.

En het werk was van excellente kwaliteit, zeker als het vergeleken werd met vergelijkbaar werk in andere landen. (Zouden de rapporteurs ook niet weten dat we in Nederland als enige land een lockdown hebben gehad eind 2021 op basis van het model van het RIVM, dat er met zijn voorspellingen enorm naast zat?)

En tenslotte nog een lofzang op de hoge kwaliteit, dankzij de nauwe samenwerking tussen de modelleers en de epidemiologen:

De superlatieven kunnen bijna niet op.

(Fascinerend daarbij is dat als onderliggend document voor de audit een zelf-evaluatie rapport van het RIVM gebruikt wordt. Dit rapport staat ook op de website van het RIVM en kent als auteurs de bekende namen van het RIVM, zoals Van Dissel, Van Hof en Wallinga. Als je dat leest herken je veel van hetgeen in het auditrapport staat beschreven. Kortom: het oordeel van de audit-commissie is vooral gebaseerd op de eigen verslaglegging van het team dat geaudit is).

Voorspellende kwaliteit

Het belangrijkste van modellen is natuurlijk de voorspellende kwaliteit. En als je het audit-rapport leest vliegt de audit-commissie daarbij helemaal uit de bocht. Ik heb sommige delen drie maal moeten lezen, omdat ik mijn ogen niet kon geloven. Dit staat er over dit onderwerp.

Maar de vraag is natuurlijk wel hoe heeft men vastgesteld dat de modellen heel accuraat waren tot redelijk goed?

Allereerst staat dat het model is vergeleken met die van twee andere organisaties (TNO en LCPS). Nog los van hoe die modellen van die andere organisaties er dan uitzagen, is het vergelijken van het ene model met een ander model geen validatie van een model.

En wat er vervolgens verder beschreven staat, dat men wel vergelijkingen heeft gemaakt tussen voorspellingen en realisatie is nooit openbaar gemaakt!

In mijn WOB-verzoek had ik specifiek om deze validatie gevraagd, maar ook drie jaar later niet ontvangen.

Vervolgens staat er dit in het rapport.

Maar waren die modellen dan wel goed? Die vraag werd noch gesteld, noch beantwoord.

Ook deze zin wordt niet onderbouwd en gezien de ervaring met de kwaliteit en beschikbaarheid van de Nederlandse data vraag je je af hoe slecht de kwaliteit dan wel in die andere landen moet zijn geweest.

De kwaliteit van een model kan niet afgemeten worden aan de uitkomsten van een ander model, maar alleen maar met de ontwikkelingen in de “real world”. En er zijn veel voorbeelden van hoe mis het RIVM het heeft gehad, zoals deze grafiek laat zien van het model dat in december 2021 tot de unieke lockdown heeft geleid.

Maar ook in dit deel van het rapport vliegen de superlatieven in het rond:

Blackbox

Cruciaal is dat bij het maken van modellen, die een zeer belangrijke rol spelen bij beleid, dat zowel de broncode van het model, als de gebruikte data en aannames openbaar zijn. Zodat anderen goed kunnen analyseren hoe het model werkt en welk effect de verschillende aannames hebben op de uitkomst. Dan is het ook mogelijk dat andere deskundigen suggesties kunnen doen voor verbeteringen van het model.

Maar dat is niet het geval geweest bij het model en de modelleurs van het RIVM. Zij hebben zich met hand en tand verzet tegen die openbaarmaking, zoals ik aan den lijve heb ondervonden. Het WOB-verzoek werd afgewezen. En er was een rechtszaak voor nodig, inclusief het bezoek van de rechters aan het RIVM, om informatie geleverd te krijgen. Informatie, die niet in bruikbare digitale vorm werd aangeleverd, maar op een dusdanige wijze dat ik niet in staat was te reconstrueren wat de modelleurs nu echt hadden gedaan.

Hoezeer de auditcommissie zich een oor heeft laten aannaaien (of niet in de feiten was geïnteresseerd) betreft het volgende punt.

De code (of scripts), die in een model wordt gebruikt, mag geen privacygevoelige informatie bevatten, omdat anders er geen mogelijkheid is dat externe partijen het uitgevoerde werk kunnen reproduceren. Dit staat erover in het audit-rapport

Men is heel positief over de wijze waarop een en ander geprogrammeerd is, zodat de code geen privacy-gevoelige informatie bevat, of dat deze informatie makkelijk kan worden verwijderd.

Het is pover gesteld

Besef dat zowel bij de WOB-procedure het belangrijkste argument was waarom de informatie niet geleverd kon worden was dat het geheel privacy-gevoelige informatie bevatte.

Je vraagt je af of die internationale deskundigen alleen hun handtekening hebben gezet onder een audit-rapport die een aantal Nederlanders hebben gemaakt of dat het audit-rapport weergeeft hoe pover het gesteld is in de wereld van de modelleurs. Dat men door het werk van de RIVM-modelleurs zo op te hemelen ook het eigen werk boven iedere kritiek verheven acht.

U heeft zojuist gelezen: Ontluisterende audit van de Corona-modellen van het RIVM.

Volg Maurice de Hond op X | Facebook | LinkedIn | YouTube.

Deze website opereert dankzij de financiële steun van de bezoekers en kent geen paywall of adverteerder. Klik hier als u een (kleine) donatie wilt geven. Onze dank is groot.

Maurice de Hond