Onderzoekers: 'AERIUS/OPS moet uit de lucht vanwege ondermaatse prestaties'
In maart stelde het RIVM, naar aanleiding van een Wob-verzoek van Jan Cees Vogelaar, de validatiestudies van het OPS-model beschikbaar. In totaal waren dat er vier. Hanekamp, ook voormalig lid van de commissie Hordijk, en Briggs hebben die de afgelopen maanden onderzocht. Daarbij keken de onderzoekers onder andere naar de validatiesystematiek en in hoeverre AERIUS/OPS ‘skill’ (voor uitleg begrip zie kader) heeft.
De hoofdconclusie van de twee is dat AERIUS/OPS 'onmiddellijk uit de lucht moet worden gehaald'. AERIUS/OPS is onbruikbaar voor de doeleinden die overheden toekennen aan dit model. Daarvoor verwijzen Hanekamp en Briggs naar een aantal redenen over de waarom-vraag achter de hoofdconclusie.
De eerste reden is dat de gedane validatiestudies melden dat AERIUS/OPS ondermaats presteert (‘performs poorly’). Hanekamp noemt dit in zijn blog 'opzienbarend', gezien het feit dat AERIUS/OPS, ondanks deze vroegtijdige negatieve kwalificatie, toch in gebruik is genomen en nog steeds in gebruik is.
De tweede reden is dat AERIUS/OPS minder goed presteert dan een simpeler model dat alleen gemiddelde atmosfeer concentraties berekent; het simpelere model ‘presteert’ beter dan AERIUS/OPS, waarmee OPS dus geen skill heeft.Ook kwamen de onderzoekers erachter dat de toetsingscriteria om AERIUS/OPS te verifiëren ondermaats zijn. Hanekamp noemt deze criteria ‘te makkelijk’, waarmee AERIUS/OPS veel te snel als ‘acceptabel’ is bestempeld'.
Aanscherping conclusies
Mogelijk volgt er binnenkort nog een aanscherping van de conclusies als ze de onderliggende data van de vier valididatiestudies van het RIVM krijgen. Deze zijn nog niet aan Hanekamp en Briggs beschikbaar gesteld.
Bekijk een samenvatting op de blog van Jaap Hanekamp
Bekijk de hele studie op Researchgate
Wat wordt bedoeld met 'skill'?
Een ‘geavanceerd’ model wordt skill toegekend als het in competitie met een simpeler model beter presteert in het voorspellen van nieuwe meetwaarden dan het simpelere model, in het geval dat beide modellen getest worden met scherpe toetsingscriteria.
Skill toetsing wordt toegepast in de analyse van wetenschappelijke modellen zoals bijvoorbeeld in de meteorologie. In de meteorologie is skill van modellen van belang voor het nauwkeurig voorspellen van temperatuur, windsnelheden en neerslag.
In de context van skill leidt het er in dit geval toe dat een simpeler concurrend model, dat alleen gemiddelden berekend, het vrijwel altijd wint van AERIUS/OPS met als gevolg dat AERIUS/OPS geen skill heeft en daarom ook niet gebruikt zou mogen worden.
