Algoritmes, implementaties en aanpassingen

Een kritisch rapport 

Nieuwsuur besteedde op 12 februari aandacht aan een kritisch rapport van de Inspectie Justitie en Veiligheid over het gebruik van algoritmes door Reclassering Nederland. Die algoritmes werden gebruikt om in te schatten hoe groot het risico is dat een veroordeelde opnieuw een strafbaar feit pleegt. Daarin werden volgens de inspectie echter grote fouten gemaakt, waardoor veroordeelden mogelijk te vroeg vrijkwamen of juist te lang vast bleven zitten. 

Volgens de inspectie ging het vooral mis bij de manier waarop het model OxRec in Nederland werd ingevoerd en gebruikt. Het model was oorspronkelijk ontwikkeld op basis van Zweedse gegevens. Bij de aanpassing van het model aan de Nederlandse situatie en bij de implementatie in Nederland ging het echter mis. Zo schrijft de inspectie onder andere: “De reclassering gebruikt het algoritme echter op een Nederlandse reclasseringspopulatie anno 2025 op zowel gedetineerde personen, niet-gedetineerde veroordeelde personen en verdachte personen.” 

Ook een aanpassing van het systeem in 2018 om beter aan te sluiten bij de Nederlandse situatie lost het probleem volgens de inspectie niet op. Het kritische rapport is de aanleiding voor Nieuwsuur om aandacht te besteden aan het systeem en de fouten die gemaakt zijn.  

Een ontevreden ontwikkelaar 

De ontwikkelaar van het oorspronkelijke model was het niet eens met de berichtgeving. Volgens hem wekte Nieuwsuur de indruk dat zijn model zelf ondeugdelijk was, terwijl de kritiek volgens hem vooral ging over de implementatie door de reclassering. Daarnaast vond hij dat de redactie te weinig meldde dat het model wel was getest en aangepast voor de Nederlandse situatie. De ontwikkelaar vroeg daarom om een rectificatie, maar de redactie wees die af.  

Volgens Nieuwsuur was er feitelijk niets aan het verhaal te corrigeren. Toch besloot de redactie om de professor enigszins tegemoet te komen. In het artikel kreeg de ontwikkelaar een weerwoord: "[...] één van de ontwikkelaars van OxRec, is het niet eens met de conclusies over zijn model. Het model is weliswaar ontwikkeld op basis van Zweedse data, maar later is het ook getest met Nederlandse gegevens. Of de recidivevoorspellingen uiteindelijk juist uitpakten, is volgens hem nooit onderzocht.” 

Deze aanvulling deed volgens de professor, en een Nederlandse collega die hem bijstond, geen recht aan de fouten uit het oorspronkelijke item in de uitzending van Nieuwsuur en het oorspronkelijke artikel. Zij legden de klacht uiteindelijk voor aan de Ombudsman met de vraag of de redactie met haar berichtgeving niet de fout in was gegaan door dingen weg te laten en door de feitelijke correctie weer te geven als weerwoord van de professor. 

De vereenvoudigde werkelijkheid 

Een journalistieke redactie kan niet alle details uit een rapport van tientallen pagina’s overnemen in een tv-item of online artikel. Om een groot publiek te bereiken, moet worden gekozen welke informatie essentieel is en welke nuance kan worden weggelaten. Die keuzevrijheid hoort bij de redactionele autonomie van een omroep. Een redactie bepaalt zelf wat wel en niet in een uitzending of artikel terechtkomt. 

Maar die vrijheid heeft grenzen. Vereenvoudigen mag de waarheid geen geweld aandoen. De Ombudsman zag na het bekijken van het item en het lezen van het artikel geen aanwijzingen dat Nieuwsuur een onwaar verhaal heeft neergezet: de fouten bij de reclassering, het kritische inspectierapport en de erkenning van die fouten door de reclassering waren correct weergegeven. 

Ook dat het hier ging om de toepassing van het model en de aanpassing die in 2018 was gedaan en niet om het oorspronkelijke model is voldoende duidelijk voor het publiek. Aan het begin van het item wordt door de geraadpleegde hoogleraar op het gebied van AI gezegd dat het model "nooit correct toegepast is." De voice-over zegt vervolgens dat er grote fouten gemaakt zijn "bij de software implementatie." Het is voor de kijker van Nieuwsuur dus duidelijk dat de fout (in elk geval deels) ligt bij hoe het model is ingevoerd en gebruikt en niet bij het oorspronkelijke model zoals dat ontwikkeld was voor de Zweedse situatie. 

In het artikel ligt dit iets genuanceerder. Daar zou een lezer kunnen concluderen dat het model zelf niet deugt. Daarin staat namelijk letterlijk: "Eén van die algoritmes, genaamd OxRec, voldoet op bijna geen enkel vlak aan de normen voor overheidsalgoritmes, concludeert de inspectie. In het algoritme waren cruciale formules verwisseld, drugsproblematiek zat niet goed in het model en ernstige psychische aandoeningen werden niet meegenomen."  

Hoewel dit klopt met wat er in het inspectierapport staat, was het goed geweest om ook hier duidelijker te maken dat het de toepassing van het model en de door de professor gedane aanpassing in 2018 was die zorgde voor deze fouten en niet het oorspronkelijke model. Het is echter niet zo dat het helemaal niet voorbijkomt in het artikel. Iets verderop komt een AI-deskundige aan het woord. Zij noemt het gênant "dat het model nooit correct is toegepast." Hieruit kan het publiek opmaken dat het om de toepassing van het model gaat en niet om het model zelf, maar dit had voor het publiek duidelijker gemaakt kunnen worden. 

Het artikel had volgens de Ombudsman op nog één punt completer gekund. Het feit dat het model na invoering in Nederland was gevalideerd en bijgesteld kwam in het tv-item aan bod, maar ontbrak volledig in het oorspronkelijke online artikel. Die informatie was niet nodig om de hoofdboodschap over te brengen: de reclassering had fouten gemaakt bij de toepassing van het algoritme. Maar voor een volledig beeld was het wel relevant. Hier had in een paar zinnen kunnen worden uitgelegd dat het oorspronkelijke model deels was aangepast aan de Nederlandse situatie. 

Transparante aanpassing 

Nieuwsuur voegde na de klacht twee alinea’s toe aan het artikel, waarin de ontwikkelaar zijn kritiek kon uiten. De Ombudsman waardeert die aanvulling. De redactie ging daarmee verder dan strikt noodzakelijk, omdat het model zelf niet direct als ondeugdelijk werd neergezet. Het ging in zowel het rapport als in de berichtgeving van Nieuwsuur vooral over de toepassing van het model in de Nederlandse situatie en niet of het oorspronkelijke model zelf wel of niet deugt. 

Toch was de formulering niet scherp genoeg. De Nederlandse validatie van het model was niet alleen de mening van de professor, maar een feitelijke aanvulling op het verhaal. Die had daarom beter als zelfstandige alinea met deze boodschap kunnen worden opgenomen. 

Ook was het niet duidelijk genoeg voor lezers dat het artikel achteraf was aangepast, en wat er precies was toegevoegd. Transparantie over latere wijzigingen hoort volgens de Ombudsman bij zorgvuldige journalistiek. Op een vraag van de Ombudsman zegt de redactie daar over: "Boven het artikel is vermeld dat het artikel is aangepast. Maar het is inderdaad niet duidelijk wat er is aangepast en waarom. Dat had beter wel kunnen gebeuren. Tegelijkertijd is het niet zo dat er aan de strekking van het artikel veel veranderd is. Er is weerwoord toegevoegd. Maar dat laat onverlet dat ik vind dat we daar transparant over moeten zijn." 

Conclusie 

Nieuwsuur heeft geprobeerd een ingewikkeld onderwerp behapbaar te maken voor een groot publiek. Daarbij zijn nuances gesneuveld die voor betrokkenen essentieel kunnen zijn. De Ombudsman ziet echter geen onderbouwing dat daarmee een verhaal is verteld dat onwaar is. Dit geldt met name voor hoe het onderwerp op TV aan bod kwam.  

In het artikel ziet de Ombudsman wel ruimte voor verbetering. Zo had Nieuwsuur in het artikel duidelijker kunnen maken dat er een aanpassing van het model was geweest aan de Nederlandse situatie. Nu kwam dat voorbij als weerwoord van de ontwikkelaar van het model, terwijl het hier wel degelijk om een feitelijke aanpassing van het artikel ging. Het zou goed zijn als dit in een losse alinea aan bod komt.