Eerder onderzoek van de Rotterdamse rekenkamer wees al op de ethische risico’s van dit algoritme en het nieuwe onderzoek toont aan dat het computermodel mensen selecteerde voor een heronderzoek op basis van vooringenomenheid en discriminatie. Raadsleden Larissa Vlieger en Marvin Biljoen stelden vragen aan het college. Vlieger: “Zo’n heronderzoek is enorm heftig. Een ambtenaar loopt door je hele financiële huishouden heen en je moet over de kleinste dingen verantwoording afleggen.”
GroenLinks Rotterdam maakt zich, niet voor het eerst, ernstige zorgen over de manier waarop algoritmes vormgeven aan de manier waarop mensen opgeroepen worden een zeer ingrijpend heronderzoek te ondergaan. In het artikel is te lezen dat een moeder antwoord moest geven op de vraag waar de 17 euro op haar rekening vandaan kwam die haar zoontje had verdiend bij de verkoop van een spelletje via marktplaats. Wanneer een discriminerend algoritme bepaalt wie er tegenover een ambtenaar komt te zitten, vinden wij dat natuurlijk veel te ver gaan.
In dit onderzoek komt naar voren dat mensen die door dit algoritme uitgekozen werden, vaak al in een kwetsbare positie zitten. Het is niet de eerste keer dat een algoritme kwetsbare mensen het leven zuur maakt, denk bijvoorbeeld aan het toeslagenschandaal, aldus raadslid Marvin Biljoen.
De gemeente is in 2021 gestopt met dit algoritme maar op momenteel druk bezig met het bouwen van een nieuwe. Om te voorkomen dat er opnieuw discriminatie plaats kan vinden stellen we vragen aan het college. Wij zijn van mening dat de selectie voor heronderzoeken binnen de bijstand écht willekeurig moet gebeuren, hier hoeft geen algoritme aan te pas te komen. Maar als het stadsbestuur ervoor kiest om wel een algoritme in te zetten moet ten alle tijden voorkomen worden dat hier discriminerende mechanismen in worden gebouwd of voorkomen dat het algoritme zichzelf deze mechanismen aan kan leren.