Discriminerende algoritmes

De Commissie presenteerde op 21 april j.l. een concept voor de Verordening die de ontwikkeling en het gebruik van AI moet regelen (COM(2021) 206 final).¹ Overduidelijk toont de Commissie ambitie, zowel in reikwijdte als de inhoud van de normering. Expliciet verwijst ze daarbij naar het belang van fundamentele rechten en de risico’s die bepaalde AI-toepassingen met zich meebrengen, zoals discriminatie en willekeurige massa-surveillance. Om burgers tegen dergelijke risico’s te beschermen worden in artikel 5 diverse toepassingen verboden, waaronder applicaties die kwetsbare personen uitbuiten, willekeurige massasurveillance voor rechtshandhaving, social scoring (zoals het welbekende sociaal kredietsysteem van de Chinese regering) en schadelijke manipulatie.

Het voorgestelde verbod op deze toepassingen is onderdeel van een risicoclassificatie in vier typen. Behalve de voornoemde applicaties die als onacceptabel worden aangemerkt, gaat het om toepassingen met respectievelijk een minimaal risico, een beperkt risico en een hoog risico. Om tot een concrete risicoclassificatie te komen hanteert de Commissie diverse criteria: het beoogde doel en de reikwijdte van het gebruik van de betreffende toepassing, het aantal personen dat daaraan wordt onderworpen en de implicaties van de toepassing (waaronder onomkeerbaarheid van schade). Relevant voor de classificatie is ook de mate waarin Uniewetgeving reeds voorziet in effectieve maatregelen om risico’s te adresseren. Opvallend is dat de classificatie strenger zal uitvallen voor het gebruik van AI binnen de publieke sector dan de private sector. Vanuit de afhankelijke positie waarin de burger zich ten opzichte van de overheid bevindt valt dat te begrijpen. Maar wie kijkt naar de mogelijkheden die grote tech-bedrijven zich toe-eigenen (en ook krijgen) tot surveillance binnen de openbare ruimte, zal vraagtekens stellen bij dit verschil in uitwerking tussen de publieke en private sector.

Maar afgezien hiervan: belangrijk is vast te stellen dat de Commissie strenge of mindere strenge regels toepast afhankelijk van de functie, het beoogde doel en de modaliteiten van de AI-toepassing. Met andere woorden: de Commissie kijkt niet alleen naar sec de technologie en vanuit een generiek oordeel over het gebruik, maar juist naar de specifieke context.

Hoe anders is de insteek van de Tweede Kamer in de oproep ‘te stoppen met het gebruik van discriminerende algoritmes’. De oproep is onderdeel van een meeromvattende motie die op 29 april j.l. met een ruime meerderheid van stemmen werd aangenomen als uitvloeisel van de parlementaire discussie over de notulen van de ministerraad in de Toeslagenaffaire. Bij de Toeslagenaffaire vertrouwden ambtenaren veelal op computermodellen aan de hand waarvan burgers geautomatiseerd werden beoordeeld. Maar een deel van deze modellen bleek achteraf gevoelig voor etnisch profileren, wat discriminatie faciliteerde. De oorzaak daarvan lag onder meer in de registratie door de Belastingdienst van de dubbele nationaliteit van bijna anderhalf miljoen Nederlanders. Alhoewel onrechtmatig, werd deze registratie gebruikt voor fraude- en handhavingsonderzoek. Aldus werden duizenden burgers extra onder de loep genomen gegeven het vermeende risico dat uitging van hun tweede nationaliteit, zo bleek uit een onderzoek van de Autoriteit Persoonsgegevens (AP). De voorzitter van de AP waarschuwde de leden van de Tweede Kamer afgelopen januari nog eens expliciet voor discriminerende algoritmes.

Afgaande op een rapport van de Algemene Rekenkamer, eveneens van januari, valt het momenteel wel mee met de hoeveelheid discriminerende algoritmes binnen de rijksoverheid. De rijksoverheid hanteert slechts vrij simpele algoritmes, bijvoorbeeld voor de afhandeling van correspondentie. De Rekenkamer trof geen zelflerende algoritmes aan. Mijn inschatting is dat de risico’s voor de rechtsbescherming daarom vooralsnog veeleer van doen hebben met de houding van mensen dan met het handelen van technologie. De Rekenkamer constateerde immers dat ambtenaren te weinig oog hebben voor de potentieel discriminerende effecten van computermodellen en zich veelal achter die modellen verschuilen. Met andere woorden, ambtenaren bieden onvoldoende weerstand aan een mogelijk vooringenomen uitwerking van de technologie. En inderdaad, op het moment dat algoritmes wel breed ingezet worden, levert juist deze ambtelijke houding in de combinatie met slimme (maar nog steeds soms domme) systemen grote risico’s voor de rechtsbescherming op. Belangrijk daarom is het kader dat de Algemene Rekenkamer ontwikkelde om algoritmes te toetsen. Dat richt zich op aspecten van sturing en verantwoording, gehanteerde modellen en data, opslag en toegang, informatievoorziening aan burgers, bezwaar- en beroepsmogelijkheden alsmede privacy-waarborgen. Maar ook bevat het ethische vragen. Want vanzelfsprekend moet discriminatie worden voorkomen als daardoor burgers in de verdrukking komen en ten onrechte worden gestereotypeerd en gediscrimineerd. Maar een algemeen verbod kan ook contraproductief werken. Het betekent dat rechtmatig gebruik van algoritmes om gericht positief te discrimineren, of om te zoeken naar risicogroepen met betrekking tot slachtofferschap van onder andere mensenhandel niet meer mogelijk is. 

Of het ligt aan het huidige politieke wantrouwen in Den Haag, ik weet het niet. Maar het is jammer dat de leden van de Tweede Kamer in het debat over discriminerende algoritmes niet een houding van nuchterheid en verdieping hebben getoond. De boeman op voorhand in de technologie zochten. Geen oog hadden voor mogelijkheden tot nuancering, bijvoorbeeld aan de hand van het door de Algemene Rekenkamer ontwikkelde kader. Goed dat de Europese Commissie anders in het debat staat en breder kijkt dan sec de technologie.

1. De noten zijn te vinden bij de online versie op www.njb.nl/blogs/discriminerende-algoritmes/