De potentiële impact van AI op onze samenleving is zo groot dat we als gemeenten samen moeten optrekken om een verantwoorde inzet van deze technologie te bereiken. Welke juridische ruimte hebben gemeenten voor de implementatie van deze wetgeving? Ga je met de kaders van nieuwe AI Act aan de slag, of maak je er meer van als gemeente?

Zo’n 50 FG’s, strategen, college-adviseurs, raadsadviseurs, griffie, raadsleden, privacy officers en andere professionals van gemeenten deden mee. Martin Jansen, innovatieadviseur van de gemeente Utrecht, trapte af. Jansen stond als kwartiermaker bij de gemeente Utrecht aan de wieg van datagedreven werken en de daarmee verbonden innovaties. “Ook in onze organisatie is de AI Act geïntroduceerd. Het is een gegeven van boven. Je kunt het heel instrumentaal oppakken in je organisatie, maar het is meer. We moeten de ethische kritiek tot ons nemen, en er lokaal iets mee doen. Hopelijk vergroot de wet het handelingsperspectief van ons lokale ambtenaren.”

Burgers beschermen tegen AI

Maar hoe nu verder met AI?, vroeg José van Dijck, Universiteitshoogleraar Media en digitale samenleving aan de Universiteit Utrecht, zich af. Ze is een van de drie auteurs van het opiniestuk, dat afgelopen december in NRC werd gepubliceerd, waarin ze samen met Natali Helberger en Corien Prins waarschuwt dat de meeste AI- modellen ongereguleerd blijven ondanks de nieuwe wet. Nederland moet dan ook doen wat de EU nalaat: burgers beschermen tegen AI, stellen drie hoogleraren. Juist vanwege de teleurstellende Europese AI-wet zal de Nederlandse koers met betrekking tot generatieve AI nog belangrijker worden. Het artikel was de directe aanleiding voor de Meetup van vandaag.

4 Typen intelligentie

Wat AI precies is, daarover is niemand het eens, stelt Van Dijck. Dat geeft veel ruimte voor interpretatie. Zelf geeft ze definitie: AI is de mogelijkheid van een machine om mensachtige vaardigheden te vertonen, zoals redeneren, leren, plannen en creativiteit. AI maakt het voor technische systemen mogelijk in hun omgeving waar te nemen, om te gaan met deze waarnemingen en problemen op te lossen om een specifiek doel te bereiken. “We spreken over AI alsof het gaat om één type intelligentie, maar ik onderscheid vier typen intelligentie: menselijke, institutionele, artificiële (technologische) en maatschappelijke intelligente. We hebben alle vier de vormen nodig om risico’s van AI te herkennen en te beteugelen.” Het eerste type bestaat uit de menselijke vaardigheden. De paradox is volgens Van Dijck dat hoe meer je werkt met machines, hoe meer menselijke intelligentie je nodig hebt. Institutionele intelligentie gaat over de collectieve intelligentie binnen een specifieke omgeving. Het is volgens Van Dijck heel belangrijk. “Je kan bijvoorbeeld ChatGPT inzetten voor een essay voor de universiteit, of om een brief richting burgers te schrijven vanuit de gemeente. Dat zijn twee hele andere contexten, instituties. Artificiële of technologische intelligentie gaat om digitale systemen die menselijke taken supersnel en op grote schaal kunnen uitvoeren. Maatschappelijke intelligentie gaat om de samenleving als sociaal systeem, gebouwd op een stelsel van normen, waarden, wetten en kaders. “De AI Act is een voorbeeld van supranationaal kader scheppen. Het vereist teruggaan naar de maatschappelijke basis, om de wet weer verder aan te scherpen. Die iteratieve processen, daarvoor zitten we hier vandaag.”

Publieke waarden

Wat kunnen gemeenten doen om AI zo intelligent mogelijk in te zetten? Daarvoor is menselijke bewustwording nodig, stelt Van Dijck. Er is institutioneel beoordelingsvermogen nodig: wat doet AI met inwoners? Naast technologisch inzicht en kennis is er ook maatschappelijke verantwoordelijkheid nodig, bewustzijn van de publieke waarden. Een goed voorbeeld van institutionele en maatschappelijke intelligentie noemt ze de organisatie SURF, die een WaardenWijzer heeft ontwikkeld voor de digitalisering van onderwijs. Daarmee streeft SURF naar publieke waarden by design: autonomie, rechtvaardigheid en menselijkheid. Omdat de AI Act pas op 14 maart is aangenomen staan we pas aan het begin van een lang proces, stelt Van Dijck. “Hoe werkt het? Hoe doen we het in een institutionele context? Hoe brengen we publieke waarden erin, het hart van de institutionele intelligentie?” Veel mensen zijn bang dat AI te snel gaat, we er geen controle meer over hebben. Echter, wie volwassen is, omarmt de regulering van generatieve AI, schreef columnist Ilyaz Nasrullah. We beginnen pas, het is onze verantwoordelijkheid als samenleving om er iets mee te doen. Ik hoop nadrukkelijk dat we het samen doen, want publieke waarden vormen het hart van het Europese traject.”

AI Act wil vooral risico’s vermijden

Mede-auteur van het NRC-artikel Natali Helberger nam het stokje over. De hoogleraar Recht & Digitale Technologie aan de Universiteit van Amsterdam legde uit wat de AI Act precies is, die van kracht gaat per mei 2024. Doel van de verordening is om de risico’s te herkennen en te vermijden, en “ervoor te zorgen dat Europeanen die AI gebruiken het kunnen vertrouwen.” De AI Act gaat dus om een risico-gebaseerde aanpak, die zoveel mogelijk de risico’s van de technologie wil vermijden. Net als de AVG-verordening geldt de wet meteen en gaat voor maximale harmonisatie in de Europese landen. Van bijstandsfraude ontdekken, herkenning van autonummerborden tot het bepalen en voorspellen van WOZ-waarden. Er vallen allerlei systemen onder die gemeenten kunnen gebruiken in hun dienstverlening. Volgens Helberger maakt de AI Act een onderscheid tussen high risk-systemen, waar veel regels voor nodig zijn, en low risk, waar nagenoeg geen regels voor nodig zijn. Echter, stelt ze, de werkelijkheid is niet zo zwart-wit en publieke waarden, zoals transparantie, privacy, nondiscriminatie, inclusiviteit, recht op wederhoor, zijn altijd belangrijk. Dus low risk staat niet gelijk aan no-risk. Zelfregulering is belangrijk. Ze noemt als voorbeeld hoe journalistiek al zelf guidelines heeft opgesteld hoe ze omgaat met AI. “Daarom is het zo belangrijk dat we met elkaar best practices bespreken.” Aangezien AI niet door de politiek is gereguleerd, -het is aan de lobby van Frankrijk te danken dat er nu een AI Act ligt-, is er volgens Helberger een belangrijke rol weggelegd voor gemeenten als aanjager voor verantwoorde AI. En die begint met verantwoorde inkoop. “Daarmee kunnen gemeenten ervoor zorgen dat externe technologie de waarden van openbare dienstverlening incorporeert. Daarmee kunnen ze de vraag naar verantwoorde AI stimuleren, en de juiste vragen stellen via inkooprichtlijnen.”

De balans is scheef bij de AI Act

“We moeten ons realiseren dat de uitkomst van de onderhandelingen over de Europese AI-wet veel gunstiger is voor de innovatiebelangen van producenten, dan voor de bescherming van burgers”, schreven de drie hoogleraren in het NRC. Daar is Joost Gerritsen, expert op het gebied van AI, Data & Privacy, advocaat, medeoprichter Vereniging Nederlandse AI-advocaten, het mee eens. “De AI Act is het resultaat van onderhandelingen. Bij elke wet zie je compromissen ontstaan tussen botsende belangen. Ook hier is veel water bij de wijn gedaan. Wat we zien dat verboden AI-toepassingen gewoon mogen worden ingezet. De balans is scheef, en vooral in het voordeel van het bedrijfsleven in plaats van de samenleving.” Als voorbeeld noemt hij dat er bijvoorbeeld geen verbod op gebruik van biometrische ID in de openbare ruimte. Niet voor niets zijn allerlei Europese ngo’s ook teleurgesteld. Zo noemt Amnesty International dat de AI Act heeft gefaald op het gebied van mensenrechten. “We staan echter nog maar aan het begin”, benadrukt Gerritsen. “Als gemeente moet je zelf vaststellen wat je goed vindt en wat niet. Hoe dan ook, je moet er lokaal iets van vinden!”

Ran Haase, ambtenaar wetgeving en ethiek deelt zijn ervaringen vanuit de gemeente Eindhoven. “In de uitvoering hebben we het haast niet over de rechtsstaat.” Eindhoven heeft onlangs een scanauto aangeschaft, die rondrijdt en controleert wie wel of niet parkeergeld heeft betaald. De scans zijn echter niet 100 procent foutloos. Je kan dus ten onrechte beschuldigd worden van foutparkeren. Is dit wel rechtvaardig? Moet je het daarom wel wel aan uitvoering overlaten? “Het systeem van checks & balances komt onder druk te staan, onder andere omdat politici en beleidsmedewerkers het detailniveau van code-based omgeving niet tot op de detail kunnen vormgeven. De praktische kennis is groter bij de uitvoering. Hij geeft de deelnemers verder nog wat food for thought mee. Kan co-regulering op lokaal niveau een handelingsoptie zijn?, vraagt hij zich af. Verder stelt hij dat de AI Act een vliegwiel kan zijn voor de ontwikkeling van decentraal beleid. “De rechtsstaat zou boven aan uw agenda moeten staan, hoger dan de AI Act of AVG. Bij het maken van beleid moeten lokale overheden toekomstscenario’s voor de rechtsstaat, mensenrechten en democratie onderzoeken. “Loop daarbij achteruit de toekomst in, met de ogen gericht op het verleden.”

5 Deelsessies

Na de plenaire sprekers deelden de aanwezigen zich op in vijf deelsessies. In de sessie ‘Lokaal regelen wat de AI-Act laat liggen’ praatten de deelnemers over dat de AI Act eigenlijk niet veel reguleert, en eerder de gebruikende organisaties dan de producenten. Lokaal kan er wel een schepje bovenop, afhankelijk van de lokale politieke kleur. Wat onder meer naar voren kwam is de bewustwording dat de AI Act vaak door één iemand binnen een gemeente wordt aangedreven. Hoe maken we er iets collectiefs van? Ook botst het nog tussen uitvoering en politiek. Wie is nu verantwoordelijk? In de sessie ‘Risico-inschatting: de basis’ lag de vraag voor of we wel in staat zijn om een juiste inschatting te maken van de risico’s? Van ‘minimale risico’s’ tot ‘verboden praktijken’, en wat er tussen zit. Uit de sessie kwam een duidelijk verschil tussen gezamenlijk en persoonlijk belang. Moet je als gemeente je eigen voelsprieten laten leiden? Ook is er verschil aan capaciteit tussen grote en kleine gemeenten. Sommige zijn al veel verder in het nadenken over hoe ze hiermee omgaan, zoals Breda en Den Haag. Aangezien andere gemeenten hier graag meer over leren, ligt er volgens Gerritsen een duidelijke taak weggelegd voor de VNG. In de sessie ‘Inkoop: de onderschatte kracht om te voldoen aan de AI-Act’ stonden er vragen centraal over marktmacht en onderhandelingsruimte. Welke impuls geeft de AI-Act aan ons inkoopproces, inkopers, en andere betrokkenen bij de inkoop? Zijn er al Nederlandse alternatieven voor GenAI? Waar landt AI precies in de organisatie? Wie maakt de keuzes? In de sessie ‘AI Act: praktische handvatten, waar blijven ze?’ waren de deelnemers het eens dat het noodzaak is om duurzaam waarden te borgen in de technologie. De conclusie was dat dit niet met een checklijstje kan, en niet alleen door een FG binnen de gemeente kan worden beantwoord. ‘De Raad, de burgers en AI’ stonden centraal in de laatste sessie. De raad stelt de kaders, en controleert de uitvoering. Welke competenties en instrumenten hebben raadsleden daarvoor nodig? Volgens de deelnemers heerst er spanning tussen de kaders en de controle door de raad. De uitvoerbaarheid van de AI Act is de vloer, de ethiek het plafond, zei een van de deelnemers. Er zijn dan ook meer bekwaamheden nodig voor zowel de gemeenteraad, burgers als ambtenaren.

AI op de bestuurlijke tafel

De Meetup sloot af met een panelgesprek, waar Rachel Streefland, wethouder digitalisering van Utrecht, als gast aanschoof bij de eerdere sprekers. Aangezien we nog aan het begin staan van het gesprek over AI en hoe we als gemeenten ermee om moeten gaan, pleitte ze al meteen voor een vervolg van de Meetup met meer deelnemers. “Iedereen moet iemand meenemen vanuit zijn of haar gemeente, die niet in dit onderwerp zit, maar wel belangrijk is voor de besluitvorming.” AI komt in haar werk op verschillende onderwerpen terug, waaronder het Algoritmeregister en hoe je daar als gemeente invulling aan geeft, ook richting inwoners. Ook het gebruik van ChatGPT door ambtenaren en welke kaders je meegeeft is een onderwerp, net als het gebruik van targeting bij een armoederegeling. Hoe ver mag je daarmee gaan? “Ik probeer het wel op de bestuurlijke tafel te krijgen. Veel gemeenten hebben echter nog geen wethouder digitalisering. Daarom is mijn advies aan VNG: zorg dat je dit stevig neerzet, er is namelijk weinig regionaal overleg hierover.”

Andere vraagstukken waar Utrecht mee kampt zijn het gebruik van scanauto’s, die door private partijen worden beheerd, en het gebruik van camera’s in de stad. Hoe ga je om met de private partijen die scanauto’s en camera’s beheren? Streefland: “Het is een politiek vraagstuk. Stellen wij wel voldoende condities aan die leveranciers?” Moeten dit soort discussies wel in de gemeenteraad worden gevoerd? Zijn ze niet te specialistisch? Nee, vindt Streefland. “Ik zou deze discussies juist bij mij aan tafel willen hebben. Als wethouder ben ik immers verantwoordelijk. Daarom moeten we tijdig casuïstiek op tafel hebben om te bespreken in de raad.” Het ethische gesprek moet je met het hele college voeren, vindt ook David van den Berg van VNG. “Welke waarden willen wij borgen in deze technologie? Creëer eerst politiek-mandaat.” Mirko Tobias Schäfer, Associate Professor Data, AI & Society, Universiteit Utrecht en Sciences Lead van de Data School, sluit de Meetup af. “Vandaag was een opmaat om breder, groter het gesprek te voeren. AI is een politiek thema, net als het milieu of woningbouw. Daar moet je als gemeente je standpunt voor hebben. Er zijn al praktische handvatten beschikbaar, die ons helpen met de nieuwe bekwaamheden voor burgers, raad en ambtenaren. Zodat we uiteindelijk volwassen omgaan met AI.”

Hij laat de deelnemers nog een keer in beweging komen met een oefening. Wie de AI Act als bodem ziet en daarmee verder gaat moest naar de ene kant van de zaal. Wie er ethisch meer mee wil doen naar de andere kant. Het is duidelijk. Niemand legt zich neer bij de wet alleen. “We streven naar meer ethiek.”

Dit verslag verscheen eerder online op de website van het Kennisnetwerk Data en Samenleving.