Compliant met de AI Act: easy-peasy of werk aan de winkel?^[i]

De verordening maakt (onder meer samen met de Artificial Intelligence Liability Directive, een concept richtlijn over aansprakelijkheid voor AI-systemen) onderdeel uit van het Europese AI wetgevingspakket, dat op zijn beurt onderdeel uitmaakt van de Europese AI strategie. Daarnaast is op 17 mei 2024 vanuit de Raad van Europa op Internationaal niveau een verdrag gesloten over het gebruik van kunstmatige intelligentie. Doel van het verdrag is de mensenrechten, democratie en rechtsstaat te beschermen en de betrouwbaarheid van AI-systemen te bevorderen. De verordening past goed binnen de kaders van dat verdrag.

Afhankelijk van de rol van je organisatie kan de AI Act behoorlijk wat impact hebben. Om als bedrijfsjurist te kunnen adviseren over de verplichtingen die uit de verordening voor jouw organisatie voortvloeien, heb je eerst een inventarisatie nodig van de verschillende AI-systemen die de organisatie gebruikt en die de organisatie zelf ontwikkelt en/of op de markt brengt. Het is aan te raden om deze op te nemen in een register voor latere raadpleging. Mogelijk kan je aansluiting zoeken bij het verwerkingsregister, dat organisaties al ingericht hebben op grond van de algemene verordening gegevensbescherming (AVG). Let hierbij ook op het verschil tussen AI-systemen en AI-modellen voor algemene doeleinden. AI-modellen voor algemene doeleinden kunnen geïntegreerd worden in een verscheidenheid aan AI-systemen (voorbeeld: het AI-(taal)model GPT-4, ontwikkeld door OpenAI, is geïntegreerd in verschillende AI-systemen zoals ChatGPT, Microsoft Copilot en Bing Chat)). Hiervoor zijn in de verordening bijzondere bepalingen opgenomen: artikel 51 e.v. De informatie over de eigen ontwikkelde AI-systemen bevindt zich binnen je organisatie. De informatie over de AI-systemen die worden gebruikt in producten en (IT-)diensten, bevindt zich bij de leveranciers. Wanneer je organisatie beschikt over een inkoopafdeling, kan die afdeling je helpen de leveranciers aan te schrijven en te vragen om informatie aan te leveren over de AI die zij in hun producten en diensten verwerken. Daarbij is het verstandig om de leverancier te vragen in welke risico-categorie van de verordening hun AI-systeem (dat in een product of dienst is verwerkt) valt.

Om te weten welke verplichtingen uit de verordening van toepassing zijn, moet je weten in welke categorie een AI-systeem valt. De verordening kent de volgende risico-categorieën: laag risico, hoog risico en verboden AI-praktijken. In artikel 5 van de verordening worden de verboden AI praktijken opgesomd (onder meer misleiding, uitbuiting, social scoring). Hoog risico AI systemen houden verband met producten die vallen onder Bijlage I, of zijn vermeld in Bijlage III (tenzij er géén significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen is). Alle overige AI-systemen zijn ten slotte in beginsel als laag risico aan te merken.

Vanaf 2 februari 2025 moet het gebruik van verboden AI-systemen zijn gestaakt. Bij overschrijding van deze deadline volgt een waarschuwing, een andere non-monetaire maatregel, of er kan een boete (van 35 miljoen euro of maximaal 7% van de totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar van een onderneming) worden opgelegd. Vanaf 2 februari 2025 geldt ook de verplichting voor aanbieders en gebruiksverantwoordelijken van AI-systemen om te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken (artikel 4 verordening). Daarbij moeten zij rekening houden met de technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt. Ook moeten zij rekening houden met de personen op wie de AI-systemen invloed gaan hebben (klanten, werknemers). Vanaf 2 augustus 2025 treden vervolgens de verplichtingen voor AI-modellen voor algemene doeleinden in werking. Op 2 augustus 2026 moeten organisaties voldoen aan de bepalingen over laag risico en hoog risico AI-systemen (Bijlage III verordening). De sanctie hiervoor is 15 miljoen euro of 3% van de omzet. Overigens is voor bestaande hoog risico AI-systemen geregeld dat zij alleen onder de verordening vallen wanneer het ontwerp of het beoogde doel van het AI-systeem na de datum waarop de verordening van toepassing werd nog zijn gewijzigd. Voor AI-modellen voor algemene doeleinden die vóór 2 augustus 2025 in de handel zijn gebracht of in gebruik zijn genomen, en voor hoog risico AI-systemen die door de overheid al werden ingezet vóór 2 augustus 2027 gelden bijzondere termijnen (resp. 2027 en 2030).

Het is belangrijk om uit te zoeken of je organisatie een aanbieder of een gebruiksverantwoordelijke is, zodat je weet welke verplichtingen voor jouw organisatie gelden. Een aanbieder is degene die een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt en dat in de handel brengt of in gebruik stelt onder eigen naam of merk. Ook iemand die zo’n systeem of model laat ontwikkelen is een aanbieder. Een gebruiksverantwoordelijke is degene die het onder eigen verantwoordelijkheid gebruikt (artikel 1 verordening). Personen die AI-systemen gebruiken in het kader van een persoonlijke niet-beroepsactiviteit, vallen niet onder de verordening. Op aanbieders van hoog risico AI-systemen zijn verdergaande verplichtingen van toepassing dan op een gebruiksverantwoordelijke.

Wanneer is vastgesteld dat je AI-systemen gebruikt of ontwikkelt die in de categorie ‘hoog risico’ vallen (artikel 6 verordening), geldt een uitgebreid pakket aan verplichtingen, zowel voor de aanbieder als de gebruiksverantwoordelijke. Bedrijfsjuristen kunnen de organisatie ondersteunen bij de implementatie door interpretatie van de bepalingen van de verordening. Richtsnoeren vanuit het AI-Office gaan daarbij helpen, maar die worden naar verwachting pas vrij laat gepubliceerd. Ook informatie op de website van de Autoriteit Persoonsgegevens kan van nut zijn^[ii]. Omdat de verordening opgezet is als risico-gebaseerde productregulering, ziet de wetgeving met name op het aspect productveiligheid. Dit brengt onder meer met zich dat AI-systemen met een hoog risico moeten worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht om zo te zorgen voor een hoog niveau van betrouwbaarheid (artikel 43 verordening).

Wanneer een aanbieder kan beargumenteren dat zijn hoog risico AI-systeem geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt, wordt het AI-systeem niet geclassificeerd als hoog risico AI-systeem (artikel 6 lid 3 verordening). Verwacht wordt dat veel aanbieders zullen proberen hun AI-systeem onder deze uitzondering te laten vallen.

Na de hiervoor genoemde conformiteitsbeoordeling moet de aanbieder een CE-markering aanbrengen. Bij iedere substantiële wijziging moet de conformiteitsbeoordeling opnieuw worden uitgevoerd. Certificaten hebben een geldigheidsduur van vier of vijf jaar, afhankelijk van de soort hoog risico AI-systemen waarop het certificaat van toepassing is (artikel 44 verordening). In een EU-conformiteitsverklaring verklaart de aanbieder dat het hoog risico AI-systeem voldoet aan alle daaraan gestelde vereisten. Opvallend is dat de aanbieder ook moet verklaren dat wordt voldaan aan de AVG. Aanbieders zorgen in geval van hoog risico AI-systemen verder onder meer voor de inrichting van een risicobeheersysteem, het opstellen van technische documentatie, het configureren van automatische logging, een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging (artikelen 8 tot en met 15 van de verordening) en registratie van het AI-systeem met een hoog risico in een Europese of nationale databank (artikel 49 verordening). Na het ontwikkelen houden de verplichtingen van de aanbieder niet op: deze moet het AI-systeem monitoren en ernstige incidenten melden aan de toezichthouder en het Europees AI-bureau (artikel 73 verordening).

Omdat de verplichtingen van gebruiksverantwoordelijken over verschillende onderwerpen gaan, is het raadzaam (voor zover mogelijk) te werken met een multidisciplinair team van bedrijfsjuristen. Niet alleen IT-juristen, maar bijvoorbeeld ook aanbestedingsjuristen en privacyjuristen zijn nodig om te kunnen ondersteunen bij de implementatie van de AI Act. Hieronder worden een aantal belangrijke verplichtingen van gebruiksverantwoordelijken nader uitgelegd.

Voor gebruiksverantwoordelijken is het goed om te weten dat aanbieders een transparantie- en informatieverplichting hebben tegenover gebruiksverantwoordelijken (artikel 13 verordening). Aanbieders van AI-systemen met een hoog risico moeten de AI-systemen zo ontwerpen dat de werking ervan transparant genoeg is om gebruiksverantwoordelijken in staat te stellen de output van een systeem te interpreteren en op passende wijze te gebruiken. Daarbij ontvangen gebruiksverantwoordelijken ook gebruiksaanwijzingen van de aanbieders, waar de kenmerken, capaciteiten en beperkingen van de prestaties van het AI-systeem met een hoog risico in staan omschreven. Gebruiksverantwoordelijken moeten passende technische en organisatorische maatregelen nemen om te waarborgen dat zij AI-systemen gebruiken in overeenstemming met de gebruiksaanwijzingen. Deze verplichting van de aanbieders helpt gebruiksverantwoordelijken om te voldoen aan de eigen transparantie- en informatieverplichtingen, als omschreven in o.a. de artikelen 26 lid 7, 50 en 86 van de verordening. Gebruiksverantwoordelijken moeten werknemers informeren als zij AI-systemen met een hoog risico op de werkplek introduceren, moeten in geval van een deepfake bekend maken dat de inhoud kunstmatig is gegenereerd, moeten personen over het gebruik van een systeem voor het herkennen van emoties of voor biometrische categorisering informeren en moeten in de gevallen als genoemd in artikel 86 lid 1 van de verordening een duidelijke, inhoudelijke uitleg over de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen van het genomen besluit verstrekken (zie ook artikel 26 lid 11 van de verordening). Automatisch gegenereerde logs kunnen de organisatie helpen bij het geven van de uitleg over een genomen beslissing. Deze worden een passende periode bewaard, maar ten minste zes maanden (artikel 26 lid 6 van de verordening), waarbij de AVG overigens vóórgaat op de bepalingen van de verordening. Bovenop de verplichting van de aanbieder moeten in een inkoop- of aanbestedingstraject van de gebruiksverantwoordelijke de juiste eisen aan het AI-systeem met een hoog risico gesteld worden. Aanbestedingsjuristen kunnen hierover adviseren. Er bestaan al meerdere modelcontractbepalingen: in september 2023 is er vanuit Europa een set gepubliceerd en inmiddels is er ook een Module bij de Modelovereenkomst ARBIT-2022 voor de levering van een AI-systeem met een hoog risico voor de gezondheid en veiligheid of de grondrechten van personen opgesteld. De gemeente Amsterdam heeft “Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen” opgesteld (inclusief een memorie van toelichting) en die via zijn website voor eenieder beschikbaar gesteld^[iii]. Ook ondernemingen kunnen deze als inspiratie gebruiken. Een voorbeeld van een onderwerp waarover in het inkooptraject kan worden nagedacht is wie verantwoordelijk is voor de kwaliteit van de data waarmee het AI-systeem met een hoog risico gaat werken: bij gebruik van de eigen data van je organisatie zal de aanbieder de aansprakelijkheid hiervoor willen uitsluiten.

Een andere verplichting van de gebruiksverantwoordelijke is het monitoren van de werking van het AI-systeem met een hoog risico. Personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken moeten het menselijk toezicht uitvoeren. Gebruikersverantwoordelijken zijn verplicht om ernstige incidenten onmiddellijk bij de aanbieder en de toezichthouder te melden (artikel 26 lid 5 verordening). Bij een ernstig incident kan je bijvoorbeeld denken aan een overlijden of ernstige schade voor de gezondheid van een persoon, een onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur, een grondrechtenschending of milieuschade. Een gebruiksverantwoordelijke kan zelf een melding doen als om een of andere reden de aanbieder dit niet doet of kan doen (artikel 73 lid 5 van de verordening). Het is verstandig de bedrijfsjurist of de compliance officer mee te laten kijken. Ook is het aan te raden om het bestaan van deze meldplichten mee te nemen in de bestaande procedures en beleidsstukken rondom (security)incidenten of hiervoor een aparte procedure of beleid te introduceren.

Verder zijn bepaalde gebruiksverantwoordelijken verplicht om een mensenrechtentoets uit te voeren (artikel 27 van de verordening). Denk aan overheidsinstanties, semi-overheidsorganisaties en financiële instellingen. Wanneer een aanbieder al een mensenrechtentoets heeft uitgevoerd, mag de gebruiksverantwoordelijke hier gebruik van maken. De gebruiksverantwoordelijke moet het AI-systeem met een hoog risico wel blijven monitoren en de toets bij wijzigingen steeds actualiseren. In de beoordeling moeten regelingen voor interne governance en klachtenregelingen worden meegenomen. Een gebruiksverantwoordelijke moet dus al voorbereid zijn en kan niet wachten met een pakket aan maatregelen tot een mensenrechtenschending zich voordoet. Een mensenrechtentoets (FRIA) kan meegenomen worden in het DPIA proces (data protection impact assessment). De rol van de privacy-bedrijfsjurist wordt hiermee dan wel uitgebreid nu het recht op privacy maar één van de grondrechten is.

De verordening onderscheidt daarnaast ook nog laag risico AI systemen (let op: dit is geen officiële term in de verordening). Dit zijn AI-systemen waaraan beperkte risico’s kleven, maar die o.a. vanwege het risico op misleiding door het AI-systeem wel aan bepaalde (transparantie)regels moeten voldoen (artikel 50 verordening). Zo moet de gebruiksverantwoordelijke van een systeem dat deepfakes maakt bijvoorbeeld bekend maken dat de content kunstmatig is gegenereerd of gemanipuleerd en moet de aanbieder van een systeem dat op basis van bepaalde input zelfstandig bepaalde content genereert (bijvoorbeeld ChatGPT) ervoor zorgen dat de output kan worden herkend als kunstmatig gegenereerd of gemanipuleerd. Daarnaast is er ook nog de ‘categorie’ van AI-systemen met nihil tot geen risico. Dit zijn de AI-systemen die wel aan definitie van AI-systeem voldoen, maar niet vallen in één van de bakjes van de verordening. Volgens de EU valt de overgrote meerderheid van de AI-systemen die momenteel in de EU worden gebruikt in deze laatste categorie. Partijen worden via de verordening aangemoedigd om voor dit soort AI-systemen vrijwillige gedragscodes op te stellen en na te leven (zie ook hierna). Overigens: dat deze systemen niet door de verordening worden gereguleerd betekent niet dat deze AI-systemen onvoorwaardelijk kunnen worden gebruikt: ook dan is het belangrijk om nog steeds de principes van verantwoord gebruik van AI na te leven en te voldoen aan de AVG als deze AI-systemen persoonsgegevens verwerken. Dit laatste geldt trouwens ook voor de AI-systemen die wel door de verordening worden gereguleerd.

Ten slotte moedigt de verordening gebruiksverantwoordelijken aan om op vrijwillige basis aanvullende eisen toe te passen, bijvoorbeeld over ethische richtsnoeren, milieuduurzaamheid, maatregelen op het gebied van AI-geletterdheid en inclusiviteit (artikel 95 van de verordening). Een aantal ondernemingen en organisaties heeft al een interne ethische commissie in het leven geroepen, die meekijkt met de ontwikkeling en het ontwerp van een hoog risico AI-systeem en/of achteraf bij de klachtbehandeling. Bedrijfsjuristen kunnen een governance helpen opzetten. Daarnaast stimuleert de verordening het opstellen van gedragscodes over vrijwillige toepassing van specifieke voorschriften voor AI-systemen met een laag risico. Deze gedragscodes zouden volgens de tekst van de verordening gebaseerd moeten zijn op duidelijke doelstellingen en kernprestatie-indicatoren om doeltreffend te worden.

Een bedrijfsjurist in een internationaal concern doet er goed aan om ook buitenlandse wetgevingsinitiatieven in de gaten te houden. In veel landen is minstens al een strategie gepubliceerd of een voorstel voor een wettelijk kader neergelegd. Er is een aantal advocatenkantoren dat op hun website lijsten hiervan bijhoudt.

Nu de AI Act gepubliceerd is en organisaties vóór 2 februari 2025 moeten voldoen aan de AI-geletterdheidsverplichting en het gebruik van verboden AI-praktijken moeten staken, is er al op korte termijn werk aan de winkel. De eerste stap is het in kaart brengen van de gebruikte en ontwikkelde AI-systemen, het registeren en het classificeren, waarna de tweede stap het echte werk wordt: per 2 augustus 2026 moeten organisaties voldoen aan alle eisen die gelden voor AI-systemen met een hoog risico en aan de verplichtingen voor aanbieders en/of gebruiksverantwoordelijken. Genoeg te doen!