Durven of beteugelen: juridische grenzen aan hoog-risico AI in HR

In het geval van de learning & development AI-module, waarbij de AI-module een advies genereert op basis van de input, bestaand uit een overzicht van de gevolgde opleidingen door een medewerker, lijkt geen sprake te zijn van profilering, nu er alleen gekeken wordt naar welke opleidingen er door de medewerker zijn gevolgd. Wellicht kan nog worden getwijfeld over het onderdeel beroepsprestaties. Voor de casus in dit artikel wordt ervan uitgegaan dat het volgen van cursussen geen persoonlijk aspect van een natuurlijke persoon inhoudt, waarbij beroepsprestaties worden geanalyseerd. Hierdoor kunnen we onderzoeken of gebruik kan worden gemaakt van een van de uitzonderingen. 

De eerste vraag die moet worden gesteld is of het gebruik van het AI-systeem een significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt. Wanneer een AI-systeem een advies geeft voor een te volgen opleiding, is het niet goed voorstelbaar dat dit een (significant) risico inhoudt op schade voor de gezondheid of veiligheid van de natuurlijke persoon. Voor wat betreft een significant risico op schade voor de grondrechten van natuurlijke personen moeten we iets beter kijken. Grondrechten van natuurlijke personen zijn bijvoorbeeld het recht op privacy en het recht op gelijke behandeling. Andere grondrechten, zoals de vrijheid van meningsuiting, het kiesrecht, het recht op godsdienstvrijheid, het recht op huisvesting, sociale zekerheid, gezondheidszorg en onderwijs, zijn hier niet aan de orde. 

De AI-module ontvangt input, bestaand uit een overzicht van de door een bepaalde persoon gevolgde opleidingen. De output zou voor iedereen met dezelfde lijst met gevolgde opleidingen identiek moeten zijn. Het overzicht van de gevolgde opleidingen kan een persoonsgegeven zijn, maar is er wel een significant risico op schade voor het privacyrecht of het recht op gelijke behandeling (discriminatieverbod)? Zoals gezegd is het uitgangspunt dat het AI-systeem de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. Nu de leidinggevende samen met de medewerker bepaalt of en welke opleiding zal worden gevolgd, is van belang op welke wijze dit gebeurt.  

De situatie waarin de leidinggevende de medewerker informeert over het advies van de AI-module en de medewerker vervolgens verplicht zich in te schrijven voor de opleiding die door de AI-module werd aangeraden, is een heel andere dan de situatie waarin de leidinggevende en de medewerker serieus in gesprek gaan over welke opleiding zorgt voor een nuttige aanvulling van de kennis van de medewerker. Mogelijk kan een beroep worden gedaan op uitzondering a) (één eenvoudige taak) of uitzondering d) (een voorbereidende taak voor een beoordeling van activiteiten genoemd in bijlage III bij de AI-verordening).  

Stap niet in de valkuil van de gedachte dat wanneer je betekenisvolle menselijke tussenkomst in het ontwerp meeneemt, je dan gebruik kunt maken van een uitzondering. Het inregelen van betekenisvolle menselijke tussenkomst is juist een maatregel die je neemt wanneer sprake is van een hoog risico AI-systeem. Door een applicatie nooit de uiteindelijke beslissing te laten maken en een mens aan het einde van het proces te plaatsen, hoopt men soms met een beroep op deze uitzondering onder de verplichtingen van de AI-verordening uit te kunnen komen. Het kan dat men in dat geval van een kouwe kermis thuiskomt.  

Overigens kan bij de beoordeling of het menselijk toezicht in geval van een hoog risico AI-systeem voldoende betekenisvol is ingeregeld, aansluiting worden gezocht bij de Handvatten Betekenisvolle Menselijke Tussenkomst uit juli 2025 van de Autoriteit Persoonsgegevens (AP). Hoewel de handvatten geschreven zijn als hulpmiddel bij het inrichten van betekenisvolle menselijke tussenkomst in geval van geautomatiseerde individuele besluitvorming, waaronder profilering (artikel 22 AVG), biedt dit document ook inzicht in hoe de AP kijkt naar het menselijk toezicht onder de AI Act.  

Het is raadzaam om in het geval van de casus een onderbouwing van de keuze om een beroep te doen op een van de uitzonderingen schriftelijk vast te leggen in het applicatie-register en een loket voor bezwaren op te zetten. Zo kan de onderneming zich altijd verantwoorden. Zorg ervoor dat menselijk toezicht geen tick-the-box exercise wordt: de AI Act bepaalt uitdrukkelijk dat AI-systemen met een hoog risico zodanig ontworpen moeten zijn dat hierop op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen. In de handvatten van de AP staan nuttige vragen opgenomen die gesteld kunnen worden en die helpen bij het inrichten van betekenisvolle menselijke tussenkomst. 

Als bedrijfsjurist word je de vraag gesteld of de business collega’s de AI-modules aan mogen laten zetten en of en wat er dan nog geregeld moet worden. Als we ervan uitgaan dat er in deze casus geen sprake is van verboden AI-toepassingen, is het in beginsel dus toegestaan om gebruik te gaan maken van de AI-modules. Maar niet zonder maatregelen. Het is raadzaam dat de organisatie een AI governance beleid opstelt. Daarin kan geregeld worden wie verantwoordelijk is voor de naleving van de wettelijke verplichtingen die de AI Act stelt aan het AI-systeem zelf en aan de organisatie (in haar rol van gebruiksverantwoordelijke) en hoe de organisatie omgaat met ethische en security-aspecten (ethics-by-design en security-by-design) en duurzaamheid.  

In een dergelijk beleid kan de organisatie ook bepalen of gebruik wordt gemaakt van de mogelijkheid die artikel 95 van de AI Act biedt. In dit artikel wordt gestimuleerd om te onderzoeken welke bepalingen die gelden voor hoogrisico AI-systemen, je óók zou willen laten gelden voor niet-hoog-risico AI-systemen. Lid 2 noemt enkele voorbeelden op welk gebied dit voor de hand ligt: ethische principes, milieu en energie, AI-geletterdheid, een inclusief ontwerp en de bescherming van kwetsbare groepen. Verder kan ook gedacht worden aan het installeren van een ethische commissie, die kan meedenken over de gevolgen van het gebruik van AI-systemen voor de stakeholders van de HR-afdeling.  

In de casus kan de bedrijfsjurist adviseren - wanneer A-Tech kiest voor het gebruik van een van de uitzonderingen die artikel 6 van de AI Act biedt - om voor de learning & development AI-module een schriftelijke onderbouwing vast te leggen van de risicoclassificatie “laag-risico”. Voor de werving & selectie AI-module moet de risicoclassificatie “hoog-risico” worden vastgelegd en moet A-Tech als gebruiksverantwoordelijke voldoen aan een aantal wettelijke verplichtingen. Zo moeten onder meer passende technische en organisatorische maatregelen genomen worden om te waarborgen dat de werknemers van A-Tech de AI-modules gebruiken in overeenstemming met de gebruiksaanwijzing van de leverancier, moeten de werknemers worden ingelicht over het hoog-risico karakter van de AI-module en moet betekenisvolle menselijk toezicht worden ingericht.  

Verder moet de werking van de AI-module s worden gemonitord en een proces worden opgezet voor incidentm anagement. A-Tech moet er verder voor zorgen dat automatisch gegenereerde logs bewaard worden gedurende een periode die passend is voor het beoogde doel. Wat niet vergeten moet worden is dat wanneer de AI-module interageert met sollicitanten, zij een melding krijgen waarin wordt uitgelegd dat ze met een AI-systeem te maken hebben. Genoeg te doen dus!