De AI verordening: van transparantieverplichtingen tot een verbod op AI met onaanvaardbare risico’s

Chat GPT, Bard en Gemini, artificial intelligence (‘AI’) wordt steeds meer gebruikt in het hedendaagse leven, maar met nieuwe innovaties komen ook nieuwe risico’s. Bijvoorbeeld, een gebrek aan transparantie over hoe AI-output tot stand komt, maar ook of privacy en de bescherming van persoonsgegevens voldoende geborgd wordt. Dit betekent dat regels nodig zijn om ervoor te zorgen dat AI geen inbreuk maakt op de rechten van Europese burgers. Als onderdeel van de digitale transformatie wil de Europese Unie het gebruik van AI reguleren via onder meer de AI Act. Op 2 februari hebben lidstaten unaniem ingestemd met deze verordening.

In dit artikel bespreken we de hoofdlijnen van deze nieuwe verordening, en wat voor impact dit heeft op u en uw bedrijfsvoering.

Voor wie is deze verordening bedoeld?

De AI Act is onder meer van toepassing op aanbieders en gebruikers van AI-systemen binnen de EU. Een aanbieder van AI-systemen is een (rechts)persoon of een andere organisatie die een AI-systeem ontwikkelt of die en AI-systeem (al dan niet tegen betaling) aanbiedt in de markt.

Een gebruiker van een AI-systeem is een (rechts)persoon of andere organisatie die onder eigen verantwoordelijkheid en AI-systeem gebruikt in het kader van zijn beroepsactiviteit, bijvoorbeeld een grote webshop die AI gebruikt om te bepalen welke reclame er wordt getoond aan een gebruiker.

De AI Act geldt ten slotte ook importeurs en distributeurs van AI. Voor aanbieders en gebruikers van AI die zich in niet-Europese landen bevinden is dat AI-act van toepassing op het moment dat de output (de resultaten die het AI-systeem genereert) binnen de Europese Unie wordt gebruikt. De verordening geldt overigens niet voor AI-systemen die alleen voor militaire doeleinden worden ontwikkeld of gebruikt.

Niveau van risico’s

De AI-act kent een risico gebaseerde aanpak en deelt AI-systemen in volgens de volgende vier categorieën:

  1. Onaanvaardbaar risico
  2. Hoog risico
  3. Laag risico
  4. Minimaal risico

Onaanvaardbaar risico

AI-systemen die in deze categorie vallen zijn in beginsel verboden. Dit zijn AI-systemen die een duidelijke bedreiging vormen voor de veiligheid en fundamentele rechten van personen.

Dit is bijvoorbeeld aan de orde wanneer er via subliminale technieken (technieken waarvan men de effecten niet bewust doorheeft) wordt gemanipuleerd of wanneer misbruik wordt gemaakt van kwetsbaarheden van specifieke groepen, zoals kinderen, personen met een handicap of personen die behoren tot een specifieke sociale of economisch kwetsbare groep. Daarnaast is het gebruik van biometrische herkenning verboden voor zover dat gericht is op het achterhalen van bijzondere persoonsgegevens zoals politieke of religieuze voorkeur, seksuele geaardheid, enzovoort).

De verordening verbiedt ‘sociale scoring’ als dit leidt tot nadelige behandeling van individuen of groepen die geen verband houdt met de context van de verzamelde data of als die nadelige effecten niet in verhouding staan tot het sociale gedrag dat is vertoond. Verder is het gebruik van real time biometrische gegevens voor identificatie op afstand met het oog op rechtshandhaving niet toegestaan, tenzij dit noodzakelijk is voor een strikt aantal in de verordening omschreven doelen, zoals in het geval van ontvoering of mensenhandel.

Tenslotte valt de volgende AI onder deze categorie: AI die voorspelt of iemand crimineel gedrag zal gaan vertonen, gezichtsherkenningssoftware op basis van het scrapen van foto’s van het internet, AI die emoties kan afleiden binnen de werksfeer en scholen.

Hoog risico

Onder deze categorie vallen risico’s voor de gezondheid en veiligheid of de fundamentele rechten van natuurlijke personen. Hieronder valt AI die wordt gebruikt voor profilering. Andere voorbeelden zijn AI die wordt gebruikt in kritieke infrastructuur, onderwijs (bijvoorbeeld bij het nakijken van examens), algoritmes die sollicitanten beoordelen, kredietscoring bij banken en AI die wordt gebruikt binnen de medische sector of bij rechtshandhaving. Ook AI die wordt gebruikt ter beveiliging van een bij wet gereguleerd product en kan als in de hoog risico categorie vallen.

De genoemde AI-systemen worden echter niet als hoog-risico gezien indien de output slechts van zijdelings belang is en deze geen significant risico bevat op het gebied van veiligheid of grondrechten van natuurlijke personen. Denk bijvoorbeeld aan AI die binnenkomende data analyseert of structureert, of AI die teksten opschoont of tekstsuggesties doet.

Deze categorie AI wordt toegelaten mits deze voldoen aan dwingende voorschriften en er vooraf een conformiteitsbeoordeling is uitgevoerd door de aanbieder van AI. Bij een beoordeling wordt er gekeken of de AI voldoet aan de AI Act en wordt er met name gelet op de beheersing van risico en de bescherming van fundamentele rechten.

AI die onder deze hoge risico categorie valt dient aan strikte eisen te voldoen voordat het AI-syteem mag worden gebruikt of op de markt mag worden gebracht:

  • adequate systemen voor risicobeoordeling en –beperking;
  • hoge kwaliteit van de datasets die het systeem voeden om risico’s en discriminerende resultaten tot een minimum te beperken;
  • loggen van activiteiten om de traceerbaarheid van de resultaten te waarborgen;
  • beschikbaar hebben van gedetailleerde documentatie met informatie over de AI-technologie en het doel ervan voor de autoriteiten om de naleving van de AI-act te boordelen;
  • duidelijke en adequate informatie aan de eindgebruiker van AI;
  • passende maatregelen voor menselijke toezicht om risico’s tot een minimum te beperken;
  • hoge mate van robuustheid, veiligheid en nauwkeurigheid.

Laag risico

Bij systemen met een laag risico moet men bijvoorbeeld denken aan chatbots zoals Chat-GPT en Bard. Voor deze AI gelden met name transparantieverplichtingen. Het is belangrijk dat gebruikers bewust moeten kunnen zijn dat ze interactie hebben met een machine, zodat ze kritisch blijven over de mogelijke input en output van de AI. Zo is de output niet altijd even betrouwbaar, en kan de input door de chatbot worden gebruikt voor toekomstige creaties. Het is daarom belangrijk dat de gebruiker weet dat er geen vertrouwelijke informatie naar de chatbot wordt toegestuurd. Er wordt onder andere om die reden een specifiek transparantie niveau verwacht.

Minimaal risico

De verordening omschrijft niet wat als minimaal risico geldt, maar hierbij kun je denken aan spamfilters of AI-gedreven videospellen. Doordat deze categorie niet genoemd wordt in de AI-Act gelden voor dit soort AI-technologie geen bijzondere wettelijke vereisten. Wel moet deze AI-technologie uiteraard voldoen aan algemene veiligheidsstandaarden.

Wat betekent dit voor uw bedrijf?

Deze nieuwe regeling zorgt ervoor dat men niet zomaar gebruik kunt maken van AI-systemen. Indien u gebruik maakt van een AI-systeem of een systeem op de markt brengt, dan is het essentieel om te beoordelen in welke categorie uw systeem valt, zodat u tijdig voldoet aan de daarbij behorende verplichtingen.

Naar verwachting zal de AI-verordening in maart officieel worden gepubliceerd. Daarna zal de AI-act getrapt in werking treden. Zes maanden na publicatie zal het verbod op AI met een onaanvaardbaar risico van toepassing zijn. Twee jaar na publicatie zal de hele AI-verordening van toepassing zijn behoudens specifieke uitzonderingsbepalingen waarvoor fabrikanten meer tijd nodig hebben om hun producten hierop aan te passen.