Recital 58 — AI bij essentiële overheidsdiensten

Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. Met name natuurlijke personen die essentiële overheidsuitkeringen en -diensten van overheidsinstanties aanvragen of ontvangen, namelijk gezondheidszorg, socialezekerheidsuitkeringen, sociale diensten die bescherming bieden in gevallen zoals moederschap, ziekte, arbeidsongevallen, afhankelijkheid of ouderdom en verlies van werkgelegenheid en sociale bijstand en bijstand voor huisvesting, zijn doorgaans afhankelijk van deze uitkeringen en diensten en bevinden zich in een kwetsbare positie ten opzichte van de bevoegde autoriteiten. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden verleend, geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, alsook of begunstigden daadwerkelijk recht hebben op dergelijke uitkeringen of diensten, kunnen deze systemen aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte, en moeten zij derhalve als AI-systemen met een hoog risico worden geclassificeerd. Deze verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die baat zou hebben bij een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Voorts moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dergelijke doeleinden worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen, en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet voor het opsporen van fraude bij het aanbieden van financiële diensten en voor prudentiële doeleinden om de kapitaalvereisten van kredietinstellingen en verzekeringsondernemingen te berekenen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Daarnaast kunnen AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen voor gezondheids- en levensverzekeringen ook aanzienlijke gevolgen hebben voor het levensonderhoud van personen en kunnen zij, indien zij niet naar behoren zijn ontworpen, ontwikkeld en gebruikt, inbreuk maken op hun grondrechten en ernstige gevolgen hebben voor het leven en de gezondheid van mensen, waaronder financiële uitsluiting en discriminatie. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten, met inbegrip van politiediensten, brandweer en medische hulp, uit te sturen of hierbij voorrang te bepalen, alsook systemen voor de triage van patiënten bij dringende medische zorg, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen in zeer kritieke situaties voor het leven en de gezondheid van personen en hun eigendom.