Human Oversight
This new topic is needed because human oversight is a specific and distinct requirement under the AI Act that deserves dedicated coverage, encompassing mechanisms for human control, intervention, and review of AI system operations and decisions.
human oversight human control human intervention human-in-the-loop human review human monitoring human supervision operator oversight
Overview
Legal Framework
The specific requirement for human oversight of high-risk AI systems is established in Article 14 of the AI Act. The provision mandates that high-risk AI systems must be designed and developed with capabilities for human oversight. This is further contextualized by Recitals 72 and 73, which clarify the rationale: to address issues of opacity and complexity and to ensure systems are used as intended throughout their lifecycle. The law requires providers to implement appropriate human oversight measures before placing a system on the market or putting it into service.
Practical Application
As interpreted through the recitals and preparatory works, human oversight is not a single action but a set of integrated mechanisms. The objective is to enable the human user (the deployer) to understand the system's operation, remain aware of its potential for automation bias, and intervene or halt the system's operation. The required measures are proportionate and tailored to the specific context of use. They typically include a combination of technical tools for interpretability, clear instructions for use, and defined processes for human review and intervention. The oversight must be "meaningful," meaning it must be effective in practice, not merely a theoretical possibility.
Key Considerations
- Design for Intervention: Oversight measures must be built into the system's design phase. This includes providing deployers with the information and tools necessary to interpret outputs, detect anomalies, and effectively intervene or disregard an output.
- Context-Specific Implementation: The nature and intensity of required oversight (e.g., in-the-loop, on-the-loop, or periodic review) depends on the AI system's application, its potential consequences, and the autonomy of its operation. A one-size-fits-all approach is non-compliant.
Laws (24)
View all 24Case Law (2)
FSV Inzage. Interne adviezen, juridische analyses die zijn bedoeld om intern te delen, notities die persoonlijke gedachten van medewerkers kunnen persoonsgegevens bevatten
Rechtbank
Verzoek om inzage op grond van artikel 15 AVG in persoonsgegevens op de FSV-lijst.
Inzageverzoek n.a.v. creditcard afwijzing. Geen afwijzing o.g.v. scoremodel, maar max bestedingsbedrag dat al bij andere cc bestond.
Gerechtshof
AVG-perikelen na afwijzing aanvraag creditcard
Guidance (14)
Versiegeschiedenis
guidelines doorgifte van persoonsgegevens tussen overheidsinstanties en -organen binnen en buiten de EER
Richtsnoeren 06/2020 inzake de wisselwerking tussen de tweede richtlijn betalingsdiensten en de AVG
guidelines wisselwerking toepassing artikel 3 en hoofdstuk V AVG
Version history
Guidelines on articles 46 (2) (a) and 46 (3) (b) of Regulation 2016/679 for transfers of personal data between EEA and non-EEA public authorities and bodies
Guidelines 4/2019 on Article 25 Data Protection by Design and by Default Version 2.0 Adopted on 20 October 2020
Guidelines on data protection by design and by default
Richtsnoeren 05/2022 voor het gebruik van gezichtsherkenningstechnologie in het kader van rechtshandhaving
guidelines gebruik gezichtsherkenning bij rechtshandhaving
Steeds meer rechtshandhavingsinstanties passen gezichtsherkenningstechnologie toe of zijn voornemens deze toe te passen. De technologie kan worden gebruikt om een persoon te authenticeren of te identificeren en kan voor video's (bijv. CCTV) of foto's worden ingezet, maar ook voor andere doeleinden, waaronder het opzoeken van personen op signaleringslijsten van de politie of het volgen van de bewegingen van een persoon in de openbare ruimte. Gezichtsherkenningstechnologie is gebaseer...
Guidelines 06/2020 on the interplay of the Second Payment Services Directive and the GDPR
Guidelines on the Interplay between the application of Article 3 and the provisions on international transfers as per Chapter V of the GDPR
Guidelines 05/2022 on the use of facial recognition technology in the area of law enforcement
Guidelines on the use of facial recognition technology in the area of law enforcement
More and more law enforcement authorities (LEAs) apply or intend to apply facial recognition technology (FRT). It may be used to authenticate or to identify a person and can be applied on videos (e.g. CCTV) or photographs. It may be used for various purposes, including to search for persons in police watch lists or to monitor a person's movements in the public space. FRT is built on the processing of biometric data , therefore, it encompasses the processing of special categories ...
Richtsnoeren 02/2021 inzake virtuele spraakassistenten
guidelines over virtuele spraakassistenten
Een virtuele spraakassistent ( virtual voice assistant , of VVA) betreft een dienst die spraakgestuurde opdrachten begrijpt en uitvoert, of indien nodig als tussenschakel optreedt naar andere IT-systemen. Tegenwoordig is een VVA als optie beschikbaar op de meeste smartphones, tablets en reguliere computers en sinds enkele jaren zelfs op losse apparaten zoals smartspeakers. Een VVA functioneert als schakel tussen de gebruiker en zijn apparaat of een online dienst zoals een zoekmachine...
Richtsnoeren 04/2022 voor de berekening van administratieve geldboeten krachtens de AVG
guidelines berekenen administratieve boetes
Het Europees Comité voor gegevensbescherming (EDPB) heeft deze richtsnoeren vastgesteld met het oog op de harmonisatie van de methode die de toezichthoudende autoriteiten gebruiken om het bedrag van de geldboete te berekenen. Deze richtsnoeren vormen een aanvulling op de eerder vastgestelde Richtsnoeren voor de toepassing en vaststelling van administratieve geldboeten in de zin van Verordening (EU) 2016/679 (WP 253), die betrekking hebben op de omstandigheden waarin een geldboete moet worden opg...
Richtsnoeren 4/2019 inzake artikel 25 Gegevensbescherming door ontwerp en door standaardinstellingen
guidelines privacy by design en default
Guidelines 02/2021 on virtual voice assistants
Guidelines on virtual voice assistants
A virtual voice assistant (VVA) is a service that understands voice commands and executes them or mediates with other IT systems if needed. VVAs are currently available on most smartphones and tablets, traditional computers, and, in the latest years, even standalone devices like smart speakers. VVAs act as interface between users and their computing devices and online services such as search engines or online shops. Due to their role, VVAs have access to a huge amount of personal...
Human Oversight of Automated Decision-Making
EDPS
TechDispatch #2/2025 - Human Oversight of Automated Decision-Making
Handvatten betekenisvolle menselijke tussenkomst
AP
Autoriteit Persoonsgegevens, Handvatten betekenisvolle menselijke tussenkomst
Reacties consultatie betekenisvolle menselijke tussenkomst
AP
Consultaties Autoriteit PersoonsgegevensReacties consultatie betekenisvolle menselijke tussenkomst
Enforcement (2)
Bedrijf: Niet-naleving van algemene principes voor gegevensverwerking.
492.000 euro boete - Autoriteit voor gegevensbescherming van Hamburg (HmbBfDI).
De Duitse beschermingsautoriteit (DPA) van Hamburg heeft een bedrijf in de financiële sector een boete van 492.000 euro opgelegd. Het bedrijf gebruikte geautomatiseerde systemen om te beslissen of een kredietaanvraag moest worden goedgekeurd, zonder enige menselijke tussenkomst. Dit systeem weigerde ten onrechte aanvragen van mensen met een goede kredietscore. Toen men om uitleg werd gevraagd over de negatieve beslissing, reageerde het bedrijf ook niet adequaat op deze verzoeken om informatie.
Foodinho Srl: Non-compliance with general data processing principles
€5,000,000 fine - Italian Data Protection Authority (Garante)
The Italian DPA has fined the food delivery service Foodinho Srl EUR 5 million for unlawfully processing the data of approximately 35,000 drivers and for several violations of the GDPR. The DPA's investigation revealed that the company collected drivers' location data without their knowledge or consent—not only during working hours but also when the app was running in the background or inactive. Additionally, the DPA found that the company shared driver data with third parties without a valid le
News (4)
Waarnemingen van eerlijkheid bij besluitvorming door algoritmen: Een systematisch overzicht van de empirische literatuur.
Algoritmische besluitvorming heeft steeds meer invloed op het dagelijks leven van mensen. Aangezien dergelijke autonome systemen ernstige schade kunnen toebrengen aan individuen en sociale groepen, zijn er zorgen ontstaan over eerlijkheid. Een op de mens gerichte aanpak, zoals die wordt geëist door wetenschappers en beleidsmakers, vereist dat de percepties van mensen over eerlijkheid worden meegenomen bij het ontwerpen en implementeren van algoritmische besluitvorming. We presenteren een uitgebreid en systematisch literatuuronderzoek dat de bestaande empirische inzichten over de perceptie van algoritmen samenvat.
Fairness perceptions of algorithmic decision-making: A systematic review of the empirical literature
> Algorithmic decision-making increasingly shapes people's daily lives. Given that such autonomous systems can cause severe harm to individuals and social groups, fairness concerns have arisen. A human-centric approach demanded by scholars and policymakers requires considering people's fairness perceptions when designing and implementing algorithmic decision-making. We provide a comprehensive, systematic literature review synthesizing the existing empirical insights on perceptions of algorithmic
De Autoriteit Persoonsgegevens publiceert een rapport over de risicoanalyse van de AVG (Algemene Verordening Gegevensbescherming).
De GDPR-risicoanalyse is bedoeld om controllers en verwerkers te helpen bij het identificeren van de risicofactoren voor de rechten en vrijheden van de betrokkenen, wiens gegevens worden verwerkt. Het doel is om een eerste inschatting te maken van het inherente risico, inclusief de noodzaak om een Privacy Impact Assessment (DIA) uit te voeren, en om het resterende risico te schatten als maatregelen en beveiligingsmechanismen worden gebruikt om specifieke risicofactoren te verminderen.
AEPD publishes GDPR Risk Assessment
> GDPR RISK ASSESSMENT is intended to assist controllers and processors to identify the risk factors for the rights and freedoms of data subjects whose data are present in the processing, to make an initial assessment of the intrinsic risk, including the need to perform a DPIA, and to estimate the residual risk if measures and safeguards are used to mitigate the specific risk factors.