Skip to content

Risk Management System

This new topic is needed because risk management systems are a distinct and mandatory requirement under the AI Act, encompassing systematic processes for identifying, assessing, mitigating, and monitoring risks throughout an AI system's lifecycle, which is not adequately covered by existing topics.

risk management system risk management risk mitigation risk monitoring risk identification risk evaluation continuous monitoring post-market monitoring

Overview

Legal Framework

The AI Act establishes a mandatory risk management system as a core obligation for providers of high-risk AI systems under Article 9. This requires providers to establish, implement, document, and maintain a continuous, iterative process for identifying, analyzing, evaluating, and mitigating the reasonably foreseeable risks associated with their AI system throughout its lifecycle. The system must lead to the adoption of suitable risk management measures, which must be proportionate to the severity of potential harm. The process is explicitly required to run in a continuous, iterative cycle, starting before the AI system is placed on the market and lasting throughout its entire lifecycle.

Practical Application

The authoritative T&C commentary, while referencing general principles of risk management under EU law, underscores that such a system must be systematic and proactive. It is not a one-time exercise but an integral, ongoing governance process embedded in the provider's quality management system. The requirements are interpreted to demand a documented methodology that is proportionate to the system's risk profile. This involves establishing clear procedures for risk identification (e.g., through hazard analysis), risk estimation and evaluation (assigning likelihood and severity), and the implementation of targeted mitigation strategies. Recitals 115 and 118 contextualize this by noting that for general-purpose AI models with systemic risks, providers must similarly assess and mitigate potential systemic risks, and report serious incidents promptly, indicating that the risk management logic extends across the AI value chain.

Key Considerations

  • Documented, Iterative Process: Organizations must implement and document a structured risk management plan that defines roles, methodologies (e.g., failure mode analysis), and a regular review cycle, ensuring it evolves with the system's deployment and performance data.
  • Lifecycle Integration: Risk management cannot be confined to the design phase. Procedures must be established for post-market monitoring to identify new or emergent risks during the use phase, triggering re-evaluation and updates to risk control measures.
  • Proportionality and Traceability: The depth of the risk management process should correspond to the AI system's intended purpose and potential severity of harm. All steps—from initial risk assessment to the choice and effectiveness of mitigation measures—must be traceable for authorities.

Laws (49)

View all 49

Case Law (10)

Bewezenverklaring misbruik identificerende persoonsgegevens.

Rechtbank

Bewezenverklaring medeplegen computervredebreuk, medeplegen diefstal valse sleutel en misbruik identificerende persoonsgegevens. Vrijspraak bankhelpdeskfraude. Toepassing ASR. Redelijke termijn overschreden met ruim 3 jaar. Jeugddetentie van 90 dagen. Benadeelde partijen deels toegewezen, deels niet ontvankelijk. Vorderingen tot tenuitvoerleggen afgewezen door het tijdsverloop.

Geen spoedeisend belang bij verzoek om opdragen Autoriteit Persoonsgegevens corrigerende maatregelen te nemen

Rechtbank

Verzoek om voorlopige voorzeining jegens Autoriteit Persoonsgegevens om corrigerende maatregelen te nemen afgewezen. In bezwaar was het gegrond verklaard en heeft er “een interventie plaatsgevonden die ertoe heeft geleid dat de derde-partij alsnog de vereiste aanpassingen heeft gedaan om het came...

AP mocht afzien van handhaving door beroep op prioriteringsbeleid

Raad van State

Betrokkene had drie klachten ingediend bij AP over de verwerking van persoonsgegevens door voormalig werkgever Prime Vision B.V. N.a.v. de eerste twee klachten heeft de AP normoverdragende brieven gestuurd aan Prime Vision, de derde klacht met een verzoek om corrigerende maatregelen zijn afgeweze...

AP hoefde niet handhavend op te treden. Rectificatierecht medische analyses.

Rechtbank

Beroep ongegrond. Wet bescherming persoonsgegevens. Met verweerder is de rechtbank van oordeel dat hoewel medische dossiers persoonsgegevens kunnen bevatten dit niet betekent dat medische analyses waar eiser zich niet mee kan verenigen op zichzelf ook kunnen worden aangemerkt als een persoonsgegeven. De rechtbank is verder van oordeel dat de onjuistheden in de door eiser genoemde informatie niet eenvoudig en objectief zijn vast te stellen. Dit is wel vereist om tot aanpassing dan wel correctie over te gaan.

Besluit op bezwaar van AP rechtmatig. Geen reden tot schadevergoeding.

Raad van State

Bij besluit van 25 maart 2021 heeft de Autoriteit Persoonsgegevens een klacht van [appellant] met een verzoek om corrigerende maatregelen tegen de Belastingdienst afgewezen. Op 23 mei 2020 en op 17 juni 2020 heeft [appellant] via het meldingsformulier klachten een klacht ingediend bij de AP, omdat de Belastingdienst heeft geweigerd op zijn verzoek zijn dossier toe te zenden. In de bij de klacht van 17 juni 2020 bijgevoegde brief (gedateerd 18 juni 2020) heeft [appellant] ook de AP verzocht corrigerende maatregelen te nemen. Op 25 maart 2021 heeft de AP het verzoek om handhaving afgewezen, omdat er na globaal bureauonderzoek onvoldoende feiten zijn om een overtreding van de AVG door de Belastingdienst vast te stellen. Daarvoor is nader onderzoek vereist. Omdat in onvoldoende mate aan de prioriteringscriteria is voldaan, heeft de AP besloten geen nader onderzoek te doen naar de klacht.

Reikwijdte beginselplicht tot handhaving en onderzoeksverplichtingen van de AP.

Rechtbank

Reikwijdte beginselplicht tot handhaving en onderzoeksverplichtingen van de AP. De AP heeft in deze omstandigheden kunnen afzien van een herstelsanctie, boete of berisping naar aanleiding van een overtreding van de AVG. Ook heeft de AP voldaan aan de verplichting van artikel 57 van de AVG om de twee andere klachten in gepaste mate te onderzoeken. De gestelde overtredingen zijn in het globale bureauonderzoek van Fase I niet vast komen te staan. De AP heeft op basis van het prioriteringsbeleid kunnen beslissen na dat globale bureauonderzoek geen nader onderzoek te doen.

VB v Natsionalna agentsia za prihodite

C-340/21 (VB v Natsionalna agentsia)

Data breach alone does not establish inadequate security measures. Burden on controller to prove adequacy.

Deutsche Wohnen SE v Staatsanwaltschaft Berlin

C-807/21 (Deutsche Wohnen)

Fines can be imposed directly on legal persons without identifying responsible natural person.

Meta Platforms and Others v Bundeskartellamt

C-601/21 (Meta Platforms (Bundeskartellamt))

Competition authorities can assess GDPR compliance in context of competition law proceedings.

HvJ EU: Privacy Shield ongeldig verklaard (Schrems II)

Het Hof van Justitie verklaart het Privacy Shield-akkoord ongeldig wegens onvoldoende waarborgen voor Europese burgers tegen toegang door Amerikaanse inlichtingendiensten.

Guidance (27)

View all 27

Guidelines 01/2021

Guidelines on Examples regarding Personal Data Breach Notification

Guidelines 1/2018 on certification and identifying certification criteria in accordance with Articles 42 and 43 of the Regulation

Guidelines on certification and identifying certification criteria

Guidelines 1/2019 on Codes of Conduct and Monitoring Bodies under Regulation 2016/679

Guidelines on codes of conduct and monitoring bodies

Guidelines 4/2019 on Article 25 Data Protection by Design and by Default Version 2.0 Adopted on 20 October 2020

Guidelines on data protection by design and by default

Guidelines 9/2022 on personal data breach notification under GDPR

Guidelines on personal data breach notification under GDPR

Guidelines 3/2019 on processing of personal data through video devices

Guidelines on processing of personal data through video devices

Guidelines 09/2020 on relevant and reasoned objection under Regulation 2016/679

Guidelines on relevant and reasoned objection under Regulation 2016/679

Guidelines 10/2020 on restrictions under Article 23 GDPR

Guidelines on restrictions under Article 23 GDPR

Guidelines 02/2022 on the application of Article 60 GDPR

Guidelines on the application of Article 60 GDPR

With the introduction of the GDPR, the concept of the one-stop shop was established as one of the main innovations. In cross-border processing cases, the supervisory authority in the Member State of the controller's or processor's main establishment is the authority leading the enforcement of the GDPR for the respective cross-border processing activities, in cooperation with all the authorities which may face the effects of the processing activities at stake: be it through the establishments ...

Guidelines 06/2022 on the practical implementation of amicable settlements

Guidelines on the processing of personal data under Article 6(1)(b) GDPR in the context of the provision of online services to data subjects

VERSIEGESCHIEDENIS

binding corporate rules voor verwerkingsverantwoordelijken

Versiegeschiedenis

guidelines accreditatie

Richtsnoeren 04/2022 voor de berekening van administratieve geldboeten krachtens de AVG

guidelines berekenen administratieve boetes

Het Europees Comité voor gegevensbescherming (EDPB) heeft deze richtsnoeren vastgesteld met het oog op de harmonisatie van de methode die de toezichthoudende autoriteiten gebruiken om het bedrag van de geldboete te berekenen. Deze richtsnoeren vormen een aanvulling op de eerder vastgestelde Richtsnoeren voor de toepassing en vaststelling van administratieve geldboeten in de zin van Verordening (EU) 2016/679 (WP 253), die betrekking hebben op de omstandigheden waarin een geldboete moet worden opg...

Richtsnoeren van 1/2018 voor certificering en het vaststellen van certificeringscriteria overeenkomstig de artikelen 42 en 43 van de verordening

guidelines certificering

Richtsnoeren 1/2019 voor gedragscodes en toezichthoudende organen in de zin van Verordening 2016/679

guidelines gedragscodes en toezichthoudende organen

Richtsnoeren 02/2022 voor de toepassing van artikel 60 AVG

guidelines voor de toepassing van artikel 60 AVG

Een van de belangrijkste innovaties bij de invoering van de AVG was de introductie van het concept 'één-loketmechanisme'. In gevallen van grensoverschrijdende verwerking is de toezichthoudende autoriteit in de lidstaat van de hoofdvestiging van de verwerkingsverantwoordelijke of verwerker de autoriteit die leidinggeeft aan de handhaving van de AVG met betrekking tot de grensoverschrijdende verwerkingsactiviteiten in kwestie. Daarbij wordt samengewerkt met alle autoriteiten die de gevolge...

Versiegeschiedenis

Richtsnoeren 9/2020 inzake relevant en gemotiveerd bezwaar overeenkomstig Verordening 2016/679

Richtsnoeren 04/2021 voor gedragscodes als instrumenten voor doorgifte

Volgens artikel 46 van de AVG moeten verwerkingsverantwoordelijken/verwerkers passende waarborgen bieden voor de doorgifte van persoonsgegevens aan derde landen of internationale organisaties. Daarom worden in de AVG de verschillende passende waarborgen aangegeven die organisaties op grond van artikel 46 kunnen gebruiken voor doorgiften aan derde landen, onder meer door gedragscodes in te voeren als nieuw doorgiftemechanisme (artikel 40, lid 3, en artikel 46, lid 2, punt ...

Richtsnoeren 01/2021

Enforcement (5)

ASOCIACIÓN ESCUELA NACIONAL DE EQUITACIÓN: Insufficient cooperation with supervisory authority

€750 fine - Spanish Data Protection Authority (aepd)

The Spanish DPA has imposed a fine of EUR 750 on the ASOCIACIÓN ESCUELA NACIONAL DE EQUITACIÓN. The controller failed to certify compliance with the corrective measures imposed by the DPA, resulting in the DPA issuing a fine.

ASOCIACIÓN ESCUELA NACIONAL DE EQUITACIÓN: Onvoldoende samenwerking met de toezichthoudende instantie.

Een boete van €750 - Spaanse Autoriteit voor Gegevensbescherming (AEPD).

De Spaanse gegevensbeschermingsautoriteit (DPA) heeft een boete van 750 euro opgelegd aan de ASOCIACIÓN ESCUELA NACIONAL DE EQUITACIÓN. De verantwoordelijke partij heeft nagelaten om aan te tonen dat aan de door de DPA opgelegde corrigerende maatregelen is voldaan, wat heeft geleid tot het opleggen van de boete.

Employer: Insufficient fulfilment of data subjects rights

€2,000 fine - Hellenic Data Protection Authority (HDPA)

The Hellenic DPA has imposed a fine of EUR 2,000 on an employer. An employee had filed a complaint due to the employer's failure to comply with the employee's right to object. The employee had objected to continuous monitoring of his online courses offered via zoom. However, the employer had continued the monitoring. In addition, the DPA found that the employer could not provide a sufficient legal basis for processing the data.

UAB Prime Leasing: Insufficient technical and organisational measures to ensure information security

€110,000 fine - Lithuanian Data Protection Authority (VDAI)

The Lithuanian DPA has fined UAB Prime Leasing, the operator of the short-term car rental platform CityBee, EUR 110,000. The DPA conducted the investigation on its own initiative after information about a possible personal data breach (Art. 33 GDPR) of the company's customers became public in February 2021. According to the company, they learned about the security breach from another cybersecurity service provider who informed them that the customer data of 110,302 CityBee users had been publish

TIM (telecommunications operator): Insufficient legal basis for data processing

€27,800,000 fine - Italian Data Protection Authority (Garante)

Between January 2017 and 2019, the data protection authority received hundreds of notifications, in particular concerning the receipt of unsolicited commercial communications made without the consent of the data subjects or despite their registration in the public register of objections. Furthermore, irregularities in data processing in connection with competitions were also complained about. In addition, incorrect and non-transparent information on data processing was provided in Apps provided

News (4)

Kunnen organisaties efficiëntieverbeteringen realiseren door de functies van Data Protection Officer (DPO) en klokkenluider te combineren?

Na de invoering van de EU-richtlijn inzake klokkenluiders in 2021, kregen de functionarissen voor gegevensbescherming van bedrijven de taak om veilige meldingskanalen op te zetten. Aangezien deze systemen voor gegevensbescherming en het melden van misstanden door dezelfde afdeling worden beheerd, is het dan verstandig voor bedrijven om de functies van gegevensbeschermingsfunctionaris en klokkenluidersfunctionaris te combineren? František Nonnemann, compliance- en operationeel risicobegeleider bij PBK Technology, en gecertificeerd privacyprofessional (CIPP/E), legt de overeenkomsten uit tussen gegevensbeschermingsfunctionarissen en klokkenluidersfunctionarissen.

Is the AI Act caging ChatGPT and other General Purpose Artificial Intelligence systems?

> The growth of generative artificial intelligence systems has led EU lawmakers to focus on General Purpose AI in drafting the AI Act, which will set the framework governing artificial intelligence in the European Union. As previously reported, the EU Parliament has already broadened the definition of artificial intelligence for the purposes of the AI Act… The post Is the AI Act caging ChatGPT and other General Purpose Artificial Intelligence systems? appeared first on GamingTechLaw.

Het reguleren van de risico's van kunstmatige intelligentie.

Dit artikel stelt dat het beschouwen van de negatieve gevolgen van kunstmatige intelligentie als risico's een bewuste keuze is met gevolgen. Risicobeheer brengt zijn eigen specifieke uitdagingen met zich mee: een verzameling van instrumenten en problemen die in andere vakgebieden zijn ontstaan. Bovendien zijn er minstens vier modellen voor risicobeheer, elk met verschillende doelen en methoden. De opkomende conflicten over de regulering van de risico's van kunstmatige intelligentie illustreren de spanningen die ontstaan wanneer toezichthouders één model van risicobeheer hanteren, terwijl belanghebbenden een ander model voorstellen.

CJEU: PNR Directive Valid if Limited to the “Strictly Necessary”

> In a landmark ruling of 21 June 2022, the CJEU (Grand Chamber), upheld the EU’s regime to collect and use records of travellers, provided that it is strictly interpreted in line with the EU’s fundamental rights. In addition, indiscriminate processing of the data in cases of flights carried out only within the EU is banned unless there is a threat of terrorism. In general, the passengers’ data must also be deleted after six months at the latest.