Impact Assessment Mensenrechten en Algoritmes-Informatie Ondersteund Behandelen Schengenvisa

Impact Assessment Mensenrechten en Algoritmes Informatie Ondersteund Behandelen Schengenvisa Ministerie van Buitenlandse Zaken Hoofddirectie Consulaire- en Visumzaken (HDCV) December 2025 - aangevuld juli 2026 2 Inleiding Het Ministerie van Buitenlandse Zaken heeft een Impact Assessment Mensenrechten en Algoritmes (IAMA) uitgevoerd op het Informatie Ondersteund Behandelen binnen het Kort Verblijf Visum proces voor Schengenvisa. Aangezien het standaard IAMA format i onvoldoende ruimte biedt om alle benodigde informatie en bronnen op te nemen, is besloten de exacte vragen uit het format te beantwoorden in dit document. Hierbij is niet afgeweken van de oorspronkelijke inhoud van de IAMA. Zie ook het format van de IAMA voor meer toelichting op de vragen. 3 Deel 1: Waarom? Vraag 1.1 Aanleiding en probleemdefinitie Licht uw voorstel voor het gebruik/de inzet van een algoritme toe. Wat is de aanleiding hiervoor geweest?

Voor welk probleem moet het algoritme een oplossing bieden? Om een volledig antwoord op deze vraag te kunnen geven, is het van belang dat de achtergrond van het Schengen visumaanvraagproces wordt toegelicht. 1) Achtergrond EU Visumbeleid De Europese Unie (EU) heeft een gemeenschappelijk visumbeleid voor reizigers die door het Schengengebied reizen of voornemens zijn voor een korte periode in het Schengengebied te verblijven. De Visumcode ii is hierop van toepassing. De Visumcode bevat de procedures en voorwaarden voor de afgifte van een Kort Verblijf Visum (KVV) en stipuleert maatregelen die erop gericht zijn legaal reizen te bevorderen en illegale immigratie te bestrijden. Daarbij gaat de Visumcode in op de beoordeling van de visumaanvraag. Zo dient er bij een visumaanvraag te worden onderzocht of de aanvrager voldoet aan de inreisvoorwaarden. Hierbij moet er nadrukkelijk aandacht geschonken worden aan de toetsing van de vraag of de aanvrager een risico van illegale immigratie of een risico voor de veiligheid van de lidstaten vertegenwoordigt, en met name, of de aanvrager het voornemen heeft het grondgebied van de lidstaten te verlaten vóór de geldigheidsduur iii van het aangevraagde visum verstrijkt.

De Schengenlidstaten, en daarmee ook Nederland, zijn verantwoordelijk voor dit onderzoek. Een visum kan worden geweigerd indien er sprake is van een van de weigeringsgronden iv . Namelijk als de aanvrager: (i) een vals reisdocument heeft overgelegd of bij redelijke twijfel over de echtheid van de door de aanvrager overgelegde bewijsstukken dan wel over de geloofwaardigheid van de inhoud ervan; (ii) het voorgenomen verblijf onvoldoende kan rechtvaardigen; (iii) onvoldoende bewijs levert voor het verblijf of voor de terugkeer naar huis vóór het verstrijken van de geldigheid van het aangevraagde visum; (iv) met het oog op weigering van toegang, gesignaleerd staat in het Schengeninformatiesysteem; (v) wordt beschouwd als een bedreiging van de openbare orde, de binnenlandse veiligheid, de volksgezondheid of de internationale betrekkingen van EU-landen; of (vi) niet heeft aangetoond te beschikken over een toereikende medische reisverzekering. 2) Het behandelen van Schengenvisum door het Ministerie van Buitenlandse Zaken en daarbij het belang van het Informatie Ondersteund Behandelen Het Ministerie van Buitenlandse Zaken (BZ) is verantwoordelijk voor de behandeling en beoordeling van KVV-aanvragen voor een kort verblijf binnen de Schengenlanden. 4 Hiermee vervult BZ de taak op het gebied van toelating (regulier) voor de migratieketen v .

Kennisintensieve besluitvorming bij een KVV-aanvraag is noodzakelijk en vormt daarom het uitgangspunt van een doelmatige consulaire dienstverlening door BZ. Met het zo objectief en efficiënt mogelijk afhandelen van KVV -aanvragen worden toerisme, familiebezoek en economische diplomatie bevorderd en draagt BZ bij aan de uitoefening van de taken van de migratieketen en daarmee aan de veiligheid in Nederland, maar ook de veiligheid van de visumaanvrager. Voordat een KVV verstrekt mag worden, dient BZ te beoordelen of aan alle verplichte voorwaarden ingevolge de Europese wet- en regelgeving wordt voldaan. Vanwege de grote hoeveelheid aanvragen, maar ook om deze taak zo objectief en zorgvuldig mogelijk uit te kunnen voeren, ondersteunt BZ dit proces met een op data-analyse gebaseerde werkwijze. Dit wordt het Informatie Ondersteund Behandelen (IOB) genoemd. Dit gebeurt in de Buitenlandse Zaken Analyse Omgeving (BAO).

Aan de hand van de beschikbare informatie wordt er een inschatting gemaakt van de te verwachten intensiteit van de behandeling van een visumaanvraag. Zonder de BAO, en daarmee de geadviseerde tracks , is het voor de consulaire medewerker niet eenvoudig om vooraf een inschatting te maken van de te verwachten intensiteit voor het behandelen van een specifieke visumaanvraag en het bijbehorende dossieronderzoek. Daardoor bestaat de kans dat cruciale zaken over het hoofd worden gezien, maar ook dat er mogelijk te veel tijd wordt besteed aan dossiers die wellicht sneller beoordeeld kunnen worden. 3) Het Schengenvisum aanvraagproces Het Schengenvisum aanvraag proces is een uitgebreid proces. Schematisch weergegeven ziet het er als volgt uit: Met de inschatting van de te verwachten intensiteit, wordt de te verwachten capaciteitsinzet bedoeld. Bijvoorbeeld het afnemen van een extra interview of het opvragen van aanvullende benodigde informatie.

Deze inschatting wordt aan de consulaire medewerker aangeboden in de vorm van een zogeheten track ( fast , regular of intensive ), met daarbij aanvullende relevante informatie. 5 Zoals hierboven weergegeven bevat het KVV-proces diverse stappen voordat er een besluit over de visumaanvraag wordt genomen door de consulaire medewerker. Deze stappen worden hieronder toegelicht. 1. Indienen van een KVV-aanvraag Een visumaanvraag kan worden ingediend bij een Externe Dienstverlener (EDV) of bij een Nederlandse ambassade/post in het land waar de aanvrager zich bevindt. De aanvraag wordt ingevoerd in KAIROS, het visuminformatiesysteem van BZ. Consulaire medewerkers behandelen visumaanvragen in dit systeem. 2. Controle in de BAO KAIROS controleert door middel van een koppeling met de BAO of er, naast de beschikbare informatie in KAIROS, relevante informatie bekend is over de aanvrager, referent en/of werkgever.

De BAO controleert op twee verschillende wijzen in hoeverre er iets bekend is over de visumaanvraag: • Signalen: Er wordt gekeken of er een match is met de informatie uit de visumaanvraag met de informatie aanwezig in de BAO. Dit kan informatie zijn die BZ zelf heeft verzameld bij (eerdere) visumaanvragen, of informatie afkomstig van ketenpartners. De bronnen van de ketenpartners betreffen informatie over de aanvrager zelf, de referent en/of werkgever binnen Nederland. Dit kan informatie zijn die bijvoorbeeld betrekking heeft op weigering aan de grens door de Koninklijke 6 Marechaussee (KMar) dat heeft plaatsgevonden, asielaanvragen, of het gebruik van vervalste papieren. Deze methode wordt ook wel Hit / no hit genoemd. • Profielen: Daarnaast wor dt er door BZ gebruik gemaakt van profielen in de BAO. De profielen bevatten geen informatie van individuele aanvragers (herleidbare gegevens worden verwijderd), en zijn gebaseerd op informatie uit eerdere aanvragen en de beschikbare informatie van ketenpartners van de afgelopen vijf jaar.

Voor het opstellen van de profielen wordt er gebruik gemaakt van een beslisboom met eenvoudige ‘als-dan’ regels. Meer informatie over de opbouw en het gebruik van profielen volgt in hoofdstuk twee van deze IAMA. NB Deze controle wordt niet uitgevoerd bij visumaanvragen van kinderen onder de 18, aanvragen met een andere bestemming dan Nederland en andere visumaanvragen dan kort verblijf. Voor deze doelgroepen geldt stap drie eveneens niet. 3. Vaststellen en terugkoppelen van een track Mogelijke match es (op basis van de vergelijking en de profielen) in de BAO worden gewogen. Hiervoor wordt er gebruik gemaakt van een wegingsmodel. De weging die wordt toegekend aan een match in de BAO is vooraf vastgesteld. Een match op gegevens die direct betrekking hebben op de aanvrager, referent en/of werkgever, weegt bijvoorbeeld altijd zwaarder dan een profiel waarin de visumaanvraag valt. Uit deze weging volgt een score.

Op basis van de uiteindelijke score wordt een track teruggekoppeld aan de consulaire medewerker: fast , regular of intensive . De track geeft de consulaire medewerker een advies over de inschatting van de intensiteit van de behandeling van het dossier. Fast bijvoorbeeld wanneer de werkgever van de aanvrager een betrouwbare historie laat zien. Regular wanneer er geen additionele informatie bekend is over de aanvrager. Een intensive track kenmerkt zich o.a. door een hit op een migratieketenpartnerbron (met uitzondering van eerdere ingewilligde Machtiging tot Voorlopig Verblijf - MVV vi ), bijvoorbeeld een eerdere weigering aan de grens door de KMar. Zie ook antwoorden vraag 2.A.2. De track wordt voor de consulaire medewerker zichtbaar in KAIROS, met daarbij een korte toelichting met de voor die visumaanvraag relevante informatie n.a.v. de hits in de BAO. Bijvoorbeeld dat er geen historie bekend is over de opgegeven referent/werkgever, of dat dit juist wel het geval is (en bijvoorbeeld een werkgever in het verleden betrokken is geweest bij illegale tewerkstelling).

Een andere mogelijkheid is aanvullende informatie over de aanvrager. Voorbeelden hierbij zijn dat er in het verleden eerder KVV’s zijn afgegeven en of de aanvrager zich destijds aan de visumvoorwaarden heeft gehouden (bijvoorbeeld niet langer is gebleven dan toegestaan). Een ander voorbeeld is of de aanvrager is uitgenodigd door het ministerie en/of haar partnerorganisaties. Deze korte toelichting is altijd algemeen van aard, en nooit een één-op-één kopie van de hits in BAO. 7 Meer informatie over het vaststellen en gebruik van de tracks wordt in hoofdstuk 2 van deze IAMA gegeven. 4. Behandeling visumaanvraag De consulaire medewerker besluit vervolgens zelfstandig wat de uiteindelijke intensiteit van de behandeling van het dossier zal zijn en op welke wijze de visumaanvraag verder wordt afgehandeld. Het is voor een consulaire medewerker bijvoorbeeld mogelijk om een extra interview af te nemen om nadere informatie van de visumaanvrager te ontvangen rondom de aanvraag.

De consulaire medewerker beslist zelf of hij/zij dit noodzakelijk acht. De track is aldus slechts een ondersteunend advies aan de consulaire medewerker over de behandeling en nooit ten aanzien van de te nemen beslissing op de aanvraag. Voor de behandeling heeft de consulaire medewerker immers het gehele dossier ter beschikking en uiteraard eerdere ervaring en kennis die de medewerker heeft opgedaan. Het is daarom ook mogelijk dat de consulaire medewerker besluit een visumaanvraag, ondanks een toegekende fast track vanuit de BAO, meer intensief te behandelen vanwege ontbrekende stukken of onduidelijkheden in de aanvraag. Daarnaast is het uiteraard ook mogelijk dat een visumaanvraag waarbij de BAO een intensive track heeft geadviseerd sneller wordt afgehandeld, omdat het dossier dat de consulaire medewerker ter beschikking heeft duidelijk en compleet is. 5. Besluitvorming visumaanvraag De uiteindelijke beslissing op de visumaanvraag wordt door de consulaire medewerker genomen na de beoordeling van het gehele dossier.

Het toekennen, dan wel weigeren, van een visumaanvraag kan uitsluitend op basis van de voorwaarden en weigeringsgronden, die vastgelegd zijn in de Visumcode. De geadviseerde track is uitdrukkelijk geen weigeringsgrond. Het is altijd de consulaire medewerker die Waar in deze IAMA wordt gesproken over ‘het algoritme’ wordt er gerefereerd aan de in de BAO gebruikte methodes, zoals hierboven omschreven in stap 2 en 3: 1) Hit / no hit op de bronnen, 2) het opstellen van de profielen én 3) het wegingsmodel voor het toekennen van de track . Waar nodig worden de afzonderlijke methodes van dit proces besproken in de IAMA. In alle andere gevallen zal er gerefereerd worden aan ‘het algoritme’. 8 uiteindelijk beslist of er wel of geen visum wordt verstrekt. Om het proces goed weer te geven, volgt een fictief voorbeeld: Vraag 1.2 Doelstelling Wat is het doel dat bereikt dient te worden met de inzet van het algoritme?

Wat is hierbij het hoofddoel en wat zijn subdoelen? Het hoofddoel van het algoritme is invulling geven aan de aan BZ opgelegde taak in het kader het beoordelen van de KVV-aanvragen zoals genoemd bij 1.1, en hierbij het ondersteunen van de consulaire medewerker bij de zorgvuldige beoordeling van een visumaanvraag, door het inschatten van de benodigde intensiteit voor het behandelen (en het bijbehorende dossieronderzoek) van deze aanvraag. Hiermee wordt invulling gegeven aan de BZ opgelegde taak. Subdoelen van het algoritme zijn: - Veiligheid Nederland: beoordelen of er sprake is van een dreiging voor de openbare orde en/of de binnenlandse veiligheid zoals art. 21 van de Visumcode dat voorschrijft vii ; Fred vraagt een KVV aan. Dit is niet de eerste keer dat hij een KVV aanvraagt. In het verleden heeft hij dit eerder gedaan en het KVV gekregen. De aanvraag van Fred komt bij BZ binnen. BZ controleert in haar systemen wat zij al van Fred weet.

Dit gaat met behulp van het IOB. Hiervoor gebruikt BZ informatie die zij zelf van Fred heeft gekregen of verzameld, waaronder het aanvraagformulier van Fred en informatie over zijn eerdere visum kort verblijf. Daarnaast maakt BZ via het IOB gebruik van informatie die zij uit de migratieketen heeft verkregen. Daaruit blijkt dat Fred zich de vorige keer niet aan de voorwaarden van zijn KVV heeft gehouden en langer is gebleven dan toegestaan. Ook is er een match tussen Fred en een van de profielen die is geanalyseerd uit de historische data van BZ. Uit dit profiel blijkt dat bij veel soortgelijke aanvragen met hetzelfde reisdoel, dezelfde nationaliteit, leeftijdscategorie en land van betaalplaats, in het verleden zich geen problemen hebben voorgedaan. De consulaire medewerker krijgt deze informatie uit de systemen teruggekoppeld in de vorm van een intensive track. De medewerker gebruikt deze informatie als ondersteuning bij het bepalen van de vervolgstappen.

Omdat Fred zich in het verleden niet heeft gehouden aan de voorwaarden van een visum, besluit de medewerker een extra interview met Fred in te plannen om hem zelf te vragen waarom het misging. Na het interview heeft de medewerker geen twijfels bij de motivatie van Fred. Het visum wordt verstrekt . 9 - Veiligheid aanvrager: door de bij BZ aanwezige informatie over de opgegeven referent en/of werkgever mee te nemen bij de beoordeling van de aanvraag, kan de aanvrager beter beschermd worden tegen onveilige situaties zoals illegale tewerkstelling; - Objectiviteit: behandeling van aanvragen objectiever uitvoeren door de behandeling te ondersteunen met informatie i.p.v. enkel met kennis van de consulaire medewerkers met eventuele human bias. Hierdoor ontstaat er een betere balans tussen de beschikbare informatie en kennis/ervaring van de consulaire medewerker; - Zorgvuldigheid: behandeling zorgvuldiger uitvoeren door alle benodigde informatie mee te laten wegen in de beoordeling; en - Efficiëntie: behandeling van de aanvragen efficiënter uitvoeren door de consulair e medewerker inzicht te geven in aanvragen die mogelijk meer of minder behandelintensiteit vergen.

Voor de aanvrager is dit ook van belang, omdat dit ertoe kan leiden dat een aanvragen gerichter behandeld kan worden, en daarmee mogelijk ook sneller afgehandeld kunnen worden. Vraag 1.3 Publieke waarden 1.3.1 Wat zijn de publieke waarden die de inzet van het algoritme ingeven? Indien meerdere publieke waarden de inzet van het algoritme ingeven, kan daar een rangschikking in aangebracht worden? Gelijkwaardigheid: het algoritme zorgt voor een meer objectieve en gelijkwaardige behandeling door alle beschikbare informatie mee te laten wegen. Iedere aanvraag wordt op eenzelfde wijze gecontroleerd. De keuze van een consulaire medewerker om een uitgebreider dossier onderzoek uit te voeren wordt daarbij niet enkel gebaseerd op een mogelijke human bias van de medewerker, maar juist ook op de aanwezige informatie. Efficiëntie/ kwaliteitsverbetering : door het gebruik van het algoritme hebben consulaire medewerkers vooraf meer zicht op welke aanvragen naar verwachting meer tijd zullen vergen.

Zo kan de consulaire medewerker de tijdsbelasting van de aanvragen beter inschatten en meer tijd besteden aan aanvragen die hierom vragen. Daarnaast biedt het gebruik van het algoritme de mogelijkheid informatie mee te nemen, die zonder het algoritme niet geraadpleegd zou kunnen worden in het korte tijdsbestek dat de consulaire medewerker heeft. Dit heeft ook als gevolg dat beslissingen beter onderbouwd kunnen worden. Transparantie en uitlegbaarheid : het algoritme maakt de keuze voor een uitgebreider dossieronderzoek (bijv. het aanvragen van aanvullende documenten of het afnemen van een interview) beter uitlegbaar. De uiteindelijke track die wordt geadviseerd is namelijk geheel terug te herleiden. Dit is een stuk complexer bij besluiten die door mensen zijn genomen, waarbij het niet altijd op logica is gebaseerd, maar vooral op kennis en 10 mogelijke human bias. Om die reden draagt het gebruik van het algoritme en daarmee de tracks bij aan de transparantie en uitlegbaarheid van het proces.

Herleidbaarheid en controleerbaarheid : het algoritme zorgt, naast transparantie en uitlegbaarheid, ook voor meer herleidbaarheid en controleerbaarheid. Het gebruikte algoritme is deterministisch. Dit houdt in dat dit onderdeel van het visumproces, het inschatten van de te verwachten intensiteit van een dossieronderzoek, gecontroleerd en te allen tijde gereproduceerd kan worden. Hierdoor kan er onderzocht worden waarom een bepaalde track is geadviseerd, hetgeen het proces controleerbaar maakt. Menselijke waardigheid : het algoritme en de daarbij gebruikte techniek stelt de consulaire medewerker in de leiding. Het proces is zo ingericht dat het algoritme de menselijke waardigheid respecteert. Het is altijd de consulaire medewerker die de keuzes maakt in de manier waarop de visumaanvraag wordt behandeld. Dienstbaarheid : het gebruik van het algoritme is niet enkel voor BZ van belang, maar het dient tevens de visumaanvrager.

Doordat het algoritme bijdraagt aan efficiëntie, kan waar mogelijk een visumaanvraag sneller afgehandeld worden. Daarnaast is het ook voor de aanvrager van belang dat de behandeling zo objectief mogelijk gebeurt. Het algoritme draagt daaraan bij. Een rankschikking van de publieke waarden is niet per se aan de orde. Alle genoemde publieke waarden zijn van belang bij de inzet van het algoritme. 1.3.2 Wat zijn de publieke waarden die mogelijk in het gedrang komen door de inzet van het algoritme? De genoemde publieke waarden die het algoritme ingeven, kunnen mogelijk in het gedrang komen wanneer het algoritme onjuist wordt geïmplementeerd en toegepast. Hier is vanaf de start van het gebruik van het algoritme rekening mee gehouden. Gelijkwaardigheid: ondanks dat het algoritme ervoor zorgt dat de waarneming van de consulaire medewerker wordt aangevuld met beschikbare informatie, bestaat er een eventueel risico op bias in de data.

Dit zou mogelijk een risico voor gelijkwaardigheid op kunnen leveren. Dit risico is sinds de start onderkend en er is op meerdere wijzen gecontroleerd of er sprake is van een vorm van bias in de data of het algoritme zelf. Uit de verschillende onderzoeken (zie vraag 2B.3.3) is gebleken dat dit niet het geval is viii . Daarnaast speelt de doorlopende monitoring zoals hieronder genoemd bij vraag 2B.3.3, ‘Efficiëntie/ kwaliteitsverbetering’ hier ook een rol in. Het is hierbij van belang om te benoemen dat het vraagstuk of het visumaanvraagproces an sich discriminerend is, in deze IAMA buiten beschouwing wordt gelaten. Dat is immers niet het gevolg van het algoritme, maar het gevolg van de Europese wet- en 11 regelgeving die de toegang tot, en het verblijf in, de Europese landen regelt ix . Hier heeft BZ geen invloed op. Efficiëntie/ kwaliteitsverbetering: in plaats van dat de geadviseerde track ondersteunend werkt voor de consulaire medewerker, zou het in theorie mogelijk zijn dat medewerkers ‘blindvaren’ op de tracks .

Dit wordt confirmation bias genoemd: er wordt van uitgegaan dat wat de computer zegt altijd klopt. Zie 3.3.2 voor een toelichting op de wijze waarop het risico op confirmation bias is getoetst. Er zijn diverse maatregelen genomen om dit tegen te gaan. Zo worden de medewerkers die de visumaanvragen beoordelen getraind op het interpreteren van de tracks . In deze trainingen wordt ook benadrukt dat het de consulaire medewerker is die besluit op welke wijze er vorm wordt gegeven aan het dossieronderzoek, en in hoeverre er aanvullende acties benodigd zijn. Daarnaast impliceert een fast track niet dat een visumaanvraag moet worden toegekend, en een intensive track niet dat een aanvraag moet worden afgewezen. Een track is geen weigeringsgrond. Iedere aanvraag dient conform de regels van de Visumcode beoordeeld te worden, ongeacht de track . Op deze manier wordt ook voorkomen dat er sprake is van geautomatiseerde besluitvorming.

Tot slot worden de geadviseerde tracks en de uiteindelijke besluiten van de consulaire medewerkers gemonitord. Uit deze monitoring is tot nu toe ook gebleken dat bij de meerderheid van de visumaanvragen waarbij een intensive track werd geadviseerd, de visumaanvraag werd toegekend. Dat is ook het doel van het algoritme: het inschatten van de intensiteit van het dossieronderzoek, om zo uiteindelijk tot de toewijzing van een visumaanvraag te kunnen komen. Transparantie/uitlegbaarheid : het gebruik van een algoritme brengt ook een bepaalde mate van complexiteit met zich mee. Daardoor bestaat het risico dat het voor betrokkenen onvoldoende duidelijk is hoe het algoritme werkt en wat de uiteindelijke impact van het algoritme is. Aangezien eenieder die naar Nederland wil reizen en daarvoor een visum nodig heeft, een visum mag aanvragen, dient het ook voor eenieder helder te zijn op welke wijze het algoritme gebruikt wordt.

Om die reden wordt er veel aandacht besteed aan transparantie rondom het algoritme. Zo is er een Factsheet (NL en ENG) opgesteld, over de inzet van het algoritme en daarmee het IOB door BZ. Hierin wordt aan de hand van o.a. een voorbeeldcasus uitgelegd wat het gebruik van het algoritme inhoudt, en wat de gevolgen voor de betrokkenen zijn. Bovengenoemde maatregelen zijn vanzelfsprekend een doorlopend proces, om te kunnen blijven waarborgen dat de genoemde risico’s worden beperkt dan wel weggenomen. 12 Vraag 1.4 Wettelijke grondslag Wat is de wettelijke grondslag van de inzet van dit algoritme en van de beoogde besluiten die genomen zullen worden op basis van dit algoritme? De wettelijke grondslag is te vinden in de Algemene Verordening Gegevensbescherming (AVG) in art. 6 lid 1 onder e: de verwerking is noodzakelijk voor de vervulling van een taak van algemeen belang of van een taak in het kader van de uitoefening van het openbaar gezag dat aan de verwerkingsverantwoordelijke is opgedragen x .

Deze taak is vastgelegd in art. 21 van de Visumcode en art. 2 lid 2 Rijksvisumwet xi . Het gebruik van bijzondere persoonsgegevens is vastgelegd in art. 107a Vreemdelingenwet xii . Dit betreff en formele wetten. Vraag 1.5 Betrokkenen en verantwoordelijken 1.5.1 Welke partijen en personen zijn er bij de ontwikkeling/het gebruik/het onderhoud van het algoritme betrokken? Bij de ontwikkeling, het gebruik en het onderhoud van het algoritme zijn diverse partijen betrokken (geweest), waaronder leidinggevenden, technici, juristen, ethici en beleidsadviseurs. De volgende partijen zijn/waren betrokken: 1. Directeuren en plv. directeuren Hoofddirectie Consulaire Visumzaken (HDCV), DGs, minister(s) BZ, departementsleiding en politieke leiding. 2. Het data team (H)DCV bestaande uit data analisten, engineers en scientisten t.b.v. ontwikkeling, gebruik en onderhoud van het algoritme (o.a. ontwikkelen, toetsen en het monitoren van het algoritme). 3.

applies Rijksvisumwet Art. 2(2), Vreemdelingenwet Art. 107

Beleidsadviseurs en managementteam HDCV. 4. Beleidsadviseurs Informatievoorziening en Digitale Innovatie (IDI, expertisecentrum algoritmes en AI BZ). 5. Juristen Dienst Juridische Zaken. 6. Functionarissen Gegevensbescherming BZ. 7. Externe juridische privacy experts t.b.v. advies op het gebied van de ontwikkeling van het algoritme (o.a. voor het opstellen van een juridisch kader en het beoordelen van databronnen), advisering bij het gebruik (beoordelen nieuwe databronnen, opstellen Factsheet ) en het onderhoud (periodiek toetsen van de juridische vereisten) van het algoritme. 8. Externe juridische adviesbureaus t.b.v. het onderhoud van het algoritme (het uitvoeren van second opinions op lopende vraagstukken). 9. Raadsadviseur Ministerie van Justitie en Veiligheid. 10. Adviescommissie voor Vreemdelingenzaken (ACVZ - thans Adviesraad Migratie). 13 11. Topberaad Migratieketen (directeuren migratieketenpartners). 12.

13. Autoriteit Persoonsgegevens. 1.5.2 Hoe zijn de verantwoordelijkheden belegd ten aanzien van de ontwikkeling en de inzet van het algoritme, ook nadat het algoritme eenmaal is afgerond? De verantwoordelijkheid voor een juiste ontwikkeling en de inzet van het algoritme (en daarmee het beheer) ligt bij HDCV. Gezien het belang van het algoritme en de mogelijke risico’s zijn de verantwoordelijkheden en relevante contextuele kennis in de uitvoering belegd bij het BAO-team (beleid, beheer, uitvoering), waarbij verantwoording wordt afgelegd aan de Directeur HDCV. 1.5.3 Wie is eindverantwoordelijk voor het algoritme? De minister van Buitenlandse Zaken. Deel 2A: Wat? Vraag 2A.1 Inschatting: type algoritme 2A.1.1 Wat voor type algoritme wordt gebruikt, of wat voor type algoritme gaat ontwikkeld worden? Zoals toegelicht bij vraag 1.1 en 2B.1.1 is van belang om het ‘algoritme’ zoals gedefinieerd in de inleiding voor deze vraag te scheiden.

Er wordt gebruik gemaakt van drie verschillende methodes, waarbij niet iedere methode aangemerkt kan worden als ‘algoritme’: 1. Hit / no hit op in de BAO aanwezige databronnen (geen algoritme); 2. Beslisboom ten behoeve van het opstellen van profielen (algoritme); en 3. Wegingsmodel ten behoeve van het vaststellen van een score en het toekennen van een track (algoritme) . De Hit / no hit methode is slechts een vergelijkingsmethode en geen ‘algoritme’. Er wordt enkel gecontroleerd of er een match is tussen de gegevens uit een visumaanvraag en de in de BAO aanwezige databronnen. De beslisboom bestaat uit een reeks vooraf vastgestelde “als–dan”-regels. Dit betreft een eenvoudig type algoritme dat werkt met vaste regels: als iets het geval is, dan volgt een bepaalde stap of uitkomst. De regels zijn vooraf door BZ zelf opgesteld. Het algoritme leert of verandert dus niet zelf, maar past alleen deze vaste regels toe.

Het wegingsmodel is een rekenmodel waarmee een score, en uiteindelijk een track , 14 wordt toegekend. Het wegingsmodel kan aangemerkt worden als algoritme. Meer uitleg over de werking hiervan is opgenomen bij vraag 2B.1.1 en 2B.4. Ook bij het wegingsmodel zijn vooraf de regels vastgesteld. Zie ook vraag 2B.1.1 voor een meer uitgebreid antwoord over het type algoritme dat door BZ wordt gebruikt. Vraag 2A.2 Databronnen en kwaliteit 2A.2.2 Wat voor type data gaat gebruikt worden als input voor het algoritme en uit welke bronnen is de data afkomstig? Indien geen gebruik wordt gemaakt van inputdata, ga door naar onderwerp 2A.4. De input is uit meerdere bronnen afkomstig. Hierbij wordt er een onderscheid gemaakt tussen interne- en externe bronnen. Intern: - Gegevens uit de bij BZ binnengekomen visumaanvraag die beoordeeld dient te worden; en - Historische visumaanvraaggegevens tot vijf jaar terug uit het visuminformatiesysteem (KAIROS).

Extern: - Er wordt gebruik gemaakt van data aangeleverd door de volgende (migratie)ketenpartners: o KMar : gegevens betreffende weigering aan de grens; o Immigratie- en Naturalisatiedienst (IND): gegevens betreffende asiel na KVV en machtiging tot voorlopig verblijf; o Dienst Terugkeer en Vertrek (DT&V): in- en uitstroom gegevens; en o De Nederlandse Arbeidsinspectie (NLA): gegevens betreffende bedrijven die de Wet arbeid vreemdelingen xiii hebben overtreden en hiervoor een boete opgelegd hebben gekregen. De gebruikte kenmerken voor het algoritme verschillen per methode. Voor de Hit / no hit methode (vergelijking van de binnengekomen visumaanvraag met de in de BAO aanwezige databronnen) wordt er onder andere gebruik gemaakt van: - Vreemdelingennummer aanvrager; - Datum aanvraag; en - Voornaam en achternaam aanvrager. 15 Wat betreft de input voor de beslisboom zijn de volgende kenmerken van belang: - Land betaalplaats; - Hoofddoel reis; - Leeftijdscategorie; - Nationaliteit; - Geslacht; - Beroep; en - Burgerlijke staat.

Voor het wegingsmodel zijn de volgende kenmerken van belang: - Hit op aanvrager; - Hit op referent; - Hit op werkgever; en - Hit op profiel. De gebruikte kenmerken voor de drie methoden worden nader toegelicht bij vraag 2B.3.3 en 2B.4. De historische data die worden gebruikt in de beslisboom om profielen te genereren, worden geanonimiseerd. Voor deze verwerking zijn er namelijk geen herleidbare gegevens nodig. Overige gegevens worden niet geanonimiseerd of gepseudonimiseerd xiv , omdat het voor alle andere gevallen juist van belang is dat er met zekerheid kan worden gesteld dat er een match is tussen de aanvragen en de bij BZ aanwezige data. 2A.2.2 Is de kwaliteit en betrouwbaarheid van de data voldoende voor de beoogde datatoepassing? Leg uit. De interne gegevens zijn direct uit KAIROS afkomstig, het visuminformatiesysteem. Dit zijn gegevens die zijn verzameld bij de visumaanvraag en de beoordeling daarvan, bijvoorbeeld ingevuld door de aanvrager en/of consulaire medewerker.

Dit is voor BZ een betrouwbare bron en ook de hoofdbron die gebruikt wordt bij het uitvoeren van haar taak. De door BZ ontvangen gegevens van de ketenpartners zijn ex-ante beoordeeld op relevantie alsmede AVG-vereisten. Deze gegevens zijn afkomstig uit de bronsystemen van deze partijen (feitelijk asiel aangevraagd, feitelijk geweigerd, feitelijk veroordeeld etc.). Er bestaan voorzieningen voor een terugkoppeling waar ketenpartners bilateraal gebruik van kunnen maken om twijfels over de juistheid van gegevens te melden (TMK – Terugmeldvoorziening xv : voor melding en correctie van incorrecte registraties). Er worden geen externe bronnen gebruikt waarvan de kwaliteit niet bekend is. 16 Vraag 2A.3 Bias / aannames in de data 2A.3.1 Welke aannames en bias liggen in de data besloten en hoe wordt de invloed daarvan op de output van het algoritme gecorrigeerd of anderszins ondervangen of gemitigeerd (zie ook bijlage 2)?

Vanaf aanvang bij de inzet van het algoritme heeft BZ aandacht gehad voor bias en mogelijke discriminatoire aspecten. Een van de redenen voor de inzet van het algoritme is om de consulaire medewerker meer informatie mee te geven en zo een inschatting te kunnen maken van de mogelijke intensiteit van de behandeling van een dossier. Hierbij is er dus bewust gekozen om niet enkel te varen op de informatie die BZ aanwezig is, maar om dit aan te vullen met andere relevante informatie zoals de bronnen van de ketenpartners. Zo wordt mogelijke bias die aanwezig zou kunnen zijn in de historische data van BZ al verminderd. Verder zijn er om mogelijke bias tegen te gaan de volgende waarborgen zijn ingebouwd: (i) Validatiemodel: Er zijn strikte richtlijnen opgesteld voor het valideren van een profiel . Zie voor meer informatie ook vraag 2B.3.2; (ii) De consulaire medewerker is in the lead : De mens is leidend, output algoritme is ondersteunend.

(iii) Afwijzingsgronden visumaanvraag: Een visumaanvraag wordt nooit toe- of afgewezen op basis de output van het algoritme. (iv) Wegingsmodel: BZ draagt er zorg voor dat verschillende bronnen van informatie met ieder een eigen weging, gebruikt worden om een track advies aan de consulaire medewerker terug te koppelen. (v) Combinatie van kenmerken: De profielen die meewegen in het algoritme worden nooit enkel op één kenmerk gebaseerd, zoals bijvoorbeeld nationaliteit. Zie voor meer informatie ook 2B.3.5. (vi) Houdbaarheid profielen: Er zit er een maximale houdbaarheid aan de profielen. Zo wordt er zorg voor gedragen dat enkel relevante profielen meedraaien. (vii) Opbouw profielen onbekend: De consulaire medewerker weet niet op basis van welke kenmerken een profiel tot stand is gekomen, om te voorkomen dat de consulaire medewerker op deze kenmerken gaat focussen tijdens de beoordeling van de visumaanvraag.

(viii) Voorkomen confirmation bias : om te voorkomen dat consulaire medewerkers blindvaren op de geadviseerde tracks , worden ze vooraf duidelijk geïnstrueerd over de wijze waarop tracks geïnterpreteerd moeten worden. 17 2A.3.2 Indien gebruik wordt gemaakt van trainingsdata: is de data representatief voor de context waarin het algoritme ingezet gaat worden? Er wordt geen gebruik gemaakt van trainingsdata waar het algoritme van leert. Wel heeft BZ heeft vanaf 2015 tot 2017 een pilot uitgevoerd als voorbereiding voor het uitrollen van het algoritme. Gedurende deze pilotperiode is het algoritme met circa 25.000 visumaanvragen gecontroleerd. Deze data waren (en zijn) representatief voor de context waarin het algoritme ingezet wordt. Vraag 2A.4 Beveiliging en archivering 2A.4.1 Is de data voldoende beveiligd? Maak hierin onderscheid tussen de inputdata en de outputdata. HDCV is verantwoordelijk voor de beveiliging van zijn informatiesystemen en wordt daarbij ondersteund door de Directie Informatievoorziening en Digitale Innovatie (IDI) (incl. de CIO en CISO xvi ).

HDCV heeft in samenwerking met IDI het gehele risicomanagement proces doorlopen voor de applicatie waarbinnen het algoritme draait. Dat is de BAO. Dit proces is ook doorlopen voor KAIROS. De input data zijn afkomstig uit KAIROS en de ketenpartnerbronnen en worden beschikbaar gesteld in de BAO, waarbij de output data vanuit de BAO weer worden teruggeleid naar KAIROS. Beide applicaties zijn enkel intern bereikbaar, niet via het internet. Dit risicomanagement proces betreft een controle op de informatiebeveiliging en de bescherming van persoonsgegevens en bestaat uit een quickscan , baselinetoets, pre- scan-DPIA en pentest. Bij een verhoogd risico worden er ook nog een risicoanalyse en DPIA xviii xvii uitgevoerd. In de quickscan worden de gevoeligheid, waarde en onderlinge afhankelijkheid van en tussen processen en informatiesystemen bepaald. In de baselinetoets wordt bepaald of het proces/systeem voldoet aan een vooraf bepaalde reeks eisen/maatregelen vanuit de Baseline Informatiebeveiliging Overheid (BIO) .

Voor zowel de BAO als ook KAIROS is tevens een aanvullende risicoanalyse uitgevoerd, waarbij potentiële dreigingen en kwetsbaarheden zijn geëvalueerd en eventueel extra maatregelen zijn getroffen om deze te mitigeren. Beide applicaties zijn meegenomen in een DPIA, om de mogelijke hoge risico’s voor de rechten en vrijheden van betrokkenen in het proces en de applicaties te inventariseren en eventueel extra maatregelen te treffen. Er zijn adequate maatregelen genomen om uitsluitend toegang te organiseren voor de (groepen) mensen die hiertoe bevoegd zijn. Het beleid van BZ met betrekking tot logische toegang tot BZ informatie (oftewel toegang tot systemen en daarmee informatie) is vastgesteld door IDI. Dit beleid draagt er zorg voor dat de toegang tot de systemen, de informatie op die systemen en de gekoppelde apparatuur, en alle 18 benodigde documentatie afdoende wordt beschermd. Het beleid is beschreven in het informatiebeveiligingsbeleid van BZ.

Dit beleid, en de daarbij horende maatregelen, gelden ook voor de BAO en KAIROS. Concreet betekent dit dat de rechten van de BAO- gebruikers volgens het proces van identificatie, authenticatie en autorisatie geschiedt. De accounts, en de toegangsrechten van de accounts voor de applicaties, worden periodiek gecontroleerd en indien nodig gecorrigeerd. Er is alleen toegang tot de gegevens indien de gebruiker een account heeft voor de desbetreffende applicaties. Deze toegang wordt enkel gegeven aan medewerkers waarvoor de toegang noodzakelijk is voor het uitvoeren van hun werkzaamheden. Alle toegang tot de BAO en KAIROS wordt gelogd en de log files worden regelmatig gecontroleerd op ongeautoriseerde toegang. Het interne beleid van BZ met betrekking tot logging en monitoring is hierbij de leidraad. De beveiligingseisen die gesteld worden aan logging en monitoring in dit beleid zijn ook van toepassing op de BAO en KAIROS , waarbij de gedefinieerde log regels worden gevolgd.

De IT-dienstverlener voorziet in de logging van de beheerdersactiviteiten. Gelet op bovenstaande maatregelen kan geoordeeld worden dat zowel de input - als de output data voldoende beveiligd worden. 2A.4.2 Is er controle op de toegang tot de data? Maak hierin onderscheid tussen de inputdata en de outputdata. Zoals bij de voorgaande vraag reeds is toegelicht: er is alleen toegang tot de data indien de gebruiker een account heeft voor de desbetreffende applicaties ( KAIROS en BAO voor input data, en KAIROS voor output data). Deze toegang wordt enkel gegeven aan medewerkers waarvoor de toegang noodzakelijk is voor het uitvoeren van hun werkzaamheden. Alle toegang tot de BAO en visumapplicaties wordt gelogd en de log files worden regelmatig gecontroleerd op ongeautoriseerde toegang. 2A.4.3 Hoe worden relevante regels over archivering in acht genomen, zoals die in de Archiefwet zijn vastgelegd?

Binnen de BAO worden de richtlijnen vanuit de Visumcode gevolgd. BZ hanteert een bewaartermijn voor de gegevens in de BAO van vijf jaar. Op het moment dat de bewaartermijn is verlopen, zullen de gegevens verwijderd worden. Ten behoeve van archivering wordt gewerkt volgens de interne richtlijnen van BZ ten aanzien van het archiefsysteem. Deel 2B: Wat? Algoritme – throughput 2B.1.1 Type algoritme: wat voor soort algoritme wordt gebruikt of gaat worden gebruikt? Hoe werkt het? 19 Onderscheid tussen: A. Een niet- zelflerend algoritme, waarin de mens de regels specificeert die de computer moet volgen B. Een zelflerend algoritme, waarin de machine zelf leert over de patronen in de data (machine learning) Voor de beantwoording van deze vraag is het van belang om het ‘algoritme’, zoals gedefinieerd in de inleiding van vraag 1.1, op te splitsen in de drie gebruikte methodes: 1. Hit / no hit op in de BAO aanwezige databronnen (geen algoritme); 2.

Beslisboom ten behoeve van het opstellen van profielen (algoritme); 3. Wegingsmodel ten behoeve van het vaststellen van een score en het toekennen van een track (algoritme). Indien de definitie van algoritme door de Algemene Rekenkamer wordt aangehouden: ‘Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden’ xix , kan geoordeeld worden dat de beslisboom en het wegingsmodel hieraan voldoen. Voor deze twee methoden er sprake is van A, een niet- zelflerend algoritme. Bij de Hit / no hit methode wordt er geen gebruik gemaakt van een algoritme. Desondanks zijn de drie methodes hieronder nader toegelicht: 1. De Hit / no hit methode zoals genoemd is enkel een vergelijking van gegevens uit de visumaanvraag met de in de BAO beschikbare bronnen. Deze methode kan niet aangemerkt worden als een algoritme. 2.

Voor het opstellen van de profielen , wordt er gebruik gemaakt van een algoritme dat werkt volgens een beslisboom. De beslisboom bestaat uit een reeks vooraf vastgestelde “als–dan”-regels. Dat is een eenvoudig type algoritme dat werkt met vaste regels. Elke regel geeft aan welke actie moet worden ondernomen als aan een bepaalde voorwaarde is voldaan. Dat betekent dat het algoritme stap voor stap een aantal controles uitvoert. Bijvoorbeeld: “als voorwaarde A geldt, dan volgt stap B; anders stap C”. De regels zijn vooraf door BZ zelf opgesteld. Het algoritme leert of verandert dus niet zelf, maar past alleen deze vaste regels toe. Een op regels gebaseerde beslisboom biedt dankzij de structuur, de mogelijkheid om een hiërarchie aan te brengen in de toepassing van regels en kenmerken. Hierdoor wordt een groep pas aangemerkt als kans-, risico- of geen- profiel nadat aan alle vooraf vastgestelde regels is voldaan.

Bij het opstellen van een profiel wordt er eerst, voor iedere groep, getoetst of het voldoet aan de minimale hoeveelheid kenmerken. Vervolgens wordt er voor elke groep getoetst of het voldoet aan de minimale groepsgrootte. Ten slotte wordt er 20 bij de overgebleven groepen getoetst of deze voldoen aan de drempelwaardes voor hit-/weigeringspercentage. Zodoende kan er met de beslisboom afgedwongen worden dat een profiel bestaat uit een minimaal aantal kenmerken, een minimale groepsgrootte, en drempelwaardes omtrent hit- en weigeringspercentage. Zie vraag 2B.3.5 voor meer informatie hierover. Een op regels gebaseerde beslisboom wordt, gezien het interpretatiegemak en de eenvoudige toepassing van ( business) regels, beschouwd als het meest gepaste algoritme om te gebruiken als BAO classificatiemodel . 3. Het wegingsmodel waarmee de score wordt berekend en uiteindelijk de track wordt toegekend, is een eenvoudig rekenmodel.

Per hit (op de databronnen of de profielen) is vastgesteld welke weging hieraan wordt toegekend. Dit betreft percentages. Op deze manier kan de score eenvoudig berekend worden, en de relevante track toegekend worden. Is er een score boven 0? Dan betreft het een fast track. Is er een score onder 0? Dan wordt het een intensive track. Zie voor meer informatie over het wegingsmodel vraag 2B.4.1. 2B.1.2 Waarom wordt voor dit type algoritme gekozen? Bij de keuze van het algoritme is het belang van transparantie en uitlegbaarheid doorslaggevend geweest. De werking van de beslisboom is inzichtelijk. Elke stap is te volgen en daarbij ook te verklaren. Daar komt bij dat de regels vooraf zijn vastgelegd en niet veranderen, zolang ze niet handmatig door BZ zelf worden aangepast. Dit is een van de belangrijkste overwegingen om voor een beslisboom te kiezen. BZ hecht namelijk grote waarde aan het kunnen uitleggen van haar werkwijze aan betrokkenen.

Dit geldt ook voor het wegingsmodel. Er is voor een eenvoudig en inzichtelijk wegingsmodel gekozen. Dit maakt het toekennen van de score en de track transparant en uitlegbaar. Dit is ook bevestigd door de Algemene Rekenkamer. xx 2B.1.3 Waarom is dit type algoritme het meest geschikt om de bij vraag 1.2 geformuleerde doelstellingen te bereiken? Het type algoritme is geschikt vanwege diverse redenen: Controleerbaarheid en eenvoud: de tracks die worden gegenereerd door middel van het algoritme zijn te allen tijde reproduceerbaar. Bij dezelfde invoer volgt altijd dezelfde uitkomst. Zo kan ook beter worden gecontroleerd of het algoritme wel de juiste output geeft en geen onbedoelde uitkomsten genereert. Daar komt bij dat er geen specialistische technische kennis is vereist om het algoritme te begrijpen. Hierdoor is het algoritme goed te controleren door bijvoorbeeld beleidsmedewerkers, juristen en data scientisten. 21 Vooraf vastgestelde regels: doordat de regels van de beslisboom voor profielen vooraf vaststaan is controle op bijvoorbeeld mogelijke discriminatie eenvoudiger te voorkomen.

Dankzij de structuur van de beslisboom van de profielen is er de mogelijkheid om een hiërarchie in de regels en kenmerken aan te brengen. Hierdoor worden bepaalde kenmerken enkel in een profiel meegenomen , wanneer het daadwerkelijk onderscheidend vermogen toevoegt aan de reeds gevormde groepen. Dit geldt ook voor het wegingsmodel. Vooraf is vastgesteld wat de weging van de verschillende bronnen en Hit/no hit is. Geschikt voor het visumaanvraagproces: een visumaanvraag dient aan bepaalde voorwaarden te voldoen. Met het algoritme kan er een inschatting worden gemaakt of het dossier naar verwachting meer werk vergt, bijvoorbeeld omdat er in het verleden niet aan de voorwaarden is voldaan. Omdat de voorwaarden voor een visumaanvraag vast staan, kan er een vaste set van regels in een beslisboom worden gegoten. Flexibiliteit: De regels kunnen eenvoudig worden aangepast indien blijkt dat iets niet juist functioneert, of wanneer wetgeving wordt aangepast (zoals bijvoorbeeld de EU Artificial Intelligence Act xxi ). 2B.1.4 Welke alternatieven zijn er en waarom zijn die minder passend of bruikbaar?

Er zijn diverse alternatieven voorhanden, maar daar heeft BZ bewust niet voor gekozen gezien de overwegingen aangedragen bij vraag 2B.1.2. De reden hiervoor is samenvattend dat een ‘open overheid’ dient te kiezen voor modellen die in staat zijn om inzicht te geven in het hoe en waarom een algoritme tot een bepaalde uitkomst is gekomen. Dit soort modellen worden ook wel glass box - algoritmes genoemd, en bieden over het algemeen een helder inzicht in zowel de interne werking als de wiskundige processen die het betreffende algoritme vormgeven. Hierdoor bevatten ze een meerwaarde in domeinen waar verantwoording essentieel is. Dit in tegenstelling tot algoritmes die uitkomsten genereren waarvan het naderhand complex is om te achterhalen hoe het algoritme precies tot die uitkomst is gekomen. Deze algoritmes worden daarom ook wel black box -algoritmes genoemd. In een overheidscontext kan dit problematisch zijn, voornamelijk wanneer de uitkomsten enige invloed hebben op de uiteindelijke handelingen van de mens (de medewerkers van de desbetreffende organisatie ).

Dit brengt namelijk een risico met zich mee dat onbedoelde bevooroordeelde beslissingen worden genomen, hetgeen nadelig voor betrokkenen kan zijn. Er bestaan ook andere glass box algoritmes waarvan de werking transparant en uitlegbaar is. Echter, het algoritme dat door BZ wordt toegepast is de meest transparante algoritmische benadering die conceptueel denkbaar is. Dit komt doordat het algoritme, in tegenstelling tot andere ( glass box ) machine learning algoritmes, de 22 volgende eigenschappen bevat (gedeeltelijke herhaling van het antwoord bij vraag 2B.1.2): - Deterministisch (dezelfde input zal altijd resulteren in dezelfde output ); - Regels zijn volledig op voorhand door BZ zelf vastgesteld; - Geen training, geen statistische inferentie, geen minimalisering van een kostenfunctie en geen aanpassingen van gewichten; - Volledige herleidbaarheid, waarbij elk profiel (kans/risico/geen) en elke uitkomst ( fast/intensive/regular ) direct terug te voeren is naar, voor mensen inzichtelijke, voldoening van voorwaarden; en - Volledige reproduceerbaarheid, gezien de deterministische- en datagestuurde aard kunnen resultaten onafhankelijk worden geverifieerd en gereproduceerd .

Om bovenstaande redenen is voor dit type algoritme gekozen. Vraag 2B.2 Eigenaarschap en controle 2B.2.1 Indien het algoritme is ontwikkeld door een externe partij: zijn er heldere afspraken gemaakt over eigenaarschap en beheer van het algoritme? Wat zijn die afspraken? Het algoritme is uitdrukkelijk niet ontwikkeld of in beheer van een externe partij. BZ/HDCV heeft het algoritme zelf intern ontwikkeld, en is daarom de eigenaar van het algoritme. Er zijn afspraken gemaakt omtrent het beheer van het algoritme door het datateam van HDCV en de Consulaire Service Organisatie (CSO xxii ). Het doel van deze afspraken is om de werking en betrouwbaarheid van het algoritme te waarborgen. Zo vallen de input data onder het beheer van het datateam van HDCV. Er worden doorlopend controles uitgevoerd ten behoeve van de juistheid en volledigheid van de input data. Daarnaast voert het datateam de periodieke handmatige upload van de profielen uit, monitoren ze voor zowel de profielen als de tracks actief de output data, en worden biastoetsen uitgevoerd.

Ten behoeve van de feedback loop ontvangen de Local Information Officers (LIO’s) van de CSO de handmatige behandeling van visumaanvragen, waarin zij match es van visumaanvragen op profielen en/of lijsten valideren. Hierbij zijn zij in staat om een terugkoppeling te geven aan het datateam van de consulaire directie als zij iets ongebruikelijks constateren. Consulaire medewerkers ontvangen de track adviezen van de BAO en kunnen ook via de LIO’s terugkoppelen naar het datateam mochten zij iets ongebruikelijks zien. 2B.3.1 Wat is de accuraatheid van het algoritme, en op basis van welke evaluatiecriteria is deze accuraatheid bepaald? 23 Het uitrekenen van de accuraatheid van het model is niet passend voor dit algoritme. Hier is een fundamentele reden voor. Het algoritme neemt namelijk met een track - advies geen beslissing of een visumaanvraag moet worden toegekend, maar ondersteunt bij het inschatten van de benodigde intensiteit voor het behandelen van een visumaanvraag en het dossieronderzoek.

Als een consulaire medewerker bij een visumaanvraag een intensive track advies krijgt, en vervolgens wordt de visumaanvraag goedgekeurd, betekent dit niet dat het een ‘fout’ track -advies was. Hetzelfde geldt wanneer de consulaire medewerker bij een intensive track geen extra handelingen neemt om bepaalde informatie te verifiëren , of dit bij een fast track juist wel doet. Bijvoorbeeld een aanvullend gesprek met de visumaanvrager. De track is slechts ter ondersteuning en nooit doorslaggevend. Alomvattend bestaat er dus geen ground- truth xxiii waarmee de bijgevoegde track kan worden geëvalueerd. 2B.3.2 Is de mate van accuraatheid (vraag 2B.3.1) acceptabel voor de manier waarop het algoritme ingezet zal worden? Het algoritme wordt, zoals reeds toegelicht bij vraag 2B.3.1, enkel ingezet met het doel om de binnenkomende visumaanvragen te voorzien van een advies omtrent de verwachte benodigde intensiteit van de behandeling.

Aangezien het algoritme niet bedoeld, noch geschikt is voor de daadwerkelijke beslissing op een visumaanvraag, wordt de overweging met betrekking tot accuraatheid uit vraag 2B.3.1 als acceptabel beschouwd. Voor de meerderheid van de visumaanvragen geldt dat er geen match wordt gevonden op de ketenpartnerbronnen. Deze visumaanvragen krijgen daarom vaak een track op basis van de profielen. Het wordt om die reden van belang geacht dat de opstelling van de profielen op een betrouwbare en valide manier plaatsvindt. Hiervoor zijn een aantal regels opgesteld waar alle profielen aan moeten voldoen. Een aantal van deze regels worden hieronder uiteengezet. 1. Minimale groepsgrootte Voor de profielen die worden gebruikt binnen het algoritme wordt er een minimale groepsgrootte van 200 aangehouden. Deze specifieke groepsgrootte van de profielen is een bewuste keuze geweest. Bij een groepsgrootte onder de 200 neemt namelijk de statistische betrouwbaarheid af, doordat kleinere groepen gevoeliger zijn voor toeval en variatie.

In het uitgevoerde biasonderzoek van de externe partij SigmaRed (zie ook 2B.3.3), wordt ook aangetoond dat kleine groepsgroottes leiden tot een grotere mate van onevenredigheid. Een minimale groepsgrootte van 200 heeft daarentegen ook tot gevolg dat er sprake is van meer algemene profielen. De profielen worden daardoor minder onderscheidend. Een profiel met veel kenmerken is immers op minder visumaanvragen van toepassing . 24 Om te voorkomen dat een profiel te algemeen wordt en (te) veel visumaanvragen beslaat, waardoor er geen/nauwelijks toegevoegde waarde meer is, wordt de regel gehanteerd dat een profiel uit minimaal drie kenmerken moet bestaan. Het minimum van drie kenmerken wordt aangehouden, omdat de beslisboom bij een minimum van meer dan drie kenmerken minder goed in staat is om groepen te vormen die aan de minimale groepsgrootte van 200 voldoen. Door een minimaal aantal kenmerken per profiel te hanteren worden er veelzijdige profielen gehanteerd en wordt voorkomen dat profielen opgesteld worden op basis van één of twee kenmerken .

Het is bijvoorbeeld niet mogelijk om een profiel te hanteren gebaseerd op enkel geslacht en/of beroep. 2. Extra drempelwaarden hit - en weigeringspercentage Indien het profiel aan minimaal drie kenmerken voldoet, en een groepsgrootte van 200 heeft, wordt het profiel nog aan een aantal drempelwaarden getoetst door de beslisboom. Deze drempelwaarden zijn opgesteld door domein-experts waarbij het gemiddelde hit percentage (over de gehele historie van vijf jaar) en het gemiddelde weigeringspercentage zijn meegewogen. De drempelwaarden zijn als volgt: - Kansprofiel: voor de kansprofielen geldt dat maximaal 5% van de aanvragen die onderdeel van een profiel zijn in het verleden geweigerd mogen zijn. Daarbij geldt ook dat slechts 0,5% van de aanvragen in het verleden een hit op een van de bronnen uit de BAO gehad mag hebben. - Risicoprofiel: voor de risicoprofielen geldt dat van de aanvragen die onderdeel zijn van een profiel, mi nimaal 5% een hit op de bronnen uit de BAO gehad moet hebben.

Deze drempelwaarden worden continu (en automatisch) gemonitord door het HDCV Data team. Wanneer hier aanleiding toe is worden de drempelwaarden herzien. 2B.3.3 Hoe wordt het algoritme getest? Het algoritme wordt, en is, op verschillende manieren getest. Er is in 2015 gestart met een pilot om de werking van het algoritme te kunnen beoordelen. Deze pilot gaf aanleiding voor de eerste aanpassingen in de werkwijze. Halverwege de introductie van het algoritme is de effectiviteit van de trainingen en de stand van zaken m.b.t. het gebruik van het algoritme g eëvalueerd. Dit heeft geleid tot een verkenning ten aanzien van het gebruik van lokale informatie naast het algoritme. Daarnaast is er geïnvesteerd op actievere kennisname van de output van het algoritme, de track, door consulaire medewerkers. Bijvoorbeeld door het vervaardigen van informatiemateriaal voor consulaire medewerkers, zoals een FAQ en een naslagwerk met uitleg over de bronnen die worden gebruikt. 25 Verder heeft BZ aan externe partijen gevraagd om mogelijke bias in het (gebruik van het) algoritme te onderzoeken.

Deze onderzoeken zijn uitgevoerd door de partijen SigmaRed xxiv en het Rijks ICT Gilde xxv (RIG). Ten gevolge van deze onderzoeken heeft er een herijking van het proces, en daarmee ook het algoritme, plaatsgevonden en zijn er diverse veranderingen doorgevoerd. Denk hierbij aan wijzigingen in de BAO applicatie en wijzigingen in de input data. Daarnaast is op advies van SigmaRed is er een bias monitoringsprotocol ontwikkeld, om doorlopend bias te kunnen monitoren binnen het gebruik van het algoritme. Het algoritme wordt ook intern getest en doorlopend gemonitord. Dit gebeurt op de volgende onderdelen van het algoritme: • Verdeling visumaanvragen per type track & type profiel : Geeft inzicht in hoeveel van de visumaanvragen (procentueel) vallen in de verschillende profiel - en track types. • Weigering-/ hit percentages per type track & type profiel : Geeft inzicht in de weigering-/ hit percentages voor de verschillende profiel - en track types. • Behandeltijden per type track & type profiel : Geeft inzicht in de behandeltijden van de verschillende profiel - en track types. • Monitoring levensduur profielen : Geeft inzicht in de levensduur van alle profielen die ooit actief zijn geweest xxvi . • Handmatige controle hit op aanvrager/referent/werkgever: de hits op de bronnen worden handmatig door een medewerker gecontroleerd.

Hierbij wordt er gecontroleerd of er een terechte match is tussen de visumaanvraag en de hit in de bron. • Verdeling kenmerken visumaanvragen vs. profiele n: Vergelijking van de verdeling van de profielkenmerken van alle visumaanvragen enerzijds , met de verdeling van de profielkenmerken binnen de kans - en risicoprofielen anderzijds. • Intertemporal bias monitoring : Vergelijking op basis van weigeringspercentage en percentages intensive track per waarde van profiel kenmerk (bijv oorbeeld kenmerk ‘beroep’, waarde ‘vrachtwagenchauffeur’) . • Intergroup baseline bias monitoring : Vergelijking op basis van weigeringspercentage en percentages intensive tracks per attribuut, met de baseline bestaande uit alle kenmerken/attributen tezamen. • Feature importance Analyse : Er wordt gebruik gemaakt van de Cramer’s Correlation metriek. De metriek geeft inzicht in welke kenmerken het meest correleren met hit - en weigeringspercentage.

Zoals reeds vermeld bij vraag 2B.3.1 vindt er ook validatie van de input data en monitoring van de output data plaats. 26 Validatie input data Voor de input data van de beslisboom is het van belang dat de input data aan een aantal voorwaarden voldoet. Om die reden zijn in de code van de beslisboom controles ingebouwd die een aantal voorwaarden testen, iedere keer dat er een nieuwe beslisboom (op basis van dezelfde regels/voorwaarden) wordt aangemaakt. De input data dient aan de volgende voorwaarden te voldoen om gebruikt te kunnen worden in de beslisboom: - Enkel visumaanvragen van personen boven de 18 jaar. Personen onder de 18 jaar worden niet meegenomen in de BAO; - Enkel C-visa, dit betreft KVV-aanvragen; - Enkel visumaanvragen met bestemming ‘Nederland’. BZ is immers enkel verantwoordelijk voor de visumaanvragen voor Nederland; en - Enkel visa met de uitkomsten: ‘Uitgereikt’, ‘Afwijzing, ‘Ingetrokken’ en ‘Nietig verklaard’.

Dit betreft alle aanvragen waar wij een beslissing op hebben genomen. Evaluatie output data Ten slotte wordt in de code van het algoritme ook de kritische voorwaarden voor de output geëvalueerd voor elk aangemaakt profiel . Het gaat om de volgende voorwaarden: - Vereiste minimale groepsgrootte; - Vereiste hit - en weigeringspercentages; en - Aantal profielen en profielgrootte . 2B.3.4 Welke maatregelen kunnen worden getroffen om de risico’s van reproductie of zelfs versterking van biases tegen te gaan (bijv. andere sampling- strategie, feature modification, ...)? Zoals bij de voorgaande vraag genoemd heeft BZ door diverse externe partijen het gebruik van het algoritme laten toetsen. Niet enkel op bias, maar ook op het gebruik van nationaliteit in het algoritme, het non-discriminatiebeginsel e.d. BZ heeft aanbevelingen uit deze externe toetsen opgevolgd bij de doorlopende review van de BAO en het algoritme.

Een ander genomen maatregel is de kenmerken voor de profielen die in de beslisboom meedraaien op voorhand te definiëren. Daarbij is de volgorde van deze kenmerken vooraf bepaald, ongeacht de (relatieve) sterkte van deze kenmerken. Dit borgt een uniformere behandeling van visumaanvragen. Dit zou anders zijn bij een beslisboom die zelf herhaaldelijk de volgorde van de profielkenmerken instelt. Voor de beslisboom is gekozen om de eerste drie kenmerken 27 voor elk profiel verplicht te maken en om het kenmerk nationaliteit op de vierde plek te zetten. Reden hiervoor is dat dit impliceert dat niet alle profielen het kenmerk nationaliteit bevatten, en nationaliteit alleen bij een profiel wordt toegevoegd wanneer het daadwerkelijk een onderscheidend vermogen toevoegt en deze groep nog steeds voldoet aan de regels van groepsgrootte en weigeringspercentage. 2B.3.5 Welke aannames liggen ten grondslag aan de selectie en weging van de indicatoren?

Zijn die aannames terecht? Waarom wel/niet? Zoals toegelicht bij vraag 2A.2 kan een profiel uit de volgende kenmerken bestaan : 1. land van betaalplaats 2. hoofddoel reis 3. leeftijdscategorie 4. nationaliteit 5. burgerlijke staat 6. geslacht 7. beroep. Er zijn aan deze kenmerken geen gewichten en/of coëfficiënten toegekend. Wel is er sprake van een relatief belang (dat toeneemt) op basis van volgorde. Zoals reeds bij de voorgaande vraag toegelicht bestaat e en profiel namelijk uit minstens de eerste drie kenmerken. De eerste drie kenmerken zitten daarom in elk profiel, en de opeenvolgende kenmerken komen alleen voor in profielen die, inclusief de extra kenmerken, voldoen aan de richtlijnen. Daarom bestaat de aanname dat kenmerken die eerder worden opgenome n, meer invloed hebben op de uiteindelijke profielen en statistieken . De volgorde is gebaseerd op zowel statistische feature importance xxvii , als businessoverwegingen.

Deze keuzes zorgen ervoor dat enkel relevante, onderscheidende kenmerken bijdragen aan de profielvorming. Land van betaalplaats is opgenomen als eerste kenmerk. De overweging hierbij is dat de code van betaalplaats expliciet staat vermeld in het visumaanvraagnummer. Hoofddoel van de reis staat op de tweede plaats, omdat reisdoel direct impact heeft op de beoordeling van de aanvraag en onderscheidende profielen oplevert, bijvoorbeeld bij wisselende reisdoelen van dezelfde aanvrager. Leeftijdscategorie is, ondanks een lage statistische score, op de derde plek gezet. Reden hiervoor is dat leeftijd indicatief is voor normoverschrijding en een evenredige verdeling kent, wat leidt tot meer diverse profielen. De nationaliteit van de aanvrager is bewust pas op de vierde plek geplaatst, zodat deze variabele alleen wordt meegenomen als het daadwerkelijk onderscheidend vermogen toevoegt aan de reeds gevormde groepen.

Daarnaast wordt hiermee mogelijke discriminatie op nationaliteit voorkomen, door het kenmerk nationaliteit enkel mee te nemen indien een profiel reeds drie kenmerken bezit. 28 Daarbij is het van belang om te benadrukken dat nationaliteit in dit kader wordt gebruikt in de betekenis van staatsburgerschap. Het gegeven wordt niet gebruikt om ras of etnische afkomst van de aanvrager af te leiden. Nationaliteit geeft aan van welke staat de aanvrager staatsburger is en vormt als zodanig een juridisch relevant gegeven voor de toepassing van het visumbeleid en de beoordeling van de visumaanvraag. Beroep van de aanvrager is onderaan geplaatst, omdat deze vaak onevenredig is verdeeld. 2B.3.6 Hoe vaak/erg zit het algoritme ernaast? (bijv. in termen van aantal false positives, false negatives, R-squared, ...) Zoals reeds aangegeven bij vraag 2B.3.1 zegt een track die uit het algoritme volgt, niets over het besluit dat genomen dient te worden op een visumaanvraag.

Het schat slechts de intensiteit van de behandeling van een dossier in. Als een consulaire medewerker bij een visumaanvraag een intensive track advies krijgt, en vervolgens wordt deze visumaanvraag goedgekeurd, betekent dit niet dat het een ‘fout’ track -advies was. Hetzelfde geldt uiteraard andersom. Als een consulaire medewerker bij een fast track advies besluit om een visumaanvraag te weigeren, betekent dit niet dat de track fout was. Het kan in dat geval betekenen dat er geen aanvullende informatie over de aanvrager bekend was, maar het is in dat geval nog steeds mogelijk dat de aanvrager niet aan de visumvoorwaarden voldoet. Dit geldt ook voor de uiteindelijke intensiteit van de behandeling van de visumaanvraag. Een fast track betekent niet dat de consulaire medewerker geen aanvullende informatie mag opvragen, en dat hierdoor een fout track advies werd gegeven. Ook hiervoor geldt hetzelfde uiteraard andersom.

Vraag 2B.4 Transparantie & uitlegbaarheid 2B.4.1 Is het duidelijk wat het algoritme doet, hoe het dit doet, en op basis waarvan (welke data) het dit doet? Leg uit. Zoals bij vraag 2B1.1 reeds is toegelicht, zijn de regels van het algoritme vooraf vastgesteld door medewerkers van BZ. Dit maakt het algoritme zeer uitlegbaar, en is het voor eenieder helder wat het algoritme doet. Het algoritme bestaat uit drie methodes waarvan er, zoals bij vraag 2B.1.1 toegelicht, twee aangemerkt kunnen worden als algoritme : het opstellen van profielen en het wegingsmodel. 29 Opstellen van profielen De beslisboom om profielen op te stellen werkt op hoofdlijnen als volgt: 1) De input -dataset wordt samengesteld op basis van visumaanvragen- en ketenpartnerdata tot vijf jaar terug en gevalideerd zoals omschreven bij 2B.3.3. 2) Deze visumaanvragen worden op basis van de eerdergenoemde zeven kenmerken iteratief opgedeeld in groepen.

Op deze manier ontstaat er een beslisboom waarbij elke visumaanvraag zich bevindt in een groep bestaande uit zeven kenmerken. 3) Vervolgens wordt er bij elke groep aan het uiteinde van de boom (de ‘bladeren’ van de boom; in dit geval de groepen bestaande uit zeven kenmerken) getoetst of deze groep groter is dan 200 visumaanvragen. De groepen waarvoor dit niet geldt worden ‘gesnoeid’, wat inhoudt dat de groep wordt verwijderd, en de visumaanvragen in deze groep worden opgenomen door de groep waar het uit voorkomt (in dit geval de bovenliggende groep bestaande uit zes kenmerken). 4) Dit proces herhaalt zich iteratief totdat ook de groepen bestaande uit minimaal drie kenmerken zijn getoetst op groepsgrootte van minimaal 200. 5) Vervolgens wordt bij elke groep aan het uiteinde van de resterende boom getoetst of deze groep voldoet aan de thresholds van hit - en weigeringspercentage. Als de groep voldoet aan de vereiste van een kans- of risicoprofiel, dan wordt dit profiel aan de betreffende groep gekoppeld. 6) Als er vervolgens een visumaanvraag binnenkomt wordt er gekeken of er een actief profiel bestaat dat dezelfde kenmerken bezit als de visumaanvraag.

Indien dit het geval is, dan wordt het bijbehorende profiel aan de visumaanvraag gekoppeld door middel van het meegeven van een score. Deze score is 5 voor een kansprofiel, en minus 5 voor een risicoprofiel. Wegingsmodel Het wegingsmodel is een algoritme dat voor elke individuele visumaanvraag verschillende scores tegen elkaar afweegt, om zo te komen tot de uiteindelijke track die wordt teruggekoppeld naar KAIROS. Een van de scores die hierbij wordt meegewogen is de zojuist genoemde profielscore. Daarnaast wordt er gekeken of de visumaanvrager , de opgegeven referent, of werkgever voorkomt in een van onze (ketenpartner-)bronnen in de BAO. Dit wordt de bronscore genoemd. Indien er een hit is in een van de bronnen van de BAO, dan wordt er een additionele (positieve of negatieve) score toegevoegd aan de visumaanvraag. De scores zijn afhankelijk van de specifieke bron waar de visumaanvraag op hit .

Deze wegingen, en de specifieke bijbehorende scores, zijn opgesteld door domeinexperts, met het idee dat de sommige hits /scores/wegingen anderen dienen te overrulen . 30 Als voor een bepaalde visumaanvraag de profiel - en bronscores bekend zijn, worden deze vermenigvuldigd met de bijbehorende gewichten. Vervolgens worden ze bij elkaar opgeteld. Als het eindresultaat positief is, wordt er een fast track aan de visumaanvraag gekoppeld. Als het negatief is, volgt er een intensive track. Bij een score van nul volgt er een regular track . Deze wordt vervolgens, samen met de visumaanvraag, teruggekoppeld aan de consulaire medewerkers. Gezien de afstelling van de score en gewichten zal informatie over de aanvrager, indien beschikbaar, altijd doorslaggevend zijn en hierdoor de informatie van de andere drie factoren (referent, werkgever en profiel) overrulen . Op dezelfde manier zal informatie over de referent en/of werkgever altijd doorslaggevender zijn dan profielinformatie . 2B.4.2 Voor welke personen en groepen binnen en buiten de eigen organisatie wordt de werking van het algoritme transparant gemaakt en hoe gebeurt dit?

De werking van het algoritme wordt zowel binnen als buiten de eigen organisatie transparant gemaakt. Daarbij is er wel een verschil tussen de transparantie binnen en buiten de organisatie. Het exacte wegingsmodel en de uiteindelijke profielen die meedraaien, worden niet bekend gemaakt. Reden hiervoor is dat er een risico bestaat dat de inhoud van de visumaanvraag beïnvloed wordt door profielen die op dat moment meedraaien. Een voorbeeld: wanneer er een trend geconstateerd is in KVV-aanvragen ten behoeve van een specifiek reisdoel aangevraagd op een specifieke locatie, dan kunnen aanvragers hierop voorsorteren door een ander reisdoel op te nemen, of een visum bewust op een andere locatie aan te vragen. Om de veiligheidsrisico’s voor zowel de aanvrager als Nederland gedegen in te kunnen schatten, is het van belang dat een visumaanvraag naar waarheid wordt ingevuld. Daarentegen is de algemene werking en toepassing van het algoritme uitvoerig toegelicht aan de Tweede Kamer (in Kamerbrieven, mede n.a.v.

Kamervragen), toezichthouders, de migratieketen (bij presentaties; samenwerking op het gebied van gegevensdeling), het maatschappelijk middelveld (n.a.v. vragen), de media (n.a.v. vragen), in EU presentaties, op social media - LinkedIn, en op EU publiciteitssites. Zie ook de bijlage voor een lijst met (openbare) documentatie. Informatie over de inzet van het algoritme is voor visumaanvragers in het bijzonder nader uitgewerkt. Dit gebeurt middels de ‘ Factsheet IOB’ (zie hiervoor ook de lijst van documentatie als bijlage). Deze Factsheet is in de loop der jaren meermaals geüpdatet als hier aanleiding voor was. Een aanleiding hiervoor was bijvoorbeeld het advies van een externe juridische partij om de voorzienbaarheid van de inzet van het algoritme, de inzet van profilering en het gebruik van het gegeven nationaliteit voor visumaanvragers te vergroten. BZ heeft destijds op basis van dit advies de Factsheet verder uitgebreid. 31 Daarnaast is er gewerkt aan visualisatie binnen de Factsheet om de informatie begrijpelijker te maken voor de lezer.

Verder heeft BZ de broncode van de beslisboom openbaar gemaakt op een publiek toegankelijke GitHub-pagina xxviii . De broncode wordt vergezeld met een toelichtend README (incl. uitleg over doel, gebruik, input en output van het algoritme) en het toepassen van de EUPL-licentie (European Union Public License). Intern is de werking van het algoritme bekend, inclusief de profielen en het wegingskader. Dit is bekend bij samenwerkende directies, DGs en ministers, IDI, CSO en HDCV. Kennis hiervan wordt gedeeld door middel van briefings, workshops, trainingen, informatienota's en seminars. De consulaire medewerkers ontvangen trainingen omtrent de werking en het gebruik van de BAO en daarmee het algoritme. De consulaire medewerkers zijn daardoor bekend met de werking van het algoritme, maar niet met de exacte gegevens en/of profielen waar een track op is gebaseerd bij een specifieke visumaanvraag.

Hier is bewust voor gekozen om te voorkomen dat een consulaire medewerker op deze kenmerken gaat focussen tijdens de beoordeling van de visumaanvraag. Hiermee wordt zoveel mogelijk bias voorkomen, zoals toegelicht in vraag 2.A.3. 2B.4.3 Voor welke doelgroepen moet het algoritme uitlegbaar zijn? In principe moet het algoritme uitlegbaar zijn voor eenieder. Aangezien eenieder die naar Nederland wil reizen en daarvoor een visum nodig heeft, een visum mag aanvragen. Om die reden dient het ook voor eenieder helder te zijn op welke wijze het algoritme gebruikt wordt en wat de gevolgen voor de aanvrager zijn. Deze doelgroep kan zeer uiteenlopen als het gaat om kennis m.b.t. algoritmes. De mate van uitlegbaarheid verschilt vanzelfsprekend wel per doelgroep zoals bij vraag 2B.4.2 reeds is toegelicht (en hierbij het verschil tussen de transparantie intern en extern). 2B.4.4 Kan de werking van het algoritme voor de bij vraag B.4.3 geïdentificeerde doelgroepen op een voldoende begrijpelijke manier worden uitgelegd?

Ja. Voor de belangrijkste doelgroep, de visumaanvrager, is dit gedaan door middel van een Factsheet zoals genoemd bij vraag 2B.4.2. Hierin is op een zeer laagdrempelige manier de inzet van het algoritme uitgelegd, zonder het risico zoals beschreven in 2B.4.2 dat op het gebruik van het algoritme ongewenst wordt voorgesorteerd. 32 In de Factsheet is een voorbeeldcasus opgenomen en uitgelegd wat het gevolg van het gebruik van het algoritme voor betrokkenen is (iedere visumaanvraag wordt onderzocht en beoordeeld, ongeacht de track), en op welke wijze er sprake is van autonomie bij de besluitvorming (het is altijd de consulaire medewerker die besluit of een visumaanvraag wordt toegekend). Deel 3: Hoe? Vraag 3.1 Beslissingen op basis van output algoritme 3.1.1 Wat gebeurt er met de uitkomsten van het algoritme? Welke beslissingen worden daarop gebaseerd? Er wordt geen beslissing gebaseerd op de uitkomst van het algoritme.

Aan de hand van het algoritme wordt er een track ( fast, regular of intensive ) toegekend aan de visumaanvraag. Iedere visumaanvraag dient onderzocht te worden ongeacht de toegekende track . De track is een behandeladvies en biedt ondersteuning bij het inschatten van de benodigde intensiteit voor het behandelen van een visumaanvraag en het dossieronderzoek. Deze track wordt getoond bij de visumaanvraag in het KAIROS met daarbij een korte toelichting. Een fast track betekent dus niet dat een visumaanvraag automatisch toegekend wordt. De consulaire medewerker besluit welke (extra) handelingen benodigd zijn om een visumaanvraag gedegen te onderzoeken. De consulaire medewerker zou kunnen besluiten om bij een intensive track bijvoorbeeld een extra interview af te nemen, omdat is gebleken dat in het verleden de aanvrager zich niet aan de visumvoorwaarden heeft gehouden. Daarentegen is het ook mogelijk dat voor een consulaire medewerker het dossier dusdanig helder is dat het sneller afgehandeld kan worden, ongeacht het behandeladvies van het algoritme.

Extra handelingen bij een dossieronderzoek zijn bedoeld om ontbrekende informatie op te vragen om te komen tot een goed onderbouwde beslissing, hetzij positief hetzij negatief. Een track is geen besluit op een visumaanvraag en ook geen afwijzingsgrond. De afwijzingsgronden zijn in de Visumcode vastgelegd en worden, indien een visumaanvraag wordt afgewezen, door de consulaire medewerker bepaald nadat de medewerker de visumaanvraag heeft beoordeeld. 3.2.1 Welke rol spelen mensen bij het nemen van beslissingen op basis van de output van het algoritme (‘human in the loop’) en hoe worden zij in staat gesteld om die rol te spelen? Het algoritme geeft een inschatting van de intensiteit van de behandeling van een visumaanvraag. Het is uiteindelijk de consulaire medewerker die besluit hoe intensief de behandeling en het dossieronderzoek zal zijn. Hierin speelt de consulaire 33 medewerker, die de wetgeving naleeft bij de beoordeling en besluitvorming, een doorslaggevende rol.

De uitkomst van het algoritme, de track , wordt getoond in KAIROS waarin de visumaanvraag voor de consulaire medewerker zichtbaar is. Er is niet per se een extra handeling van de consulaire medewerker vereist. Het algoritme is bedoeld ter ondersteuning van de consulaire medewerker. Voor de behandeling heeft de consulaire medewerker het gehele dossier ter beschikking, inclusief lokale informatie xxix . Indien de consulaire medewerker besluit dat alle benodigde documenten compleet zijn en de aanvraag aan de voorwaarden voldoet, kan de consulaire medewerker zelf bepalen dat er geen intensief dossieronderzoek nodig is, ongeacht welke track is geadviseerd. Nogmaals: de track is een inschatting van de intensiteit van de behandeling, niet op het uiteindelijke besluit op een visumaanvraag. De consulaire medewerker dient in die zin autonome beslissingen te nemen. Dit is ook hoe de consulaire medewerkers worden voorbereid en ingewerkt bij de start van hun werkzaamheden.

Daarbij wordt de output van het algoritme uitvoerig besproken. De consulaire medewerker is autonoom in de beslissing over de visumaanvraag en hoeft geen verantwoording af te leggen waarom voor een bepaalde beoordeling is gekozen. De track wordt slechts getoond in het visumsysteem ter aanvullende informatie. 3.2.2 Is er nu en in de toekomst voldoende gekwalificeerd personeel aanwezig om het algoritme te beheren, te herzien en aan te passen indien gewenst/nodig? Ja. BZ is zich bewust van de huidige arbeidsmarkt, en is er scherp op dat het benodigde gekwalificeerde personeel ter beschikking is en blijft. 3.3.1 Wat zullen de effecten zijn van de inzet van het algoritme voor burgers en hoe wordt rekening gehouden met de ‘menselijke maat’ bij het nemen van beslissingen op basis van de output van het algoritme? Er wordt door de consulaire medewerker op basis van het algoritme geen besluit genomen of een visumaanvraag moet worden toegekend of niet.

Wel zou de consulaire medewerker kunnen besluiten, (mede) aan de hand van de geadviseerde track en het specifieke dossier , om een meer of minder uitgebreid dossieronderzoek te doen. Wel blijft het zo dat iedere visumaanvraag beoordeeld moet worden, ongeacht de te verwachten intensiteit van het onderzoek. Daar komt bij dat een intensiever dossieronderzoek ook niet tot gevolg hoeft te hebben dat een visumaanvraag wordt afgewezen. Het doel van een intensiever onderzoek is dat de benodigde informatie wordt opgehaald om te kunnen beoordelen of een visumaanvraag aan de voorwaarden voldoet. Zoals uiteengezet bij de voorgaande vraag heeft de consulaire medewerker het gehele dossier ter beschikking, inclusief lokale 34 informatie. Niet enkel de track . Iedere visumaanvraag moet beoordeeld worden: dit is vereist in de Visumcode. De track geeft de consulaire medewerker slechts een stukje extra advies over de te verwachten intensiteit van het onderzoek.

De effecten op de burgers zijn daardoor minimaal. Met deze wijze van de inzet van het algoritme wordt zoveel mogelijk rekening gehouden met de menselijke maat bij het nemen van beslissingen. 3.3.2 Welke risico’s voor stigmatiserende, discriminerende of anderszins schadelijke of nadelige effecten zijn er voor de burger en hoe zullen die worden bestreden of gemitigeerd? BZ is zich vanaf de ontwikkeling van het algoritme bewust geweest van eventuele nadelige effecten voor de visumaanvrager. In de voorbereidingen zijn daarom diverse ex - ante beoordelingen verricht. Hierbij is onder andere onderzocht in hoeverre de AVG- vereisten in acht zijn genomen, en is door een gedragswetenschapper onderzocht of confirmation basis xxx zou kunnen optreden bij de consulaire medewerker. Specifiek is er ook onderzoek gedaan naar het non-discriminatiebeginsel omdat het gegeven nationaliteit onderdeel is van de input data.

De nationaliteit van de visumaanvrager is doorslaggevend bij de vraag of een visum verplicht is of niet. Nationaliteit wordt, zoals reeds toegelicht bij 2B.3.5, gebruikt in de betekenis van staatsburgerschap. Het gegeven wordt niet gebruikt om ras of etnische afkomst van de aanvrager af te leiden. Nationaliteit geeft aan van welke staat de aanvrager staatsburger is en vormt als zodanig een juridisch relevant gegeven voor de toepassing van het visumbeleid en de beoordeling van de visumaanvraag. Om mogelijke risico’s op non-discriminatie te mitigeren wordt o.a. het gegeven nationaliteit in de input data niet gecombineerd met gegevens die ras of etniciteit kunnen herleiden. Desondanks zijn er in het verleden zorgen geuit door de (en inmiddels voormalige) FG ten aanzien van mogelijke discriminatie. Deze zorgen zijn door BZ zeer serieus genomen. Om die reden is besloten om additionele adviezen van ter zake externe deskundigen, onder wie de Landsadvocaat xxxi , in te winnen, met name wat betreft de vraag in hoeverre het gebruik van het gegeven nationaliteit relevant, noodzakelijk en proportioneel is binnen het algoritme.

De conclusies van deze deskundigen luidden dat (i) er een wettelijke grondslag bestaat voor dit gebruik; (ii) verwerking van gegevens over nationaliteit nodig is vanwege zwaarwegende algemene belangen en om te voldoen aan een volkenrechtelijke verplichting en (iii) het maken van onderscheid naar nationaliteit bij de beoordeling van een visumaanvraag noodzakelijk en proportioneel is en niet als discriminatie kan worden gekwalificeerd. Het gebruik van het gegeven nationaliteit in het algoritme is door de Landsadvocaat als niet- discriminerend beoordeeld. 35 Daar komt bij dat de profielen die worden opgesteld altijd uit minstens d rie kenmerken moet bestaan, om te voorkomen dat er profielen worden gemaakt die bepaalde nationaliteiten, geslachten, of leeftijdscategorieën uitsluiten. Uit extern onderzoek is ook gebleken dat er geen sprake is van discriminatie door het algoritme xxxii . Verder vindt er intern doorlopende monitoring plaats op de uiteindelijke beslissingen op visumaanvragen, in verhouding tot de geadviseerde tracks (zie 2B.3.3).

Zo wordt gemonitord en gewaarborgd dat de track toch niet een onbedoelde werking zou krijgen op het uiteindelijke besluit. Dit laatste houdt verband met mogelijke confirmation bias bij de consulaire medewerker. Dit zou inhouden dat de medewerker ‘blind vaart’ op de gegeven track , i.p.v. zelf inschat en bepaalt of een intensiever, of juist minder intensief onderzoek benodigd is of niet. Uit het onderzoek dat BZ heeft door een gedragswetenschapper heeft laten uitvoeren naar confirmation bias is gebleken dat de consulaire medewerker niet blind vaart op een track , en bijvoorbeeld bij een fast track alsnog kan besluiten om een extra interview af te nemen (zie de lijst van documentatie als bijlage). Daarnaast laat ontwikkeling in de trends zien dat het weigeringspercentage voor de fast track zo goed als stabiel blijft en dat het weigeringspercentage voor de intensive track sinds 2017 is afgenomen.

Dit duidt erop dat het algoritme niet leidt tot een confirmation bias , uitmondend in steeds hogere weigeringspercentages op de intensive tracks. Dit is uiteraard in de praktijk ook verklaarbaar, omdat de consulaire medewerker het gehele dossier tot zijn/haar beschikking heeft en daarbij nog relevante landinformatie. 3.3.3 Hoe zullen de verwachte effecten bijdragen aan de oplossing van het probleem dat de aanleiding is voor de ontwikkeling/inzet van het algoritme (zie vraag 1.1) en het bereiken van de daarbij gestelde doelen (zie vraag 1.2)? Zoals op diverse plekken in de IAMA reeds uitgewerkt, dragen d e verwachte effecten van het algoritme op verschillende manieren bij aan de oplossing van het probleem en de gestelde doelen. Door de inzet van het algoritme kan cruciale informatie meegenomen worden bij de start van de beoordeling van een visumaanvraag. In de praktijk kan en zal deze informatie zonder algoritme niet worden geraadpleegd, omdat dit proces te arbeidsintensief is.

Voor de Hit/no hit methode zou dit namelijk betekenen dat de consulaire medewerkers de ketenpartners per aanvraag dienen te benaderen, om te informeren of er meer (objectieve) informatie beschikbaar is over de desbetreffende aanvrager, referent of werkgever. Dit is niet haalbaar gezien de beperkte tijd die aanwezig is voor de consulaire medewerker om een visumaanvraag te beoordelen. 36 Het algoritme maakt het mogelijk deze informatie wel mee te laten nemen, waardoor de beoordeling ook meer zorgvuldig plaatsvinden. Alle relevante informatie kan immers meegenomen worden bij de visumbeoordeling. Daarnaast hoeft de consulaire medewerker geen extra handelingen te verrichten om de relevante informatie mee te nemen. Het draagt in die zin ook bij aan efficiëntie van het visumproces. Verder levert het gebruik van de profielen inzichten op in de data, die zonder de beslisboom niet zichtbaar zouden zijn.

De consulaire medewerker is immers niet in staat alle visumaanvragen tot vijf jaar terug in te raadplegen en hieruit bepaalde trends te analyseren. De aanvullende informatie en de profielen zorgen ervoor dat de visumbeoordeling objectiever plaats kan vinden, doordat er meer relevante informatie meegenomen kan worden in de beoordeling. Hierdoor ontstaat er een betere balans tussen data en de mens. Hiermee worden de risico’s van subjectieve besluitvorming en human bias verder gemitigeerd. De keuze voor een uitgebreider dossieronderzoek kan onderbouwd worden, omdat de uitkomst van het algoritme reproduceerbaar is. Dit draagt bij aan de uitlegbaarheid van keuzes die door consulaire medewerkers worden gemaakt. Naar de objectiviteit wordt ook continu bias monitoring voor uitgevoerd. Zie ook de vormen van monitoring en de uitgevoerde testen op het algoritme bij vraag 2B.3.3. Deze relevante informatie draagt ook bij aan de veiligheid van zowel de aanvrager als Nederland.

Doordat de BAO diverse databronnen bevat, zoals informatie over illegale tewerkstelling, kan de consulaire medewerker beter inschatten op welk onderdeel van de visumaanvraag aanvullende informatie benodigd is. Bijvoorbeeld door het stellen van aanvullende vragen tijdens de behandeling om er zorg voor te dragen dat de visumaanvrager zich ervan bewust is wat zijn reis naar Nederland behelst. 3.3.4 Hoe verhouden de verwachte effecten zich tot de waarden die worden gediend (zie vraag 1.3)? Welke risico’s zijn er dat bepaalde waarden onder druk komen te staan en hoe wordt daarmee dan omgegaan? Het risico dat bepaalde waarden eventueel onder druk zouden komen te staan is door BZ van meet af aan erkend. Hiertoe zijn de acties ondernomen zoals beschreven bij vraag 3.3.2. Vraag 3.4 Procedures 3.4.1 Via welke procedures zullen beslissingen op basis van het algoritme worden genomen? Het algoritme geeft de te verwachten intensiteit van de behandeling van de visumaanvraag mee.

De visumaanvraag dient, ongeacht de track , behandeld te worden. De consulaire medewerker neemt na deze behandeling uiteindelijk een besluit op de 37 visumaanvraag. Dit staat los van het algoritme. Het algoritme heeft in die zin geen invloed op de procedure voor het nemen van een besluit op de aanvraag. Dit is bij vraag 3.1.1 verder toegelicht. Dit uiteindelijke besluit wordt niet gebaseerd op het behandeladvies van het algoritme, maar op basis van het gehele dossier wat de consulaire medewerker tot zijn of haar beschikking heeft, inclusief de relevante landinformatie. Deze landeninformatie bevindt zich separaat van de BAO en behelst relevante en gevalideerde informatie over de politieke, sociale of economische omstandigheden. Het is wel mogelijk dat de consulaire medewerker besluit om n.a.v. het algoritme, en daarmee de geadviseerde track en de inhoud van het desbetreffende dossier, extra informatie op te vragen.

Bijvoorbeeld door middel van het afnemen van een extra interview. De consulaire medewerker is hier echter vrij in, ook om te besluiten dit niet te doen. Er wordt in dat geval ook niet ‘afgeweken’ van een procedure. Een uiteindelijke beoordeling van de visumaanvraag vindt plaats op de door de Visumcode voorgeschreven wijze. 3.4.2 Hoe worden verschillende relevante actoren (bestuurlijke en politiek verantwoordelijken, burgers) bij de besluitvorming betrokken? De Directeur van HDCV is vanaf de start van de ontwikkeling van het algoritme betrokken geweest in de voorbereidingen en de pilot van voor algoritme. Het Topberaad van de Migratieketen heeft (in 2017) na de pilot een akkoord gegeven en op de uitrol en verdere implementatie van het algoritme en de BAO applicatie. Onderdeel van de ontwikkeling, uitrol en implementatie zijn diverse kaders en richtlijnen die het gebruik van het algoritme vastleggen.

Zoals bij vraag 1.5.1 toegelicht zijn diverse actoren betrokken bij het algoritme. BZ heeft deze betrokkenheid proberen te bewerkstelligen door het online openbaar maken van diverse uiteenlopende stukken, notities en (externe) onderzoeken, opname van het algoritme in het Algoritmeregister xxxiii en het beantwoorden van Kamervragen. Zie ook vraag 3.6 voor meer informatie hieromtrent. 3.4.3 Hoe wordt gegarandeerd dat in deze procedures wordt voldaan aan de eisen van goed en behoorlijk bestuur en – waar nodig –rechtsbescherming? Hebben burgers een effectieve mogelijkheid om een klacht in te dienen of bezwaar te maken? Zo ja, op welke manier? Zeker. Ten eerste hebben visumaanvragers de mogelijkheid om bij het afwijzen van hun visumaanvraag in bezwaar en beroep te gaan. Hier worden ze bij een afwijzing op gewezen. Van deze mogelijkheid maken aanvragers in de praktijk ook gebruik. In 2024 zijn in totaal 12.450 bezwaren ingediend, waarbij 770 aanvragers in beroep zijn gegaan xxxiv . 38 Ten tweede hebben visumaanvragers op grond van de AVG diverse rechten.

Op deze rechten worden ze gewezen in de Factsheet IOB. In het kader van een ‘open overheid’ is er ook altijd de mogelijkheid een Wet open overheid-verzoek in te dienen. Hierbij heeft BZ altijd het doel dat het visumaanvraagproces, en daarbij de inzet van het algoritme, begrijpelijk is voor eenieder. Er is dus niet enkel gekeken naar wat noodzakelijk is vanuit de wet, maar ook wat passend is voor BZ als overheidsorganisatie. In de Factsheet IOB, hét informatiedocument voor de aanvrager, is hier ook rekening mee gehouden. Dit document dient zo laagdrempelig mogelijk te zijn. Om die reden wordt er in het document gebruik gemaakt van iconen en een voorbeeldcasus. Vraag 3.5 Context 3.5.1 Tijd/periode: wanneer gaat het algoritme ingezet worden? Hoe lang is de periode dat het ingezet wordt? Het algoritme is al enige tijd in gebruik. De pilot is gestart in 2015 en had een duur van twee jaar. Vanaf 2017 tot heden is het algoritme in gebruik.

Er is geen einddatum vastgesteld. 3.5.2 Plaats: waar vindt inzet van het algoritme plaats? Is dat in een bepaald geografisch gebied, is dat bij een bepaalde groep personen of dossiers? De inzet van het algoritme strekt zich tot visumaanvragen voor kort verblijf met bestemming Nederland (Schengenvisa). De output wordt opgenomen in KAIROS. De output in KAIROS kan geraadpleegd worden door consulaire medewerkers die belast zijn met de taak om de visumaanvragen te beoordelen. 3.5.3 Kan het algoritme ook nog worden ingezet als contextfactoren veranderen of als het algoritme gebruikt wordt in een andere context dan waarvoor het is ontwikkeld? Het algoritme is dedicated ontwikkeld voor ondersteuning in het visumproces van BZ. Indien de context zou veranderen zouden de regels van de beslisboom en het wegingsmodel aangepast moeten worden. Het algoritme kan in de huidige vorm niet in een andere context gebruikt worden.

Vraag 3.6 Communicatie 3.6.1 Hoe open kunt u zijn over de werking van het algoritme in het licht van de doelstellingen en context van de inzet ervan? BZ heeft bijzondere openheid betracht inzake het algoritme. Het algoritme is opgenomen in het Algoritmeregister van het Rijk. Diverse notities, Kamervragen en 39 (externe) onderzoeken zijn online beschikbaar. Daarbij zijn de doelstellingen en de context uitgebreid toegelicht. Over de werking kan BZ tot op zekere hoogte open zijn. Zoals bij vraag 2B.4.2 toegelicht is er een verschil tussen de openheid van de werking van het algoritme binnen en buiten de organisatie. Het exacte wegingsmodel en de uiteindelijke profielen die meedraaien, worden niet openbaar gemaakt. Reden hiervoor is dat er een risico is dat de inhoud van de visumaanvraag beïnvloed wordt door profielen die op dat moment meedraaien. Verder heeft BZ de broncode van de beslisboom openbaar gemaakt op de bij 2B.4.2 genoemde publiek toegankelijke GitHub-pagina xxxv .

De broncode wordt vergezeld met een toelichtend README (incl. uitleg over doel, gebruik, input en output van het algoritme) en het toepassen van de EUPL-licentie ( European Union Public Licen se ). 3.6.2 Op welke manier beoogt u te communiceren over de inzet van het algoritme? Zie hiervoor ook het antwoord op vraag 2B.4.2 en 3.6.1: de algemene werking en toepassing van het algoritme zijn uitvoerig gecommuniceerd aan de Tweede Kamer (in Kamerbrieven, mede n.a.v. Kamervragen); toezichthouders, de migratieketen (bij presentaties; samenwerking op het gebied van data-deling); visumaanvragers (via Factsheet IOB); maatschappelijk middelveld (n.a.v. vragen); media (n.a.v. vragen); EU- presentaties; social media – LinkedIn en EU publiciteitssites. Zie ook de bijlage voor een overzicht van de relevante documentatie. 3.6.3 Wordt de output van het algoritme gevisualiseerd, bijvoorbeeld in een tabel, grafiek of dashboard?

Zo ja: is de vorm van visualisatie of weergave een correcte representatie van de output van het algoritme? Is de visualisatie makkelijk te lezen voor verschillende gebruikersgroepen? De output wordt voor de consulaire medewerker getoond in het KAIROS. Dit is een tekstuele vertaling van de weging die heeft plaatsgevonden in het algoritme: de desbetreffende track met daarbij een korte toelichting. Er is hier geen sprake van visualisatie. Verder zijn er voor intern gebruik diverse dashboards ontwikkeld om de werking, inclusief de output , te kunnen monitoren. Deze dashboards zijn enkel leesbaar en toegankelijk voor specifieke gebruikersgroepen intern bij BZ. Tot slot is niet specifiek de output , maar wel de werking van het algoritme gevisualiseerd door een ‘praatplaat’ te laten ontwerpen (zie vraag 1.1). Deze visualisatie is eenvoudig te lezen voor verschillende gebruikersgroepen en wordt vaak gebruikt bij (externe) presentaties en bij informatiedocumenten. 40 Vraag 3.7 Evaluatie, auditing en borging 3.7.1 Is voorzien in goede instrumenten voor evaluatie, auditing en borging van het algoritme?

Zie hiervoor het antwoord 2B.2.1 en 2B.3.3. Het algoritme wordt doorlopend intern gemonitord aan de hand van verschillende instrumenten. Daarnaast worden er volgens intern beleid, doorlopend controles uitgevoerd op juistheid en volledigheid van de input data. Bovendien voert het datateam van HDCV de periodieke handmatige upload van de profielen uit, monitoren ze voor zowel de profielen als de tracks actief de output data, en voeren ze consistent biastoetsen uit. Periodiek wordt er ook een DPIA uitgevoerd op het juridische privacy aspect van het algoritme. Extern is er afdoende informatie beschikbaar over het algoritme voor toezichthouders om hier een onderzoek naar te kunnen starten, en mogelijke ontbrekende informatie bij BZ op te vragen. 3.7.2 Zijn er voldoende mogelijkheden om rekenschap en verantwoording af te leggen over het algoritme? BZ legt intern rekenschap over het algoritme af aan (uiteindelijk) de minister.

Extern wordt verantwoording afgelegd aan de Tweede Kamer. Dit gebeurt en hier wordt ook actief om gevraagd, bijvoorbeeld vanuit de Tweede Kamer door middel van Kamervragen. 3.7.3 Welke mogelijkheden zijn er voor auditors en toezichthouders om (formele) consequenties te verbinden aan de inzet van een algoritme door de overheid (bijv. terugkoppeling van bevindingen, doen van aanbevelingen, budgettaire consequenties, ...) Deze mogelijkheden zijn er uiteraard vanuit formele zin (de wet). BZ geeft door middel van het openbaar maken van relevante documenten, inzage in haar werkwijze omtrent het algoritme. Dit stelt toezichthouders zoals de Autoriteit Persoonsgegevens in de gelegenheid om onderzoek te doen. Dit gebeurt ook in de praktijk. In de beginperiode zijn onder andere de Auditdienst Rijk, de Adviescommissie voor Vreemdelingenzaken (ACVZ), en intern de Functionaris Gegevensbescherming betrokken geweest bij de beoordeling van het algoritme.

Later heeft ook de Algemene Rekenkamer nader onderzoek gedaan naar het algoritme. Meer recentelijk heeft de Auditdienst Rijk, naar aanleiding van het onderzoek bij BZ inzake afkomst gerelateerde gegevens (moties POK xxxvi ), nog onderzoek gedaan naar het algoritme. N.a.v. deze onderzoeken zijn bevindingen teruggekoppeld en aanbevelingen gedaan. Zie hiervoor ook de bijlage met een overzicht van de relevante documentatie. BZ heeft ook zelf externe partijen gevraagd om onderzoek te doen naar haar werkwijze en daarbij de inzet van het algoritme. Zo is er een bias onderzoek uitgevoerd door 41 SigmaRed en zijn er second opinions op juridisch vlak uitgevraagd. De aanbevelingen uit deze adviezen zijn door BZ opgevolgd. Zie ook vraag 2B.3.3. en 2B.4.2. Naar aanleiding van de statistische validatie door SigmaRed van een eventuele bias in het algoritme is een continue biasmeting ingevoerd : intertemporal bias monitoring (vergelijking op basis van weigeringspercentage en percentages intensive tracks per attribuut met hetzelfde attribuut een jaar in het verleden), alsmede de intergroup baseline bias monitoring (vergelijking op basis van weigeringspercentage en percentages intensive tracks per attribuut met de baseline bestaande uit alle kenmerken/attributen tezamen).

Zie ook 2B.3.3. BZ houdt de (toekomstige) relevante wet- en regelgeving nauwlettend in de gaten en beoordeelt doorlopend of er zaken aangepast moeten worden op basis van deze wet- en regelgeving. Deel 4: Mensenrechten Vraag 4.1 Grondrecht 4.1.1 Wordt er een grondrecht geraakt door het in te zetten algoritme? Er zijn diverse maatregelen genomen om te voorkomen dat het algoritme een grondrecht raakt. Desondanks worden de grondrechten zoals genoemd in de IAMA bij deze vraag voor de volledigheid afgewogen: Gelijke behandeling: Zoals meermaals benadrukt in deze IAMA is de output van het algoritme slechts een inschatting van de intensiteit van de behandeling van een visumaanvraag. Het heeft echter nooit tot gevolg dat een visumaanvraag wordt toegekend dan wel afgewezen. Iedere visumaanvraag moet worden onderzocht, en bij iedere visumaanvraag (met uitzondering van visumaanvragen van kinderen onder de 18) wordt een track toegekend.

Door de inzet van het algoritme streeft BZ juist gelijke behandeling na, door niet enkel op eventuele human bias van de consulaire medewerker te varen, maar juist op de beschikbare informatie vanuit BZ als ook van migratieketen. Hierdoor ontstaat er een beter evenwicht tussen data en de mens. Desondanks, zoals ook toegelicht bij vraag 1.3.2, is BZ zich ervan bewust dat er een risico bestaat op bias in de data en confirmation bias (de consulaire medewerker vaart blind op de tracks ). Dit zou mogelijk een risico voor gelijkwaardigheid op kunnen leveren. Dit risico is sinds de start onderkend en er is op meerdere wijzen gecontroleerd of er sprake is van een vorm van bias bij het gebruik van het algoritme. Uit de verschillende onderzoeken is gebleken dat dit niet het geval is. Er vindt doorlopende bias monitoring plaats om dit te blijven controleren. 42 Voor de volledigheid en reeds eerder vermeld: Daar komt bij dat de profielen die worden gebruikt in het algoritme altijd uit een minimaal aantal van drie kenmerken bestaat, juist om mogelijk onderscheid en discriminatie binnen profielen te kunnen voorkomen.

Om die reden heeft BZ ook de Landsadvocaat om een opinie gevraagd, waarbij geoordeeld werd dat het gebruik van het gegeven nationaliteit in het algoritme niet-discriminerend is. Zie ook vraag 3.3.2 voor meer informatie hieromtrent. Bij de beantwoording van deze vraag, en in de IAMA in algemene zin, is zoals reeds toegelicht bij vraag 1.1 het vraagstuk of het subcluster ‘sociale identiteit / relationele privacyrechten / relationele autonomie’ en daarbij in het bijzonder ‘recht op toegang tot een land’ wordt aangetast, omdat niet iedereen een visum voor Nederland aan hoeft te vragen, buiten beschouwing gelaten. Dat is immers niet het gevolg van het algoritme, maar het gevolg van de Europese wet- en regelgeving die de toegang tot, en het verblijf in, de Europese landen regelt. Wel is er sprake van profilering, wat het subcluster ‘verbod van profilering’ raakt. Hier wordt bij de volgende vraag verder op ingegaan.

Recht op persoonsgegevensbescherming: Daarnaast wordt het algoritme gevoed met gegevens om een track te kunnen adviseren. Dit is de input data. Het betreft gegevens omtrent visumaanvragen van de afgelopen vijf jaar en gegevens uit bronnen van ketenpartners. Er heeft vooraf een zorgvuldige selectie plaatsgevonden zodat enkel de voor het algoritme noodzakelijke gegevens meegenomen worden in de input data. Daarbij zijn de vereisten uit de AVG getoetst. Er worden maar een beperkt aantal velden uit de visumaanvraag meegenomen als input voor het algoritme, om uiteindelijk de betreffende output te kunnen geven. Het algoritme raakt dan ook niet het recht op persoonsgegevensbescherming. Zie hiervoor ook het antwoord op vraag 2A.3.1. Procedurele grondrechten en het recht op behoorlijk bestuur: De visumaanvrager heeft altijd de mogelijkheid om tegen een visumafwijzing in bezwaar en beroep te gaan. Hier wordt de aanvrager op geattendeerd bij de afwijzing.

Daarnaast kan de visumaanvrager zich beroepen op de rechten die hij/zij vanuit de AVG heeft. Denk hierbij aan het recht op inzage en recht op correctie. De visumaanvrager wordt hier niet in beperkt. Er is daarmee dus ook geen sprake van een inbreuk op procedurele grondrechten en het recht op behoorlijk bestuur. Vraag 4.2 Specifieke wetgeving en richtsnoeren 4.2.1 Zijn er specifieke wettelijke bepalingen of richtsnoeren van toepassing op de grondrechteninbreuk? Het subcluster ‘verbod op profilering’ van het grondrecht gelijke behandeling (no. 3, p. 89 van de IAMA) wordt geraakt door de inzet van het algoritme. In artikel 22 van de 43 AVG xxxvii is het verbod op profilering verder uitgewerkt. In dit artikel wordt echter de toevoeging gemaakt dat het verbod ziet op een ‘ uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit, waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft’ .

Ten eerste spelen de consulaire medewerkers zoals meermaals is toegelicht in deze IAMA een cruciale rol in het visumproces en in het gebruik van de tracks . De tracks zijn slechts ondersteunend, de consulaire medewerker is leidend. Er is hierdoor geen sprake van geautomatiseerde besluitvorming. De geadviseerde track zegt immers niets over het uiteindelijke besluit van de consulaire medewerker of een visumaanvraag wordt toegekend of niet. Om deze conclusie te laten controleren door een onafhankelijke derde partij, heeft BZ voor de volledigheid ook de Landsadvocaat om advies gevraagd. In dat advies is hetzelfde geconcludeerd. Hiermee wordt er niet voldaan aan de definitie van geautomatiseerde verwerking zoals bedoeld in art. 22 van de AVG en is het gebruik van profilering toegestaan. Wel geldt bij profilering het aanvullende vereiste dat het duidelijk moet zijn voor betrokkenen (visumaanvragers) dat zij aan profilering worden onderworpen (art ikel 13 AVG xxxviii xxxix ).

Daarnaast geldt het recht van bezwaar bij profilering (art ikel 21 AVG ). Visumaanvragers worden over het gebruik van profilering en het recht van bezwaar geïnformeerd door middel van de Factsheet IOB. In deze Factsheet wordt profilering uitgelicht: ‘Profilering Buitenlandse Zaken gebruikt profielen om de activiteiten die hierboven zijn gemarkeerd met * uit te voeren. Wij maken hierbij geen gebruik van geautomatiseerde besluitvorming. De historische gegevens in het Visum Informatie Systeem bij Buitenlandse Zaken v ormen de basis voor het profileren: alle visumaanvragen van de laatste 5 jaar. Deze worden aangevuld met gegevens uit de migratieketen. De visumaanvrager moet 18 jaar of ouder zijn, en is verplicht om een KVV aan te vragen. Het profiel wordt samengesteld o p basis van ten minste 200 visumaanvragen en op basis van meerdere kenmerken. U heeft altijd het recht om bezwaar te maken tegen profilering.

Indien u bezwaar wilt maken, stuur dan een mail naar HDCV - BAO@minbuza.nl’. Op deze wijze worden betrokkenen niet enkel geïnformeerd over de inzet van profilering door BZ, maar ook gewezen op het recht om bezwaar te maken tegen profilering xl . 44 Vraag 4.3 Zwaartebepaling 4.3.1 Hoe zwaar wordt een grondrecht geraakt door het algoritme? Zoals aangegeven bij voorgaande vraag wordt het verbod op profilering geraakt, maar niet zwaar. D e inzet van profilering is rechtmatig en toegestaan. Reden hiervoor is dat er geen sprake is van geautomatiseerde besluitvorming zoals bedoeld in art. 22 AVG, en dat aan het gebruik van het algoritme geen rechtsgevolgen zijn verbonden of de visumaanvrager in aanmerkelijke mate wordt getroffen. Zie ook voorga ande vraag. Daarnaast wordt de visumaanvrager geïnformeerd over het gebruik van profilering en zijn recht op bezwaar. Vraag 4.4 Doelstellingen 4.4.1 Welke doelen worden met inzet van het algoritme nagestreefd?

Kijk hierbij naar uw antwoord op vraag 1.2 De (sub)doelen zoals genoemd bij vraag 1.2: Het hoofddoel van het algoritme is invulling geven aan de aan BZ opgelegde taak in het kader het beoordelen van de KVV-aanvragen zoals genoemd bij 1.1, en hierbij het ondersteunen van de consulaire medewerker bij de zorgvuldige beoordeling van een visumaanvraag, door het inschatten van de benodigde intensiteit voor het behandelen (en het bijbehorende dossieronderzoek) van deze aanvraag. En daarmee invulling geven aan de BZ opgelegde taak. Subdoelen van het algoritme zijn: - Veiligheid Nederland: Beoordelen of er sprake is van een dreiging voor de openbare orde en/of de binnenlandse veiligheid zoals art. 21 van de Visumcode dat voorschrijft; - Veiligheid aanvrager: Door bij BZ aanwezige informatie over de opgegeven referent en/of werkgever mee te nemen bij de beoordeling van de aanvraag, kan de aanvrager beter beschermd worden tegen onveilige situaties zoals illegale tewerkstelling; - Objectiviteit: Beoordeling van aanvragen objectiever uitvoeren door de behandeling te ondersteunen met informatie i.p.v. puur op kennis van de consulaire medewerkers met eventuele human bias.

Hierdoor ontstaat er een betere balans tussen de beschikbare informatie en kennis/ervaring van de consulaire medewerker; - Zorgvuldigheid: Beoordeling zorgvuldiger uitvoeren door alle benodigde informatie mee te laten wegen in de beoordeling; en - Efficiëntie: Aanvragen efficiënter uitvoeren door de consulaire medewerker inzicht te geven in aanvragen die mogelijk meer of minder behandelintensiteit vergen. Of juist aanvragen met bijvoorbeeld een hogere verwachte behandelintensiteit te laten beoordelen door meer ervaren medewerkers. Voor de aanvrager is dit ook van 45 belang, omdat dit ertoe kan leiden dat een aanvragen gerichter behandeld kan worden, en daarmee mogelijk ook sneller afgehandeld kunnen worden. Vraag 4.5 Doeltreffendheid/effectiviteit/geschiktheid 4.5.1 Vormt het in te zetten algoritme een doeltreffend middel om de gestelde doelen te realiseren? Leg uit. Ja, het algoritme vormt een doeltreffend middel om de gestelde doelen zoals genoemd bij 1.2 en 4.4.1 te bereiken.

Dit is reeds toegelicht bij vraag 3.3.3. Om extra herhaling te voorkomen is besloten te verwijzen naar het antwoord bij vraag 3.3.3. Vraag 4.6 Noodzakelijkheid/subsidiariteit 4.6.1 Is inzet van dit specifieke algoritme noodzakelijk om dit doel te bereiken en zijn er geen andere of mitigerende maatregelen beschikbaar om dit te doen? Leg uit. Juist vanwege het oogpunt noodzakelijkheid/subsidiariteit is gekozen voor het algoritme zoals het nu in gebruik is. Hiervoor is een aantal redenen te benoemen: - Een alternatief zou de oude werkwijze zijn waarbij er geen algoritme gebruikt wordt en de consulaire medewerker niet wordt voorzien in een track . Cruciale informatie wordt in dat geval ook niet meegenomen bij de start van een visumaanvraag. Dit is niet wenselijk en draagt niet bij aan objectiviteit. Daar komt bij dat het algoritme bijdraagt aan uitlegbaarheid. Indien er gekozen is voor een uitgebreider dossieronderzoek, kan dit beter onderbouwd worden op basis van informatie.

Er is sprake van reproduceerbaarheid. Zie ook het antwoord op 2.B.1.2. Daarnaast is het algoritme ook ten dienste van de visumaanvrager. Zie hiervoor ook het antwoord op vraag 1.3.1. Door het terugkoppelen van objectieve, op historische data gebaseerde informatie, kan het algoritme een remmende werking hebben ten aanzien van eventuele bias, bijvoorbeeld op nationaliteit, van een beslismedewerker. Het algoritme beperkt zich namelijk niet tot nationaliteit, maar neemt in het track advies ook andere relevante variabelen mee. - Voor het alternatief waarbij er geen algoritme wordt gebruikt geldt ook dat er een aanzienlijk aantal extra beslismedewerkers nodig zouden zijn om alle noodzakelijke handelingen te verrichten richting de ketenpartners (zie ook 1.3.1 onder efficiëntie/ kwaliteitsverbetering). Doordat er op voorhand geen inschatting van de intensiteit meer gemaakt kan worden, dient de beslismedewerker dit zelf in te schatten.

Risico is voorts dat eventuele human bias bij een grotere populatie beslismedewerker moeilijker te detecteren en te corrigeren is. Dit zou tot meer toezicht op het beslisproces leiden en dus het aannemen van meer staf. 46 - Een ander alternatief is het gebruik van het algoritme achterwege laten, en de consulaire medewerker toegang te verstrekken tot de bronnen die meewegen in het algoritme. Dit is onwenselijk om twee redenen: o Het is in strijd met de noodzakelijkheid van de gegevensverwerking. De bronnen bevatten meer gegevens dan voor de consulaire medewerker noodzakelijk om bij de visumaanvraag inzichtelijk te hebben. Om die reden wordt er een track gecommuniceerd met een korte toelichting, i.p.v. inzicht te bieden in de exacte gegevens. o Het is voor de consulaire medewerker niet mogelijk om in de beperkte tijd die er beschikbaar is voor de beoordeling de diverse bronnen te raadplegen en op een juiste manier te interpreteren.

Hier is een mens niet toe in staat. o Er is juist bewust voor gekozen deze informatie niet te verstrekken, om te voorkomen dat een consulaire medewerker zich op bepaalde kenmerken gaat focussen tijdens de beoordeling van de visumaanvraag. Hiermee wordt zoveel mogelijk bias voorkomen, zoals toegelicht in vraag 2.A.3. - Alternatieve algoritmes zijn overwogen, maar de beslisboom die door BZ wordt toegepast is de meest transparante algoritmische benadering die conceptueel denkbaar is. Hier is bewust voor gekozen om de werkwijze uitlegbaar en transparant te houden. Zie hiervoor ook vraag 2B.1.4. Vraag 4.7 Belangenafweging/proportionaliteit 4.7.1 Levert inzet van het algoritme een redelijk evenwicht op tussen de te realiseren doelen en de grondrechten die worden geraakt, en waarom is dat zo? Bij vraag 4.1 en 4.2 zijn de grondrechten die worden geraakt en de wettelijke basis die hiervoor geldt verder uitgewerkt.

Daarbij is gebleken dat grondrechten in beperkte mate worden aangetast, maar deze inbreuk rechtmatig is . Het gebruik van profilering is in bepaalde gevallen toegestaan binnen de wet, mits aanvullende maatregelen worden genomen. BZ heeft deze vereiste maatregelen genomen. Daarmee concludeert BZ dat de inbreuk in verhouding staat tot de belangen en de doelen die de inzet van het algoritme dient. Daarbij is het, wellicht ten overvloede, van belang om te benadrukken dat de door BZ gestelde doelen dienen niet enkel BZ als organisatie dienen, maar ook de visumaanvrager. Zowel BZ als de visumaanvrager hebben er belang bij dat de visumaanvragen zo objectief en zorgvuldig mogelijk worden beoordeeld. Daarbij heeft de visumaanvrager er belang bij de het proces zo objectief en efficiënt mogelijk plaatsvindt, omdat hij/zij hierdoor sneller geholpen wordt. 47 De toegepaste werkwijze draagt ook bij aan veiligheid.

Door noodzakelijke informatie mee te nemen in het proces, en de consulaire medewerker op voorhand een behandeladvies mee te kunnen geven, kan er door de consulaire medewerker ook meer aandacht besteed worden aan mogelijke veiligheidsrisico’s. Zo kan het mogelijk zijn dat een door de visumaanvrager opgegeven referent in het verleden visumaanvragers illegaal te werk heeft gesteld. Het is in dat geval van belang dat BZ de visumaanvrager hiervoor in bescherming kan nemen, en aanvullende vragen kan stellen tijdens de behandeling van de aanvraag om er zorg voor te dragen dat de visumaanvragers zich ervan bewust zijn wat zijn reis naar Nederland behelst. Daarnaast biedt deze werkwijze voor de visumaanvrager meer transparantie. Het voorgestelde behandeladvies is namelijk reproduceerbaar. Door transparant te zijn over het gebruik van het algoritme en de visumaanvrager goed te informeren, is BZ van mening dat er sprake is van een evenwicht tussen de te realiseren doelen en de geraakte grondrechten.

Het doel is daarbij altijd om een visumaanvraag toe te kennen, en niet af te wijzen. # 48 BIJLAGE: OPENBARE RELEVANTE DOCUMENTATIE Kamerstuk datum Omschrijving Vindplaats 27-01-2023 Kamerbrief reactie op zwartboek ‘Visumaanvragen lopen spaak’. Kamerbrief reactie op zwartboek 'Visumaanvragen lopen spaak' | Kamerstuk | Rijksoverheid.nl 07-06-2023 Antwoorden op Kamervragen over een bericht over de beoordeling van visumaanvragen door het Ministerie van Buitenlandse Zaken. De Tweede Kamerleden Dekker-Abdulaziz en Podt (beiden D66) hebben deze vragen gesteld. Antwoorden op Kamervragen over visumbeleid Buitenlandse Zaken | Kamerstuk | Rijksoverheid.nl 06-07-2023 Vragen van het lid Sylvana Simons (BIJ1) aan de minister van Buitenlandse Zaken, over de stijging van het aantal afwijzingen van visumaanvragen van Surinamers en het bericht dat de minister op het matje is geroepen over het gebruik van algoritmen in visumaanvragen (ingezonden 22 mei 2023).

Kamervragen (Aanhangsel) 2022- 2023, nr. 3174 | Overheid.nl > Officiële bekendmakingen 07-09-2023 De vaste commissie voor Buitenlandse Zaken heeft een aantal vragen en opmerkingen voorgelegd aan de minister van Buitenlandse Zaken, over de brief van 11 mei 2023 over de bevindingen van het Ministerie van Buitenlandse Zaken over het onderzoek gebruik afkomstgerelateerde gegevens en gebruik risicomodellen (Kamerstukken 26 643 en 32 761, nr. 1031). Kamerstuk 26643, nr. 1065 | Overheid.nl > Officiële bekendmakingen 02-11-2023 De vaste commissie voor Buitenlandse Zaken en de vaste commissie voor Defensie hebben op 11 oktober 2023 overleg gevoerd met mevrouw Bruins Slot, minister van Buitenlandse Zaken, over [o.a.] onderzoek gebruik afkomstgerelateerde gegevens en gebruik risicomodellen. Vaststelling van de begrotingsstaat van het Ministerie van Buitenlandse Zaken (V) voor het jaar 2024 | Tweede Kamer der Staten-Generaal 29-04-2024 Antwoorden op Kamervragen over het bericht over het visumbeleid door het Ministerie van Buitenlandse Zaken.

Het Tweede Kamerlid Dekker-Abdulaziz (D66) heeft de vragen gesteld. NB Bias-toetsing van de BAO van het RIG en SigmaRed als bijlagen (gelakt). Antwoorden op Kamervragen over bericht over het visumbeleid door het Ministerie van Buitenlandse Zaken | Kamerstuk | Rijksoverheid.nl 49 Overige relevante stukken Omschrijving Vindplaats 2017 (update maart 2025) Factsheet Informatie Ondersteund Beslissen Schengen Visum Kort Verblijf (KVV) NL en ENG. Factsheet Informatie Ondersteunend Beslissen Factsheet Information-supported decision-making 26-01-2021 Aandacht voor algoritmes: De Algemene Rekenkamer heeft onderzocht hoe de rijksoverheid algoritmes gebruikt. Aandacht voor algoritmes | Rapport | Algemene Rekenkamer 24-05-2022 Rapport over het gebruik van nationaliteit in het risicobeoordelingssysteem dat het Ministerie van Buitenlandse Zaken inzet bij de beoordeling van aanvragen voor een Kort Verblijf Visum.

Second opinion op de DPIA IOB KVV 2023 (update januari 2025) Het Algoritmeregister van de Nederlandse overheid: Het algoritme ondersteunt bij het behandelen van een aanvraag voor een Kort Verblijf Schengen Visum. Informatie Ondersteund Beslissen - Kort Verblijf (Schengen) Visum (KVV) - Ministerie van Buitenlandse Zaken 23-03-2023 Visie Landsadvocaat op gebruik nationaliteitsgegevens bij visumaanvraag. Reactie Landsadvocaat op gebruik nationaliteitsgegevens bij visumaanvraag | Publicatie | Rijksoverheid.nl 31-08-2023 Informatie Ondersteund Beslissen - Buitenlandse Zaken Analyse Omgeving [Een notitie over Informatie Ondersteund Beslissen (IOB)]. Informatie Ondersteund Beslissen - Buitenlandse Zaken Analyse Omgeving | Publicatie | Rijksoverheid.nl 15-01-2024 Bias experiment – invloed van de labels op de beslissing. Wordt een beslismedewerker door het zien van een label beïnvloed in de beslissing?

BZ Bias experiment - invloed labels op beslissing | Publicatie | Rijksoverheid.nl 09-10-2025 Weblogbericht, Ministerie van Buitenlandse Zaken. Nederland en EU werken samen aan digitalisering van het visumproces | Ministeries | Rijksoverheid.nl # 50 EINDNOTEN i Zie https://open.overheid.nl/documenten/d0947c02-81df-4c00-83df- d88b703025f4/file . ii Zie CL2009R0810NL0090010.0001_cp 1..1 . iii Zie ook art. 21 van de Visumcode. Zie CL2009R0810NL0090010.0001_cp 1..1 . iv Zie ook art. 32 van de Visumcode. Zie CL2009R0810NL0090010.0001_cp 1..1 . v Conform de Rijksvisumwet is de minister van Buitenlandse Zaken bevoegd tot visumverlening en verantwoordelijk voor de behandeling van aanvragen voor KVV. Zie wetten.nl - Regeling - Rijksvisumwet - BWBR0038494 . vi De MVV is een inreisvisum. Dit visum is bedoeld voor personen die langer dan 90 dagen in Nederland willen verblijven. Zie https://ind.nl/nl/machtiging-tot-voorlopig-verblijf-mvv . vii Zie eindnoot ii. viii De conclusie van het externe onderzoek van SigmaRed is dat er geen sprake is van onevenredige discriminatie op basis van leeftijd, burgerlijke staat, geslacht of nationaliteit.

Alleen bij aanvragen met een Jemenitische nationaliteit (0,121% van alle aanvragen) werd geconstateerd dat deze een ongelijksoortige vertegenwoordiging in de profielen hebben ten opzichte van het aantal aanvragen. Uit nadere analyse blijkt dit een verklaarbare afwijking. Voor de overige nationaliteiten werd geen bias vastgesteld, ondanks het feit dat sommige nationaliteiten op basis van historische gegevens meer vertegenwoordigd zijn in de intensive track. Toelichting: Uit het SigmaRed rapport blijkt dat de drempelwaarden voor de toets normalized disparate impact ratio 0,8 en 1,2 zijn. Voor de Jemen groep ligt de meetwaarde op 0,52, wat mogelijk kan wijzen op bias. Visumaanvragen met de Jemenitische nationaliteit bevatten, naast een hoog weigeringspercentage, ook hoge percentages hits op de lijsten van ketenpartners. Deze is voor alle lijsten gezamenlijk 2.46%, tegenover een gemiddelde van 0.63% voor alle andere nationaliteiten.

De lijst die hierbij de grootste onevenredigheid aangeeft is de bron: ‘IND asiel na visum kort verblijf’, die laat zien dat een relatief groot aandeel van toegewezen visumaanvragen met Jemenitische nationaliteit, na het verstrijken van hun kortverblijfvisum, over blijken te gaan tot het aanvragen van asiel (2.02% tegenover een gemiddelde van 0.17% voor alle andere nationaliteiten samen). Deze relatief grote discrepantie tussen de Jemenitische en alle andere nationaliteiten, lijkt een duidelijke aanleiding te zijn waarom de Jemenitische nationaliteit in onevenredige mate voorkomt in de risicoprofielen, in vergelijking tot hun weigeringspercentage . ix Zie Visa policy - Migration and Home Affairs - European Commission . x Zie Artikel 6 - Rechtmatigheid van de verwerking | AVGb.nl . xi Zie eindnoten ii en v. xii Zie wetten.nl - Regeling - Vreemdelingenwet 2000 - BWBR0011823 . xiii Zie Wet arbeid vreemdelingen | Nederlandse Arbeidsinspectie . xiv Zie https://www.autoriteitpersoonsgegevens.nl/themas/beveiliging/beveiliging-van- persoonsgegevens/gegevens-pseudonimiseren . 51 xv De Terugmeldvoorziening Migratieketen (TMK) is een centraal systeem dat voorziet in de mogelijkheid om, als er gerede twijfel is over de juistheid van informatie, de verantwoordelijke organisatie hiervan in kennis te stellen, zodat de foutieve registratie na onderzoek gecorrigeerd kan worden.

De TMK is een belangrijk hulpmiddel bij de verbetering van de datakwaliteit van organisatie overstijgende gegevens. xvi CIO staat voor Chief Information Officer . CISO voor Chief Information Security O fficer . Verantwoordelijken voor het informatiebeveiligingsbeleid van BZ. xvii DPIA: Data Protection Impact Assessment. Hét instrument om vooraf de privacy risico’s van een gegevensverwerking in kaart te brengen. xviii Zie https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/cybersecurity/bio-en- ensia/baseline-informatiebeveiliging-overheid/ . xix Zie Algemene Rekenkamer, Aandacht voor algoritmes, 2021, eindnoot 1, https://www.rekenkamer.nl/documenten/2021/01/26/aandacht-voor-algoritmes . xx Zie ook Algemene Rekenkamer, Aandacht voor algoritmes, 2021, https://www.rekenkamer.nl/documenten/2021/01/26/aandacht-voor-algoritmes . Bij alle drie onderzochte casussen is het algoritme uitlegbaar en heeft er een afweging plaatsgevonden tussen de uitlegbaarheid van het model en de prestatie van het model.

In geen van de drie casussen gaat het overigens om een zelflerend algoritme, wat bi jdraagt aan de grote mate van uitlegbaarheid van het algoritme. xxi Zie https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng . xxii De Consulaire Service Organisatie (CSO) bestaat sinds januari 2018 en valt onder de Hoofddirectie Consulaire en Visumzaken van BZ. De CSO fungeert als wereldwijde backoffic e voor hoofdzakelijk de verwerking van aanvragen voor Nederlandse reisdocumenten en visa (KVV en Caribische aanvragen). Dat gebeurt binnen de kaders van de nationale en Europese wetgeving. xxiii Met ‘ ground truth’ wordt de objectieve vastgestelde uitkomst bedoeld waar de gemaakte voorspelling van een model mee wordt vergeleken. Deze uitkomst geeft aan of het wel of geen correcte voorspelling was. Zonder een dergelijke vastgestelde uitkomst is het niet mogelijk om de voorspellingen van een model te beoordelen als goed of fout. xxiv Zie https://sigmared.ai/ : “ SigmaRed enables end to end AI Model Risk assessment, remediation, ongoing monitoring and Management.

Thus enabling financial institutions and other organizations to manage the risks of their AI models in production environments” . xxv Zie Rijks ICT Gilde | Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie . Voor een bespreking van het onderzoek van het RIG zie ‘Kamervragen D66 verstrekken documenten onderzoek bias algoritme IOB/BAO aan TK’ . xxvi Een profiel is slechts een week ‘houdbaar’, maar het is wel mogelijk dat iedere week eenzelfde profiel opnieuw aan de drempelvoorwaarden voldoet. Op die manier is het dus mogelijk dat een profiel langer dan een week meedraait. De levensduur van de profiel en wordt continue gemonitord in een dashboard. xxvii Bestaande uit de correlatiemetrieken ‘Cramers’, ‘Tschuprow’ en ‘Pearsons’, en een random forest algoritme. xxviii Zie https://github.com/HDCV-Data/bao-broncode . xxix Hiermee wordt algemene informatie over een land bedoeld die buiten het algoritme om kan worden meegenomen bij een visumbeoordeling.

Bijvoorbeeld of er sprake is van een oorlog of politieke spanningen in een specifiek land. Dit is uitdrukkelijk geen onderdeel van het algoritme. xxx Zie BZ Bias experiment - invloed labels op beslissing | Publicatie | Rijksoverheid.nl . 52 xxxi Zie Reactie Landsadvocaat op gebruik nationaliteitsgegevens bij visumaanvraag | Publicatie | Rijksoverheid.nl . xxxii Zie eindnoot viii. xxxiii Zie https://algoritmes.overheid.nl/nl/algoritme/mnre1013/94596537/informatie-ondersteund- beslissen-kort-verblijf-schengen-visum-kvv . xxxiv INDiGO 2025. Informatiesysteem van de IND. xxxv Zie eindnoot xxviii. xxxvi Parlementaire Ondervragingscommissie Kinderopvangtoeslag. Zie Kamerstuk II 2020/21, 35510, nr. 21 en Kamerstuk II 2020/21, 35510, nr. 16. xxxvii Zie Artikel 22 - Geautomatiseerde individuele besluitvorming, waaronder profilering | AVGb.nl . xxxviii Zie Artikel 13 - Te verstrekken informatie wanneer persoonsgegevens bij de betrokkene worden verzameld | AVGb.nl . xxxix Zie Artikel 21 - Recht van bezwaar | AVGb.nl . xl Vanzelfsprekend is deze informatie ook in het Engels beschikbaar voor de visumaanvragers. Zie Factsheet Information-supported decision-making .