Meaningful human control onder vuur

Operationele toepassing van AI is essentieel voor een toekomstbestendige krijgsmacht. Een (ethisch) verantwoorde inzet is daarbij randvoorwaardelijk. Zo ook voor de ondersteuning door AI van het operationele targetingproces waarbij meaningful human control (MHC) als een vereiste geldt om menselijke (eind)verantwoordelijkheid te borgen. Ondanks theoretische en beleidsmatige aandacht ervoor blijft praktische reflectie op MHC achter. In dit paper wordt daarom een verkennend onderzoek gedaan naar de mogelijkheid van MHC in een praktijkcasus – Operatie Iron Swords – aan de hand van vijf kernelementen: awareness, weaponeering, context control, prediction en accountability. 

Het onderzoek laat zien dat hoewel MHC in principe gerealiseerd kan worden, er drie risicofactoren zijn die MHC ondermijnen: een te hoge werklast, te weinig beschikbare tijd voor validatie en automatiseringsbias. Tot slot worden drie aanbevelingen gedaan die bijdragen aan de mitigatie van deze risico’s.

Tijdens een AI-top in Zuid-Korea in september 2024, en wederom in Spanje in 2026, waarschuwde minister van Defensie Brekelmans voor de hoge prijs die krijgsmachten zullen betalen als ze niet actief deelnemen aan AI-ontwikkeling.[1] Tegelijkertijd benadrukte hij het belang van verantwoordelijk militair gebruik van AI in lijn met de political declaration van de Global Commission on Responsible AI in the Military Domain (REAIM).[2] Dit geldt zeker ook voor de inzet van AI bij targeting. In het operationeel targetingproces worden doelen geselecteerd, geprioriteerd en de juiste response bepaald, rekening houdend met operationele vereisten en capaciteiten.[3] In de targeting cyclus spelen inlichtingen een cruciale rol in de ondersteuning van het besluitvormingsproces waarbij de toepassing van AI de snelheid en nauwkeurigheid van besluitvorming in theorie significant kan verbeteren.[4] [5] [6] 

Minister Brekelmans van Defensie benadrukte in 2024 op een top in Zuid-Korea het belang van verantwoordelijk militair gebruik van AI. Foto MCD

De automatisering van doelidentificatie en -selectie door AI roept echter fundamentele vragen op over menselijke betrokkenheid in besluitvorming. Naarmate AI-systemen een prominentere rol krijgen, dreigen menselijke controle en kritische oordeelsvorming af te nemen.[7]  Om de verantwoorde inzet van AI in het militaire domein te waarborgen is er internationale consensus dat er daarbij altijd meaningful human control (MHC) moet zijn.[8]  Hoewel er uiteenlopende definities zijn, houdt MHC in de kern in dat mensen – en niet algoritmes – uiteindelijk de controle moeten behouden over het gedrag van AI-systemen en daardoor ook moreel verantwoordelijk blijven.[9]  Het gaat verder dan het idee van een human-in-the-loop (bijvoorbeeld alleen maar op een knop hoeven drukken) door te waarborgen dat mensen over de nodige informatie, tijd en psychologische capaciteit beschikken om werkelijke (betekenisvolle) invloed uit te oefenen op een systeem.[10] 

Ondanks de aandacht voor MHC in wetenschappelijke papers en beleidsstukken ontbreekt inzicht over het realiseren daarvan in de praktijk. Dit paper doet een eerste aanzet om deze lacune te dichten door de theoretische kenmerken van MHC te toetsen aan één van de eerste casussen waarbij AI uitgebreid is ingezet in verschillende fases van het targetingproces.[11] 

Operatie Iron Swords

Operatie Iron Swords is de vijfde oorlog binnen het Israël-Gaza conflict sinds 2008. Aanleiding is de aanval van Hamas op 7 oktober 2023, waarbij de terreurbeweging vanuit de Gazastrook nederzettingen in Israël aanviel. Als reactie daarop volgde met operatie Iron Swords een Israëlische militaire invasie in de Gazastrook.

Rond Iron Swords spelen (ethische) gevoeligheden. Het gebruik ervan als casuïstiek voor onderzoek is daarom ook gevoelig. Vanuit militair oogpunt biedt de casus echter een unieke inkijk in de inzet van AI bij targeting. Dit is uitermate relevant voor de Nederlandse krijgsmacht, juist ook wanneer het gaat om het garanderen van verantwoordelijk militair gebruik van AI. Zonder de bredere ethische discussie te bagatelliseren, beperken we ons tot de vraag of voldaan kan worden aan de voorwaarden van een verantwoorde inzet van AI bij targeting. Daarbij is de hoeveelheid (primaire) bronnen over Iron Swords zeer beperkt. Dit onderzoek heeft daarom een sterk exploratief karakter waarbij wordt teruggevallen op extrapolatie en het doen van gefundeerde aannames.

In eerdere operaties waren de Israel Defense Forces (IDF) volledig afhankelijk van handmatig werk van inlichtingenofficieren om targets te genereren, wat resulteerde in een beperkte doelwittenlijst van slechts enkele tientallen hooggeplaatste individuen.[12]  Tijdens Iron Swords is de taak van doelwitidentificatie grotendeels overgenomen door ‘Lavender’.  Op basis van informatie over bijna alle 2,3 miljoen inwoners van de Gazastrook,[13] identificeert deze AI-applicatie mogelijke leden in de militaire vleugel van Hamas en Palestijnse Islamitische Jihad (PIJ) als potentieel doel.[14]  Dit leidde tot een drastische toename in het aantal gegenereerde targets en daarmee ook in het aantal aanvallen in Gaza (zie figuur 1).[15] 

Figuur 1 Aanvallen op targets in Gaza in verschillende IDF-operaties

Deze ontwikkeling wordt verder ondersteund door de integratie van nog drie AI-decision support systems (AI-DSS) in het vervolg van de targetingcyclus. Nadat doelwitten zijn geïdentificeerd lokaliseert ‘The Gospel’ gerelateerde infrastructuren van de militanten, zoals particuliere woningen,[16] waarna ‘Where’s Daddy’ de geïdentificeerde militanten volgt en de IDF in real-time informeert wanneer ze thuiskomen.[17] [18] ‘Fire Factory’, ten slotte, kan op basis van een analyse van data zoals historische gegevens over eerder goedgekeurde doelen, de benodigde hoeveelheid munitie berekenen, optimale tijdschema’s voorstellen en de prioritering en toewijzing van doelen optimaliseren.[19]

Meaningful Human Control 

Hoewel het aantal (type) targets en aanvallen significant is gestegen rijst de vraag welke impact dit heeft gehad op de menselijke controle op het proces. Om deze vraag te beantwoorden moet worden vastgesteld of er gedurende het proces is voldaan aan de eisen van MHC. 

Verschillende (academische) bronnen hebben suggesties gedaan voor kenmerken waaraan voldaan zou moeten worden om te kunnen spreken van MHC bij de inzet van autonome wapen systemen (AWS).[20] [21] [22] Het MHC-framework van Jonathan Kwik brengt deze kenmerken op een samenhangende manier bij elkaar.[23] Het identificeert vijf kernelementen – awareness, weaponeering, context control, prediction en accountability – die, aan elkaar gekoppeld, corresponderen met de causaliteit en chronologie van het militaire targetingproces (zie figuur 2).

Figuur 2 Geïntegreerd MHC framework (Bron: Kwik 2022)

Hieronder is voor ieder kernelement uiteengezet wat het vereist om vervolgens na te gaan of hier in operatie Iron Swords casus aan wordt voldaan of niet. Daarbij is geput uit verschillende publiek toegankelijke, openbare bronnen, bronnen afkomstig van Israëlische overheidsinstanties en interviews met anonieme Israëlische inlichtingenofficieren.[24]

Element 1. Awareness

Awareness is essentieel om de inzetbeslisser in staat te stellen weloverwogen keuzes te maken over wapeninzet.[25] Dit vereist inzicht in het functioneren van het systeem, de operationele omgeving en de mogelijke effecten.[26] Vier vormen van bewustzijn zijn hierbij van belang: Technical, Contextual, Interaction en Assessment awareness. [27]

1a Technical awareness

Technical awareness omvat begrip door de gebruikers van de functies, beperkingen en betrouwbaarheid van het systeem. In de casus wordt dit ondersteund doordat IDF-militairen uitgebreide training krijgen over de functionaliteiten van het AI-DSS.[28] Daarnaast zijn gebruikers in staat om inzicht te krijgen in de onderliggende data waarop het systeem zijn aanbevelingen baseert. Zo verklaart de IDF dat The Gospel de gebruiker de mogelijkheid biedt om ‘beschikbare en begrijpelijke’ data op te vragen waarmee het systeem zijn aanbevelingen genereert.[29] Een commandant van de eenheid die AI-toepassingen ontwikkelt omschrijft het in een interview als het achterlaten van technische ‘broodkruimels’ waardoor gebruikers in staat zijn om de aanbevelingen te reconstrueren.[30]

Bovendien is de technologische betrouwbaarheid van AI-toepassingen zoals Lavender in de beginfase van het conflict door de IDF geverifieerd. Een steekproef toonde aan dat het systeem in 90 procent van de gevallen correct de link tussen individuen en Hamas identificeerde, wat leidde tot goedkeuring voor grootschalig gebruik.[31] 

Israël heeft bovendien de ontwikkeling van AI gestimuleerd door de toepassingen voorafgaand aan operatie Iron Swords in bezette gebieden te testen, wat de operationele prestaties en betrouwbaarheid in relevante omgevingen verbeterde. Door gezichtsherkenning en biometrische dataverzameling in bezette gebieden op de Westelijke Jordaanoever te gebruiken, kregen Israëlische technologiebedrijven een uniek platform om hun AI-toepassingen praktisch te testen, verfijnen en valideren.

Daarentegen blijkt uit een after-action report dat het AI-systeem weliswaar veel trainingsgegevens had over wat als target werd beschouwd, maar tegelijkertijd informatie miste over zaken die menselijke analisten als niet-target hadden aangemerkt. Het Israëlische leger had de historische gegevens van afgewezen targets namelijk niet verzameld, waardoor de training van het AI-DSS in eerste instantie bevooroordeeld was geraakt.[32] Algoritmes zijn zo goed als de data waarmee ze getraind zijn, en een fout in de data kan dus leiden tot het identificeren van verkeerde targets, wat de kans op burgerslachtoffers vergroot. 

Ten slotte dienen gebruikers er op te kunnen vertrouwen dat het systeem compliant is aan het internationaal recht. In een persbericht verklaarde de IDF over The Gospel dat ‘geldende voorschriften duidelijk vereisen dat voorgestelde targets in overeenstemming zijn met de relevante definities onder internationaal recht’.[33] Daarnaast geeft de krijgsmacht in hetzelfde statement aan dat de beslissing van een commandant om een aanval goed te keuren altijd onderworpen is aan de beperkingen van het internationale recht. Hiermee maakt Israël duidelijk dat het gebruik van AI-toepassingen gebonden is aan de regels voor onderscheid, proportionaliteit en voorzorgsmaatregelen onder het humanitair oorlogsrecht. 

Een Israëlische eenheid op weg naar de grens met Gaza. Israël zegt dat beslissingen van commandanten altijd onderworpen zijn aan de beperkingen van het internationale recht. Foto ANP/EPA, Atef Safadi

Verschillende juristen schrijven echter dat de praktijk uitwijst dat de toegenomen snelheid en schaal van targeting de morele terughoudendheid ten aanzien van het grondig valideren van targets onder Israëlische inlichtingenfunctionarissen vermindert.[34] Dit zou leiden tot disproportionele nevenschade, waardoor de naleving van de regels omtrent het beginsel van proportionaliteit onder het humanitaire oorlogsrecht twijfelachtig wordt. Juristen wijzen hier specifiek op het risico op burgerslachtoffers tijdens targeting. Het feit dat The Gospel huizen linkt aan Hamas-militanten en Where’s Daddy informeert wanneer deze militanten thuis zijn, vergroot de kans op onnodige burgerslachtoffers aanzienlijk wanneer deze vervolgens in hun huis aangevallen worden. 

Daar staat tegenover dat er aan het begin van een militaire operatie targetingguidance uitgebracht wordt waarin ook het aantal geaccepteerde non-combattant casualties per aanval zijn opgenomen. Van operatie Iron Swords is bekend dat het aantal varieerde van vijf casualties bij low-level-militanten tot meer dan honderd voor Hamas-commandanten.[35] Los van het morele vraagstuk hoeveel burgerslachtoffers per aanval acceptabel zijn, is de IDF op dit vlak compliant aan IDF-regelgeving zolang een targeting operatie voldoet aan de gestelde eisen van het maximaal aantal burgerslachtoffers. 

1b. Contextual awareness

Contextual awareness verwijst naar het begrijpen van de omgeving waarin het systeem zal functioneren. Dit vereist dat gebruikers beschikken over voldoende actuele informatie over de context.[36] Hoewel er geen directe informatie is over de toegang tot actuele en betrouwbare inlichtingen, kan een beredeneerde aanname gemaakt worden dat dit het geval is. 

Op basis van hun beschrijvingen blijkt dat Lavender en The Gospel gebruik maken van data uit diverse bronnen. In de jaren voorafgaand aan de Hamas-aanval heeft de IDF uitgebreide systemen ontwikkeld voor het monitoren van Palestijnen in Gaza, waaronder biometrische databases, gezichtsherkenningstechnologie en cybersurveillancesystemen. Het is aannemelijk dat deze bronnen als actueel en betrouwbaar werden beschouwd voordat ze in de AI-toepassingen werden geïntegreerd.[37] Bovendien heeft de IDF verklaard dat voor systemen als Lavender en The Gospel regelmatige updates plaatsvinden.[38] Bij Where's Daddy gaat dit nog een stap verder, met continue updates gebaseerd op real-time positiebepaling van targets.[39] Het regelmatig updaten van het systeem met informatie en inlichtingen dient een dubbel doel: het vergemakkelijkt de toegang van analisten tot relevante data en zorgt ervoor dat zij beter geïnformeerd zijn door de meest actuele inlichtingenbronnen.[40] 

1c. Interaction awareness

Interaction awareness is een meer geavanceerde vorm van technical awareness waarbij het niet alleen draait om begrip van het systeem zelf, maar ook van reacties daarvan op externe factoren zoals tegenmaatregelen van de tegenstander. 

De voorspelbaarheid van reacties van een AI-DSS op zijn omgeving hangt af van de leercapaciteiten van dat systeem. Bij geavanceerde leercapaciteiten zijn interacties minder voorspelbaar, waardoor interaction awareness van groter belang is.[41]

Zoals hierboven aangehaald is er interactie tussen de applicaties en de context via de updates van de invoerdata. Met name Where’s Daddy vertoont daarbij enige dynamiek doordat het real-time potentiële targets volgt.[42] Hoewel de input van het AI-DSS dus veranderlijk is, wijzigt de manier van reageren door het systeem hierbij echter niet. 

Daarnaast is bekend dat de IDF machine learning-technieken gebruikt om algoritmes te optimaliseren (zie hieronder).[43] Dit wijst op een potentieel meer adaptieve vorm van interactie met de omgeving in plaats van een puur reactieve. Het gaat hier echter nog om een optimalisatie van de algoritmen en niet om het veranderen van de onderliggende regels van het systeem voor het genereren van uitkomsten.[44] Ook in dit geval blijft de manier van reageren dus gelijk.

Ook zijn er geen directe indicatoren gevonden in de beschikbare informatie dat er sprake is van impact van tegenmaatregelen op het functioneren van de applicaties. Het uitblijven van een terugval in het aantal bombardementen suggereert dat Hamas nog geen effectieve tegenmaatregel heeft ontwikkeld, of dat de IDF in staat is geweest de eigen systemen aan te passen om de effectiviteit te behouden. De diversiteit aan inlichtingenbronnen die de IDF gebruikt voor triangulatie maakt het bovendien uitdagend voor Hamas om effectieve tegenmaatregelen te implementeren tegen het gehele spectrum van AI-toepassingen.

1d. Assessment awareness

Assessment awareness, ten slotte, richt zich op de continue evaluatie en verbetering van de ingezette AI-toepassingen, wat essentieel is voor het behouden en verhogen van de operationele effectiviteit.

De IDF hanteert hiertoe een systemische aanpak voor AI-toepassingen. Dit werd duidelijk tijdens de operatie tegen Hamas in 2021, waarbij de IDF 150 systeemupdates doorvoerde tijdens een tiendaagse operatie.[45] Deze frequentie van updates onderstreept de dynamische aard van de AI-systemen en de bereidheid van de IDF om snel aanpassingen door te voeren op basis van operationele ervaringen. In operatie Iron Swords zet de IDF deze praktijk voort. Feedback van inlichtingenofficieren wordt gebruikt om AI-algoritmes te verbeteren en te verrijken.[46] 

Naast menselijke feedback maakt de IDF ook gebruik van machine learning-technieken. Deze stellen de AI-toepassing in staat een eigen geautomatiseerd beoordelingsproces te doorlopen. Dit proces is dynamisch en wordt voortdurend verfijnd door de verwerking van nieuwe gegevens en de interne feedbackloop van het AI-DSS. Hierdoor kan het algoritme zijn voorspellende nauwkeurigheid in de loop van tijd verbeteren, wat leidt tot een steeds effectiever systeem.[47]

Deze gelaagde aanpak van assessment, die zowel menselijke expertise als geavanceerde machine learning-technieken combineert, stelt de IDF in staat de AI-systemen continu te optimaliseren. Dit kan resulteren in een adaptief en steeds nauwkeuriger wordend systeem dat beter kan inspelen op de complexe en snel veranderende operationele omgeving.

2. Weaponeering

Op basis van de informatie uit de awareness-fase, volgt bij weaponeering het besluit om het AI-gegenereerde target al dan niet op te volgen en te bepalen welke middelen nodig zijn om een gewenst effect te bereiken. In Iron Swords wordt dit proces ondersteund door Fire Factory. 

Ondanks de integratie van Fire Factory wordt volgens de IDF ‘de beslissing om al dan niet aan te vallen […] genomen door de operationeel commandant’.[48] De commandant behoudt dus de opt-out-optie bij targetingbeslissingen. Daarnaast houden operators toezicht op Fire Factory en beoordelen de voorgestelde toebedeling van wapens en inzetmiddelen. Hierbij hebben ze de bevoegdheid om de aanbevelingen goed te keuren of te verwerpen.[49]

De mogelijkheid voor commandanten en operators om AI-gegenereerde voorstellen niet op te volgen waarborgt dat kritische beslissingen over de inzet van militaire middelen niet volledig worden overgelaten aan geautomatiseerde systemen, maar altijd onderworpen blijven aan menselijk oordeel. 

3. Context control

Zodra commandanten ervoor kiezen een AI-systeem in te zetten, kunnen zij middels drie vormen van context control aanvullende beperkingen op het systeem afdwingen, namelijk: system control, operational control en linked control. 

3 a. System control 

System control verwijst naar het aanpassen van de parameters van het AI-systeem. Voortvloeiend uit zijn guidance, intent & direction kan de commandant beperkingen opleggen in de vorm van de taken die het systeem mag uitvoeren, zoals bijvoorbeeld targeting restrictions op bepaalde targets of strijdende partijen.

Onderzoek heeft aangetoond dat het algoritme van Lavender kan worden verfijnd en dat parameters ook tussentijds zijn aangepast door de IDF.[50] Zo kon de drempelwaarde voor banden tussen een individu en Hamas worden gewijzigd. Door deze parameter aan te passen worden meer of minder individuen gelieerd aan Hamas, waardoor Lavender meer of minder targetsuggesties deed.[51] Daarnaast is ook de parameter voor geaccepteerde burgerslachtoffers aangepast, wat het aantal suggesties van Where's Daddy beïnvloedde wanneer familieleden bij een target aanwezig waren.[52] 

3b. Operational control 

Operational control betreft het beperken van de acties die het systeem kan uitvoeren in de operationele omgeving. Dit wordt gerealiseerd door de operationele context te reguleren. Voor Iron Swords zijn er geen directe indicatoren gevonden die duiden op het beperken van de acties die het AI-DSS kan uitvoeren in de operationele omgeving. Het is echter aannemelijk dat operational control wordt gerealiseerd door de operationele context te reguleren op basis van afgebakende datasets. Door bijvoorbeeld uitsluitend persoonsgegevens, telefoondata of satellietbeelden te gebruiken van Gaza en van een afgebakende recente periode, is er ook ruimtelijke of tijdgebonden controle die zorgt voor context control.

3c. Linked control

Linked control, ten slotte, is een speciale vorm van context control waarbij een voortdurende verbinding tussen het AI-systeem en een menselijke operator wordt vereist. Dit stelt de operator in staat om in te grijpen en aanvallen te initiëren en te beëindigen.[53] 

Voor Iron Swords komt een gemixt beeld naar voren ten aanzien van Linked control. Officieel stelt de IDF dat er duidelijke richtlijnen zijn voor gebruik van AI-toepassingen.[54] De identificatie van targets wordt altijd gedaan door mensen en niet door technologische toepassingen.[55] Er mag niet uitsluitend worden vertrouwd op een suggestie van Lavender of The Gospel.[56] Deze bindende instructies zouden een integraal onderdeel vormen van de opleiding en training van IDF-personeel en men is verplicht om volgens deze procedures te opereren.[57] 

De praktijk van menselijke supervisie over AI-gegenereerde targets lijkt echter significant af te wijken van het officiële beleid. Tegenover het statement van de IDF staan de praktijkervaringen van verschillende anonieme Israëlische inlichtingenofficieren die direct betrokken zijn bij het gebruik van AI voor het genereren van targets tijdens Iron Swords. Zij verklaren dat na een initiële interne controle die aangaf dat Lavenders suggesties in 90 procent van de gevallen nauwkeurig waren, de IDF brede goedkeuring gaf aan analisten om deze suggesties over te nemen zonder grondige validatie.[58] Er moest snel gewerkt worden en er was geen tijd om diep in de voorgestelde targets te duiken.[59] De druk om snel te werken en een hoog aantal targets te genereren heeft geleid tot een situatie waarin menselijke analisten minimale tijd besteedden aan het beoordelen van AI-voorstellen.[60] 

De discrepantie tussen het officiële IDF-standpunt en de operationele realiteit is veelbetekenend. Het snelle tempo van doelwitgeneratie door AI-systemen, gecombineerd met de beperkte tijd voor menselijke beoordeling, creëert een situatie die mogelijk niet voldoet aan wettelijke en morele verplichtingen om onnodige slachtoffers te voorkomen.[61] [62] Deze omstandigheden vergroten het risico op automatiseringsbias, waarbij analisten onder druk geneigd zijn AI-aanbevelingen te snel en onkritisch te accepteren.[63]

De neiging om besluitvorming uit te besteden aan geautomatiseerde systemen wordt versterkt in complexe situaties met hoge cognitieve belasting. Onderzoek toont aan dat mensen in omstandigheden gekenmerkt door hoge complexiteit, druk, stress en tijdsbeperkingen eerder geneigd zijn het oordeel van machines te volgen.[64] Deze dynamiek vergroot de kans op overmatig vertrouwen in AI-systemen, zelfs wanneer er mogelijk tegenstrijdige informatie beschikbaar is.

4. Prediction

Prediction heeft betrekking op de voorspelbaarheid van AI-toepassingen in de inzetomgeving en de mate waarin deze het beoogde effect bereiken. Voorspellend inzicht wordt vaak genoemd als een essentiële vereiste voor een commandant om meaningful control uit te oefenen.[65] Commandanten moeten niet alleen weten wat de beoogde effecten zijn, maar ook inzicht hebben in mogelijke incidentele en onbedoelde gevolgen van AI-inzet. [66] [67]

Uit de bronnen komen aspecten naar voren die er op wijzen dat de IDF kennis heeft van de mate van nauwkeurigheid van de AI-applicaties. Steekproeven toonden een nauwkeurigheid van 90 procent aan.[68] Een hoge nauwkeurigheid zorgt ervoor dat de applicatie het beoogde effect bereikt, draagt bij aan de voorspelbaarheid van de systemen en versterkt het vertrouwen van commandanten in de AI-gegenereerde aanbevelingen.

Desondanks zijn IDF-functionarissen zich bewust van de beperkingen en potentiële onbedoelde effecten van AI-inzet. Een treffend voorbeeld hiervan is het gebruik van Where’s Daddy, het systeem dat militanten lokaliseert op basis van telefoongegevens. Inlichtingenfunctionarissen erkennen het risico dat een target zijn telefoon aan zijn zoon, oudere broer of gewoon een willekeurige man kan overdragen, wat kan leiden tot het onbedoeld treffen van burgers.[69] Dit bewustzijn van mogelijke foutmarges is cruciaal voor het behouden van menselijke controle en het voorkomen van onbedoelde slachtoffers.

Een ander voorbeeld komt naar voren in een interne audit. Deze onthulde onnauwkeurigheden in AI-systemen voor het verwerken van de Arabische taal, met name bij het interpreteren van slangwoorden en -uitdrukkingen.[70] Deze tekortkoming kan leiden tot het aandragen van bepaalde targets op basis van verkeerde vertalingen van specifieke woorden. 

Hoewel er minder uitgebreid is gerapporteerd over het aspect van prediction in vergelijking met context control, bieden deze voorbeelden duidelijke indicaties dat de IDF actief streeft naar inzicht in de voorspelbaarheid van hun AI-systemen. Het bewustzijn van zowel de kracht als de beperkingen van AI-toepassingen is essentieel voor het handhaven van MHC in militaire besluitvorming.

5.  Accountability

Het uiteindelijke doel van MHC is betekenisvolle controle als voorwaarde voor het kunnen toekennen van accountabilityofwel (eind)verantwoordelijkheid aan de menselijke operator – ultimo de commandant – voor de toepassing van AI in de targeting cyclus. Accountability volgt wanneer alle voorgaande vier kernelementen correct en in samenhang zijn geïmplementeerd. 

Zo zorgen awareness en predictability ervoor dat de commandant over de nodige (technische) kennis en voorspellend inzicht over het AI-DSS beschikt, terwijl de kernelementen weaponeering en context control het daadwerkelijke handelen met het AI-systeem omvatten die tot het resultaat hebben geleid. Om de samenhang tussen de kernelementen te borgen is het daarbij vereist dat er een duidelijke structuur van verantwoordelijkheid is.[71]

In tabel 1 zijn de bevindingen per kernelement samengevat. Hieruit blijkt dat op basis van bronmateriaal de aanwezigheid van alle vier de kernelementen is te onderbouwen. De implementatie van de elementen is echter niet eenduidig. 

Tabel 1 Overzicht uitkomsten (NB Gele arcering betekent: geen eenduidige implementatie)

Bij (technical) awareness en (linked) context control is het beeld dat rijst uit de interpretatie van de bronnen ambigu (gele arcering). Automatiseringsbias, de ervaren werklast door het grote aantal AI-gegenereerde targets en de beperkte tijd (daardoor) voor controle en validatie hebben er toe geleid dat er in de praktijk niet altijd MHC was over targetingbeslissingen tijdens operatie Iron Swords. Dit duidt op het bestaan van een discrepantie tussen de beoogde toepassing en daadwerkelijke gebruik van AI-DSS binnen de operationele context. 

Ook ten aanzien van de aanwezigheid van verantwoordelijkheidsstructuren zijn de bronnen niet eenduidig (zie tabel 1). 

In een officieel statement tijdens operatie Iron Swords heeft de IDF de verantwoordelijkheidsstructuur voor targeting uiteengezet, waarbij de nadruk ligt op de centrale rol van de operationeel commandant.[72] Volgens de IDF maakt target identificatie, al dan niet uitgevoerd door een AI-DSS, deel uit van een breder targetingproces. De uiteindelijke beslissing om een aanval uit te voeren ligt bij de operationeel commandant. Deze beslissing wordt genomen na zorgvuldige afweging van alle beschikbare informatie over het target, inclusief operationele, beleidsmatige, humanitaire en juridische aspecten. De IDF benadrukt dat het de operationele commandanten zijn die aanvallen goedkeuren, niet de inlichtingenanalisten of technologische hulpmiddelen. 

De Israëlische premier Benjamin Netanyahu overlegt met de Amerikaanse president Trump. De premier en Israëlische commandanten genieten een zekere mate van internationale strafrechtelijke immuniteit. Foto White House, Daniel Torok

De praktische uitvoering van accountability wordt echter gecompliceerd door Israëls internationale juridische positie. Israëlische commandanten genieten een zekere mate van internationale strafrechtelijke immuniteit, aangezien Israël internationale rechtsinstanties waaronder het Internationaal Strafhof in Den Haag niet geheel erkent.[73] Bovendien is Israël geen partij bij het Aanvullend Protocol I bij de Verdragen van Genève van 1949, waarin de 'law of targeting' is vastgelegd.[74] Dit betekent dat als Israëlische commandanten worden beschuldigd van oorlogsmisdaden, zij mogelijk niet door Israël zullen worden uitgeleverd aan internationale tribunalen.

Deze juridische situatie creëert een spanningsveld tussen de interne verantwoordingsstructuren van de IDF en de internationale mechanismen voor oorlogsrechthandhaving. Hoewel militaire commandanten theoretisch kunnen worden opgepakt en uitgeleverd aan het Internationaal Strafhof als ze zich bevinden op het grondgebied van een van de meer dan honderd landen die lid zijn van het hof,[75] blijft de praktische uitvoering van internationale accountability beperkt.

Conclusie en aanbevelingen

Het hier gepresenteerde onderzoek naar MHC heeft een sterk exploratief karakter. Het beperkte aantal bronnen en het ontbreken van primaire bronnen noopt tot extrapolatie en soms tot het doen van gefundeerde aannames en daarmee tot terughoudendheid in het trekken van conclusies. MHC is bovendien nog geen vaststaand concept en het gebruikte framework is dus ook niet definitief of uitputtend. Daarnaast kan er ook gekozen worden voor een alternatieve operationalisering van de verschillende elementen daarvan. 

Desalniettemin biedt de analyse een (eerste) waardevolle blik op hoe MHC kan worden geïmplementeerd in de militaire operationele praktijk. Hieruit rijst een gemengd beeld. Hoewel er voor alle elementen onderbouwing naar voren komt uit de analyse is deze niet altijd eenduidig. Dit wijst op een discrepantie tussen de papieren werkelijkheid en de toepassing van AI-DSS in de praktijk. Dit betekent echter niet dat er principiële, onoverkomelijke belemmeringen zijn voor MHC bij AI-ondersteunde targeting. Er zijn eerder risicofactoren zoals een te hoge werklast, te grote snelheid en (automatiserings)bias die MHC potentieel kunnen ondermijnen. 

Een voorbehoud hierbij is de mate van ‘geavanceerdheid’ van de AI. Tijdens de operatie Iron Swords is de relatie van de AI-applicaties tot hun omgeving reactief van aard en heeft machine learning een beperkte impact.[76] De voorspelbaarheid van het systeem is daardoor relatief hoog. Bij toenemende complexiteit van AI in de toekomst, bijvoorbeeld wanneer het de onderliggende regels voor hoe te reageren zelf kan veranderen, is dit echter minder het geval.[77] Het implementeren van MHC wordt daarmee moeilijker te realiseren.

Desondanks zijn uit het onderzoek drie belangrijke lessen te trekken voor de Nederlandse krijgsmacht. 

Ten eerste verdient het aanbeveling om bij de integratie van AI binnen de Nederlandse krijgsmacht MHC te nemen als een kerncriterium in ontwikkelings-, inkoop- en integratieprocessen. Dit betekent dat AI-systemen zo ontworpen en ingezet moeten worden dat menselijke besluitvorming centraal blijft staan. Dit onderzoek toont aan dat het technisch mogelijk is om MHC toe te passen op AI-gestuurde targetingbeslissingen. Daarom is het essentieel dat ook de Nederlandse Defensie bij het ontwikkelen of aanschaffen van AI-toepassingen expliciete eisen stelt. Dit kan door het gebruiken van een MHC-raamwerk bij ontwikkelings- of aanschafnormen die de menselijke rol in kritieke besluitvormingsprocessen waarborgen.

Ten tweede toont het onderzoek aan hoe MHC tijdens Iron Swords afneemt door de ervaren werklast door het grote aantal AI-gegenereerde targets en de beperkte tijd voor validatie. Om dit te voorkomen is het aan te bevelen te zorgen voor een werkklimaat waarin operators voldoende tijd krijgen om AI-voorgestelde targets kritisch te beoordelen. Daarbij is het van belang om de opt-out te benadrukken, zodat de operators AI-beslissingen kunnen verwerpen of herzien.

Ten slotte blijkt uit het onderzoek dat als gevolg van een hoge initiële AI-nauwkeurigheid, de menselijke controle steeds minder intensief werd toegepast. Vormen van bias moeten daarom expliciet worden behandeld in AI-trainingen binnen Defensie. Daarbij is het van belang dat wordt geleerd om AI-uitkomsten kritisch te evalueren en om bewustzijn te creëren over hoe cognitieve processen het gebruik van AI beïnvloeden. 

Eerder is gerefereerd aan de politieke gevoeligheden die bestaan omtrent operatie Iron Swords. Omdat dit artikel zich beperkt tot de mogelijkheid van een verantwoorde militaire inzet van AI is het daarom belangrijk ook de invloed van politiek-strategische overwegingen in ogenschouw te nemen. Het verdient daarom aanbeveling om dit perspectief te onderzoeken in verdere research.