Image
‘De koppeling van machines aan artificial intelligence is een bijzondere ontwikkeling en geen science fiction meer. Hoeveel autonomie kunnen we aan robotica toevertrouwen en kunnen we de baas blijven? Bij oorlogvoering heeft dit te maken met leven en dood.’ Met die woorden leidde moderator prof. dr. Jan Rood, senior research fellow bij Instituut Clingendael, op 30 november bij het Koninklijk Instituut van Ingenieurs in Den Haag een bijeenkomst over autonome wapensystemen binnen de krijgsmacht in.[1]
Leon Kester, onderzoeker bij TNO en gespecialiseerd in de toepassing van kunstmatige intelligentie in autonome systemen, lichtte toe dat artificial intelligence altijd volgens bepaalde ethische en juridische kaders handelt. ‘Morele keuzes maken is iets anders, want bij de ontwikkeling van deze systemen is autonoom niet synoniem met automatisch. De mens bepaalt altijd wat goed en verkeerd is en hoe systemen zich moeten gedragen.’
Commodore prof. dr. Frans Osinga, hoogleraar Militair Operationele Wetenschappen aan de Nederlandse Defensie Academie, merkte in zijn inleiding op dat er op de vakgebieden recht, techniek en ethiek de nodige literatuur verschijnt over autonome wapensystemen, maar dat er nog veel minder geschreven wordt over het veiligheidspolitieke aspect. Hij wees op de snelle ontwikkeling van autonome systemen vanuit de civiele sector: ‘Verbieden is vanwege dit civiele karakter geen optie. Ook in militair opzicht zal deze technologie profileren.’ Osinga zei te verwachten dat het nog wel 20-30 jaar duurt voordat de technologie volwassen zal zijn. Hoewel de politiek de ethische en verantwoorde inzet van autonome wapens mogelijk zou kunnen maken, wees Osinga tevens op onzekere aspecten, zoals de mogelijke destabiliserende werking van dergelijke wapens en verspreiding onder niet-statelijke actoren.
Morele grens
Miriam Struyk, programmadirecteur bij PAX, zei dat haar organisatie zich ernstig zorgen maakt dat autonome wapens een stap ‘over de morele grens’ zullen betekenen, ook omdat het in internationaal verband moeilijk blijkt om ‘tot een definitie van meaningful human control te komen’. Ook over accountability is het laatste woord nog niet gezegd. ‘Wie is verantwoordelijk voor de inzet? Verder spelen er vragen rond mensenrechten, een eventuele wapenwedloop en het hacken van autonome wapens.’ En: ‘Het moet altijd zo zijn dat de mens systemen terug kan roepen.’ Kester zei dat het lastig kan zijn om een model voor meaningful control te ontwerpen. ‘Systemen zullen daarom zelf moeten snappen wat ze doen en capaciteiten moeten hebben om samen te werken met mensen. In de artificial intelligence-community is hier nog weinig over bekend.’
Kester voegde er aan toe dat er nog te weinig focus is wat de maatschappij met autonome wapens wil, maar: ‘We raken de morele controle niet kwijt.’ Volgens Struyk heeft het verleden echter geleerd ‘dat het geloof in technische middelen niet altijd goed uitpakt’. PAX streeft dan ook naar een verdrag waarin vastligt wat betekenisvolle menselijke controle is en hoe die gehandhaafd kan worden. Kanalen om daarbij druk uit te oefenen zijn onder meer de Conventie over bepaalde Conventionele Wapens van de Verenigde Naties en de – mede door PAX opgerichte – internationale Campaign to Stop Killer Robots. In 2018 zet de VN het overleg over autonome wapens voort, maar landen als de VS, Rusland, het Verenigd Koninkrijk en Israël lijken geen regulering of verbod te willen. 22 andere landen hebben al wel tot een verbod opgeroepen. Struyk zei dat PAX en andere organisaties er niet van overtuigd zijn dat autonome wapens onvermijdelijk zijn.
Legitieme inzet
Op een vraag uit het publiek hoe de vergelijking met drones gezien moet worden, merkte Osinga op dat het bij de inzet van die wapens niet zomaar een operator is die een besluit neemt of een doel uitkiest. ‘De aard van het doel bepaalt of inzet legitiem is; extrajudicial killing is niet de norm geworden’, aldus de hoogleraar. Hij wees naar de discussie die in de VS ontstaan is over checks and balances bij targeting en zei dat ook de inzet van autonome wapensystemen altijd verantwoord zal moeten zijn binnen de geldende kaders. Hij benadrukte ook dat Nederland nooit overhaast technologie aanschaft. ‘De commandant wil ‘in control’ zijn, dat zet er een rem op. We hebben nu bijvoorbeeld pas de Reaper.’
Moderator Rood maakte uit de gedachtewisseling tussen de deskundigen en het publiek op dat het eigenlijk de mens is die in het vraagstuk van autonome wapens centraal staat: ‘Hij kan de techniek niet zo goed bijhouden, maar we zijn wel van hem afhankelijk.’
Helemaal pessimistisch eindigde de lezing- en debatbijeenkomst niet: 'Ook artificial intelligence die intelligenter is dan de mens, kan door de mens gecontroleerd worden. Maar systemen mogen nooit eigen doelen nastreven', aldus Kester.
Dr. F.J.C.M. van Nijnatten
[1] De bijeenkomst was georganiseerd door het Nederlands Genootschap voor Internationale Zaken, het Koninklijk Instituut van Ingenieurs en de Koninklijke Vereniging ter Beoefening van de Krijgswetenschap, in samenwerking met Instituut Clingendael.