Les robots tueurs et les lois nécessaires pour les bloquer.

Les robots tueurs et les lois nécessaires pour les bloquer.

Le 10 janvier 2022 par Rebecca Gordon

Rebecca Gordon est autrice de American Nuremberg : The U.S. Officials Who Should Stand Trial for Post-9/11 War Crimes (2016). [Le Nuremberg américain : les politiques américains qui devraient être jugés pour les crimes de guerre post-11 Septembre, NdT] – et précédemment, Mainstreaming Torture : Ethical Approaches in the Post-9/11 United States (2014). [Intégration de la torture : approches éthiques dans l’Amérique post-11 Septembre, NdT] Elle enseigne au département de philosophie de l’université de San Francisco. Elle est membre du collectif War Times/Tiempo de Guerras. Vous pouvez la contacter par l’intermédiaire du site Mainstreaming Torture.

Mars 2019 : Campagne pour arrêter les robots tueurs à la porte de Brandebourg à Berlin.

Les systèmes d’armes autonomes mortels (LAWS) et la lutte pour les contrôler.

Voici un scénario à envisager : une force militaire a acheté un million de drones bon marché et jetables, chacun faisant la taille d’un jeu de cartes et chacun capable de transporter trois grammes d’explosifs – assez pour tuer une personne ou, dans une « charge creuse », percer un mur d’acier.

Ils ont été programmés pour rechercher et « immobiliser » (tuer) des êtres humains, qui seraient porteurs d’une caractéristique spécifique, une « signature » comme le port d’une arme, par exemple, ou une couleur de peau particulière. Ils tiennent dans un seul conteneur d’expédition et peuvent être déployés à distance. Une fois lancés, ils volent et tuent de manière autonome sans aucune autre intervention humaine.

De la science-fiction ? Pas vraiment. Cela pourrait arriver demain. La technologie existe déjà.

En fait, les systèmes d’armes autonomes létaux (LAWS, pour Lethal Autonomous Weapons Systems) ont une longue histoire. Pendant le printemps 1972, j’ai passé quelques jours dans le bâtiment de physique, lors d’une occupation de l’université de Columbia à New York. Avec une centaine d’autres étudiants, j’ai dormi par terre, nous avons mangé des plats à emporter et écouté Alan Ginsberg lorsqu’il est venu nous honorer de quelques-uns de ses poèmes improvisés. Je rédigeais alors des tracts, réquisitionnant une machine Xerox pour les imprimer.

Et pourquoi, de tous les bâtiments du campus, avons-nous choisi celui qui abrite le département de physique ? La réponse est : pour convaincre cinq physiciens de la faculté de Columbia de rompre leurs liens avec le Jason Defense Advisory Group du Pentagone, un programme offrant de l’argent et des laboratoires pour soutenir la recherche scientifique fondamentale qui pourrait s’avérer utile aux efforts de guerre des États-Unis.

Notre objection principale : l’implication des scientifiques de Jason dans la conception de certaines parties de ce qui était alors connu sous le nom de « champ de bataille automatisé » pour un déploiement au Vietnam. Ce système s’avérerait en effet être un précurseur des systèmes d’armes autonomes létales qui sont en passe de devenir une partie potentiellement non-négligeable de l’arsenal de ce pays et de celui du monde entier.

Les premières armes (semi-)autonomes

L’interdiction des robots tueurs : un impératif moral et juridique . Human Rights Watch

Alors que Washington poursuivait sa guerre en Indochine, l’armée était confrontée à un certain nombre de problèmes stratégiques, notamment la corruption générale et l’impopularité du régime sud-vietnamien qu’il soutenait. Cependant, son plus grand défi militaire était probablement l’infiltration continue de personnels et de fournitures venant du Nord-Vietnam par ce qu’on appelait la piste Ho Chi Minh, qui courait du nord au sud le long des frontières cambodgienne et laotienne.

La Piste était en fait un réseau de routes et de chemins de terre facilement réparables, de ruisseaux et de rivières, situés sous une épaisse couverture de jungle qui rendait presque impossible la détection des mouvements depuis les airs.

La réponse américaine, développée par Jason en 1966 et déployée l’année suivante, a été une tentative d’interdire cette infiltration en créant un champ de bataille automatisé composé de quatre parties, similaires aux yeux, aux nerfs, au cerveau et aux membres d’un corps humain. Les yeux étaient constitués d’une grande variété de capteurs – acoustiques, sismiques et même chimiques (pour détecter l’urine humaine) – le plus souvent largués par voie aérienne dans la jungle.

Les équivalents nerveux transmettaient des signaux au « cerveau ». Cependant, comme les capteurs n’avaient qu’une portée maximale d’environ 30 km, l’armée américaine devait constamment faire voler des avions au-dessus du feuillage pour capter tout signal susceptible d’être déclenché par le passage de troupes ou de transports nord-vietnamiens. Les avions devaient ensuite relayer les informations au cerveau. (Conçus à l’origine pour être télécommandés, ces avions avaient des performances si médiocres que des pilotes humains étaient généralement nécessaires).

Et ce cerveau, une magnifique installation militaire construite en secret à Nakhon Phanom, en Thaïlande, abritait deux ordinateurs centraux IBM à la pointe de la technologie. Une petite armée de programmeurs écrivait et réécrivait le code pour les faire fonctionner, tout en essayant de donner un sens au flux de données transmises par ces avions. Les coordonnées des cibles qu’ils obtenaient étaient ensuite transmises aux avions d’attaque, qui étaient les équivalents des membres. Le groupe qui dirigeait ce champ de bataille automatisé était appelé Task Force Alpha et l’ensemble du projet portait le nom de code Igloo White.

Or Igloo White s’est avéré être en grande partie un échec ruineux, coûtant environ un milliard de dollars par an pendant cinq ans (un total de près de 40 milliards de dollars en dollars d’aujourd’hui). Le décalage entre le déclenchement d’un capteur et le largage des munitions a rendu le système inefficace. Par conséquent, la Task Force Alpha a parfois simplement bombardé des zones même si un seul des capteurs avait pu être déclenché. Les Nord-Vietnamiens ont rapidement compris le fonctionnement de ceux-ci et ont mis au point des méthodes pour les tromper, allant de la diffusion d’enregistrements de mise en route de camions à la mise en place de seaux d’urine.

Étant donné l’histoire des systèmes d’armes semi-automatisés tels que les drones et les « bombes intelligentes » dans les années qui ont suivi, il n’est pas surprenant de faire le constat que ce premier champ de bataille automatisé ne pouvait pas faire la distinction entre les soldats et les civils. En cela, on n’a fait que poursuivre une tendance qui existe depuis au moins le XVIIIe siècle qui fait que les guerres tuent régulièrement plus de civils que de combattants.

Aucune de ces insuffisances n’a empêché les responsables du ministère de la Défense de contempler avec fascination le champ de bataille automatisé. Andrew Cockburn a décrit cette attitude empreinte de vénération dans son livre Kill Chain : The Rise of the High-Tech Assassins [La chaîne à tuer : la montée en puissance des assassins high-tech, NdT], citant Leonard Sullivan, un haut fonctionnaire du Pentagone qui a visité le Vietnam en 1968 : « Tout comme il est presque impossible d’être agnostique quand on est dans la cathédrale de Notre-Dame, il est difficile de ne pas se laisser emporter par la beauté et la majesté du théâtre de la Task Force Alpha. »

Dans un tel théâtre, on pourrait se demander ce qu’il y avait à vénérer ? Ou alors qui ?

La plupart des aspects de ce champ de bataille « automatisé » de l’ère du Vietnam nécessitaient en réalité une intervention humaine. Des êtres humains installaient les capteurs, programmaient les ordinateurs, pilotaient les avions et lâchaient les bombes. Dans quel mesure, alors, ce champ de bataille était-il « automatisé » ? Comme un signe avant-coureur de ce qui allait arriver, le système avait éliminé l’intervention humaine à un seul point crucial du processus : la décision de tuer. Sur ce champ de bataille automatisé, les ordinateurs décidaient où et quand larguer les bombes.

La menace des robots tueurs (Source UNESCO)

En 1969, le chef d’état-major de l’armée William Westmoreland a exprimé son enthousiasme pour cette suppression de l’élément humain, perturbateur dans la conduite d’une guerre. Lors d’un déjeuner de l’Association de l’US Army, un groupe de pression, il a déclaré : « Sur le champ de bataille du futur, les forces ennemies seront localisées, traquées et ciblées presque instantanément grâce à l’utilisation de data, à l’évaluation informatisée du renseignement et à la maîtrise du tir automatisé. Avec des probabilités d’élimination au premier tour proches de la certitude, et avec des dispositifs de surveillance capables de suivre l’ennemi en permanence, la nécessité de disposer de forces importantes pour immobiliser l’opposition sera moins importante. »

Ce que Westmoreland voulait dire par « immobiliser l’opposition », c’était tuer l’ennemi. Un autre euphémisme militaire du XXIe siècle est l’utilisation du mot « interposer ». Dans les deux cas, le sens est le même : le rôle des systèmes d’armes autonomes létaux est de trouver et de tuer automatiquement des êtres humains, sans intervention humaine.

De nouvelles LAWS New Age (Lethal Autonomous Weapons Systems) pour une nouvelle ère – Les systèmes d’armes autonomes létaux

Chaque automne, la British Broadcasting Corporation parraine une série de quatre conférences données par un expert dans un domaine d’étude important. En 2021, la BBC a invité Stuart Russell, professeur d’informatique et fondateur du Center for Human-Compatible Artificial Intelligence de l’université de Berkeley, Californie, à donner ces « conférences Reith » (du cerveau au savoir).

Globalement, le sujet traité était l’avenir de l’intelligence artificielle (IA), et la deuxième conférence était intitulée « Quel rôle futur pour l’IA dans la guerre ». Il y abordait la question des systèmes d’armes autonomes létaux, ou LAWS, que les Nations unies définissent comme « des armes qui localisent, sélectionnent et immobilisent des cibles humaines sans supervision humaine. »

L’argument clé de Russell, brillamment exposé, était que, bien que de nombreuses personnes pensent que les armes autonomes létales représentent un éventuel futur cauchemardesque, qui appartiendrait au domaine de la science-fiction, « ce n’est pas le cas. On peut se les procurer aujourd’hui. Elles sont en vente sur le web. »

Je n’ai vu aucun des films de la série des Terminator, mais apparemment les planificateurs militaires et leurs chargés de relations publiques partent du principe que la plupart des gens puisent leur compréhension de ces LAWS dans ce monde dystopique fictif. Les responsables du Pentagone ont souvent du mal à expliquer pourquoi les armes qu’ils développent ne sont pas, en fait, des équivalents dans la vraie vie de SkyNet – le réseau mondial de communication qui, dans ces films, prend conscience de sa propre existence et décide d’éliminer l’humanité. Ne vous inquiétez pas, comme l’a déclaré à Russell un secrétaire adjoint à la Défense : « Nous avons écouté attentivement ces arguments et mes experts m’ont assuré qu’il n’y a aucun risque de créer accidentellement SkyNet. »

L’argument de Russell, cependant, était qu’un système d’armes n’a pas besoin d’être conscient de lui-même pour agir de manière autonome ou pour présenter une menace pour des êtres humains innocents. Ce dont il a besoin, c’est :

• Une plateforme mobile (tout ce qui peut se déplacer, du minuscule drone quadricoptère à un avion de ligne).
• Une capacité sensorielle (la capacité de détecter des informations visuelles ou sonores).
• La capacité de prendre des décisions tactiques (le même type de capacité que l’on trouve déjà dans les programmes informatiques qui jouent aux échecs).
• a capacité « d’immobiliser », c’est-à-dire de tuer (ce qui peut se révéler être aussi compliqué que de tirer un missile ou de larguer une bombe, ou aussi simpliste que de commettre un suicide robotique en percutant une cible et en explosant).

La réalité est que de tels systèmes existent déjà. En effet, une entreprise d’armement publique turque a récemment fait la publicité de son drone Kargu , un quadricoptère « de la taille d’une assiette », comme l’a décrit Russell, qui peut transporter un kilogramme d’explosif et est capable d’effectuer des « frappes autonomes antipersonnel » avec des « cibles sélectionnées sur des images et par reconnaissance faciale ». Le site de la société a depuis été modifié pour souligner son adhésion à un supposé principe de « présence humaine dans la boucle ». Cependant, l’ONU a signalé qu’un Kargu-2 entièrement autonome avait, en fait, été déployé en Libye en 2020.

Vous pouvez dès à présent acheter votre propre quadricoptère sur Amazon, mais vous devrez tout de même être capables de mettre en œuvre quelques compétences informatiques de bricolage si vous voulez qu’il fonctionne de manière autonome.

La vérité est que les systèmes d’armes autonomes mortels ont moins de chances de ressembler à un film de Terminator qu’à des essaims de minuscules robots tueurs. La miniaturisation des ordinateurs signifie que la technologie existe déjà pour créer des LAWS efficaces.

Si votre téléphone intelligent pouvait voler, il pourrait devenir une arme autonome. Les téléphones les plus récents utilisent un logiciel de reconnaissance faciale pour « décider » d’autoriser l’accès. Il n’est pas difficile de créer des armes volantes de la taille d’un téléphone, programmées pour « décider » d’attaquer des individus spécifiques, ou des individus présentant des caractéristiques spécifiques. En fait, il est probable que de telles armes existent déjà.

Les LAWS peuvent-elles devenir illégales ?

Alors, qu’est-ce qui ne va pas avec les LAWS, et y a-t-il un intérêt quelconque à essayer de les rendre illégales ? Certains opposants affirment que le problème est qu’avec ces armes, la responsabilité humaine dans la prise de décisions létales est supprimée.

Ces critiques indiquent que, contrairement à un être humain qui vise et appuie sur la gâchette d’un fusil, une LAWS peut choisir ses propres cibles et tirer. C’est là, selon eux, que réside le danger particulier de ces systèmes, qui feront inévitablement des erreurs, comme le reconnaîtra toute personne dont l’iPhone a refusé de reconnaître son visage.

À mon avis, le problème n’est pas que les systèmes autonomes écartent les êtres humains des décisions létales. Dans la mesure où les armes de ce type font des erreurs, les êtres humains porteront toujours la responsabilité morale du déploiement de ces systèmes létaux imparfaits.

Les LAWS sont conçus et déployés par des êtres humains, qui restent donc responsables de leurs actions. Comme les drones semi-autonomes du moment (souvent pilotés depuis l’autre bout du monde), les systèmes d’armes autonomes létaux ne suppriment pas la responsabilité morale humaine. Ils augmentent simplement la distance entre le tueur et la cible.

De plus, comme pour les armes déjà interdites, y compris les armes chimiques et biologiques, ces systèmes ont la capacité de tuer sans discernement. S’ils ne suppriment pas la responsabilité humaine, une fois activés, ils échapperont certainement au contrôle de l’être humain, tout comme les gaz toxiques ou les virus utilisés comme armes.

Et comme pour les armes chimiques, biologiques et nucléaires, leur utilisation pourrait être efficacement empêchée par le droit et les traités internationaux. Il est vrai que des acteurs malhonnêtes, comme le régime d’Assad en Syrie ou l’armée américaine dans la ville irakienne de Fallujah, peuvent occasionnellement violer ces règles, mais dans l’ensemble, les interdictions d’utiliser certains types d’armes potentiellement dévastatrices ont été respectées, et dans certains cas depuis plus d’un siècle.

Certains experts américains en matière de défense soutiennent que, puisque les adversaires développeront inévitablement des LAWS, le bon sens exige que notre pays fasse de même, ce qui implique que la meilleure défense contre un système d’armes donné est un système identique. Cela a autant de sens que de combattre le feu par le feu alors que, dans la plupart des cas, l’utilisation de l’eau est de loin la meilleure option.

La convention concernant certaines armes conventionnelles

Le domaine du droit international qui régit le traitement des êtres humains en temps de guerre est, pour des raisons historiques, appelé droit international humanitaire (DIH). En 1995, les États-Unis ont ratifié un ajout au DIH : la Convention des Nations unies de 1980 concernant certaines armes classiques. (Son titre complet est beaucoup plus long, mais son nom est généralement abrégé en CAC). Elle régit l’utilisation, par exemple, d’armes incendiaires comme le napalm, ainsi que d’agents biologiques et chimiques.

Illustration de la campagne "Stop aux robots tueurs" montrant un enfant (tenant un ours en peluche) et un adulte, un robot armé plane devant eux comme prêt à frapper.

Les signataires du CAC se réunissent périodiquement pour discuter des autres armes qui pourraient tomber sous sa juridiction et ses interdictions, y compris les LAWS. La conférence la plus récente a eu lieu en décembre 2021. Bien qu’il existe des transcriptions des débats, seul un projet de document final – rédigé avant l’ouverture de la conférence – a été publié.

Cela peut s’expliquer par le fait qu’il a tout simplement été impossible de trouver un consensus sur la manière de définir ces systèmes, et pas plus sur la question de savoir s’ils doivent être interdits. L’Union européenne, les Nations unies, au moins 50 nations signataires et (selon les sondages) la majorité de la population mondiale estiment que les systèmes d’armes autonomes devraient être interdits. Les États-Unis, Israël, le Royaume-Uni et la Russie ne sont pas d’accord, de même que quelques autres pays.

Avant ces réunions de la CAC, un groupe d’experts gouvernementaux (GEG) se réunit, apparemment pour fournir des conseils techniques quant aux décisions à prendre par les « hautes parties contractantes » de la Convention. En 2021, le GEG n’a pas été en mesure de parvenir à un consensus concernant l’interdiction de ces armes. Les États-Unis ont estimé que même définir ce qu’était une arme autonome létale n’était pas nécessaire (peut-être parce que si elles pouvaient être définies, elles pourraient être interdites).

La délégation américaine s’est exprimée en ces termes : « Les États-Unis ont expliqué que selon leur point de vue, il ne convient pas de rédiger une définition de travail ayant pour but de décrire des armes qui mériteraient d’être interdites. Il serait alors – comme certains collègues l’ont déjà noté – très difficile de parvenir à un consensus, et cela serait contre-productif. Parce qu’il n’y a rien d’intrinsèque dans les capacités autonomes qui ferait qu’une arme soit interdite en vertu du DIH, nous ne sommes pas convaincus que l’interdiction des armes sur la base de leur degré d’autonomie, comme l’ont suggéré nos collègues français, soit une approche utile. »

La délégation américaine était également désireuse d’éliminer toute formulation qui pourrait exiger un « contrôle humain » de ces systèmes d’armes : « [À] notre avis, le DIH n’établit pas d’exigence de « contrôle humain » en tant que tel ... L’introduction d’exigences nouvelles et vagues comme celle du contrôle humain pourrait, selon nous, semer la confusion plutôt qu’apporter de la clarté, surtout si ces propositions sont incompatibles avec des pratiques acceptées de longue date dans l’utilisation de nombreux systèmes d’armes courants dotés de fonctions autonomes. »

Au cours de la même réunion, cette délégation a insisté à plusieurs reprises sur le fait que les armes autonomes létales seraient en fait très positives, car elles s’avéreraient certainement plus efficaces que des êtres humains pour faire la distinction entre civils et combattants.

Oh, et si vous croyez que la protection des civils est la raison pour laquelle l’industrie de l’armement investit des milliards de dollars dans le développement d’armes autonomes, alors je vais vous dire, j’ai un bout de terrain à vous vendre sur Mars qui ne vous coûtera pas cher du tout.

La campagne pour arrêter les robots tueurs

Campagne pour arrêter les robots tueurs (Source Wikipedia)

Le groupe d’experts gouvernementaux compte également environ 35 membres non étatiques, dont des organisations non gouvernementales et des universités. La Campagne pour arrêter les robots tueurs, une coalition de 180 organisations, parmi lesquelles Amnesty International, Human Rights Watch et le Conseil œcuménique des églises, est l’une d’entre elles.

Lancé en 2013, ce groupe dynamique formule des commentaires importants concernant les problèmes techniques, juridiques et éthiques que présentent les LAWS et propose aux autres organisations et aux individus un moyen de s’impliquer dans la lutte pour interdire ces systèmes d’armes potentiellement dévastateurs.

La construction et le déploiement continus de robots tueurs ne sont pas inévitables. En effet, une majorité du monde souhaite les voir interdits, y compris le secrétaire général des Nations unies, Antonio Guterres. Laissons-lui le mot de la fin : « Les machines ayant le pouvoir et la latitude de faucher des vies humaines sans intervention humaine sont politiquement inacceptables, moralement répugnantes et devraient être interdites par le droit international ». Ce à quoi je ne peux que souscrire.

Version imprimable :