La lettre contre les « robots tueurs » et ses réactions

La campagne contre les robots tueurs a franchi une nouvelle étape avec la publication d’une lettre ouverte appelant à l’interdiction des « armes autonomes offensives hors du contrôle humain significatif ». Parmi les signataires, on trouve, entre autres, de grands noms de la recherche en sciences dures, en sciences humaines et sociales, des patrons et des ingénieurs travaillant dans les nouvelles technologies ainsi que des membres de la société civile. Le physicien et cosmologiste Stephen Hawking, le co-fondateur d’Apple Steve Wozniak, le professeur Noam Chomsky du Massachusetts Institute of Technology ou encore Elon Musk, directeur de SpaceX et Tesla, font partie des 19 000 personnes ayant signé cette lettre.

SGR-1

Le Samsung SGR-1, positionné à la frontière entre les deux Corées, est capable de détecter, cibler et, en théorie, d’attaquer une cible de façon autonome. En pratique, un humain doit approuver le tir.

  • Contenu de la lettre

Là où la campagne met traditionnellement l’accent sur la substitution de l’humain par la machine dans la décision de recourir à la force conduisant à des violations du droit international humanitaire (DIH) et des droits humains, et à un vide de responsabilité, la lettre mentionne la course globale aux armements liés à l’intelligence artificielle comme « question clé pour l’humanité aujourd’hui ». L’enjeu est de savoir s’il faut commencer une telle course ou l’empêcher. Elle pointe la responsabilité des grandes puissances militaires qui, si elles mettent le doigt dans l’engrenage, rendront cette course inévitable avec comme risque que ces armes autonomes deviennent les « kalachnikovs de demain » en raison de leur faible coût. Les « terroristes », les « dictateurs » et autres « seigneurs de guerre » auront alors facilement accès à ces armes sur le marché noir.

Toutefois, l’intelligence artificielle n’est pas mise en cause ; seules les armes sont dénoncées. Au contraire, l’intelligence artificielle dispose d’un fort potentiel bénéfique pour toute l’humanité. En outre, les chercheurs n’auraient aucun intérêt à fabriquer des armes autonomes en raison des répercussions que cela aurait sur leur réputation.

  • Une menace présente et future comparable à l’arme nucléaire

Les partisans de l’interdiction préventive des systèmes d’armes létaux autonomes (SALA) se sont félicités de cette lettre. Ainsi, le philosophe Peter Asaro, membre cofondateur de l’International Committee for Robot Arms Control (ICRAC), association participant à la campagne contre les « robots tueurs », dresse un parallèle avec la lettre signée, entre autres, par le physicien Albert Einstein et le philosophe Bertrand Russel le 9 juillet 1955, appelant à prendre conscience de la menace que fait peser sur l’humanité l’arme nucléaire. La comparaison peut paraître bancale. La bombe atomique existait et avait été utilisée à cette date alors que les SALA n’existent pas pour l’instant. De plus, aucun État ne s’est explicitement engagé dans la voie de leur développement. Toutefois, un certain nombre de technologies existantes ou en développement tendent de plus en plus vers l’autonomie. Il convient d’ajouter que l’augmentation des procédures automatisées relèguent l’humain au second plan. À plus long terme, on ne peut exclure l’hypothèse d’agents moraux artificiels qui prendraient leurs décisions non pas en fonction d’une programmation préalable mais « en leur âme et conscience », selon l’expérience accumulée. Il convient alors de redéfinir le rôle de l’humain afin qu’il reste « dans la boucle » de décision du recours à la force létale. C’est tout l’enjeu de la notion de contrôle humain significatif discutée notamment lors des réunions de la Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques.

Pour Zach Musgrave, ingénieur à Google et signataire de la lettre ouverte, ce débat est important mais ne répond pas à l’urgence du moment. En effet, le scénario apocalyptique de la machine se substituant au soldat humain est improbable à court terme. Le problème est moins le développement technologique à venir que son utilisation actuelle par l’humain. Il est aujourd’hui possible de programmer une machine à des fins terroristes ; l’auteur cite l’exemple d’une Google car (voiture autonome) sur laquelle serait montée une arme à feu programmée pour être employée contre des civils.

Heather Roff, Professeure à l’Université de Denver, revient sur l’argument principal de la lettre ouverte contre les « robots tueurs », à savoir la course aux armements. Celle-ci serait particulièrement dommageable en raison de la spécificité des technologies liées à l’intelligence artificielle. Il ne s’agit pas seulement d’une compétition accrue entre Nations craignant de perdre leurs gains relatifs en la matière. Le problème n’est pas que quantitatif, à savoir la dissémination de ces technologies vecteurs d’une « démocratisation » de la violence en raison de leurs caractères accessible et bon marché. Il est aussi qualitatif ; la compétition risque de repousser les frontières de l’intelligence artificielle poussant à l’adoption de procédures de prise de décision éloignant, voire éliminant l’humain de la boucle.

  • Des robots pour le « meilleur des mondes »

Toutefois, cette vision pessimiste des SALA n’est pas partagée par tout le monde. Cette technologie pourrait, au contraire, « façonner un monde meilleur », plus respectueux du DIH, et éloigné des turpitudes de l’humain responsables de tant de massacres et d’atrocités dans l’Histoire. C’est l’avis du roboéthicien Ronald Arkin qui travaille depuis des années à l’élaboration d’une architecture robotique éthique, l’ « ethical governor ». En effet, les robots sont susceptibles de remédier à un certain nombre de « failles » de la nature humaine. Ils ne sont pas guidés par l’instinct de conservation ce qui peut les conduire à se « sacrifier » en cas de situation critique où l’identification de la menace est floue, ce qui peut sauver la vie de non-combattants. Ils ne sont pas soumis aux émotions susceptibles d’obscurcir le jugement humain. Leurs capteurs leur permettent de stocker et de traiter rapidement des masses de données. En mission, ils peuvent surveiller la conduite de leurs « camarades » humains et rapporter d’éventuelles violations du droit commises par ces derniers.

Toutefois, cette promesse relève de l’utopie tant qu’un certain nombre de questions ne seront pas réglées : quelle définition de l’autonomie ? Du contrôle humain significatif ? Quelle responsabilité en cas de violation du droit ?

  • L’encadrement plutôt que l’interdiction

Michael Schmitt, Professeur de droit international public, reconnait dans un billet de réflexion publié sur Just Security, que les SALA posent des défis à l’application du DIH. Ils concernent principalement l’application du principe de proportionnalité (indissociable de la faculté de jugement humain pour les opposants) et la fiabilité de ces systèmes. Ce n’est pas pour autant qu’ils doivent être prohibés. Schmitt estime qu’en l’état actuel du développement de ces technologies, rien ne justifie leur interdiction préventive, notamment en considérant les bénéfices potentiels qu’elles pourraient apporter au respect du DIH. Leurs performances techniques sont susceptibles de surclasser l’humain en matière d’identification de la cible, d’évaluation des dommages civils et de suspension ou d’annulation d’une attaque.

À ce titre, la comparaison faite par les auteurs de la lettre avec les agents chimiques ou biologiques peut sembler déplacée ; ces armes sont aussi bien dans leur conception que dans leur application « stupides ». À l’inverse, les plateformes robotiques sont des technologies plus contrôlables qui peuvent être programmées pour être assignées à des tâches précises dans un environnement et selon un timing strictement délimités.

Par ailleurs, les SALA permettront de préserver la vie des soldats, ce qui est aussi une recommandation du DIH lorsqu’il interdit le refus de quartier et l’attaque des militaires hors de combat. L’auteur s’oppose clairement aux critiques qui affirment que ces robots (et actuellement les drones armés) vont déséquilibrer le champ de bataille. « La guerre n’est pas un combat équitable », écrit-il. Dès lors, la position raisonnable sur cette question des SALA serait de les encadrer plutôt que de les prohiber. C’est aussi une position réaliste du fait que les États (mais également les entreprises…) vont continuer à s’intéresser à ces technologies par le biais de la recherche & développement, dans un premier temps. On pourrait alors s’inspirer de précédents comme les armes incendiaires qui ne sont pas interdites mais dont l’usage est strictement délimité, notamment si les civils risquent d’être affectés. Par exemple, on peut imaginer que l’emploi des SALA soit interdit dans les zones urbaines où cela poserait un danger pour la population civile si tant est que cela soit nécessaire. En effet, le principe de précaution impose déjà de « prendre toutes les précautions pratiquement possibles quant au choix des moyens et méthodes d’attaque en vue d’éviter et, en tout cas, de réduire au minimum les pertes en vies humaines dans la population civile, les blessures aux personnes civiles et les dommages aux biens de caractère civil qui pourraient être causés incidemment ».

Pour finir, Jean-Baptiste Jangène Vilmer, Maître de Conférences à Science-Po Paris également favorable à l’encadrement, propose un code de conduite reposant sur cinq principes pour maintenir l’humain « dans la boucle »:

– N’utiliser les SALA que contre certains objectifs militaires. La machine n’a pas besoin de savoir distinguer un civil d’un combattant si elle n’est programmée que pour identifier et détruire un tank ou une batterie antiaérienne.
– Ne l’utiliser que dans certains contextes. Particulièrement adaptés aux univers sous-marin, marin, aérien et spatial, où le risque de toucher accidentellement des civils est faible, ces systèmes ont très peu d’intérêt opérationnel en milieu urbain (…).
– Programmer le bénéfice du doute. Face à un imprévu, le SALA pourrait s’arrêter et consulter sa hiérarchie – application de la règle « en cas de doute, ne tire pas ».
– Conserver la possibilité de désactiver à distance la fonction tir, pour annuler ou suspendre une attaque.
– Poser un principe de subsidiarité : n’utiliser le SALA que dans les situations où l’humain ne peut pas prendre lui-même la décision, soit parce qu’il n’a pas le temps, soit parce que la communication est rompue, etc.