« Robots tueurs » et prise de décision

Du 10 au 14 novembre s’est tenue la dernière réunion des États Parties à la Convention sur certaines armes classiques pour examiner l’état et le fonctionnement de la Convention et des Protocoles. La question des systèmes d’armes autonomes a été abordée conformément au mandat adopté lors de la réunion précédente des Hautes Parties contractantes.

  • La campagne contre les « robots tueurs »

Il convient de rappeler que cette initiative a été lancée suite à une campagne d’un collectif d’ONG souhaitant interdire préventivement ce type d’arme. Dans un rapport intitulé « Losing humanity », Human Rights Watch (HRW) concluait à l’incapacité des « robots tueurs » à respecter le droit international humanitaire et à protéger les non-combattants. L’ONG a récemment réitéré sa position par la voix de sa directrice à la division armement Mary Wareham. Puisqu’il y a des doutes qu’un système d’arme autonome ait les capacités de distinguer entre les civils et les combattants, les États doivent adopter au plus vite un Traité interdisant préventivement les systèmes d’arme ne requérant pas un contrôle humain significatif dans les fonctions de ciblage et de tir. Dans ce combat, HRW et le collectif de la campagne contre les « robots tueurs » ont reçu le soutien (inédit) d’une société canadienne spécialisée dans la production de véhicules autonomes pour la recherche et le développement appelée Clearpath Robotics dont le directeur technologique et co-fondateur Ryan Gariepy a garanti ne pas fabriquer des « robots équipés d’armes mortelles retirant de l’équation toute intervention humaine ». Il ne s’agit pas, selon lui, d’empêcher « l’utilisation de toutes formes de robots autonomes dans le domaine militaire » mais de s’opposer aux « systèmes létaux d’armes autonomes », c’est-à-dire ceux où « l’humain ne prend pas, pour la machine, la décision finale de recourir à des actions potentiellement létale ». La société reprend ainsi l’argumentaire de la campagne invoquant le caractère impératif de la faculté de jugement humain dans la prise de décision de tuer, et le risque que des dirigeants recourent plus souvent à ces engins anonymes, inhabités et irresponsables.

De son côté, le rapporteur spécial aux exécutions extrajudiciaires, sommaires ou arbitraires auprès des Nations Unies a appelé à une pause dans le développement de cette technologie. Il a également demandé aux États l’adoption d’un moratoire sur ce sujet. Parmi ces derniers, seuls deux ont publié leur politique en la matière: les États-Unis et la Grande-Bretagne.

Dans le cadre de la réunion de novembre dernier, les Hautes Parties contractantes à la Convention sur certaines armes classiques se sont prononcées pour la poursuite des pourparlers en la matière. À cet égard, il a été décidé que cette problématique ferait l’objet d’une réunion d’experts qui se tiendra du 13 au 17 avril 2015.
Du 26 au 28 mars 2014, le Comité internationale de la Croix-Rouge avait organisé une telle rencontre pour répondre aux préoccupations juridiques et éthiques posées par le développement des systèmes d’armes autonomes : comment définir l’autonomie ? Quel est le « niveau de contrôle significatif » que l’humain doit exercer pour ne pas sortir de la boucle de décision menant à l’acte de tuer ? Comment appliquer le droit international humanitaire ? Ces questions ont été abordées ici même dans plusieurs billets. Par contre, il est intéressant de noter que des scientifiques se sont également penchés sur l’état de la recherche et développement dans la conception de système autonome de prise de décision. C’est une question importante puisqu’il s’agit de déterminer la réalité des « robots tueurs » aujourd’hui et à terme. À en croire le Dr. Darren Ansell de l’Université de Central Lancashire, leur avènement n’est pas pour demain.

  •  La difficile duplication du processus décisionnel humain

En effet, la prise de décision (de tuer, en l’espèce) est un processus complexe que l’on peut décomposer en cinq étapes, toutes susceptibles d’être sujettes à erreur. La première étape est la réception des informations. C’est peut-être celle où le robot est le plus performant, là où il exprime sa supériorité quantitative sur l’humain. Ainsi, la puissance de ses capteurs lui permet de voir son environnement avec une très grande précision. Toutefois, elle n’est pas infaillible, ces derniers pouvant subir des interférences ou des attaques délibérés de brouillage.
Dans un second temps, il y a l’interprétation des informations. Là où un humain identifie immédiatement l’environnement qui l’entoure, la machine recourt à des techniques de traitement d’image consistant à qualifier les objets repérés en fonction de ce qu’elle trouve dans sa base de données. Là encore, cet acte n’est pas fiable à 100%. Or, un tel pourcentage est impératif dans la décision de tuer, notamment pour déterminer si des personnes captées sont des civils ou des combattants. Pour l’instant, l’humain dispose d’une faculté de compréhension supérieure à la machine : c’est son avantage qualitatif.
L’étape suivante est la production de croyance sur la base des données compilées. Par exemple, si le niveau d’essence d’un réservoir chute rapidement, la machine peut croire qu’il y a une fuite. Mais si les informations sont fausses ou incomplètes, la croyance déduite est également erronée. C’est l’exemple cité par HRW dans son rapport : un robot observant deux enfants jouant avec des armes factices peut croire qu’il s’agit de combattants susceptibles de représenter une menace.
Puis, vient le moment de la planification de l’action. Elle peut être à court terme (en fractions de secondes) ou à long terme (plusieurs heures ou jours). Cette capacité dépend de l’action à entreprendre et de la source d’information nécessaire à cet effet. Le Dr. Hansell prend l’exemple du système de navigation par satellite d’une automobile. Celui-ci a pour fonction de proposer un itinéraire selon sa connaissance limité du réseau routier. S’il n’a pas accès à ce dernier ou au trafic, l’itinéraire proposé ne sera pas bon. La machine a donc besoin de moyens d’évaluer son plan avant d’agir. Dans son intervention, le Dr. Ludovic Righetti étend cet exemple aux voitures autonomes encore en prototypes afin de montrer la capacité limitée de ces engins à gérer la complexité. Ces derniers ne peuvent circuler qu’au sein des environnements pour lesquels ils ont été conçus.
Certains systèmes robotiques peuvent choisir entre plusieurs plans alternatifs. Ce processus de sélection constitue une forme de prise de décision où le logiciel compare les performances prédites de plusieurs plans et en choisit un. Cette étape peut aussi être entachée d’erreurs lorsque par exemple, la machine n’a pas entière connaissance de la réglementation en vigueur, ou lorsque plusieurs incertitudes se sont déjà immiscées dans le processus. Généralement, un humain intervient pour autoriser la machine à sélectionner son plan.

En définitive, il est pour l’instant impossible de concevoir une machine capable de produire une décision sûre et légale. À l’heure actuelle, les meilleurs logiciels en matière de « classification », de « planification » et de « prise de décision » sont imprévisibles ; ils peuvent même fonctionner sur des processus aléatoires. Par contre, dans le cadre des systèmes de sécurité (par exemple, aéronautique), le logiciel utilisé est entièrement prévisible c’est-à-dire que compte tenu d’un certain nombre d’entrées, il produira toujours la même sortie. Autrement dit, l’avènement du robot complètement autonome capable d’agir dans un environnement complexe et dynamique paraît improbable à moyen terme. Pour le Dr. Righetto, outre les limitations techniques qui peuvent être surmontées avec le temps, le défi scientifique réside bien dans la création d’algorithmes capables de dupliquer la faculté de jugement humain dans l’exécution de tâches complexes. Cette faculté doit être versatile afin de s’adapter à un environnement arbitraire. Toutefois, les systèmes très automatisés opérant de manière sûre et prévisible dans des environnements maîtrisés vont être amenés à se développer.
Pour le moment, l’humain reste dans la boucle.