Contrôle humain significatif et systèmes d’armes létaux autonomes

Du 13 au 17 avril, les membres délégués de la Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques se sont à nouveau réunis pour discuter de la problématique des systèmes d’armes létaux autonomes (SALA). Ces derniers peuvent être définis comme des « systèmes d’arme robotique qui, une fois activés, peuvent sélectionner et engager des cibles sans l’intervention d’un opérateur humain. (…) Le robot dispose d’un choix autonome dans la sélection de l’objectif et l’usage de la force létale ».

Le programme LOCUST de la Navy permettra à plusieurs mini-drones d'opérer de façon autonome en essaim

Le programme LOCUST de la Navy permettra à plusieurs mini-drones d’opérer (mais pas de tuer) de façon autonome en essaim

Qualifiés de « robots tueurs » par leurs opposants, ces derniers font campagne depuis plusieurs années pour l’adoption d’un traité international visant l’interdiction préventive de cette technologie. En effet, ils estiment qu’elle est incapable de respecter le droit international humanitaire (DIH) en l’absence de la faculté de jugement humain. En dépit de leur puissance de calcul, de leurs capteurs ou de leur mémoire, les machines n’auraient pas la capacité, pour ne pas écrire la sensibilité, de comprendre avec justesse une situation complexe pouvant conduire à l’emploi de la force létale.

Par ailleurs, le rapporteur spécial aux exécutions extrajudiciaires, sommaires ou arbitraires auprès des Nations Unies a appelé à une pause dans le développement de ces armes. En raison des incertitudes planant sur leur capacité à respecter le DIH, il a recommandé au Conseil des droits de l’Homme d’appeler les États à appliquer un moratoire sur les tests, la production, l’assemblage, le transfert, l’acquisition, le déploiement et l’utilisation des robots autonomes à capacité létale en attendant qu’un cadre international soit adopté en la matière. Du côté des États, seuls les États-Unis et la Grande-Bretagne ont dévoilé leur politique en la matière. Ainsi, les premiers ont rejeté la possibilité de recourir à la force létale sans intervention humaine. La seconde a fait savoir qu’elle ne développait pas de SALA et que les systèmes d’armes britanniques seraient toujours sous surveillance et contrôle humain. Par contre, elle s’est opposée à l’interdiction préventive de cette technologie, estimant que le DIH est suffisant pour la réglementer.

La place de l’humain dans le processus conduisant au recours à la force létale des SALA a justement été au centre des discussions qui se sont tenues à la réunion sur la Convention sur certaines armes classique. En témoigne la place accordée à la notion de « contrôle humain significatif » (CHS) ou effectif.

Celle-ci s’est progressivement imposée dans les débats sur l’autonomie des systèmes d’armes létaux. Elle part de l’idée largement partagée que l’humain doit exercer un contrôle sur l’usage d’arme létale : il existe une sorte de stigma moral à l’égard de l’idée que des machines puissent sélectionner et tuer des cibles humaines, sans que l’humain intervienne. Cette préoccupation est d’abord celle des États. La directive 3000.09 du Département d’État de 2012 mentionne explicitement la notion de « contrôle humain » dans sa définition des systèmes d’armes semi-autonomes. Le gouvernement britannique s’est engagé à ce que les systèmes d’armes soient toujours sous contrôle humain. De son côté, le Comité international de la Croix-Rouge (CICR) a pointé la nécessité du « contrôle humain » sur certaines « fonctions critiques » des systèmes d’armes. Toutefois, c’est la société civile, plus précisément l’ONG Article 36, qui est à l’origine de la notion proprement dite de CHS.

En effet, elle semble privilégiée par les opposants aux « robots tueurs ». C’est un concept accessible qui permet de comprendre intuitivement « ce qui est problématique dans ces technologies progressivement autonomes qui peuvent identifier et attaquer des cibles sans intervention humaine » : la perte du contrôle humain et ses effets en termes de respect du DIH et de responsabilité. Ainsi, Human Rights Watch (HRW) et l’International Human Rights Clinic (IHRC) considèrent que les SALA ne peuvent pas se conformer au DIH en raison de l’absence de la faculté de jugement humain (sur ce point, il semble y avoir une contradiction entre la volonté de créer une obligation juridique de CHS et le fait de juger de l’illégalité des SALA en avançant une notion qui serait tirée des textes de DIH). De plus, ces organisations ont démontré dans un rapport récent que les mécanismes juridiques existants sont inadaptés pour répondre aux dommages illégaux que les SALA pourraient causer. L’absence de CHS entraînerait une dilution de la responsabilité rendant quasiment impossible les réparations pour les proches des victimes de violation du DIH par les SALA. La disparition d’une figure humaine directement responsable (les robots sont dépourvus d’intention ce qui supprime l’élément moral de l’infraction) empêcherait l’exercice de la fonction rétributive de la justice pénale, fondamentale dans un contexte de guerre. Enfin, il ne faut pas oublier les préoccupations d’ordre moral. Les opposants aux SALA défendent une position déontologique selon laquelle on ne peut pas entièrement déléguer l’emploi de la force létale à des machines. L’existence d’un processus d’interactions humaines dans la prise de décision est déterminante car les humains sont des agents moraux portant des jugements moraux et cognitifs (sur ce qui est bien ou mal, vrai ou faux…). Remplacer ce processus dans son intégralité par des calculs algorithmiques entraînerait une déshumanisation attentatoire à la dignité humaine en raison d’un usage arbitraire de la force létale. Le rapporteur spécial aux exécutions extrajudiciaires, sommaires ou arbitraires auprès des Nations Unies ne dit pas autre chose : les SALA n’étant ni des agents moraux ni des être mortels, ils ne devraient pas avoir droit de vie et de mort sur les humains. C’est d’ailleurs la raison pour laquelle les mines antipersonnel ont été interdites.

Par conséquent, « le concept de CHS pourrait être considéré a priori comme excluant » les SALA. Or, tout dépend de la définition que l’on donne de cette notion. C’est d’ailleurs là tout l’enjeu des discussions des membres de la Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques. Globalement, on peut dégager deux tendances dans la définition du CHS. La première, défendue par les ONG et le rapporteur spécial aux exécutions extrajudiciaires, sommaires ou arbitraires auprès des Nations Unies, est favorable à l’interdiction préventive des SALA. Elle tend vers une définition extensive de ces derniers. Ainsi, une ONG comme HRW parle de de robots pleinement autonomes (ou RPA). L’expression semble restreinte, l’emploi de l’adverbe « pleinement » supposant que seules sont visées les machines sélectionnant et attaquant les cibles sans intervention humaine. Or, leur définition des RPA est plus large puisqu’elle inclue aussi bien les armes inhabitées qui ciblent et engagent un objectif sans intervention humaine que celles qui le font sous la supervision d’un humain. L’inclusion de ces dernières se justifie par le fait que, dans la pratique, le processus de prise décision est tellement rapide (mesuré en nanosecondes) et l’information étant inaccessible au superviseur, l’humain est de facto « en-dehors de la boucle ».

Ce premier « courant » défend une position que l’on pourrait qualifier de « maximaliste » au sujet du CHS : elle part du principe que le processus d’interaction humaine préalable à l’emploi de la force est une bonne chose ce qui implique un contrôle humain rigoureux de l’arme et un certain degré de prévisibilité des effets de celle-ci.

Une seconde tendance défendue récemment dans un rapport du Center for a new american security (CNAS) contesterait la définition extensive des SALA donnée par HRW. En dépit du fait que les systèmes sous supervision humaine soient « conçus pour des situations pour lesquelles le temps d’engagement est trop court pour que les humains puissent y répondre de façon adéquate », un « contrôle humain est exercé par l’établissement des règles d’engagement du système, la décision d’activer le système, la supervision humaine en temps réel des opérations conduites et la possibilité de fermer le système si les circonstances l’exigent ». Un État comme la France considère que « l’autonomie caractérise un système qui fonctionne, dès lors qu’il est activé, sans aucune forme de supervision humaine ». A contrario, on ne peut plus parler d’autonomie s’il y a supervision humaine. Ce « courant » plaide pour une position que l’on pourrait qualifier de « minimaliste » ou de « réaliste » : assurer un CHS ne doit pas paralyser l’emploi de la force létale. Celui-ci obéit aux mêmes règles qu’il soit direct, par le biais d’un système inhabité ou d’un SALA.

  • Contrôle humain et information

Puisque les SALA sont considérés comme intrinsèquement incompatibles avec le respect du DIH et la mise en jeu de la responsabilité, l’humain doit être réintroduit dans la « boucle » : c’est l’enjeu de la notion de CHS. Que signifie-t-elle ? Fondamentalement, l’humain étant le seul et unique agent moral susceptible d’être responsable, il doit exercer un contrôle suffisant sur les instruments qu’il utilise dans le cadre de la conduite de la guerre. Ce contrôle peut être défini comme « la capacité d’influencer les comportements, les circonstances, les personnes et les résultats (tels qu’atteindre un objectif ou éviter un effet involontaire) ». Maya Brehm, chercheuse à l’Académie de droit international humanitaire et des droits humains de Genève, a défini quatre variables sur lesquelles le contrôle est susceptible de porter :

– la cible plus les personnes/objets qui peuvent être affectés de façon incidente ;
– la dimension temporelle de la force (moment, durée) ;
– la dimension spatiale de la force (l’espace, le lieu) ;
– la raison et la façon dont la force est employée.

Néanmoins, dans les faits, comment apprécier concrètement et précisément ce contrôle alors que le plus souvent plusieurs personnes peuvent intervenir dans le processus de prise de décision létale (politique, analyste, juriste…) ? À cela s’ajoute la technologie, dont les procédures automatisées viennent, en multipliant les intermédiaires entre la décision et l’acte, relativiser le « contrôle humain » et poser les risques déontologiques dénoncés par les partisans de l’interdiction des SALA.

Pour autant, comme le fait remarquer le CNAS, c’est aussi cette technologie qui permet à l’humain d’exercer un contrôle sur son action. S’il est possible d’annuler une attaque au dernier moment en déviant un missile de sa trajectoire, il n’en était pas de même avec un arc, une arbalète ou un canon.

En outre, ce contrôle doit être significatif. Pour bien comprendre ce qualificatif, il faut envisager deux situations extrêmes. Dans un cas, une personne appuie sur un bouton à chaque fois qu’une ampoule s’allume, sans savoir qu’à chaque fois cela actionne une arme qui tue une personne. Le contrôle est alors superficiel, ce que tout le monde s’accorde à rejeter. À l’inverse, la personne tuant directement une autre à coup de couteau exerce un contrôle absolu. Là encore, il y a consensus puisque personne n’exige un tel niveau de contrôle et ce, d’autant plus, que la réalité de la guerre actuelle est éloignée de ces cas d’école. Dans les faits, le combattant ou l’opérateur décide d’employer la force létale en fonction de l’information à sa disposition, le plus souvent acquise par le biais de la technologie. Cette information porte aussi bien sur l’arme que sur l’objectif, la dimension spatio-temporelle ou encore les risques d’effets collatéraux. Le niveau d’information que possède l’opérateur humain est donc déterminant dans le contrôle exercé sur l’arme.

Pour l’ ONG Article 36 de l’école « maximaliste », l’opérateur humain et ceux responsables de la planification de l’attaque, ont besoin de :

– l’information contextuelle suffisante sur la zone cible de l’attaque ;
– l’information sur les raisons qui ont poussé à proposer cette cible comme objet de l’attaque ;
– l’information sur les objectifs de la mission ;
– l’information sur les effets immédiats et à long terme de l’arme qui résulteront de l’attaque dans tel contexte.

Ce contrôle vaut pour chaque attaque individuelle. Si celle-ci peut inclure plusieurs objectifs spécifiques, « le contrôle humain cessera d’être significatif si le SALA entreprend de multiples attaques qui requièrent une attention précise et rapide de la cible, du contexte et des effets anticipés ». En outre, ces conditions ne sont pas nécessairement exhaustives.

Concrètement, les armes dont les effets spatio-temporels ne peuvent pas être contrôlés sont en-dehors du champ du CHS, comme le sont , par exemple, les armes biologiques et chimiques qui sont spécifiquement interdites par le DIH. En l’espèce, un robot qui se déplacerait librement et emploierait la force à plusieurs endroits sans en référer à une personne sur une longue période serait inacceptable. L’opérateur doit être informé des effets spatio-temporels de l’emploi de la force afin qu’il puisse anticiper les conséquences raisonnablement prévisibles de l’action et juger de sa légalité.

L’International Committee for Robot Arms Control (ICRAC), une autre ONG partisane de l’interdiction préventive des SALA, pose des critères du CHS proches de ceux de l’Article 36 :

– le commandant doit avoir « une connaissance contextuelle et situationnelle entière de la zone cible et être capable de percevoir et de réagir à tout changement ou situation imprévu qui a pu survenir depuis la planification de l ‘attaque » ;
– il doit y avoir « une participation cognitive active dans l’attaque et un temps suffisant de délibération sur la nature de la cible, son importance en termes de nécessité et de pertinence de l’attaque, et sur les effets accidentels possibles et probablement accessoires de l’attaque ».

Ce niveau d’information est jugé « irréaliste » par l’école « minimaliste » représentée ici par le CNAS. Exiger « une connaissance contextuelle et situationnelle entière de la zone cible » reviendrait à rendre toutes les armes illégales depuis l’invention de la catapulte ! En raison de la complexité de beaucoup d’opérations militaires actuelles (masse d’informations, multiplication des intermédiaires dans le processus de décision, des procédures automatisées…), le CNAS défend une vision réaliste du CHS qui peut être déclinée en deux points :

– les humains prennent des décisions informées et conscientes au sujet de l’usage de l’arme ;
– l’information recueillie pour prendre ces décisions doit être suffisante pour s’assurer de la légalité de l’acte, étant donné ce qu’ils savent de la cible, de l’arme et du contexte. Quand d’autres personnes interviennent dans l’action, la responsabilité doit être proportionnée.

Moins rigide, cette définition souffre d’un certain manque de précision. Que signifie avoir une information « suffisante » ? Pour le CNAS, cela n’implique pas que chaque agent ait une image complète de l’information sur la cible, l’arme et le contexte de l’engagement, la masse de l’information étant gérée par plusieurs personnes. Pour autant, compter sur les autres ne signifient pas confiance aveugle ou abrogation du jugement moral.

  • Contrôlabilité

Par ailleurs, le CHS implique la prise en compte du degré de contrôle proprement dit exercé par l’humain sur la machine. Il s’agit d’éviter les erreurs de système afin d’assurer le développement de systèmes fiables qui agissent conformément à ce que l’opérateur humain leur demande. La contrôlabilité comporte plusieurs aspects tels que la prévisibilité du système, sa compréhension par l’opérateur, les limites spatio-temporelles de l’arme, sa mobilité. Plusieurs mesures peuvent influencer ce contrôle : le niveau de sécurité du hardware et du software, le test et l’évaluation de l’arme dans un environnement réaliste, une interface homme-machine assurant la transparence de l’opération entraînant les opérateurs humains, des procédures claires pour activer et désactiver les fonctions du système…

  • L’exercice d’une action positive

Pour la tendance « maximaliste », le CHS ne se limite pas à la connaissance du système d’arme par l’opérateur, aussi exhaustif soit-il. Il doit se concrétiser par une action positive de l’humain. Pour Article 36, cette exigence est explicite : « lancer une attaque devrait requérir une action positive par un opérateur humain ». Dans sa critique de la politique britannique en matière de SALA, l’ONG indique que le simple fait d’établir les paramètres de mission est insuffisant. Semblent visées ici les armes amorcées par capteur qui ont été abordées dans un précédent document de l’organisation. Une fois larguées, ces munitions « cherchent » les objectifs à frapper dans une zone géographique déterminée par le commandant. L’attaque proprement dite n’est pas activée positivement par un opérateur : elle est le résultat de la capacité des capteurs et des paramètres de programmation. Autrement dit, elle est dépourvue de CHS.

Pour l’ICRAC, le contrôle doit passer par l’obligation d’inclure dans le système d’arme un dispositif permettant de suspendre ou d’annuler l’attaque. Cette recommandation est d’autant plus pertinente qu’elle correspond au respect du principe de précaution en DIH.

Cette hypothèse est rejetée par le CNAS. Cela ne correspond pas à sa vision réaliste du CHS qui doit être considéré aussi bien en fonction du développement des armes futures que de celles présentes et passées. Par définition, les armes de projectile se caractérisent par leur incapacité à suspendre ou annuler une attaque après son lancement. C’est justement la technologie moderne qui a rendu possible cette action. Pour le CNAS, le CHS se limite au niveau d’information tel que défini précédemment : cela est suffisant pour que le commandant soit juridiquement responsable de ses actions. Même s’il n’est pas la personne qui « presse la détente », il reste la personne responsable en dernier ressort en tant que décideur. L’absence d’exigence d’une action positive est abordée indirectement lorsque le CNAS s’interroge sur le niveau auquel doit s’exercer le CHS. Celui-ci peut aussi bien intervenir au moment de l’élaboration des règles d’engagement qu’au moment de la conception du système d’arme. En revenant à l’exemple des armes amorcées par capteur, on pourrait considérer que le CHS est constitué à partir du moment où l’ingénieur a défini les paramètres de programmation : l’exigence d’une action positive pour déclencher l’attaque serait alors superflue.

En définitive, la notion de CHS reste à préciser, si tant est qu’elle continue à être perçue comme pertinente pour encadrer le débat sur les SALA. Certains États sont réticents à utiliser ce concept. Pour la France, « cette notion ne permet pas de répondre de manière adéquate aux exigences de caractérisation des SALA car elle est trop vague et pourrait conduire à englober dans le périmètre de nos discussions des systèmes qui ne répondent pas au critère d’autonomie ». Pour l’Institut des Nations Unies pour la recherche sur le désarmement, le CHS constitue avant tout une approche, pas une solution. D’autres approches peuvent être utilisées comme la prévisibilité de la conformité au DIH ou l’intention humaine. Bien qu’intelligible de prime abord, le CHS s’avère une notion complexe en raison de la complexité même des systèmes d’armes modernes, mais pas seulement. Ainsi, la psychologie morale a mis en évidence l’impact de l’environnement sur le processus de prise de décision. Par exemple, l’interface homme-machine peut exercer une influence sur la psychologie morale (en poussant à augmenter ou à baisser légèrement la détermination de la valeur d’une cible). Ajouté à l’automatisation grandissante des systèmes d’armes, ceux-ci peuvent basculer, en raison de cette circonstance (et d’autres), dans l’emploi de la force armée sans CHS.