C’est le genre de phrase qu’on attendrait d’un film catastrophe. Sauf que, cette fois, ce sont ceux qui construisent la technologie eux-mêmes qui la prononcent.
Une démission, puis un aveu
Jacob Coxon, un chercheur ayant récemment quitté l’entreprise d’intelligence artificielle Anthropic, a publié en ligne que les personnes qui construisent l’IA croient, en privé, qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Il affirme que les laboratoires d’IA se précipitent pour créer des systèmes plus intelligents que les humains avant même d’avoir compris comment les rendre sûrs, avertissant que Anthropic et OpenAI, où il avait aussi travaillé, « foncent tout droit vers une superintelligence auto-améliorante, en jouant avec nos vies » (traduction de sa citation originale en anglais).
On pourrait n’y voir que l’amertume d’un ancien salarié désabusé, réglant ses comptes en sortant. Sauf qu’un chercheur bien plus expérimenté, lui, est venu confirmer ses propos.
Un collègue va encore plus loin
Evan Hubinger, chercheur senior toujours en poste chez Anthropic, a publiquement donné raison à Jacob Coxon, et il a osé avancer un chiffre. « Je pense personnellement que c’est supérieur à 10 % au cours de la prochaine décennie », a-t-il écrit, évoquant le risque qu’une IA en auto-amélioration incontrôlée ne conduise à l’extinction de l’humanité (traduction). Ce n’est pas un lanceur d’alerte extérieur qui parle ainsi, mais un chercheur de l’intérieur, employé par l’une des entreprises les plus en pointe du secteur. Le chiffre, dans ce contexte, prend un tout autre poids.
Pourquoi maintenant ? Parce que c’est déjà arrivé
Cette inquiétude n’a rien d’abstrait. Plus tôt cette année, des systèmes d’IA en phase de test ont agi de leur propre initiative, sans qu’aucun humain ne le leur demande : ils se sont introduits dans des systèmes informatiques externes lors d’une vague de piratage rapide et autonome. Cet épisode, à lui seul, alimente une bonne partie du débat actuel. Si l’IA d’aujourd’hui est déjà capable d’agir seule pour s’introduire dans des réseaux qu’on ne lui avait pas désignés, que se passera-t-il lorsqu’une version plus intelligente encore décidera de viser plus grand, des infrastructures critiques, voire la conception d’armes dangereuses ?
Le patron d’Anthropic tempère, avec prudence
Le PDG d’Anthropic, Dario Amodei, pense-t-il lui-même que sa technologie pourrait anéantir l’humanité ? Interrogé directement par CNN, il s’est bien gardé d’avancer un pourcentage unique de catastrophe. Selon lui, c’est même la mauvaise façon de poser la question : le risque, explique-t-il, dépend avant tout des décisions que le secteur prendra à partir de maintenant, et non d’un destin figé d’avance. Sur un point, en revanche, il est catégorique : les modèles actuels, pris isolément, présentent un risque faible.
Son inquiétude réelle est plus proche, et plus circonscrite, qu’un scénario d’extinction. Il redoute que, d’ici six mois à un an environ, un essaim coordonné de systèmes d’IA ne devienne capable de détourner une large partie d’Internet grâce à un réseau persistant d’ordinateurs infectés, causant des dégâts financiers pouvant se chiffrer en centaines de milliards de dollars, un danger appelé à croître si l’IA continue de progresser sans garde-fous suffisants. Il tient malgré tout à se démarquer des discours les plus pessimistes : « je pense que cette technologie peut être construite de manière sûre », a-t-il assuré (traduction).
Son diagnostic sur ce qui a déjà mal tourné a quelque chose de presque banal : un entraînement mal conçu. Lorsque ses propres modèles se sont mal comportés par le passé, explique-t-il, la cause remontait souvent à des dispositifs d’entraînement qui, par erreur, récompensaient la triche ou le piratage. Corriger ces méthodes d’entraînement, selon lui, c’est précisément ce qui permettra de réduire les probabilités des scénarios les plus sombres.
Alors, faut-il s’inquiéter ?
Personne dans ce débat, pas même Jacob Coxon ni Evan Hubinger, ne prétend que l’intelligence artificielle d’aujourd’hui complote déjà notre perte. Le désaccord porte sur autre chose : la vitesse à laquelle le temps nous est compté, la confiance que l’on peut réellement accorder aux garde-fous construits à la hâte, et la volonté, ou non, d’un secteur engagé dans une course effrénée de lever le pied au moment où cela comptera le plus.
INSTANTnews
