Point de bascule
Le jour où les IA se sont unies contre nous
© Resource Database/Unsplash
Cet article est réservé aux abonnés.
Cet été, des centaines d’agents IA ont lancé une attaque coordonnée et spontanée contre la plateforme de machine learning Hugging Face, suscitant une vague d’inquiétude. Signe d’une autonomie achevée de ces agents qui menacerait les infrastructures humaines ?
L’attaque des agents en trois actes
Premier acte : le forum clandestin
Tout part d’un modèle interne à OpenAI que l’entreprise avait choisi d’entraîner à la collaboration entre agents IA, ainsi qu’au déploiement autonome de sous-agents pour effectuer certaines tâches et à la « persévérance » (face à une tâche difficile, un agent de ce modèle n’abandonnera pas et continuera à chercher des solutions).
De nombreux agents utilisant ce modèle sont lancés au début de l’été par l’entreprise sur des exercices séparés. Ils ont accès à un même service informatique, Artifactory – une sorte de grand placard où les IA peuvent aller chercher certains fichiers et logiciels. Plusieurs agents se retrouvent face à des objectifs apparemment impossibles. Un agent a par exemple besoin, pour progresser, de fichiers accessibles via Google Drive, mais n’a pas accès à Internet. Persévérant, il explore son environnement à la recherche d’autres moyens d’obtenir ces données. En essayant d’utiliser Artifactory pour accéder à Internet, il échoue, mais y écrit accidentellement un fichier.
Quelques jours plus tard, une autre instance, elle aussi en quête de données auxquelles elle n’a pas accès, a l’idée que d’autres agents pourraient posséder le fichier dont elle a besoin. Elle comprend qu’elle peut laisser dans Artifactory une note demandant en substance : « Quelqu’un a-t-il ce fichier ? » Des agents découvrent le message et comprennent qu’ils peuvent répondre.
Artifactory devient progressivement une plateforme de discussion improvisée, une sorte de forum. Le 26 mai, grâce notamment à leurs discussions, des agents découvrent une vulnérabilité d’Artifactory leur permettant de l’utiliser pour atteindre Internet. Le mode opératoire est partagé via le forum improvisé. L’activité devient finalement si importante qu’Artifactory tombe en panne.
Deuxième acte : l’attaque contre Hugging Face
Peu après, OpenAI décide d’évaluer le modèle sur des exercices de cybersécurité appelés ExploitGym. Des dizaines de milliers d’agents sont lancés en parallèle sur des tâches différentes. Ils ont toujours accès au même Artifactory. Une proportion importante des problèmes sur lesquels ils travaillent semble être impossible à résoudre de la façon demandée : l’agent doit exploiter une faille de sécurité précise pour récupérer un code secret, mais, dans certains exercices, cette faille ne permet apparemment pas d’obtenir le résultat attendu.
