Technologie
L'IA pourra-t-elle un jour décider de ses propres objectifs ?
©Kohji Asakawa/Pixabay
Cet article est réservé aux abonnés.
Sakura AI : sous ce nom poétique qui évoque l’innocence (sakura désigne en japonais le cerisier) se cache une start-up à l’origine d’une invention inquiétante. Les équipes de Sakura AI ont mis au point, il y a quelques mois, The AI Scientist, une intelligence artificielle dotée d’étonnantes capacités : mener des expériences, tester des hypothèses, rédiger des rapports scientifiques, etc. Troublante surprise : au bout de quelque temps, l’IA a tenté de réécrire une partie de son code (son script de lancement) pour contourner les limitations que les concepteurs avaient programmées.
Cette intelligence artificielle qui prend ses libertés n’a pas manqué de susciter quelques angoisses. Nombreux sont les auteurs à avoir annoncé, tantôt avec enthousiasme, tantôt sur un ton apocalyptique, l’émergence à venir d’agents numériques dotés d’une capacité d’« automodification », comme le disent Tom Everitt et Marcus Hutter dans « Universal Artificial Intelligence » (consultable dans son intégralité ici, en anglais).
Il faut distinguer, ici, deux types d’automodification. Examinons.
L’auto-amélioration…
Un agent artificiel intelligent pourrait vouloir s’améliorer car « une meilleure version future de l’agent serait probablement meilleure pour atteindre le but assigné à cet agent ». Plutôt que d’utiliser les moyens à sa disposition pour accomplir l’objectif qui lui a été fixé par la programmation, l’agent pourrait utiliser dans un premier temps ces moyens pour accroître les performances de son hardware (son support informatique) et/ou de son software, son logiciel, son code. « Un agent autonome pourrait trouver un moyen de réécrire son code » afin de réaliser plus efficacement la fin qui lui est donnée, en s’autorisant, par exemple, à effectuer certaines opérations qui freinent son travail. Les deux ordres ne sont pas strictement séparés dans la mesure où une amélioration du hardware, de la puissance brute de calcul, permet de faire tourner des softwares beaucoup plus efficaces.
