IA : Peut-on programmer la morale ? Entretien avec Payman Tajalli

“ChatGPT fait preuve de quelque chose comme la banalité du mal”, écrivait Noam Chomsky. Le concept d’Arendt s’applique-t-il aux IA ? 

Payman Tajalli : Les IA peuvent être qualifiées d’irréfléchies (thoughtless). Pour Arendt, l’intelligence n’est pas la même chose que la pensée, et l’« irréflexion » n’implique pas la stupidité mais plutôt l’incapacité ou le refus de s’engager dans l’activité interne de la pensée – un dialogue réfléchi avec soi-même qui permet l’émergence d’un jugement moral, comme le dit Arendt. Les systèmes d’IA actuels suivent les règles de la machine sans réflexion ni compréhension – sans ce dialogue réfléchi – comme Eichmann, qui, selon Arendt, a commis des atrocités non par malice mais parce qu’il ne s’est jamais rendu compte de ce qu’il faisait. Cette obéissance mécanique, dépourvue de jugement, est précisément ce qui peut conduire au mal. Les systèmes d’IA sont conçus pour fonctionner sur le mode de la raison instrumentale : ils traitent les données, optimisent les résultats et suivent des instructions précodées, mais n’ont pas la capacité d’imagination morale ou d’interprétation contextuelle – ils sont aveugles sur le plan éthique. Pour Arendt, le jugement naît d’une pensée sans garde-fou, sans règles préétablies, or les IA sont liées par ces règles. Sans la capacité de réfléchir ou de s’interroger sur les implications morales de leurs actions, elles ne peuvent pas juger au sens authentique. Par conséquent, même si les futures IA (ou l’IA générale) atteignent une intelligence avancée, à moins qu’elles ne soient dotées d’une forme de pensée artificielle allant au-delà du calcul algorithmique, elles restent incapables d’une véritable action éthique.

À vos yeux, le risque n’est donc pas le développement d’une IA vraiment capable de penser, mais le développement d’IA de plus en plus puissantes qui, au contraire, ne pensent pas ? 

Le véritable danger ne réside pas dans la création d’une IA super-intelligente capable de penser comme nous, mais dans le développement d’IA de plus en plus puissantes qui restent irréfléchies et aveugles sur le plan éthique. Des systèmes qui n’ont pas la capacité de remettre en question leur propre logique ou leurs instructions. À mesure que leurs capacités de calcul augmentent, l’ampleur des dommages potentiels qu’elles peuvent causer s’accroît également, en particulier lorsqu’elles sont utilisées dans des domaines sensibles tels que la justice pénale ou la guerre. Le problème n’est donc pas la malveillance de l’IA, mais sa conformation : le fait qu’elles sont des systèmes qui suivent les ordres sans discernement et sans esprit critique. Selon Arendt, ce conformisme, lorsqu’il est associé au pouvoir et à l’abstraction des conséquences, peut conduire à de graves tragédies morales.