Jean-François Bonnefon : “Une IA peut être un agent moral”

Juger, c’est reconnaître à la personne jugée une responsabilité. Diriez-vous qu’une IA puisse, en ce sens, être responsable ?

Jean-François Bonnefon : Une machine peut être responsable d’une tâche: par exemple, on peut dire qu’une voiture autonome a la responsabilité de conduire. Mais les choses deviennent plus compliquées pour ce qui est de tenir une machine responsable de ses actes. Cela n’a pas de sens par exemple de récompenser ou de punir une machine : si une IA inventait demain un traitement contre le Covid, on ne lui donnerait pas le prix Nobel de médecine ! Il y a peut-être une façon pour une machine d’être “responsable” de ses échecs, au sens où elle serait responsable de trouver la façon de les éviter à l’avenir. Mais en général, c’est aux humains qu’il revient de trouver une solution.

Les machines sont-elles des agents moraux ? 

Il y a deux façons d’être un agent moral. La première, c’est d’être responsable d’une tâche qui a des “implications” morales, sans pour autant avoir à prendre de “décision” morale. Par exemple, si je suis plieur de parachute, je suis un agent moral au sens où une erreur de ma part aura des conséquences graves ; mais je n’ai pas à prendre des décisions morales difficiles. En ce sens, une IA peut être un agent moral, et je ne crois pas que cela soit controversé. Par exemple, une voiture autonome est clairement un agent moral au sens où ses erreurs peuvent coûter la vie à quelqu’un. Mais la deuxième façon d’être un agent moral, celle qui pose plus de problèmes, c’est d’avoir à prendre des décisions qui utilisent des règles morales, et plus spécialement quand ces règles sont en conflit. Pour continuer avec les voitures autonomes, on entre là dans les fameux exemples du type “faut-il mieux sauver deux piétons ou un seul passager ?” On peut penser aussi aux algorithmes qui cherchent à optimiser l’allocation des greffes de rein. Est-ce qu’une machine est un agent moral au sens fort dès lors qu’elle prend ce genre de décision, de façon autonome ? Je n’en sais rien, je laisse ce débat aux philosophes. Notre travail est plutôt de comprendre comment les citoyens veulent que les machines prennent ces décisions-là.