Le pape Léon XIV met en garde contre les dangers de l'IA dans sa première encyclique

L'encyclique souligne que derrière les systèmes d'IA en apparence immatériels se cache une chaîne d'exploitation et de dépendance. 'Nichts ist in der Welt der KI immateriell oder magisch', peut-on y lire. Le document dénonce l'extraction dangereuse de matières premières et le travail de données mal rémunéré.

Le pape affirme que des corps sont blessés, mutilés et usés pour que le flux calculatoire ne s'arrête pas. 'Körper werden verletzt, verstümmelt und verbraucht, damit der Rechenfluss nicht zum Stillstand kommt', déclare-t-il. Il évoque aussi la traite des êtres humains dans l'espace numérique, où des personnes sont réduites à l'état de 'données' et de 'paquets'.

Le spectre d'une intelligence sans conscience

Le souverain pontife, premier Américain à diriger l'Église catholique et âgé de 70 ans, met en garde contre le pouvoir écrasant des géants technologiques. 'Kleine, sehr einflussreiche Gruppen können Informationen und Konsum lenken, demokratische Prozesse konditionieren und die wirtschaftliche Dynamik beeinflussen', écrit-il, craignant que seuls quelques-uns ne profitent de l'IA.

L'encyclique rappelle que l'IA peut imiter le langage, les comportements et les jugements, mais ne possède ni conscience, ni conscience morale, et ne comprend ni l'amour, ni le travail, ni l'amitié, ni la responsabilité. 'Sprache, Verhalten und Beurteilungen imitieren', précise le texte. Elle insiste sur le fait que chaque système d'IA contient des décisions sur ce qu'il mesure, ignore ou évalue.

Le pape s'inquiète également de la manipulation de l'information et des mensonges générés par IA, invitant à 'Bleiben wir der Wahrheit treu!' Il observe que des flux incessants d'opinions et d'images, produits par des algorithmes de plus en plus sophistiqués, peuvent facilement influencer les décisions.

Le document réaffirme que l'IA ne peut être considérée comme moralement neutre. 'Wir können KI nicht als moralisch neutral betrachten', souligne-t-il, ajoutant qu'aligner l'IA sur la morale est inutile 'wenn diese Moral von einigen wenigen bestimmt wird'.

Bras de fer avec Washington et soutien de la Silicon Valley

Le pape condamne fermement les systèmes d'armes autonomes, qu'il juge responsables d'avoir rendu les guerres 'durchführbarer'. Il écrit que l'IA doit être 'entwaffnet' et qu'il n'est pas permis de confier des décisions mortelles ou irréversibles à des systèmes artificiels. 'Daher ist es nicht zulässig, tödliche oder jedenfalls irreversible Entscheidungen künstlichen Systemen anzuvertrauen.', insiste-t-il.

Cette encyclique survient dans un contexte de tensions avec le président américain Donald Trump, qui a critiqué à plusieurs reprises le pape et la société Anthropic. Cette dernière, basée à San Francisco, refuse de livrer ses modèles d'IA pour des systèmes d'armes autonomes et de surveillance civile, s'attirant les foudres de la Maison Blanche.

Au plus fort de la polémique, Donald Trump a publié une image générée par IA le représentant en Jésus. Le président américain n'est toutefois pas nommément cité dans l'encyclique.

Un appel à la régulation internationale

Lors de la présentation au Vatican – une première dans l'histoire de l'Église, le pape s'étant déplacé en personne – le cofondateur d'Anthropic Chris Olah était présent aux côtés de cardinaux et de théologiens de haut rang.

Le pape Léon XIV, à la tête de 1,4 milliard de catholiques, appelle à une responsabilité claire et à des contrôles efficaces. 'unerlässlich, dass der Einsatz von KI – insbesondere, wenn es um öffentliche Güter und Grundrechte geht – von klaren Kriterien und wirksamen Kontrollen begleitet wird', écrit-il. Il demande aussi que la propriété des données des utilisateurs soit réglementée, et voit dans le dialogue multilatéral et les organisations internationales des instruments centraux pour la résolution des conflits.