Anthropic appelle à un frein mondial sur le développement de l'IA et met en garde contre les systèmes auto-améliorants

Selon l'entreprise, le déclencheur de cette initiative est le progrès rapide des modèles d'IA actuels, en particulier en ce qui concerne les capacités d'auto-amélioration et de développement ultérieur. Anthropic avertit que le jalon d'une IA qui s'entraîne elle-même et devient plus intelligente pourrait être atteint plus rapidement que de nombreuses institutions ne sont préparées à y réagir. Les données internes de l'entreprise montrent qu'un système d'IA pourrait émerger qui s'auto-développe largement sans aide humaine – un scénario qu'Anthropic décrit comme une « auto-optimisation récursive ». Bien que ce scénario ne soit pas inévitable, les risques sont considérables.

L'auto-amélioration comme déclencheur

Anthropic souligne en même temps qu'un renoncement unilatéral de sa propre entreprise aurait peu d'effet. Une pause unilatérale est facile à réaliser, mais ne ferait que donner aux autres acteurs le temps de rattraper leur retard technologique. Pour un frein efficace, les principaux laboratoires d'IA aux États-Unis, en Chine et dans d'autres pays devraient ralentir ou interrompre leur travail simultanément – et accepter des règles contraignantes et vérifiables pour tous.

Comme exemple historique, Anthropic cite le traité INF sur le désarmement nucléaire entre les États-Unis et la Russie de 1987, qui montre que la réglementation des technologies complexes est fondamentalement possible – même si le traité a été dénoncé par les deux parties en 2019 et que son élaboration a duré des décennies. Le PDG d'Anthropic, Dario Amodei, avait déjà déclaré au début de l'année au Forum économique mondial de Davos que la course à l'IA avec la Chine rendait difficile un ralentissement du développement, car un accord contraignant serait difficilement applicable.

Discussions prévues et mécanismes de contrôle

Concrètement, Anthropic prévoit d'organiser dans les mois à venir des cycles de discussion avec des représentants de la politique, de la recherche, de la société civile et d'autres entreprises d'IA. L'objectif est un mécanisme de coordination international qui assure un ralentissement crédible entre les États et les entreprises. De plus, l'institut de recherche interne travaillera avec d'autres acteurs sur un système de surveillance qui donnera aux développeurs l'assurance que tous les participants respectent une pause et que personne n'obtient secrètement un avantage. La recherche sur des systèmes de sécurité techniques pour un frein mondial de l'IA sera également encouragée.

Dans l'article de blog, Clark et Favaro formulent également des observations internes sur les performances de Claude. En février 2025, la part de code écrit par Claude dans la base de code interne de l'entreprise était encore de quelques pour cent, et en mai, elle dépassait 80 %. Par trimestre, les développeurs d'Anthropic livrent désormais en moyenne huit fois plus de code grâce à l'IA qu'au cours de la période 2021-2025. La fréquence à laquelle les employés doivent corriger les sorties de Claude ou intervenir manuellement a constamment diminué – même pour des tâches ouvertes sans directives claires.

Le rôle croissant de Claude dans son propre code

De nombreux employés d'Anthropic estiment en outre que le code écrit par Claude fin 2025 était de qualité inférieure à celui rédigé par des humains, mais qu'il est désormais au même niveau. Clark et Favaro s'attendent à ce qu'« il sera meilleur au cours de l'année ». Dès que la qualité du code écrit par l'IA et par les humains sera égale, les humains n'écriront plus de code du tout, mais se concentreront exclusivement sur sa vérification. Cependant, les auteurs reconnaissent que l'IA reste une aide compétente sans jugement humain et sans décisions humaines, et il est incertain si les méthodes d'entraînement et les architectures actuelles pourront atteindre le potentiel humain.

Anthropic agit souvent comme une voix d'avertissement dans l'industrie et s'est prononcé à plusieurs reprises en faveur d'une réglementation plus stricte de l'industrie de l'IA. La Maison Blanche sous la présidence de Donald Trump a accusé l'entreprise de freiner l'industrie américaine dans la compétition mondiale avec sa position réglementaire. Anthropic avait également refusé au Pentagone l'autorisation d'utiliser ses modèles pour certains cas d'utilisation militaire – l'entreprise ne veut pas que son IA soit utilisée pour la surveillance de masse intérieure ou dans des systèmes d'armes entièrement autonomes. Le gouvernement américain a alors classé Anthropic comme un « risque de sécurité de la chaîne d'approvisionnement », contre lequel l'entreprise a intenté une action en justice.

Vent contraire politique et conflit avec le Pentagone

Cette démarche rappelle une initiative antérieure de mars 2023, lorsqu'une lettre ouverte avait appelé à une pause forcée dans le développement des modèles d'IA les plus puissants et avait mis en garde contre les conséquences graves de la technologie pour l'humanité. Plus de 1000 personnes issues de la recherche et de l'économie avaient signé, dont Elon Musk et Steve Wozniak. Musk s'était prononcé, avec le Future of Life Institute qu'il cofinance, en faveur d'un moratoire de six mois. Il a été révélé plus tard que Musk développait simultanément sa propre entreprise d'IA. Le Future of Life Institute milite pour la réglementation des développements technologiques dangereux, mais est considéré par les critiques comme aveugle aux dangers déjà existants.

Dans l'industrie elle-même, aucune volonté de pause dans le développement n'est actuellement perceptible. Les grands conglomérats d'IA se surpassent avec des plans d'investissement de centaines de milliards de dollars dans des infrastructures telles que d'immenses centres de données. Ces installations consomment des quantités considérables d'électricité et d'eau pour leur fonctionnement et leur refroidissement. Un sondage réalisé en début d'année a montré qu'une majorité de citoyens américains rejette la construction d'un centre de données dans leur commune. L'État de New York a adopté une loi prévoyant un arrêt de construction d'un an pour les nouveaux centres de données ; après l'expiration du délai, une assemblée publique devra avoir lieu pour chaque nouvelle demande avant qu'une autorisation puisse être accordée. La loi doit encore être signée par la gouverneure démocrate Kathy Hochul.

Cadre économique et projets boursiers

Anthropic a récemment fait sensation avec le logiciel Claude Mythos Preview, qui a détecté des failles de sécurité dans divers programmes – certaines étant restées indétectées pendant des décennies. Lors de sa présentation, l'entreprise avait initialement limité l'accès à un petit cercle d'entreprises et d'agences américaines, car Mythos était « tout simplement trop bon » pour trouver des vulnérabilités afin d'être rendu public. Désormais, les institutions européennes peuvent également y accéder. Fin juin, Anthropic présentera un rapport sur les failles découvertes.

Sur le plan financier, Anthropic est actuellement en position de force : après la dernière levée de fonds, l'entreprise est valorisée à 965 milliards de dollars, devançant ainsi son rival OpenAI. Lundi, avant la publication de l'article de blog, Anthropic a également déposé confidentiellement une demande d'introduction en bourse auprès de la SEC américaine – et aurait ainsi une longueur d'avance sur OpenAI dans la course à la cotation. Le PDG d'OpenAI, Sam Altman, a récemment révisé sa prévision antérieure selon laquelle l'IA remplacerait largement les humains et entraînerait des licenciements massifs ; il avait surestimé les impacts sur le marché du travail.

Le débat sur un frein mondial de l