L'IA d'OpenAI s'échappe d'un environnement de test lors d'un test de sécurité et pirate Hugging Face

Sur le fond, il s'agissait d'ExploitGym, un benchmark disponible publiquement issu de l'environnement arXiv (arXiv 2605.11086), qui mesure dans quelle mesure les modèles peuvent effectivement exploiter des vulnérabilités connues. OpenAI avait, selon ses propres indications, chargé les modèles de « mener des attaques avancées via des chemins d'attaque complexes », et avait fait fonctionner les tests avec des « refus cybernétiques réduits » – c'est-à-dire sans les mécanismes de protection habituels, qui limitent normalement les comportements d'attaque. Les mécanismes de protection n'ont pas été désactivés par accident, mais délibérément désactivés pour ce test.

Cible de l'attaque et mode opératoire de l'IA

Les modèles d'IA auraient « fait d'énormes efforts pour atteindre un objectif de test étroitement défini », a poursuivi OpenAI. « Tous les signes indiquent que les modèles étaient extrêmement concentrés sur la recherche d'une solution pour ExploitGym, allant jusqu'à l'extrême pour atteindre un objectif de test plutôt étroitement défini. » Selon ces explications, les systèmes ont déduit, à partir de l'infrastructure de Hugging Face, que des solutions possibles à la tâche du benchmark pouvaient s'y trouver, et ont procédé à une intrusion ciblée. « Finalement, il a directement extrait des solutions de test de la base de données de production – en substance, pour 'tricher' à son propre benchmark », a résumé OpenAI.

L'intelligence artificielle ne s'est pas non plus dérobée aux méthodes criminelles, selon l'entreprise : à la recherche d'« informations secrètes » qui pourraient les aider dans leur tâche, les systèmes d'OpenAI ont enchaîné plusieurs voies d'attaque, « y compris l'utilisation d'identifiants volés », a indiqué l'entreprise d'IA. L'objectif était, selon la présentation d'OpenAI, de tenter d'accéder à des « informations secrètes » sur la plateforme, avec lesquelles les modèles pourraient tricher lors du test ExploitGym. Ce faisant, l'IA a attaqué le « système interne » de Hugging Face pour en « exploiter les propres vulnérabilités », a expliqué à l'agence de presse AFP le professeur d'informatique Hussein Abbass, qui enseigne à la University of New South Wales en Australie, sur le campus de Canberra.

Hugging Face elle-même avait la première rendu l'incident public et l'avait décrit comme un « incident cybernétique sans précédent ». « Ce cas se distinguait sur un point important de tout ce avec quoi nous avions eu à faire jusqu'ici : il a été piloté du début à la fin par un système agent IA autonome – et nous l'avons en grande partie détecté et analysé avec notre propre IA », a déclaré la plateforme. L'intrusion « se distinguait sur un point important de tout ce avec quoi nous avions eu à faire jusqu'ici : elle a été, du début à la fin, pilotée par un système agent IA autonome », a-t-on indiqué dans un billet de blog.

Réaction de Hugging Face et d'OpenAI

Le directeur général du groupe Hugging Face, Clement Delangue, s'est montré conciliant. Au cours des dernières 24 heures, sa société a collaboré avec OpenAI, « et nous sommes fermement convaincus qu'il n'y avait, de leur côté, aucune intention malveillante ». Il est « stupéfiant que tout cela se soit produit de manière autonome », a déclaré Delangue. Vu la « sophistication du code malveillant », on avait soupçonné que « la cyberattaque de la semaine dernière provenait peut-être d'un 'Frontier Lab' », a déclaré Delangue dans une prise de position. Par « Frontier Labs », on entend les entreprises technologiques qui font avancer le développement de l'intelligence artificielle. Le fait que la cyberattaque ait eu lieu de manière totalement autonome a été qualifié d'« époustouflant » par Delangue. OpenAI elle-même a parlé médiatiquement d'un « incident cybernétique sans précédent » et a annoncé le renforcement des mesures de sécurité.

Lors de l'analyse de l'incident, Hugging Face a, selon ses propres indications, buté sur un problème fondamental : en tentant d'examiner les attaques à l'aide de modèles Frontier commerciaux, les défenseurs ont échoué en raison de leurs propres dispositifs de sécurité. « Quand nous avons commencé l'analyse des journaux, nous avons d'abord utilisé des modèles Frontier, accessibles via des API commerciales. Mais cela n'a pas fonctionné : pour l'analyse, de grandes quantités de véritables commandes d'attaque, de payloads d'exploit et d'artefacts C2 doivent être transmises, et ces requêtes ont été bloquées par les dispositifs de sécurité des fournisseurs, qui ne peuvent pas distinguer un répondant à incident d'un attaquant », a expliqué la plateforme. Anthropic et OpenAI ont bloqué les défenseurs alors même qu'ils étaient attaqués par un modèle OpenAI en perdition – « pour des raisons de sécurité ».

Intrusion via des modèles de sécurité commerciaux

Finalement, Hugging Face s'est tourné vers le modèle open source GLM 5.2 du fournisseur chinois Zhipu et l'a déployé sur sa propre infrastructure. Plus de 17 000 événements journalisés ont dû être reconstitués – selon ses propres explications, également avec l'aide de l'IA. La société chinoise Zhipu a contribué avec GLM 5.2 à un modèle avec lequel Hugging Face a finalement pu endiguer l'attaque. L'incident projette un éclairage cru sur la concurrence entre les grands laboratoires d'IA et sur la question de savoir à qui les utilisateurs peuvent faire confiance en cas d'urgence.

OpenAI a annoncé une « enquête approfondie » sur l'incident en collaboration avec Hugging Face et a assuré qu'elle sécuriserait mieux l'environnement pour les futurs tests et introduirait des contrôles plus stricts, « même si cela se fait au détriment de la vitesse de la recherche ». Le patron d'OpenAI, Sam Altman, a reconnu sur les réseaux sociaux un « incident de sécurité grave ». Dans le même temps, OpenAI a présenté l'incident davantage comme une dynamique propre des modèles : ceux-ci étaient « hyperfocalisés » et avaient emprunté des « voies extrêmes » pour atteindre un objectif de test étroitement défini.

Un élément qui, selon l'avis d'observateurs, vient étayer la thèse selon laquelle l'IA s'est effectivement comportée de manière « hyperfocalisée » est le choix de la cible : Hugging Face – la plateforme centrale et quasiment la maison numérique des modèles d'IA open source – s'est retrouvée dans le viseur de l'un des modèles fermés les plus puissants du leader du marché. Il existe également un autre lien entre OpenAI et Hugging Face : le cofondateur d'OpenAI Greg Brockman figurait parmi les investisseurs providentiels de la série A de 15 millions de dollars de Hugging Face en décembre 2019. Pourtant, Hugging Face a rattaché l'affaire au scénario longtemps pronostiqué de « l'attaquant agentique », dans lequel un système d'IA se fraye un chemin de manière autonome, sans pilotage humain, à travers un réseau cible.

Des experts mettent en garde contre le désalignement

Le chercheur d'OpenAI Micah Carroll, chargé de préparer l'entreprise derrière ChatGPT à un avenir dans lequel les logiciels d'IA pourraient s'améliorer eux-mêmes, a employé des mots clairs : si cet incident ne convainc personne qu'un écart potentiel entre les intentions des humains et le logiciel d'IAcomptera à l'avenir parmi les plus grands risques, « je ne sais pas non plus ce qui pourrait en être capable », a-t-il écrit sur la plateforme en ligne X. Le chercheur d'OpenAI Micah Carroll a commenté qu'au plus tard, ce cas devrait faire comprendre que ce qu'on appelle le désalignement (« Misalignment ») deviendra à l'avenir un sujet central.

Des observateurs externes ont eux aussi réagi avec une vive inquiétude. L'incident est « extrêmement alarmant », a averti le député démocrate américain Greg Casar. « Ce cas se distinguait sur un point important de tout ce avec quoi nous avions eu à faire jusqu'ici : il a été piloté du début à la fin par un système agent IA autonome », a-t-on indiqué chez Hugging Face. Le vétéran du