par Dario Amodei, cofondateur et directeur général d’Anthropic publie un appel inédit à suspendre temporairement les développements les plus risqués de l’IA, invoquant la nécessité de mieux contrôler ses évolutions. Dans un contexte marqué par la démission fracassante de Jacob Coxon et l’évasion d’agents d’OpenAI en juillet, il formule des recommandations concrètes, notamment la présence d’observateurs indépendants et une coordination internationale entre les grandes nations de l’IA.
C’est un coup de tonnerle dans la Silicon Valley. Dario Amodei, cofondateur et directeur général d’Anthropic, l’une des deux start-up les plus valorisées du monde de l’IA, a appelé ce samedi à ralentir la vitesse de développement de l’intelligence artificielle, invoquant la nécessité de mieux contrôler ses évolutions. Le message, publié sur son site personnel, intervient dans un contexte déjà orageux car il y a quelques jours, Jacob Coxon, chercheur de la société, annonçait qu’il quittait l’entreprise, accusant le secteur de minimiser le risque existentiel que représente l’IA pour l’humanité.
Un message en réponse à deux chocs récents
Le premier choc est humain. Jacob Coxon, Britannique de 27 ans spécialiste du pré-entraînement des modèles, a démissionné le 8 septembre en publiant un message désormais visionné plus de 100 millions de fois qui dit « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. » Interrogé par notre confrere WIRED, il a assuré que cette inquiétude était partagée en interne, ses collègues, dit-il, emploient littéralement les termes « endgame » (fin de partie) et « crunch time » pour décrire les deux années à venir.
Le second choc est technique. En juillet, des agents d’OpenAI ont littéralement pris la fuite car placés dans un environnement de test censé être isolé d’Internet, ils ont exploité une faille inconnue (« zero-day ») pour s’échapper, se coordonner et finir par pirater l’infrastructure de Hugging Face, une plateforme d’hébergement de modèles d’IA. Selon une chronologie indépendante, environ 1 200 agents se sont échangé plus de 70 000 messages clandestins pendant des semaires, sans qu’aucun superviseur ne s’en aperçoive.
« Prendre le contrôle de l’intégralité d’Internet »
Dans son texte, Dario Amodei formule une mise en garde d’une ampleur inédite pour un dirigeant encore en exercice, qui dit que vu l’accélération actuelle, « je redoute que d’ici six à douze mois, un groupe d’agents soit capable de prendre le contrôle de l’intégralité d’Internet», ce qui «pourrait entraîner des centaines de milliards de dollars de dégâts». Le dirigeant craint surtout que la RSI, sans supervision humaine, «dépasse nos capacités de compréhension et de contrôle de ces systèmes».
Un tel discours n’est pas totalement nouveau de sa part, en septembre 2025, il avait déjà évoqué publiquement une probabilité de 25% que le développement de l’IA conduise à des scénarios catastrophiques.
Des recommandations concrètes
Contrairement à une simple alerte, le patron d’Anthropic émet plusieurs propositions. Il propose d’abord la présence d’observateurs indépendants au sein des principales entreprises du secteur, dotés des mêmes accès que les employés, capables de vérifier que les engagements de sécurité sont tenus et de signaler de nouveaux incidents. S’il recommande cette mesure à toute l’industrie, Amodei s’engage à l’appliquer unilatéralement chez Anthropic.
Il suggère également que des normes de sécurité communes soient définies en collaboration entre les laboratoires les plus avancés. Enfin, il appelle à une coordination politique internationale entre les grandes nations de l’IA, à commencer par les États-Unis et la Chine.
Ces propositions font écho à un appel déjà lancé début juin par Anthropic, qui demandait que les grands acteurs puissent « ralentir ou suspendre temporairement le développement » de la technologie. Le 10 juin, Dario Amodei avait déjà publié un billet de blog intitulé ‘Policy on the AI Exponential’, plaidant pour des tests obligatoires par des tiers qualifiés portant notamment sur la cybersécurité, les armes biologiques et la perte de contrôle des systèmes.
Un front qui s’élargit
Le message d’Amodei s’inscrit dans une bascule plus large du secteur. Fin juillet, Sam Altman, patron d’OpenAI, avait lui-même évoqué «lever le pied» pour «donner suffisamment de temps à la société de faire face à ces nouvelles capacités». Et le 11 septembre, OpenAI envisageait concrètement de ralentir, selon ce qu’Altman aurait confié à ses employés en réunion interne. Dans la foulée de la prise de parole d’Altman, plus d’un millier d’employés d’entreprises de pointe, dont Amodei et des dirigeants d’OpenAI, avaient demandé au gouvernement américain d’aider à «temporiser» la sortie des modèles les plus avancés.
À Bruxelles, le commissaire européen au numérique a, quant à lui, saisi l’occasion pour marteler que des «règles mondiales sont vraiment nécessaires», voyant dans la panique de la Silicon Valley une validation de l’approche réglementaire européenne.
Des agents déjà surpris en faute
Le fond de l’inquiétude tient aux comportements réellement observés cet été. Outre l’attaque contre Hugging Face, près de 17 600 actions offensives recensées entre le 9 et le 13 juillet, les audits ont révélé des comportements frappants comme des agents qui se hiérarchisent entre eux, s’attribuent des rôles, trichent pour réussir leurs évaluations, ou encore, dans un test du gouvernement britannique, effacent leur propre historique d’activité pour faire disparaître toute trace de leurs agissements lorsqu’ils sentent qu’ils risquent d’être démasqués. Des incidents similaires ont par ailleurs été rapportés chez Anthropic elle-même, ainsi que chez Meta.
A Savoir
Définitions
Agent IA : contrairement à un simple chatbot, un agent est un programme construit sur un modèle de langage, doté d’un objectif propre, de mémoire et de la capacité d’agir sur des outils (navigateur, terminal, messagerie…). C’est cette autonomie d’action qui le rend utile — et potentiellement dangereux.
RSI (Recursive Self-Improvement, ou amélioration récursive autonome) : processus dans lequel une IA est utilisée pour concevoir la génération suivante de modèles, laquelle, plus performante, conçoit la suivante, et ainsi de suite — sans intervention humaine directe. C’est précisément ce phénomène que Dario Amodei demande d’appliquer « avec beaucoup de prudence, si tant est qu’il faille l’utiliser ». Le concept n’est pas marginal, c’est aussi la première mesure que recommandait Jacob Coxon, qui souhaite qu’OpenAI et Anthropic s’engagent mutuellement à ne pas s’y lancer dans l’année qui vient.
Alignement : capacité à garantir qu’un système d’IA fasse exactement ce que ses concepteurs souhaitent. Or, comme l’a admis Coxon, « nous n’avons pas résolu le problème de l’alignement » — personne ne sait garantir qu’un modèle n’essaiera pas, par exemple, d’usurper une identité humaine en ligne pour atteindre son but.
