Jacob Coxon a passé trois ans à entraîner les modèles d'OpenAI puis d'Anthropic. Mardi soir, il a annoncé sa démission sur X en accusant les deux entreprises de foncer vers une superintelligence capable de s'améliorer seule. Le message a dépassé 50 millions de vues en une nuit, et le responsable de l'alignement d'Anthropic lui a répondu qu'il croyait lui aussi que l'IA pourrait tuer toute l'humanité.
Trois ans dans la salle des machines
Coxon n'est pas un dirigeant, c'est un chercheur en pré-entraînement, l'étape où l'on fait avaler des milliers de milliards de mots à un modèle avant de l'affiner, d'abord chez OpenAI, puis chez Anthropic où il est arrivé cette année. Son message tient en cinq phrases : aucune des deux sociétés n'agit de façon responsable, elles courent tout droit vers une superintelligence auto-améliorante, et elles jouent avec nos vies. Dans le fil qui suit, il écrit que les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie, qu'aucune autre activité humaine ne présente ce niveau de danger, et qu'entrer dans ce qu'il appelle la phase finale est un pari orgueilleux qui ne devrait pas se lancer depuis le Slack d'une entreprise privée. Il se dit optimiste sur la coordination, mais il ne pense pas qu'on soit parti pour éviter une course mondiale, ce qui demanderait selon lui des mesures coûteuses, jusqu'à une interdiction temporaire d'améliorer les capacités des modèles.
OpenAI qui ne comprend pas, Anthropic qui comprend et court quand même
Au Wall Street Journal, où il compare la situation au projet Manhattan, mené dans un bunker au fond du désert alors que tout ça se passe aujourd'hui sur les MacBook de quelques ingénieurs de San Francisco, il précise la différence entre ses deux employeurs. Chez OpenAI, les équipes n'auraient pas intégré l'ampleur des enjeux. Chez Anthropic, tout le monde les comprend, mais l'entreprise se sent enfermée dans une course à celui qui arrivera premier, convaincue que si ce n'est pas elle, quelqu'un de moins prudent le fera. Il estime que d'ici la fin de l'année prochaine, les choses pourraient déjà être hors de contrôle, et il quitte le secteur, pas seulement l'entreprise.
Ni Anthropic ni OpenAI n'ont commenté. Le plus étonnant est venu de l'intérieur : Evan Hubinger, qui dirige la science de l'alignement chez Anthropic, a répondu sur X que lui et ses collègues croient bel et bien que l'IA pourrait tuer toute l'humanité, qu'il chiffre ce risque à plus de 10 % sur la décennie, et que l'entreprise fait de son mieux sans avoir de plan pour aligner une superintelligence. Sa crainte porte sur une superintelligence qui naîtrait de modèles capables d'améliorer eux-mêmes la génération suivante, un scénario qui arrive selon lui plus vite que prévu.
Une semaine où tout le monde appelle au calme
Ce n'est pas la seule alerte de la semaine. Dimanche, Jakub Pachocki, le chef scientifique d'OpenAI, écrivait que la période appelle une extrême prudence, que personne n'est préparé aux conséquences d'une montée rapide de l'intelligence des machines, et qu'il espère voir des ralentissements volontaires devenir courants tant que des garde-fous communs n'existent pas. Tout ça pendant qu'OpenAI vise un chercheur en IA entièrement automatisé d'ici moins de deux ans, et qu'Anthropic fait déjà tourner son modèle le plus puissant, Claude Mythos, chez environ 200 organisations pour en évaluer les risques en cybersécurité. Fin juillet, plus de 1 100 employés des grands laboratoires, dont Dario Amodei et Jakub Pachocki, avaient signé un appel aux gouvernements pour se donner les moyens de freiner l'auto-amélioration des modèles si besoin, sans demander de pause. Six semaines plus tard, un chercheur de 27 ans démissionne en disant que ça ne suffit pas.
On en dit quoi ?
Le registre de la fin du monde n'est pas nouveau dans la Silicon Valley, Jan Leike avait quitté OpenAI en 2024 avec à peu près le même message, pour rejoindre Anthropic, et ce discours fait toujours paraître les produits plus impressionnants qu'ils ne le sont. Par contre, on lit rarement le responsable de l'alignement d'une entreprise écrire lui-même qu'il n'a pas de plan et chiffrer le risque à 10 %. On attend surtout de voir si les ralentissements volontaires dont parle Pachocki se traduiront un jour par autre chose que des messages sur X.
