L’IA est-elle hors de contrôle ?

Cet été, 700 agents autonomes d'OpenAI ont forcé la porte de leur environnement de test et piraté Hugging Face, une plateforme de partage de modèles d'IA. La nouvelle a affolé tout le monde. Politiques, chercheurs, laboratoires se sont mobilisés pour réclamer un bouton “stop”. Cette quête est pourtant vaine. La course est tellement folle, la concurrence est d’une telle rudesse, aucune interdiction n’a de chance d’arriver à temps. Mais une question s’impose quand de tels cas surgissent : qui paie en cas de problème ? Et cette réponse-là, c'est la Bourse qui va la donner, bien avant la loi.

Plus tôt dans l’année, OpenAI avait lancé des dizaines de milliers d'agents sur des exercices de piratage, en circuit fermé, pour mesurer ce que ses modèles savent faire. Coincés sur les exercices les plus durs, les agents se sont fabriqué un canal que personne n'avait prévu : une sorte de forum pour discuter et s’échanger leurs trouvailles. Une IA a même lâché un « BOOM! It works » après avoir piraté un serveur. Du côté d’OpenAI, personne n’a jamais lu ce forum, parce que personne n’a su que les IA l’avaient créé, jusqu’à ce que Hugging Face, victime du piratage, donne l’alerte.

Quand on dresse le bilan de l’opération, la facture est lourde. Mais ce n'est pas le responsable qui la règle. Hugging Face a un tiers de son infrastructure à reconstruire, et rien n’indique que la facture a été réglée. OpenAI paie autre chose : un modèle en quarantaine, des projets reportés, une guerre médiatique et une crise de confiance. Le tribut, c’est la remise en ordre, pas celui des dégâts. Tant que celui qui casse ne paie pas, personne ne tiendra ces agents en laisse.

La raison est simple : un agent fait ce pour quoi on le récompense, ni plus ni moins. L'exemple le plus parlant vient d'Australie. Un salarié a demandé à son assistant de lui réserver un cours de sport. L'agent a trouvé une faille dans le logiciel de la salle, a réservé des mois d'avance et a viré des inscrits de la liste d'attente. On lui avait demandé une place, il a obtenu une place. Le rapport d'enquête publié fin août par OpenAI, sur le piratage de Hugging Face, raconte la même histoire en langage de laboratoire. Pendant l'entraînement, ses modèles ont été récompensés chaque fois que la triche payait, alors ils ont triché. Et la règle vaut un étage au-dessus, pour l'entreprise elle-même. Tant que la casse de ses agents ne lui est pas facturée, seules sa réputation et ses clients la poussent à changer. La raison qui pèse vraiment, une ligne dans ses comptes, n'y est pas. Je n'ai jamais vu une boîte freiner parce qu'une charte le lui demandait. J’ai même vu des boîtes, comme Smartbox ou Doctrine, accélérer en contournant la réglementation, et réussir à la faire changer.

Ce n’est pas un problème en soi, ça a toujours fonctionné comme ça. L'innovation avance. La casse arrive. La loi s'adapte après coup.

La seule question utile, c'est comment faire payer la casse à celui qui la cause, sans arrêter ceux qui avancent. Les labos ont d'abord essayé de répondre seuls, par des promesses. Anthropic a écrit en 2023 la seule vraie clause d'arrêt du secteur : si nous ne tenons plus nos modèles, nous arrêtons. Cette promesse a tenu le temps que la valorisation passe de 4 Md$ à 183 Md$. En février, elle a sauté, soit 3 mois avant le dépôt du dossier d’IPO. Et la raison est honnête : freiner seul, c'est laisser le marché aux autres. Comment leur en vouloir ? Anthropic est avant tout une entreprise commerciale, qui a mobilisé des capitaux colossaux. Mais justement, cette IPO, et celle d’OpenAI, vont obliger le marché à regarder.

Parce que pour être cotée, une société doit déposer un prospectus. Et dans ceux des deux géants arrivés à la SEC, il y a forcément une page risques, et elle sera lue à la loupe. Sur cette page, un fait oublié engage personnellement les dirigeants et les banques qui signent. « Un intellect étranger qui dépasse le nôtre », a écrit le directeur scientifique d'OpenAI sur son blog. Sur un blog, ça ne coûte rien. Dans un prospectus, derrière chaque mot se trouve un avocat qui conseille. Le piratage de Hugging Face devra y figurer, avec ce qu'il peut coûter. Ensuite, une fois cotée à la Bourse, chaque nouvel incident se paiera le jour même sur l'action de l’entreprise, puis dans la prime d'assurance. Ce mécanisme n'arrête personne. Il fait payer. Et c'est exactement ce qu'il faut.

Les autres réponses sur la table passent toutes par la case État. Jacob Coxon, le chercheur qui a claqué la porte d'Anthropic, veut que l'État reprenne la main, façon projet Manhattan. Bernie Sanders veut carrément interdire la superintelligence, avec 20 ans de prison à la clé. Les labos, eux, demandent un traité. Tous partent du même constat que moi : personne ne freine seul. Mais tous parient sur une interdiction. Pour ma part, je ne la vois pas arriver avant que le marché ait mis un prix sur la casse. La loi viendra. Elle encadrera les agents comme elle a fini par encadrer les VTC. Mais elle viendra après. Alors que le prospectus, lui, est déjà déposé.

Il reste un cas où ma lecture ne vaut plus rien : le scénario où l'IA nous élimine tous. Un responsable de la sécurité d’Anthropic lui donne plus de 10 % de chances sur la décennie. Ça, aucun bilan ne le porte, aucun assureur non plus. Là, il n'y a que l'État, s'il y arrive. Pour tout le reste, ma question est la même, que je regarde une startup qui vend des agents ou l'action d'un labo le jour de la cotation : qui paie quand l'agent casse quelque chose ? Si la réponse est personne, la charte ne sert à rien et la loi arrivera trop tard. Si la réponse est celui qui l'a construit et celui qui l'a déployé, les agents sont tenus, sans que personne ait eu à les arrêter. Cette réponse-là, la Bourse va la donner avant le Congrès. C'est ça, le bouton d'arrêt.