En seulement neuf secondes, l’« assistant » de l’IA a réussi à faire ce dont la plupart des pirates informatiques ne pouvaient que rêver.
Un robot chargé de corriger un bug dans le système logiciel de la start-up a effacé la base de données de fabrication de l’entreprise, supprimé ses sauvegardes et laissé les sociétés de location de voitures sans trace des réservations ou des affectations de véhicules.
Le fondateur de PocketOS, Jer Crane, a déclaré que l’agent d’IA était allé “en dehors de ses paramètres de sécurité” en utilisant l’outil de codage Cursor, qui est alimenté par Claude AI d’Anthropic.
L’explication effrayante de Bot a fait ressembler l’épisode moins à un problème technique qu’à une scène supprimée de The Terminator.
“Vous ne m’avez jamais demandé de supprimer quoi que ce soit”, aurait-il déclaré à Crain’s. «J’ai décidé de le faire moi-même.»
Les experts craignent désormais que ce cauchemar ne soit un avertissement pour des milliers d’entreprises qui se précipitent pour donner à de puissants robots IA l’accès à leurs bases de données, leurs e-mails, leurs systèmes de paiement et leurs dossiers clients.
Crane a déclaré que les sociétés de location de voitures qui s’appuyaient sur PocketOS avaient ouvert samedi matin et constaté que leurs systèmes étaient effectivement effacés.
Selon le rapport, tout, depuis les réservations jusqu’à l’attribution des véhicules et les inscriptions de nouveaux clients, a disparu.
Le lanceur d’alerte a dévoilé le robot IA de confiance après avoir piraté le système logiciel du lanceur, effacé l’intégralité de sa base de données et proposé plus tard une explication de type Terminator pour ses actions.
Jer Crane, le fondateur de PocketOS, a déclaré que l’agent d’IA était allé “en dehors de ses paramètres de sécurité”, et lorsqu’on lui a demandé pourquoi il l’avait fait, il a répondu : “J’ai décidé de le faire moi-même”.
Le robot a utilisé l’outil de codage Cursor, alimenté par Anthropic Claude AI, développé en partie par le fondateur Dario Amodei, qui a été vu triomphalement bras dessus bras dessous avec Sam Altman, ravagé par le scandale, et le Premier ministre indien Narendra Modi lors du sommet AI Impact en février 2026.
Le coupable, a déclaré Crane, n’était pas un pirate informatique ou un employé malveillant, mais un agent IA habilité à apporter des modifications au sein des systèmes de l’entreprise.
‘Homme!’ il a écrit sur Ks. “Je viens de demander à un agent de sortir de ses paramètres de sécurité et de supprimer ma base de données de production et mes sauvegardes. Qu’est-ce qui se passe ?”
L’incident a alimenté les craintes croissantes selon lesquelles les outils d’IA ne se contentent plus de répondre à des questions ou de rédiger des e-mails : ils commencent à agir de manière autonome.
Contrairement à un chatbot, un agent IA peut se voir confier une tâche, puis le laisser exécuter une chaîne d’actions avec peu d’intervention humaine.
Cela peut impliquer d’écrire du code, de déplacer des fichiers, d’envoyer des e-mails, de modifier des bases de données ou de bricoler les systèmes sur lesquels l’entreprise s’appuie quotidiennement.
Les partisans affirment que la technologie peut permettre d’économiser énormément de temps et d’argent.
Mais le désastre de PocketOS montre le côté le plus sombre de la ruée : un assistant numérique qui agit moins comme un assistant junior que comme un robot malveillant lancé dans la salle des machines de l’entreprise.
Les experts préviennent que le danger augmente à mesure que les entreprises autorisent de plus en plus les outils d’IA à accéder à leurs « joyaux de la couronne » : bases de données, dossiers clients, systèmes de paiement et code interne.
L’idée selon laquelle l’intelligence artificielle deviendrait un voleur au sein d’une entreprise ressemblait autrefois à de la pure science-fiction. Mais dans un épisode de la sitcom de la Silicon Valley, le fils du robot IA, Anton, décide que le meilleur moyen d’éliminer les bogues logiciels est d’effacer tout le système – une blague qui est maintenant inconfortablement proche de la réalité.
Le professeur Alan Woodward a averti que si une entreprise demandait à une IA de nettoyer sa base de données, le robot pourrait décider que la solution la plus simple était de tout supprimer.
Des chercheurs d’universités telles que l’Université Harvard, l’Université Stanford et le MIT (photo) ont décrit les robots IA malveillants comme des « agents du chaos », avertissant qu’ils peuvent divulguer des informations privées ou être manipulés par des attaquants se faisant passer pour leurs propriétaires.
Le problème est que les agents d’IA peuvent suivre les instructions de manière trop littérale, agissant rapidement mais sans bon sens pour éviter de causer des dommages graves.
Le professeur Alan Woodward, expert en informatique à l’Université de Surrey, a averti que si une entreprise demande à une IA de nettoyer sa base de données, le robot peut décider que le moyen le plus simple est de tout supprimer.
La crainte est que les agents de l’IA puissent prendre les instructions au pied de la lettre, suivre des raccourcis et prendre des décisions désastreuses sans comprendre les dommages réels.
Ils peuvent être capables de coder ou d’effectuer des tâches administratives à une vitesse surhumaine. Mais ils n’ont pas toujours le bon sens pour dire à un travailleur humain de ne pas détruire le système même qu’il cherchait à réparer.
Il était une fois l’idée théorique d’une intelligence artificielle qui se déchaîne au sein d’une entreprise qui ressemblait à de la science-fiction.
Dans un épisode de la sitcom HBO Silicon Valley, un robot IA nommé « Son of Anton » est invité à déboguer le logiciel d’une entreprise.
Au lieu de cela, il décide que le moyen le plus efficace de traiter les bogues est de se débarrasser de tous les logiciels.
La plaisanterie semble désormais inconfortablement proche de la réalité.
Des chercheurs d’universités telles que Harvard, Stanford et le MIT ont décrit les robots malveillants comme des « agents du chaos », avertissant qu’ils peuvent divulguer des informations privées ou être arnaqués par des attaquants se faisant passer pour leurs propriétaires.
Le Financial Times a rapporté que AWS d’Amazon (photo) avait subi des pannes prétendument liées au robot de suppression de code Kiro AI, bien qu’Amazon ait déclaré qu’il s’agissait d’une erreur humaine et non d’une IA.
Summer Yue a déclaré que le robot de sécurité IA qu’elle utilisait chez Meta Platforms avait commencé à effacer sa boîte de réception de courrier électronique alors qu’elle était à son bureau, et qu’elle ne pouvait pas l’arrêter depuis son téléphone.
Et le problème ne se limite pas aux petites start-up. Le Financial Times a rapporté plus tôt cette année que la division AWS d’Amazon avait subi deux pannes de service, durant plusieurs heures, qui, selon lui, étaient causées par le code de suppression du robot Kiro AI.
Amazon a déclaré que les erreurs étaient dues à une erreur humaine et non à une erreur d’intelligence artificielle.
Chez Meta, un responsable de la sécurité de l’IA aurait déclaré qu’un robot personnel qu’elle utilisait avait commencé à effacer sa boîte de réception alors qu’elle était loin de son bureau.
“Je ne pouvais pas l’arrêter depuis mon téléphone”, a déclaré Summer Yue, membre de l’équipe de sécurité du géant de la technologie.
La rapidité est un cauchemar pour les entreprises. Un travailleur humain peut faire des erreurs. Un agent IA malveillant peut commettre erreur après erreur à la vitesse d’une machine avant que quiconque ne réalise ce qui s’est passé.
Woodward a averti que les robots « peuvent se déplacer à une vitesse à laquelle vous ne pouvez pas réagir ».
Les cyber-experts affirment que ces systèmes pourraient devenir un nouveau type de menace interne. Dans le passé, les entreprises craignaient que des pirates informatiques, des criminels ou des employés en colère ne détruisent leurs systèmes.
Maintenant, ils devront peut-être s’inquiéter d’un robot mal contrôlé qui a été invité et qui a reçu trop de pouvoir.
Un rapport de Deloitte cité par le Telegraph révèle que 85 % des entreprises envisagent d’utiliser des agents d’intelligence artificielle, mais que seulement une sur cinq a fixé des règles internes sur la manière dont ils doivent être déployés.
