Anthropic prévient que l’IA pourrait bientôt se développer sans implication humaine et appelle à une pause mondiale pour le développement

Anthropic a publié un nouveau compte rendu sur la rapidité avec laquelle ses modèles d’IA progressent, avertissant que la technologie sera bientôt capable de s’améliorer sans implication humaine significative. Alors que le laboratoire d’IA, évalué à près de 1 000 milliards de dollars, se prépare à ouvrir au public, il appelle également l’industrie à faire une pause dans le développement de l’IA.

Dans un article de blog désormais viral publié jeudi, les auteurs Marina Favaro et Jack Clark ont ​​déclaré que le développement de l’IA chez Anthropic a radicalement changé : plus de 80 % du code intégré dans la base de code de l’entreprise est désormais écrit par Claude, et les ingénieurs fournissent environ huit fois plus de code par trimestre qu’avant 2025. Des systèmes d’IA qui conçoivent, construisent et forment de manière autonome leurs propres successeurs, sans que les humains ne dirigent chaque étape.

Les auteurs préviennent que même si ce seuil n’a pas encore été franchi, il « pourrait survenir plus rapidement que ce à quoi de nombreuses institutions sont préparées » et que s’il est réalisé sans surveillance adéquate, il pourrait être plus difficile pour les humains de maintenir un contrôle significatif sur le développement de l’IA.

L’entreprise a également passé du temps à préconiser une pause dans le développement de l’IA, mais seulement si « plusieurs laboratoires disposant de ressources suffisantes, situés à la frontière ou à proximité, dans plusieurs pays, acceptent d’arrêter dans les mêmes circonstances ». Peut-être qu’Anthropic fait référence à des concurrents tels qu’OpenAI, Google, xAI et Meta. La plupart de ces laboratoires sont actuellement engagés dans une course aux enjeux élevés pour développer des modèles d’IA plus puissants et, avec des introductions en bourse dans trois grands laboratoires, il semble peu probable que ces entreprises se réunissent pour convenir d’une pause coordonnée dans le développement de l’IA.

Il est temps de hausser les sourcils. La semaine dernière, une société d’IA a déposé un document confidentiel pour préparer une introduction en bourse. Au cours du mois dernier, il a également dépassé OpenAI pour devenir le laboratoire d’IA le plus précieux, avec une valorisation de 965 milliards de dollars.

Bien qu’Anthropic se soit depuis longtemps montré plus soucieux de la sécurité que d’autres grands laboratoires d’IA, le moment choisi – avant ce qui pourrait être l’une des plus grandes introductions en bourse technologiques de l’histoire – amène certains observateurs à se demander s’il s’agit également d’un moyen de susciter un battage médiatique avant les débuts publics de l’entreprise.

Les critiques ont déjà accusé l’entreprise d’utiliser la rhétorique de la sécurité comme une forme de positionnement concurrentiel. Le conseiller de Trump, David Sacks, a déjà accusé Anthropic de mener un « programme de capture réglementaire » destiné à ralentir ses rivaux sous couvert de développement responsable de l’IA – une caractérisation que l’entreprise nie.

AI Labs est également en concurrence féroce avec son rival de longue date OpenAI, les deux laboratoires se précipitant pour entrer en bourse cette année dans le but de capturer ce qui pourrait être un avantage de premier arrivé auprès des investisseurs.

Il convient également de noter qu’Anthropic, bien qu’il préconise une pause dans le développement de l’IA, a récemment publié un engagement clé en matière de sécurité promettant de faire de même. En février, Temps Le magazine rapporte qu’Anthropic a modifié sa politique de mise à l’échelle responsable, supprimant son engagement central de ne pas former de systèmes d’IA à moins de pouvoir garantir à l’avance que ses mesures de sécurité sont adéquates. Le directeur scientifique Jared Kaplan avait déclaré à l’époque que l’entreprise estimait que “cela n’aiderait vraiment personne” d’arrêter unilatéralement les modèles de formation pendant que les concurrents poursuivaient leur action.

L’entreprise a fait valoir que la refonte était une réponse pragmatique à l’évolution du paysage politique et concurrentiel, plutôt qu’une capitulation face à la pression du marché. La nouvelle politique s’engage à faire preuve de transparence et à déployer des efforts appropriés en matière de sécurité des concurrents ; néanmoins, cela laisse Anthropic beaucoup moins contraint par ses propres règles qu’auparavant.

Le message de jeudi indique clairement que, quelle que soit la motivation, Anthropic estime que la fenêtre permettant une délibération significative sur la sécurité de l’IA s’est réduite. L’entreprise affirme qu’elle prévoit de réunir les décideurs politiques, les chercheurs et la société civile dans les mois à venir pour aborder les questions soulevées par l’auto-amélioration récursive.

“La fenêtre pour étudier la question ensemble est ici”, ont écrit les auteurs. “Et les personnes extérieures aux sociétés d’IA doivent être impliquées dans ces délibérations.”

Cette histoire a été initialement présentée sur Fortune.com