Le « parrain de l’IA » affirme que nous ne nous contenterons pas de créer de nouvelles créatures : elles seront plus intelligentes que nous, et bientôt.

Geoffrey Hinton ne croyait presque pas qu’il remporterait le prix Nobel.

Lorsque les organisateurs ont annoncé 2024, l’informaticien de 77 ans a fait un rapide calcul dans sa tête. Quelles sont les chances, se demandait-il, qu’un psychologue théoricien caché dans l’informatique remporte le prix Nobel de physique ? “Eh bien, peut-être un sur deux millions”, a-t-il déclaré à la foule lors du Sana AI Summit à New York la semaine dernière. Encore une fois : quelles sont les chances de gagner dont vous rêvez ? “Peut-être un sur deux millions… Cela signifie donc qu’il est un million de fois plus probable que ce soit un rêve plutôt qu’une réalité.”

Le public a ri. Hinton n’avait pas encore fini.

Quelques jours après la notification, dit-il, il espérait à moitié se réveiller. La seule chose qui le réconforte : “Si c’était un rêve, je me réveillerai et le cauchemar de la présidence de Trump ne se réalisera pas.” Un battement. Le public a ri lorsque Hinton a ajouté : “J’y renoncerais pour ça.”

C’est un autre type de discours lorsque celui qui l’a posté estime également qu’il y a 10 à 20 % de chances que l’IA provoque l’extinction de l’humanité d’ici 30 ans – et que l’IA dépassera l’intelligence humaine au cours de sa vie.

“plus intelligent”

Hinton s’est entretenu avec Joel Hellermark, fondateur et PDG de Sana AI, âgé de 29 ans, qui lui avait promis un prix Nobel la dernière fois qu’ils étaient apparus sur cette scène. Cette fois, Hellermark avait une question plus difficile. Et Hinton – avec sa manière typiquement calme, parfois hilarante – a donné une réponse tour à tour techniquement précise et cosmiquement vertigineuse.

Le fil conducteur : non seulement nous construirons des créatures, mais elles seront plus intelligentes que nous. Et nous manquons de temps pour décider de quelles créatures ils devraient être.

“Je pense que ce sera plus intelligent que nous, c’est mon hypothèse”, a déclaré Hinton. Personne ne les battra plus jamais au Go ou aux échecs, prédit-il, et regardez ce qu’ils ont fait en mathématiques.

Plus intelligent qu’Einstein

Il ne parle pas de manière abstraite. Ce matin-là – pour son plus grand plaisir – l’IA avait prouvé l’un des théorèmes mathématiques de Paul Erdős en utilisant une branche des mathématiques que personne n’avait pensé à appliquer. Pour Hinton, c’était un tournant. Dans un système fermé comme les mathématiques, a-t-il expliqué, l’IA peut générer ses propres conjectures, les tester, apprendre des échecs et composer à l’infini – de la même manière qu’AlphaGo, alimenté par l’IA, passe de l’imitation des mouvements des experts à leur élimination lorsqu’il commence à générer ses propres données d’entraînement.

Les modèles linguistiques, dit-il, suivent une trajectoire similaire. Aperçu clé : donnez une certaine confiance au modèle, laissez-le raisonner vers une nouvelle conclusion qui contredit ce qu’il croit déjà, et vous obtenez une incohérence – ce qui est un signal d’entraînement qui ne nécessite aucune nouvelle donnée à exploiter. “Je pense que cela signifie que ces modèles linguistiques peuvent devenir plus intelligents sans plus de données”, a-t-il déclaré, notant que son collègue lauréat du prix Nobel Demis Hassabis “pense la même chose”. Sa prédiction : l’IA dépassera les meilleurs mathématiciens du monde d’ici une décennie. À long terme, l’écart entre la meilleure IA actuelle et Albert Einstein se réduira également. “Peut-être pas dans les prochaines années, mais si vous pensez aux 20 prochaines années, je pense que nous verrons des choses comme ça.”

“C’est un système capitaliste”

C’est là que l’argument de Hinton passe de la prédiction à l’avertissement – ​​et qu’il s’est aiguisé, pièce par pièce, pendant près de trois ans.

Lorsque Hinton a quitté Google en 2023, se disant déçu du travail de sa vie, ses inquiétudes publiques étaient encadrées par de mauvais acteurs et la perte de contrôle humain. D’ici 2025, cela a évolué vers quelque chose de plus structurel : l’IA, dit-il, provoquera un chômage massif tandis que les profits augmenteront – non pas à cause de quoi que ce soit d’inhérent à la technologie, mais à cause du système économique qui la diffuse. “Ce qui va réellement se passer, c’est que les riches utiliseront l’IA pour remplacer les travailleurs”, a-t-il déclaré en septembre dernier. “Ce n’est pas la faute de l’IA. C’est le système capitaliste.”

En août dernier, il a déclaré que les entreprises technologiques devraient donner à l’IA un « instinct maternel », un modèle d’ingénierie délibéré pour prendre soin et protéger les humains au lieu d’accumuler du pouvoir sur eux. Et pas plus tard qu’en mars, il a averti que les Big Tech recherchaient le profit plutôt que la sécurité sans un plan significatif pour ce qui suivrait l’arrivée de la superintelligence.

À Puncak Sana, tous ces messages deviennent un argument philosophiquement détaillé. Le problème, selon Hinton, n’est pas seulement ce que fera l’IA. Il s’agit des créatures que nous avons créées – et de qui les a créées.

Pour expliquer le danger, Hinton s’est tourné vers la biologie évolutionniste. La nature humaine – notre tribu, notre loyauté envers des dirigeants puissants, notre désir d’être « très méchant envers les autres tribus » – n’est pas apparue intentionnellement. Il est né de millions d’années de compétition entre bandes de chimpanzés en guerre. La main invisible de la sélection naturelle n’optimise pas la bonté. Il est optimisé pour la survie. Et survivre signifie une loyauté farouche envers son propre groupe et une indifférence, ou pire, envers tous les autres.

Aujourd’hui, le capitalisme applique le même modèle. “Ce à quoi nous assistons actuellement est une course compétitive entre les entreprises pour créer l’IA la plus intelligente et capable de faire le plus de choses”, a-t-il déclaré. “Cela mènera à des choses qui ne sont pas bonnes pour nous, je pense.”

Il a posé la question des incitations sans couverture diplomatique. “Si j’avais une option d’achat d’actions, si je voulais atteindre rapidement un milliard de dollars, alors je doublerais la mise, je construirais simplement un gros ordinateur et je passerais à autre chose. Si j’étais intéressé par l’avenir de l’humanité, je pourrais peut-être tenter de nombreux paris dans l’espoir que nous puissions développer de meilleures créatures.” L’évolution a cependant des milliards d’années pour mener ses expériences, et l’industrie de l’IA les fait fonctionner sur pied.

Il y a à peine deux mois, OpenAI a publié un document politique de 13 pages appelant à ce que la superintelligence soit aussi transformatrice que le New Deal. Contre-argument de Hinton : les laboratoires parlent enfin ouvertement de superintelligence, mais ne se demandent toujours pas quel genre d’êtres superintelligents ils créent.

“Tout le monde recherche plus d’intelligence”, a-t-il déclaré. “Mais si vous pensez aux êtres, il y a plus d’êtres que d’intelligence. Et nous devons être très préoccupés – nous créons ces êtres, et nous devons être très soucieux d’en faire des êtres qui se soucient de nous. Et nous pouvons toujours le faire. Mais personne n’y travaille très dur.

Hinton a prédit que la création de l’homme à partir d’une nouvelle espèce serait la troisième insulte dans l’histoire intellectuelle de l’humanité. Vint d’abord Copernic, qui éloigna la Terre du centre de l’univers. Puis Darwin, qui nous a dit que nous étions des animaux. Maintenant ça.

“Je pense que nous avons une nouvelle révolution à venir, alors que nous ne sommes pas les seuls”, a-t-il déclaré. “Maintenant, les gens réagissent comme Copernic et Darwin : ‘Non, non, non. Il y a quelque chose de spécial chez les gens.'” Hinton a déclaré qu’il pense que les gens doivent être spéciaux – envers les autres, mais “je ne pense pas qu’il y ait quelque chose chez nous que les IA ne finiront pas par comprendre.”

La solution, dit Hinton, est plus proche de la parentalité que de l’ingénierie. Vous ne pouvez pas développer l’intelligence et supposer que la bonté suivra. Vous devez le modeler, le cultiver, le gérer dès le début – un point qu’il a déjà souligné, mais jamais de manière plus vivante. Sur les données de formation : “Appreindriez-vous à votre enfant à lire dans un journal intime l’histoire d’un tueur en série ? Probablement pas. Et voilà. Voilà votre réponse.”

Le pape n’était pas d’accord

Tout le monde n’accepte pas cette prémisse. Gary Marcus, un scientifique cognitif et sceptique de longue date en matière d’IA, a publié une réfutation pointue le lendemain. “Les chercheurs du LLM ne créent pas de créatures”, écrit Marcus dans son Substack. “Ils créent une fiction interactive entraînée à prédire le langage de créatures réelles. Les deux ne sont PAS identiques. Et Hinton devrait le savoir mieux.” Argument : conscience des états internes, pas de résultat comportemental. Vous ne pouvez pas observer qu’un modèle dit des choses qu’un humain dirait et conclure qu’il vit quelque chose. Les mécanismes sous-jacents, dit Marcus, sont tout simplement différents : l’un construit un modèle mental à travers l’expérience de la vie, l’autre mémorise Internet.

Il a cité, entre tous, le pape Léon XIV, qui avait pesé cette semaine-là avec une économie caractéristique : “La véritable compréhension vient de l’expérience et non d’une approximation textuelle.” Marcus titre : “Le pape semble mieux comprendre l’IA que Geoffrey Hinton.”

Il s’agit d’un débat authentique et non résolu. Si Hinton se trompe en affirmant que l’IA est une nouvelle créature, l’urgence diminuera en grande partie. S’il a raison – et si ces gens sont plus intelligents que nous – alors la question de savoir de quel genre de créatures il s’agit est la seule question qui compte.

Hinton a terminé la soirée avec une blague sur J. Robert Oppenheimer, qui a dirigé le projet Manhattan. Lorsqu’on lui a demandé comment il se comparait au père de la bombe atomique – un homme qui a construit quelque chose qui a changé le monde et qui a été déçu – il a eu une réponse toute prête. “Oppenheimer a déjà remporté le prix Nobel de physique.”

La foule a ri.

Pour cette histoire, fortune Les journalistes utilisent l’IA générative comme outil de recherche. Les éditeurs vérifient l’exactitude des informations avant de les publier.

Cette histoire a été initialement présentée sur Fortune.com