Le véritable danger de l’IA n’est pas qu’elle soit mauvaise : elle peut nous empêcher de penser par nous-mêmes, dit le professeur.

• Un doyen de Royal Holloway craint que l’IA empêche les gens de se demander comment ils savent que c’est vrai.

• Lucy Gill-Simmen affirme que l’IA peut apporter des réponses et des raccourcis aux difficultés qui permettent d’apprendre.

• “Cela risque de remplacer la réflexion”, a-t-il déclaré à Business Insider.

L’IA peut générer des réponses convaincantes, mais un professeur affirme que le plus grand risque est lorsque les gens arrêtent de les poser.

Lucy Gill-Simmen, doyenne associée pour l’éducation et l’expérience étudiante à Royal Holloway, Université de Londres, a déclaré que la technologie peut rendre les gens moins disposés à remettre en question, vérifier et rechercher leurs propres informations.

“Les hallucinations sont un problème visible car nous remarquons quand la réponse est fausse”, a-t-il déclaré à Business Insider à propos de la tendance bien documentée de l’IA à créer de fausses informations. “Le risque le plus grave est que les gens arrêtent de se demander comment ils savent si la réponse est bonne.”

Gill-Simmen soutient que la connaissance nécessite traditionnellement des efforts – comparer les sources, tester les hypothèses et surmonter l’incertitude. L’IA, en revanche, peut générer des réponses convaincantes sans que l’utilisateur ait à suivre le processus.

“Ce qui me préoccupe, ce n’est pas seulement la désinformation”, a-t-il déclaré. “C’est que les gens sont moins enclins à vérifier, à remettre en question et à enquêter par eux-mêmes. Dans l’éducation, la lutte est souvent le lieu où l’apprentissage a lieu. L’IA supprime une grande partie de cette lutte.”

L’IA comme substitut à la réflexion

L’avertissement de Gill-Simmen cite un nombre croissant de recherches sur ce que les chercheurs de Wharton appellent « l’abandon cognitif » – la tendance à accepter les réponses générées par l’IA plutôt que de les évaluer activement.

Steven Shaw, chercheur postdoctoral en marketing à Wharton, a mis en garde à ce sujet dans un rapport publié plus tôt cette année, déclarant à Business Insider que les gens risquaient de devenir des « adeptes passifs d’esprits stupides » en adoptant les idées générées par l’IA sans les traiter.

Dans trois expériences impliquant 1 372 participants accomplissant 9 593 tâches de raisonnement, il a constaté que les participants choisissaient de consulter l’assistant IA dans plus de la moitié des tâches et, une fois qu’ils l’avaient fait, acceptaient ses conseils environ 92,7 % du temps s’ils étaient corrects et 79,8 % du temps même s’ils étaient intentionnellement faux.

Un problème similaire se pose dans le domaine de l’éducation. Kimberley Hardcastle, professeur de commerce et de marketing à l’université de Northumbria en Angleterre, affirme que l’IA pourrait éroder la capacité des individus à vérifier, remettre en question et construire des connaissances de manière indépendante sans algorithmes.

Gill-Simmen décrit le phénomène comme une « atrophie épistémique » ou « un affaiblissement progressif des habitudes qui transcendent la connaissance ».

“Lorsque les gens travaillent sur leurs propres problèmes, ils développent des modèles mentaux, renforcent leurs capacités de raisonnement et renforcent leur confiance dans leur propre réflexion”, dit-elle.

“Le problème n’est pas que l’IA se substitue à la mémoire, elle risque de se substituer à la pensée.”

« illusion de compréhension »

Gill-Simmen l’a constaté lui-même étudiant, qui dit éprouver parfois une « illusion de compréhension ».

Les explications générées par l’IA peuvent sembler convaincantes, mais lorsqu’on demande aux étudiants d’expliquer leur propre raisonnement ou d’appliquer des idées dans un nouveau contexte, la profondeur de la compréhension est souvent plus faible, dit-il.

Ethan Mollick, professeur à Wharton, affirme que l’IA peut être utilisée comme une « co-intelligence » qui aide les gens à explorer des idées et à remettre en question des hypothèses, à condition que les humains restent responsables de l’évaluation de leurs résultats.

Dans un article qu’il a co-écrit avec la scientifique et épouse Lilach Mollick, il écrit que les étudiants devraient « évaluer et interroger de manière critique les résultats de l’IA, plutôt que de l’accepter passivement », permettant à l’IA « de devenir un outil de soutien pour leur travail, et non un outil de remplacement ».

“Ironiquement, d’une certaine manière, plus l’IA devient performante, plus ces capacités humaines sont importantes”, explique Gill-Simmen.

“Dans un monde où les résultats générés par l’IA sont fluides, le succès dépendra moins de la génération d’informations que de leur évaluation judicieuse”, a-t-il ajouté.

Si vous avez apprécié cette histoire, assurez-vous de suivre Business Insider sur Yahoo.