Les agents d’IA ont besoin de preuves, pas de promesses

Pendant la majeure partie de l’ère de l’IA générative, les entreprises ont jugé l’IA en fonction de ce qu’elle pouvait faire. Les mannequins peuvent-ils conclure des contrats, répondre aux clients, assister les analystes ou les médecins ? Ce test est toujours valable. Ce n’est plus suffisant.

Une phase plus difficile est en cours. Les organisations déploient des agents qui récupèrent des données sensibles, appellent des outils et des API, mettent à jour des enregistrements et agissent sur les systèmes métier en direct. Les emplois sont passés de la production de contenu à l’exécution de tâches. Cela change la preuve dont les entreprises ont besoin avant de pouvoir faire confiance à ce système.

Lorsqu’un chatbot renvoie la mauvaise réponse, quelqu’un la détecte et la corrige. Lorsque les agents transfèrent de l’argent sur les plateformes de paiement, modifient les dossiers des réseaux hospitaliers ou mettent du code en production, les dégâts sont plus difficiles à contenir. L’exactitude est toujours importante, mais la responsabilité est désormais une question plus difficile. L’entreprise doit être en mesure de montrer ce que fait l’agent, le modèle et le code en cours d’exécution, où il s’exécute, quelles données sont consultées et si elles restent dans les limites convenues.

L’agent réduit la distance entre la production logicielle et les conséquences commerciales. Un modèle qui recommande une action comporte un type de risque. Un agent qui accomplit une action en amène une autre. À mesure que les agents accèdent aux e-mails, aux bases de données, aux référentiels de codes et aux flux de travail financiers, ils fonctionnent de plus en plus comme des initiés non humains. Ils n’ont aucune intention, mais peuvent collecter des privilèges, propager des erreurs et créer une exposition à la vitesse d’une machine.

La supervision traditionnelle n’est pas conçue pour cela. L’examen humain est encore à un moment sensible. Mais aucune entreprise ne peut placer une seule personne en charge de chaque action tout en s’attendant à la productivité à laquelle les agents croient en premier lieu. La tâche consiste à permettre à l’autonomie de fonctionner dans des limites claires, applicables et démontrables.

les preuves indépendantes sont la partie la plus difficile. Les entreprises ont construit une gouvernance significative autour des agents d’IA. Les politiques, les comités de surveillance, les examens post-événement et les plans de contrôle émergents aident les agents à s’inscrire, à appliquer les politiques, à gérer les identités et à enregistrer l’activité dans l’ensemble des flottes d’agents. Ces capacités sont nécessaires, mais elles empêchent toute vérification indépendante.

C’est l’écart. À mesure que les agents deviennent plus capables et plus autonomes, leurs croyances doivent être validées au moment de l’exécution.

Dans l’ingénierie à haute assurance, la confiance réside dans l’architecture et est testée et étayée par des preuves. Les entreprises d’IA se dirigent vers le même endroit. La crédibilité ne peut pas reposer sur la documentation ou les réclamations du fournisseur. Les organisations ont besoin d’un moyen de vérifier les comportements lorsque cela compte.

Prenons l’exemple d’un agent financier qui a le pouvoir de mettre à jour les enregistrements des fournisseurs et d’acheminer les paiements dans le système ERP. Pour créer de la valeur, elle nécessite l’accès à des données financières sensibles et l’autorisation d’agir.

Les politiques peuvent stipuler que les agents ne peuvent toucher qu’aux enregistrements approuvés, utiliser uniquement des outils approuvés et déléguer certaines décisions à une seule personne. La politique ne prouve pas que cela s’est produit. Les journaux peuvent capturer une partie de l’histoire, et ils sont souvent partiels, dispersés ou impossibles à confirmer.

L’entreprise a besoin d’un bilan plus solide. Quel modèle fonctionne lorsque la décision est prise ? Est-ce une version approuvée ? Fonctionne-t-il dans un environnement protégé ? Atteint-il uniquement les données nettoyées pour les utiliser ? Les approbations requises sont-elles en place avant la mise en œuvre ? Et les auditeurs, les régulateurs ou les partenaires peuvent-ils confirmer la réponse ?

Cela montre la différence qui déterminera la prochaine phase des entreprises d’IA. L’assurance donne à l’organisation une affirmation sur le comportement attendu. Les preuves leur donnent un moyen de valider leur comportement réel. Les entreprises possèdent une grande partie du premier et ont encore besoin de davantage du second.

Les éléments de base sont déjà là. L’informatique confidentielle protège les données lorsqu’elles sont traitées, et pas seulement lorsqu’elles sont stockées ou déplacées sur un réseau. L’attestation matérielle garantit que les logiciels approuvés s’exécutent dans l’environnement pour lequel ils sont censés fonctionner. Les enregistrements cryptographiques peuvent rendre l’historique d’exécution et l’application des politiques résistants à la falsification. Un cadre identitaire solide définit quels agents opèrent et ce que chacun est autorisé à faire. Combiné, ce mécanisme peut fournir des preuves vérifiables qu’une version spécifique de l’agent est exécutée dans un environnement approuvé, accessible uniquement par les données et outils autorisés, et appliquée les politiques nécessaires avant d’agir.

C’est pourquoi la mise en œuvre vérifiable doit être associée au plan de contrôle et non à son encontre. Le plan de contrôle met en œuvre la politique et enregistre ce qui se passe. L’attestation donne à des parties extérieures un moyen de confirmer que la gouvernance est mise en œuvre, sans croire la plateforme sur parole. Ensemble, ils créent un niveau de confiance qui ne peut être atteint seul.

La demande de preuves indépendantes ne sera pas égale. Ce sera encore plus difficile lorsque la responsabilisation et l’adoption seront indissociables. Les banques, les hôpitaux, les agences gouvernementales, les organisations de défense, les opérateurs d’infrastructures critiques et les programmes souverains d’IA ont tous besoin de systèmes qu’ils peuvent gérer, auditer et défendre.

Les normes ouvertes seront importantes à mesure que les entreprises opèrent de plus en plus sur plusieurs cloud, modèles et cadres d’agents. La confiance ne peut pas dépendre d’un seul fournisseur agissant comme seule autorité de vérification. Aucun fournisseur de cloud ou développeur de modèles ne peut être l’unique autorité en matière de confiance. Les entreprises ont besoin d’une méthode interopérable pour examiner le comportement des agents sur différentes plates-formes et piles. Les premiers travaux sur l’attestation des agents et la mise en œuvre vérifiable montrent où cela nous mène. La gouvernance de l’IA doit être transparente, portable et vérifiable de manière indépendante.

Le même principe prévoit des horaires plus longs. Les systèmes utilisés aujourd’hui pourraient encore être opérationnels dans des années, alors que les réglementations, les menaces et les exigences de sécurité évoluent. Si l’on veut que les dossiers d’audit maintiennent la confiance pendant des années, la cryptographie utilisée pour les protéger doit également évoluer. Les risques de l’ère quantique ajoutent un autre niveau de préoccupation. Quiconque construit une infrastructure d’IA pour des données de grande valeur doit la concevoir en fonction de l’agilité cryptographique actuelle, afin que la sécurité puisse être mise à jour à mesure que les normes évoluent plutôt que de s’enfermer dans les hypothèses actuelles.

La prochaine phase de l’IA ne sera pas résolue uniquement par les capacités. De meilleurs modèles, une plus grande évolutivité, des coûts réduits et une intégration plus fluide sont toujours calculés. Mais le système qui occupe la place la plus profonde dans les opérations de l’entreprise sera celui qui pourra répondre aux demandes les plus difficiles. Peuvent-ils montrer qu’ils agissent dans des limites ? À mesure que les agents acquièrent davantage d’autorité, cela devrait devenir une exigence et non une aspiration.

Depuis des années, la question déterminante en IA est de savoir ce que ces systèmes peuvent faire. Au cours de la prochaine décennie, ce sera une organisation qui pourra vérifier que tout est fait.

Les opinions exprimées dans les commentaires de Fortune.com sont uniquement celles de leurs auteurs et ne reflètent pas nécessairement les opinions et les convictions de fortune.

Cette histoire a été initialement présentée sur Fortune.com