El entusiasmo era real y las empresas rápidamente pasaron a utilizar agentes de IA. no gobernó
Un informe reciente de Deloitte encontró que solo el 21% de las organizaciones tienen una gobernanza madura para los agentes autónomos de IA, mientras que el 73% dice estar preocupado por la seguridad de la IA y los riesgos de privacidad de los datos. La mayoría de la gente entiende esto como un retraso en los recursos. Es mucho más incómodo que eso. Este es un problema de autoevaluación.
Director de IA y Producto de Exabeam.
Las organizaciones que ejecutaban pruebas piloto de agentes en 2024 ahora están implementando esos sistemas en operaciones de seguridad en vivo, flujos de trabajo de clientes y canales de decisiones internos. Hoy en día, el 23% de las empresas utilizan IA agente al menos de forma moderada.
Dentro de dos años, casi tres de cada cuatro empresas esperan alcanzar ese nivel. Pero el régimen no dio el mismo salto. Esta brecha es un riesgo operativo real, no un ejercicio de planificación para el próximo trimestre.
La política emitió cheques. Las autoridades nunca sacaron provecho de ello.
Los programas de gobernanza de la IA se estancan al mismo tiempo: el traspaso de la política a la implementación. Las organizaciones redactan políticas, publican directrices y establecen juntas de revisión.
Lo que rara vez construyen es la infraestructura técnica para hacer que todo esto sea ejecutable en tiempo de ejecución, donde los agentes realmente toman decisiones y actúan.
El desajuste subyacente es la arquitectura. La gobernanza tradicional se diseñó en torno a tomadores de decisiones humanos y software determinista con comportamiento predecible y auditable. La IA agente funciona de manera diferente.
Estos sistemas interpretan instrucciones, infieren intenciones y actúan en todos los sistemas en una secuencia que ningún documento de política anticipa. Las reglas creadas para modelos más antiguos claramente no se trasladan.
El propio departamento ha cambiado y la mayoría de los marcos de gobernanza no se han puesto al día. “Agente de IA” se ha convertido en un término general, pero muchos sistemas que entran en producción hoy en día actúan menos como herramientas de chat reactivas y más como trabajadores digitales continuos.
Se ejecutan continuamente, trabajan bajo su propia cuenta, definen el acceso a herramientas empresariales y persiguen objetivos continuos. La gobernanza diseñada para herramientas basadas en sesiones comienza a verse bajo presión a medida que los sistemas se convierten en actores cada vez más activos dentro de la empresa.
Trampa de lista de verificación
Desde 2023, la industria de la gobernanza de la IA ha desarrollado un flujo constante de marcos, estándares y documentos de orientación. Las organizaciones los adoptaron rápidamente, en muchos casos más rápido de lo que adoptaron los controles técnicos descritos en el Marco.
Atrapa esta lista de verificación. La estructura existe. La casilla está marcada. El registro de riesgo muestra “mitigado”. Y el agente sigue ejecutándose con permisos amplios y sin supervisión de comportamiento.
El teatro de la gobernanza no es un resultado neutral. Esto es proactivamente peligroso porque crea una falsa confianza en los controles que técnicamente no se aplican.
Considere la posibilidad de contratar un trabajador digital dedicado a gestionar los tickets de atención al cliente. Puede emitir reembolsos, acceder a registros de clientes y actualizar sistemas de facturación. Sobre el papel, tiene alcance de permiso. En la práctica, toma decisiones a la velocidad de la máquina, trabajando continuamente en múltiples sistemas.
Sin fronteras estrictas y monitoreo activo, se convierte en un actor transversal cuyo alcance efectivo es más amplio que el de cualquier otro. Es posible que ese flujo no sea visible hasta que algo salga mal.
Promulgar una política que refleje un estándar de la industria y desplegar agentes que realmente operen dentro de límites impuestos son dos cosas completamente diferentes. El arte los ha confundido.
La gobernanza es infraestructura, no documentación
La gobernanza madura no es un artefacto estático. Es un sistema vivo. Los controles aplicados son permisos que no se pueden anular en tiempo de ejecución, no permisos documentados con alcance. Monitorear el comportamiento significa detectar anomalías en comparación con una línea de base específica del agente, no registrar archivos revisados después de un incidente.
Que el 21% de las organizaciones trata la gobernanza de agentes de la misma manera que las organizaciones de seguridad sólidas tratan la gestión de acceso privilegiado. Es continuo, material y responsable ante un propietario designado. Cada agente de producción tiene un alcance definido, un propietario definido y un límite definido. Cuando supera ese límite, algo se incendia.
Las organizaciones no tienen que reinventar sus estructuras de gobernanza existentes. Los principios son claros. Sus controles de identidad, acceso, monitoreo y ciclo de vida deben incluir explícitamente actores no humanos, como ya lo hacen con los usuarios privilegiados.
Se trata básicamente de una cuestión de infraestructura técnica. Esto requiere inversión en herramientas, arquitectura de monitoreo y capacidad organizacional para operar en superficies de monitoreo. No puede haber ningún sustituto para ninguno de los documentos de política.
¿Qué deberían hacer ahora los líderes de seguridad?
Qué auditoría está en marcha, qué no ha sido aprobada. La mayoría de las empresas saben qué agentes fueron aprobados para la contratación. Actualmente hay muy poca visibilidad sobre lo que esos agentes están haciendo realmente en producción. Empiece por ahí.
Reemplace la inferencia de permisos con la verificación de permisos. El “acceso a nivel de analista” no es una definición de alcance. Asigne a cada agente una lista específica y comprobable de actividades que debe realizar. Si esa lista no se puede escribir y verificar, el agente tiene acceso a algo más que su cuenta de gobierno.
Cree líneas base de comportamiento específicas para cada agente y trate las desviaciones como eventos. El monitoreo del SOC humano y el monitoreo de agentes requieren modelos diferentes. El comportamiento del agente fuera de su patrón de tarea definido es una señal, no un ruido. Instrumento en consecuencia.
Considere los sistemas de IA como identidades de primera clase. Si un sistema opera bajo su propia cuenta y puede operar de forma autónoma, asígnele un propietario designado, restrinja su acceso, monitoree continuamente su comportamiento e inclúyalo en los procesos de su ciclo de vida, desde la incorporación hasta el desmantelamiento.
compuesto de brecha
El único riesgo es que algo salga mal. Es que algo sale mal dentro de una estructura de gobierno lo que da a todos los involucrados la confianza de que no será así.
Cerrar esta brecha requiere un cambio de la gobernanza en papel a la gobernanza en las operaciones monitoreando lo que realmente hacen los agentes, verificando rigurosamente sus permisos, monitoreando sus patrones de comportamiento y tratándolos como identidades responsables dentro de la empresa.
Cada trimestre en que los agentes escalan sin infraestructura de aplicación de la ley es un trimestre en el que se amplía la brecha entre la gobernanza documentada y la realidad operativa. No se queda quieto. Es compuesto. El 21% no está por delante sólo en el cumplimiento.
Están construyendo sobre una base que el otro 79% eventualmente tendrá que construir de todos modos, en peores condiciones y con menos tiempo para arreglarla.
Hemos presentado las mejores herramientas de IA.
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
