Cuando me uní a Smartsheet, una de mis primeras prioridades fue comprender dónde funcionaba realmente la IA en toda la empresa.
Lo que encontré fue menos un reflejo honesto de una estrategia deliberada que la rapidez con la que se han movido las cosas: herramientas de inteligencia artificial integradas en los flujos de trabajo, algunas aprobadas por los proveedores, otras no, adoptadas por personas inteligentes que resuelven problemas reales más rápido que las políticas.
Director de información y seguridad, Smartsheet.
Cuando volví a consultar a algunos de los proveedores para comprender con qué estábamos trabajando realmente (a qué datos accedía el modelo, qué acciones tomó), las respuestas fueron escasas. La infraestructura de auditoría simplemente no estaba ahí.
La combinación de herramientas ya integradas en nuestro entorno sin ningún registro rastreable de lo que hacían agudizó mi pensamiento. El riesgo no era el instrumento en sí; Era invisibilidad.
El instinto de la mayoría de los líderes de seguridad es preguntar: “¿Cómo controlamos esto?” Pero el control implica limitaciones y, como muchos de nosotros hemos aprendido, las limitaciones no cambian la conducta. Simplemente lo lleva a la clandestinidad, donde hay aún menos visibilidad. La pregunta que realmente importa es simple pero difícil de lograr: “¿Podemos encontrarlo?”
He adoptado el modelo más útil para responder a esta pregunta: considerar a cada agente de IA como un nuevo tipo de “empleado”. Todos deberían tener un rol definido, un alcance de autoridad y una cadena de responsabilidad.
No permite que un nuevo empleado tome decisiones importantes sin supervisión durante su primera semana. La misma lógica se aplica a un sistema de IA que opera dentro del flujo de trabajo de su organización, y la trazabilidad hace que esa supervisión sea real.
En tiempo real desde el retrovisor
Hubo un tiempo en que “auditoría” significaba observar periódicamente lo que sucedía. Esto ha cambiado con la transformación digital. A medida que las acciones impulsadas por la tecnología se han vuelto más comunes, también lo han hecho las plataformas de registro y observabilidad.
Las auditorías se vuelven continuas y los datos fluyen en tiempo real, lo que proporciona una capa de seguridad que detecta anomalías a medida que ocurren. Hoy en día, la auditoría no es una autopsia, sino una disciplina operativa en tiempo real.
Con el auge de la IA agente, esto significa registrar qué agentes buscaron en qué fuentes de datos, qué acciones se tomaron de forma autónoma y qué acciones se escalaron para su aprobación, y quiénes estuvieron en esa cadena de aprobación en tiempo real, sin reestructurarse después del hecho.
He aquí por qué es importante a nivel de la junta directiva: cuando un proceso asistido por IA produce un mal resultado, como un riesgo marcado incorrectamente, una asignación de recursos activada sin la aprobación del gerente o una actualización de estado enviada antes de que alguien apruebe, la primera pregunta que enfrentará por parte del liderazgo, el departamento legal o los reguladores es: “¿Quién, por qué y cómo aprobó esto?”
Si no puede responder estas preguntas, se enfrenta a una crisis administrativa además de un fallo en el proceso.
La auditoría es una base, no una casilla de verificación
Para abordar esto, los líderes de seguridad deben incorporar la auditoría en su estrategia de IA desde el principio. No como un ejercicio de cumplimiento, sino como la capa fundamental que hace que la IA agente sea controlable.
Lo que busco al evaluar cualquier capacidad de IA, ya sea construida internamente o adquirida de un proveedor, es una cadena identificable: qué datos informaron la recomendación, si se requirió una aprobación humana antes de tomar cualquier acción y quién, si es que hubo alguien, la revisó. Si un proveedor no puede mostrarme esa cadena, las capacidades no están preparadas para la empresa, sin importar cuán impresionantes sean los resultados.
No se trata de frenar a los equipos. Se trata de dar a las personas la confianza para actuar sobre los resultados de la IA en lugar de dudar de ellos. Cuando los empleados pueden ver cómo se hace una recomendación de IA y tener la supervisión adecuada, pueden comenzar a tomar sus propias decisiones.
Este no es un resultado de consenso; Ese es un resultado de productividad. La auditoría deja de ser una casilla de verificación y se convierte en un proceso que permite a los equipos escalar la IA con confianza y al mismo tiempo mantener a las personas responsables.
Tus nuevos trabajadores de IA
Volviendo a ese modelo de IA como trabajador: el encuadre cambia las preguntas que haces. En lugar de “¿Cómo podemos evitar que la IA cause daño?” La pregunta es: “¿Qué necesitamos saber para confiar en el juicio de esta IA de la misma manera que confiamos en un miembro capacitado del equipo?”
La respuesta casi siempre vuelve a lo mismo: propiedad clara, derechos de decisión definidos, un registro de las acciones tomadas y un mecanismo de anulación humana. Estas no son ideas sofisticadas de seguridad. Recién están implementando un nuevo tipo de “empleado”.
Como líderes de seguridad, no podemos resolver todos los riesgos de la IA de la noche a la mañana, pero podemos sentar una base que vaya más allá de los principios de alto nivel y llegue a la realidad práctica:
1. Map AI realmente funciona con integraciones demostradas a través de tokens OAuth y claves API en su sistema, porque no puede administrar lo que no puede ver.
2. Sea claro acerca de qué decisiones requieren aprobación humana y cuáles no, y comprométase a revisar esos límites cada seis meses a medida que la tecnología y su impacto organizacional evolucionan. Lo que hoy parece de bajo riesgo puede verse muy diferente cuando un agente lo ejecuta a escala.
3. Haga responsables a sus proveedores invirtiendo en organizaciones con ideas afines que estén comprometidas con la auditabilidad y trazabilidad total de la IA, e integre esos controles con sus plataformas de monitoreo existentes a medida que estén disponibles.
Cuando la IA es identificable, claramente propiedad de ella y auditable, la gobernanza se convierte en una barrera y una ventaja competitiva. Las empresas que lo resuelvan avanzarán más rápido porque su gente tiene la confianza para actuar sobre los resultados de la IA y las herramientas para hacer correcciones de rumbo cuando sea necesario. Como dice el viejo refrán: “Confía, pero verifica”.
El panorama del valor está empezando a ponerse al día. El marco de gestión de riesgos de IA del NIST, los requisitos de la legislación de IA de la UE en torno a sistemas de IA de alto riesgo y los protocolos de identidad de agentes emergentes apuntan en la misma dirección: la auditabilidad se está convirtiendo en una expectativa fundamental, no en un diferenciador. Los líderes de seguridad que se están preparando para esto ahora no sólo cumplirán, sino que estarán a la vanguardia.
Lo que nos lleva de nuevo a la pregunta que deberías hacerte, si aún no lo has hecho: ¿Puedes encontrarlo?
Hemos clasificado las mejores herramientas de gestión de activos de software (SAM)
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
