La vista previa de Mythos de Anthropic se acaba de anunciar antes de que se viera comprometida: un grupo privado de Discord accedió a ella el día del lanzamiento público a través de un entorno de proveedores externos.
Para un modelo distribuido en 40 empresas y sus redes de contratistas asociados, la violación era, para muchos expertos en seguridad, una cuestión de cuándo. La antropología no es un caso atípico: las condiciones que permitieron la brecha son estructurales y la mayoría de las implementaciones de IA empresarial se basan en la misma base.
Gerente General de Automatización Inteligente y Análisis en SS&C Blue Prism.
Realidad empresarial: agentes habilitados, controles variables
La mayoría de las implementaciones de IA empresarial no están centralizadas ni son constantemente visibles. Los agentes habilitados para IA ya están integrados en los flujos de trabajo de fabricación en la mayoría de las grandes empresas: acceden a sistemas en vivo, informan decisiones, trabajan a través de redes de proveedores y contratistas donde los límites de lo que los agentes pueden ver, actuar y mejorar no han sido mapeados formalmente.
La investigación de Mythos llamó la atención sobre lo que sucede cuando una IA poderosa opera sin una gobernanza adecuada.
Dado que solo una de cada cinco empresas tiene un modelo de gobernanza maduro para agentes autónomos a pesar de que la implementación se acelera drásticamente al mismo tiempo, es más probable que el plano de control que gobierna estas implementaciones exista en plataformas estratégicas y marcos de riesgo que en una infraestructura operativa probada.
Para las empresas, la pregunta es cómo se ve realmente el plano de control que gobierna a esos agentes en política, arquitectura y práctica operativa.
Cuatro imperativos de gobernanza para la automatización agente
La violación de Mythos fue posible por fallas en el acceso de los proveedores, los controles de identidad y la supervisión contractual, los mismos puntos de presión que determinan si la implementación de un agente empresarial es auditable, recuperable y defendible regulatoriamente. Para avanzar, deben centrarse en cuatro áreas:
- Control de acceso y privilegio mínimo – Definir exactamente lo que un agente puede tocar. Los sistemas agentes nunca deberían heredar privilegios generales. Implemente controles de acceso basados en roles y contextuales para que los agentes operen con los permisos mínimos necesarios para una tarea. Trate a los agentes como empleados: con identidad, acceso justo a tiempo y procesos de retiro.
- Auditabilidad y trazabilidad de las decisiones – Si un agente actúa, se debe poder reconstruir por qué lo hizo. Capture entradas, versiones de modelos, indicaciones, artefactos lógicos intermedios y acciones finales. Los registros inmutables y las herramientas de interpretabilidad transforman los resultados opacos en pistas auditables que satisfacen tanto a los equipos de cumplimiento internos como a los reguladores externos.
- Control humano integrado y a prueba de fallos – Diseños donde los humanos deben intervenir y donde los agentes pueden actuar de forma autónoma. Instituya flujos de trabajo de activación para decisiones de alto riesgo: puntos de pausa, aprobación manual y opciones de reversión automática. Asegúrese de que los operadores puedan detener o revertir acciones de agente y que las rutas de escalada estén bien practicadas.
- Origen del proveedor y modelo. – Sepa lo que toma. Ya sea que utilice API de terceros, modelos básicos con licencia o agentes capacitados internamente, documente el linaje del modelo, la estimación de datos de entrenamiento, los límites de rendimiento y los modos de falla conocidos. Los contratos y SLA requieren transparencia, cadencia de actualización y cláusulas de responsabilidad por fallas materiales.
La gobernanza no es un obstáculo: desbloquea la velocidad
La mayoría de las organizaciones han integrado controles de forma reactiva, después de que una implementación se ha ampliado o algo ha salido mal, momento en el que el costo de la remediación es consistentemente mayor que lo que se requeriría para construirlo desde cero.
El compromiso del Consejo de Estabilidad Financiera con Anthropic este mes –convocado a petición del Gobernador del Banco de Inglaterra, Andrew Bailey– indica cuán rápidamente se están construyendo las expectativas regulatorias en torno a la gobernanza de la IA y cuán poco tienen las empresas de pista para adelantarse a ellas.
Los ciclos de adquisiciones son más rápidos y las conversaciones regulatorias son considerablemente menos complicadas para las empresas que pueden demostrar controles auditables antes de que se les informe.
Preparación a partir de la reacción.
El mito, en el sentido clásico, es una historia que una cultura cuenta sobre sí misma. No será el último modelo en escapar de su entorno controlado, y las condiciones que permiten las infracciones serán cada vez más frecuentes a medida que la IA agente pase de las pruebas a la producción. La decisión de los antropólogos de aferrarse a los mitos subraya una verdad simple: el poder triunfa sobre la gobernanza.
La historia que la mayoría de las empresas cuentan actualmente sobre su gobernanza de la IA aún no coincide con la realidad de lo que han implementado, y esa brecha se está cerrando más rápido de lo que la mayoría planea.
Pero esto no debería causar pánico. Ejecutar controles a través de condiciones de infracción simuladas, mapear el acceso de los agentes en todo el patrimonio y exigir transparencia contractual a los proveedores donde comienza ese trabajo lo hace imperativo antes de la próxima infracción.
Hemos presentado las mejores herramientas de IA.
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
