El margen de error es más amplio de lo que le dice su proveedor. Y Agentic Inbox lo empeorará catastróficamente.
Dos semanas antes de unas elecciones importantes, una respetada agencia encuestadora publica sus últimas cifras. El candidato A lidera por tres puntos. Margen de error: más o menos cuatro. El avance es menor que el margen de error.
El titular dice “Candidato A Adelante”. Millones de personas se forman opiniones basándose en un número que es estadísticamente indistinguible de un lanzamiento de moneda.
Ahora reemplace “resultados de la encuesta” con “este correo electrónico es malicioso” y “organización de encuesta” con su plataforma de seguridad de correo electrónico.
Cuando su sistema de seguridad de correo electrónico marca un mensaje, en algún lugar detrás de esa decisión hay una puntuación de probabilidad. 0,73. 0,81. 0,67. Estos números parecen precisos. No lo hacen. Detrás de cada puntuación hay un intervalo de confianza determinado por la calidad de los datos de entrenamiento y la cantidad de ejemplos que el modelo ha visto para esa clase de ataque en particular.
Cuando ambos son altos, la brecha es estrecha y la puntuación es significativa. Cuando ambos son bajos, la brecha se amplía. El modelo le dice que no lo está revelando con un margen de error de confianza del 73%.
Para ataques estáticos de gran volumen, como phishing masivo y malspam, los datos de entrenamiento son abundantes. El modelo ha examinado millones de ejemplos confirmados. El margen de error es pequeño. Pero en el caso de los ataques que realmente mantienen despiertos a los líderes de seguridad, el panorama es fundamentalmente diferente.
Tu modelo nunca ha sido entrenado.
El phishing con adversario en el medio funciona colocando un proxy inverso entre la víctima y un servicio de autenticación válido. La víctima hace clic en un enlace, ingresa las credenciales, completa su desafío MFA y se autentica exitosamente.
El proxy captura cookies de sesión en vivo. El atacante ahora tiene acceso autenticado sin necesidad de contraseña. MFA no está roto. Está omitido. El evento de autenticación se produjo de forma válida. El atacante sólo ocultó pruebas de ello.
Aquí plantea un problema de identificación de ML de otro tipo. El correo electrónico que inicia el ataque suele estar completamente limpio en todos los aspectos. La infraestructura de envío puede ser válida. La URL puede ser un enlace real de SharePoint.
La ingeniería social es contextualmente apropiada. No hay archivos adjuntos maliciosos, ni cargas sospechosas, ni dominios registrados ayer. Cada modelo de Signal ML está capacitado para identificar correos electrónicos maliciosos que faltan. El ataque se diseña específicamente en torno a esa señal porque los atacantes entienden lo que buscan los modelos.
Y el problema de los datos de entrenamiento lo agrava. AiTM tiene sólo unos pocos años a escala operativa. La muestra etiquetada de correos electrónicos confirmados iniciados por AiTM es escasa en comparación con los ataques a productos.
Peor aún, los datos de entrenamiento están sistemáticamente sesgados: los modelos inicialmente aprenden de variantes de AiTM que eventualmente fueron detectadas y etiquetadas retroactivamente por otros medios. Las variantes sofisticadas que no fueron detectadas nunca ingresaron al conjunto de entrenamiento. No fueron atrapados, por lo que no fueron etiquetados, por lo que la modelo no aprendió de ellos.
Es el problema potencial de la pantalla de votantes lo que perturba la votación electoral. Los encuestadores que sólo llegan a las personas que contestan sus teléfonos no son votantes de muestreo. Están tomando muestras de personas que contestan sus teléfonos. Su detector AiTM tiene el mismo defecto estructural. Estaba modelando ataques que podía ver, no captando ataques.
El modelo informa una ventaja de tres puntos con un margen de error de cuatro puntos. Su panel no le muestra los márgenes de las columnas de error.
Sus propias decisiones de TI están rompiendo sus bases
Un método secundario de ML para detectar apropiaciones de cuentas es la detección de anomalías de comportamiento. Cree una línea de base de cómo se ve lo normal para cada cuenta. Señalar desviaciones significativas. Las transferencias bancarias se autorizan a las 3 a.m. desde una cuenta que no esté operativa en ese momento. Latencia de respuesta inferior a un minuto de alguien que normalmente tarda horas. Inicie sesión desde una geografía desconocida y siga la actividad financiera al instante.
Eran señales fiables en un mundo sencillo. El mundo ya no es simple.
Los agentes de IA empresarial ahora se están implementando a escala. Microsoft Copilot redacta y envía comentarios en nombre de los usuarios. Proceso de aprobación del agente de automatización del flujo de trabajo. El agente de programación gestiona los correos electrónicos adyacentes al calendario. Los agentes financieros manejan comunicaciones transaccionales de rutina. Algunas organizaciones ya tienen varios agentes ejecutándose simultáneamente en la bandeja de entrada ejecutiva.
Piense en cómo se ve esto desde la perspectiva del modelo de referencia del comportamiento. Los humanos tenemos una firma característica que se ha desarrollado a lo largo de años: sincronización inconsistente, errores tipográficos ocasionales, latencias de respuesta variables. El correo electrónico enviado desde un teléfono en medio del tráfico se ve diferente al correo electrónico escrito en un escritorio. La firma es exclusivamente humana.
El agente Copilot envía respuestas gramaticalmente correctas y formateadas de manera consistente con una latencia inferior a un minuto, independientemente de la hora del día. El agente de programación se activa a intervalos específicos. El Agente de flujo de trabajo financiero responde a frases desencadenantes con precisión de plantilla independientemente de si se cumplen las condiciones. Desde una perspectiva de modelo, la bandeja de entrada ahora parece tres o cuatro actores distintos trabajando a través de una sola cuenta.
Esto se acerca más a lo que parece una cuenta comprometida con un nivel de persistencia instalado activamente por el atacante.
Los equipos de seguridad pueden mitigar esto parcialmente. Puede etiquetar claramente la actividad generada por agentes en su canal de detección, segmentar las líneas de base por tipo de actor y crear perfiles de comportamiento separados para el tráfico humano y automatizado. Algunos equipos ya lo están haciendo.
Pero la mitigación solo funciona si cada agente está inventariado, cada integración está etiquetada y el etiquetado está actualizado a medida que se agregan y actualizan agentes. En la práctica, la implementación de agentes aumenta el conocimiento que tiene el equipo de seguridad sobre ellos. E incluso si la actividad de un agente se filtra a una línea base humana no etiquetada, la contaminación se agrava silenciosamente. El modelo explota el comportamiento de los agentes como comportamiento humano. Lo que antes era anormal se convierte en la nueva normalidad. La línea de base se traslada al suelo comprometido.
El difícil problema estructural persiste: incluso con un etiquetado perfecto, se ha ampliado la definición de “comportamiento normal de la cuenta” para incluir actividad automatizada, fuera de horario, gramaticalmente perfecta y con latencia inferior a un minuto. Un atacante real que trabaja junto con agentes legítimos ahora entra dentro de esa definición ampliada. De hecho, la superficie de la señal de comportamiento se ha reducido.
¿Qué hacen los buenos encuestadores cuando su modelo falla?
Las mejores empresas encuestadoras no abandonan los modelos cuantitativos cuando los intervalos de confianza se amplían. Hacen algo más disciplinado. Reconocen claramente la incertidumbre en la forma en que comunican los resultados.
Triangulan con fuentes de datos independientes en lugar de confiar en un único modelo. Pesan más ciertas señales cuando el modelo opera fuera de sus condiciones de entrenamiento. Y, lo que es más importante, tratan los resultados de las encuestas como una probabilidad previa, no como una conclusión. El modelo te dice dónde buscar. No dice qué decisión tomará.
El correo electrónico seguro requiere la misma relación arquitectónica con la salida de ML. Una puntuación de probabilidad debe ser el punto de partida de una evaluación, no el final de la misma.
Pero quiero ser honesto acerca de lo que realmente requiere, porque es más difícil de lo que parece y la industria aún no lo ha resuelto.
Las preguntas que son importantes para detectar los ataques descritos anteriormente son: ¿Tiene sentido esta solicitud de autenticación considerando quién la envió, quién la recibió, cómo es su relación y qué requiere típicamente el flujo de trabajo organizacional en este paso? ¿Es el marco de emergencia coherente con la forma en que históricamente ha interactuado esta contraparte? ¿Una persona razonable e informada que entendiera el contexto de esta organización encontraría sospechoso este correo electrónico a pesar de que todas las características superficiales parecen claras?
Estas no son preguntas de coincidencia de patrones. Son preguntas razonables. Y nadie en la industria, incluida mi propia empresa, ha cerrado completamente la brecha entre lo que puede hacer la coincidencia de patrones de ML y lo que necesita la lógica contextual. Todos estamos avanzando hacia ello de diferentes maneras. Algunos métodos funcionarán. No pasará nada. La evaluación honesta es que el problema es realmente difícil y las herramientas aún están madurando.
Lo que los líderes de seguridad pueden hacer ahora es dejar de tratar las puntuaciones de detección como juicios. Exija que sus proveedores publiquen puntuaciones de probabilidad así como intervalos de confianza. Trate las implementaciones de sus agentes como eventos relevantes para la seguridad con el mismo rigor que aplica a los sistemas de nuevos usuarios.
Haga su propio análisis retrospectivo de lo que encuentre, porque modelar la brecha entre la detección y la realidad es más valioso que optimizar la detección que ya tiene.
El margen de error es más amplio de lo que muestra su panel. El primer paso es hacerlo visible.
Comprenda mejor la ciberseguridad con los mejores cursos de ciberseguridad online.
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
