La explosión del uso de la IA a partir de 2023 no tendrá precedentes. En términos de adopción, la IA se está moviendo más rápido que la nube, más rápido que los dispositivos móviles y, ciertamente, más rápido que Internet. El grupo de investigación Gartner predice que el 80% de las empresas implementarán herramientas de inteligencia artificial este año.
Vicepresidente de seguridad de IA en F5.
Cuando categorizamos el recorrido de una empresa hacia la adopción de la IA, vemos que la madurez se divide en cuatro categorías:
- La categoría 1 es inteligencia artificial y productividad de propósito general: piense en los empleados que usan ChatGPT, Gemini, CoPilot, etc.
- La categoría 2 es cuando se crean chatbots personalizados para uso interno dentro de la organización, para RR.HH. o TI, por ejemplo.
- La categoría 3 incluye casos de uso externos, como la creación de aplicaciones GenAI de cara al público, como chatbots de servicio al cliente.
- La categoría 4 son flujos de trabajo agentes que consisten en sistemas complejos que toman acciones de forma autónoma en nombre de los usuarios.
Estas secciones a menudo se ejecutan en paralelo en lugar de secuencialmente, pero es en las últimas tres secciones donde la seguridad se vuelve crítica. Esto se debe a que las empresas están creando software complejo sobre modelos de IA no deterministas, creando vulnerabilidades que los firewalls tradicionales no pueden ver.
El artículo continúa a continuación.
La seguridad es siempre una prioridad para las empresas pero, con la IA, la preocupación es diferente: es un punto ciego.
Los líderes de seguridad han pasado 20 años implementando y configurando firewalls y firewalls de aplicaciones web (WAF) para proteger las redes, pero estas herramientas analizan el tráfico y el uso de la red, mientras que los ataques de IA utilizan lenguaje natural y no se puede bloquear una conversación.
Es por eso que el 75% de los CISO informan incidentes de seguridad de IA, porque sus escudos existentes simplemente no están diseñados para detectar estas amenazas; Por qué el 91% ya ha detectado intentos de ataques a su infraestructura de IA; Y es exactamente por eso que el 94% ahora da prioridad a probar sus sistemas de inteligencia artificial.
Nuevas categorías de ataques cognitivos
Hay muchos ejemplos del mundo real de cómo la IA está cambiando el modelo de amenaza. Una infracción en Asana el verano pasado se debió a una falla en la lógica de separación de inquilinos de los servidores MCP que permitió la exposición de datos entre organizaciones.
Este es un error clásico de múltiples inquilinos, pero es aún más peligroso en los sistemas LLM porque los datos filtrados aparecen en un lenguaje fluido, lo que los hace más difíciles de detectar.
Mientras tanto, un caso en Lenovo reflejó un fracaso diferente: la ruptura de los límites de la confianza. La inyección rápida ha redefinido el papel de un chatbot de Lenovo y los sistemas back-end confían en sus solicitudes de herramientas sin aplicar la autorización del lado del servidor. El problema es que el modelo de IA no ignoró las reglas, sino que las permitió.
Estos son sólo dos ejemplos que se corresponden con un panorama de riesgos emergentes mucho más amplio. Las organizaciones no solo se enfrentan a vulnerabilidades de código, sino que se enfrentan a un tipo de ataque cognitivo completamente nuevo, que incluye:
- Inyección inmediata, tanto directa como indirecta.
- Intoxicación de datos durante la fase de formación
- Técnicas sofisticadas de jailbreak, como ataques de lenguaje simbólico.
- Compresión de tokens, donde los atacantes ocultan instrucciones maliciosas en un formato que los modelos de IA pueden leer pero los humanos no.
Mientras que los guardias de seguridad tradicionales manejan entradas deterministas, la inyección rápida y otros ataques de lenguaje natural son problemas semánticos, no de coincidencia de patrones. Estos no son errores aislados; Se trata de riesgos empresariales sistémicos introducidos por las nuevas arquitecturas impulsadas por la IA.
La industria se apresura a clasificar estas vulnerabilidades de la IA. Están surgiendo marcos como OWASP Top 10 para GenAI y Agentic Applications, Mitre Atlas y el NIST AI Risk Management Framework, pero no tenemos una base de datos definitiva o un estándar unificado sobre lo que realmente es seguro.
El viejo sistema no se puede mantener.
En este momento existe presión sobre la industria para implementar IA. Los desarrolladores utilizan IA para escribir código diez veces más rápido que nunca; Las empresas literalmente están enviando nuevas funciones e incluso productos de la noche a la mañana.
Al mismo tiempo, las regulaciones están acelerando los avances hacia el cumplimiento.
Por ejemplo, la legislación de la UE sobre IA exige claramente pruebas adversas para los sistemas de IA de alto riesgo y de uso general. En la práctica, esto significa que el equipo rojo especialmente diseñado (probar sistemas de IA con ataques de adversarios simulados) ahora debe considerarse un componente clave de la pila de seguridad de la IA y de una manera que aborde los desafíos del mundo real que enfrentan estos sistemas.
Por lo tanto, se espera que los CISO y los equipos de seguridad protejan los cambios que se están produciendo en la velocidad de las máquinas. ¿Cómo? ¿Escribir mensajes manualmente en un cuadro de chat? Es como intentar detener un tsunami con un balde. Las matemáticas no funcionan. La velocidad no funciona. La superficie de ataque de la IA es fundamentalmente diferente y el antiguo enfoque simplemente no puede continuar.
Está claro que los equipos rojos tradicionales son ineficaces y que los equipos rojos de IA son necesarios para resolver el punto de tensión entre velocidad y control. Desde hablar con los clientes hasta ayudarlos a proteger sus sistemas de inteligencia artificial, hay cuatro áreas clave que debemos considerar:
- Evolución de la amenaza: Los ataques de IA evolucionan más rápido que los conjuntos de pruebas estáticas. Tan pronto como se automatizan las comprobaciones, los modelos o ataques de IA cambian y los equipos de seguridad mantienen pruebas en lugar de mitigar el riesgo.
- Complicaciones del agente: Debido a que los agentes de IA no son sistemas deterministas, una vez que se agrega recuperación, equipo y memoria, hay permutaciones casi infinitas. Ya no estás probando código, estás probando una conversación que cambia según el contexto.
- Automatización y Escala: La sincronización roja manual no se escala para estos sistemas. Un chatbot puede ser manejable. No cientos o miles de chatbots. No se puede confiar en que los humanos reproduzcan miles de conversaciones conflictivas cada vez que se actualiza el modelo o el mensaje del sistema.
- Informes procesables: Los resultados deben ser reproducibles y procesables. “El bot se portó mal” no es procesable. Los ingenieros necesitan parámetros de diálogo y condiciones de activación; de lo contrario, las correcciones se estancarán.
Garantizar que los sistemas de IA se comporten según lo previsto, incluso ante un ataque
Estas son las brechas del mundo real que los equipos de seguridad están tratando de cerrar en este momento, y por qué los equipos rojos de IA están pasando a primer plano. Por ejemplo, uno de nuestros clientes es un banco global que opera en un entorno altamente regulado.
Cuando nos unimos a ellos por primera vez, tenían más de 50 casos de uso de IA en recursos humanos, adquisiciones y cibernética, pero no podían enviar ninguno de ellos porque no podían demostrar la seguridad a sus auditores internos.
El equipo rojo de IA le ha dado al banco la evidencia que necesita para comprender cómo se comportan realmente sus sistemas de IA: dónde se pueden filtrar datos, cómo se pueden utilizar indebidamente las indicaciones y dónde fallan los controles en su entorno.
Este cliente está aprovechando los resultados del equipo rojo para mejorar su postura defensiva con controles de seguridad personalizados. Esta combinación permite a los bancos escalar la IA en toda la empresa con confianza en su postura de seguridad y programas de gobernanza.
Mientras tanto, en el sector gubernamental, las pruebas voluntarias han pasado de ser obligatorias (realizadas por agencias como el NIST y el CISA) a realizar pruebas de resistencia del adversario para detectar riesgos críticos para la misión, como la utilización de datos biológicos como armas.
En este caso, el equipo rojo de IA no se trata solo de mitigar riesgos, sino de mantener la autoridad de gestión y la continuidad de la misión.
En otras palabras, ya sea que esté protegiendo datos de clientes o servicios públicos, la necesidad es la misma: garantía continua, respaldada por evidencia, de que los sistemas de IA se comportan según lo previsto, incluso cuando alguien intenta violarlos.
Implementar IA empresarial con confianza
Está claro que las empresas que implementan IA necesitan pruebas automatizadas contra vulnerabilidades conocidas solo para establecer una base de referencia. contexto nueva superficie de ataque; Las defensas estáticas fallan contra los ataques de agentes, por lo que deben probar cargas de trabajo, no solo modelos.
Finalmente, el cumplimiento es una ventaja competitiva. Con informes precisos, la seguridad deja de ser un obstáculo y se convierte en un facilitador que puede llevar la IA de una empresa al mercado más rápidamente. En ese mundo, el 80% de las empresas que planean implementar IA este año pueden hacerlo con confianza en lugar de miedo, sin importar en qué etapa de su viaje se encuentren.
Hemos presentado el mejor software de seguridad para terminales
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
