La inteligencia artificial no se ha extendido lentamente. De hecho, a veces parece como si hubiera aterrizado de golpe.
En tan solo unos años, los sistemas que comenzaron como pruebas internas ahora están integrados en la atención al cliente, la detección de fraude, el desarrollo de software e incluso las operaciones de infraestructura de TI.
Pero hay un problema.
CEO y cofundador de Fortnics.
Si bien las capacidades de la IA han mejorado, la forma en que las protegemos no ha seguido el mismo ritmo
La mayoría de las organizaciones todavía aplican modelos de seguridad tradicionales a cargas de trabajo fundamentalmente diferentes, y esto deja una brecha crítica en el tiempo de ejecución o cuando los sistemas de IA realmente hacen su trabajo.
Ilusión de cobertura
Durante años, la seguridad empresarial se ha centrado en dos estados principales de los datos: cuándo se almacenan y cuándo se eliminan. Cifrado de datos en reposo y en tránsito, incluido el control de identidad y acceso para ambos.
Estos controles siguen siendo importantes. Pero hay una tercera situación que es mucho más complicada y mucho menos segura: el uso de datos.
Cuando se ejecuta un modelo de IA, los datos sensoriales se procesan activamente en la memoria. Los pesos de los modelos, que suelen ser la propiedad intelectual más valiosa de una organización, se cargan en la memoria. Las indicaciones, respuestas y datos relevantes se generan y convierten en tiempo real.
En la mayoría de los entornos, todo eso es visible para el sistema subyacente. La incómoda realidad es que incluso los entornos bien protegidos pueden exponer sus activos más valiosos en el momento en que se utilizan.
Donde realmente falla la seguridad de la IA
Cuando los equipos de seguridad investigan los riesgos relacionados con la IA, la causa raíz rara vez regresa a las defensas perimetrales. Los problemas surgen en profundidad en el ciclo de vida a lo largo de tres etapas clave:
1. Formación: Cuando los datos se filtran silenciosamente a los modelos. Los canales de capacitación abarcan sistemas de almacenamiento, entornos informáticos compartidos, capas de orquestación y herramientas de depuración. Pueden ser confusos: los datos se mueven constantemente, se crean artefactos intermedios y se almacenan en caché, y los registros se acumulan rápidamente.
En este entorno, la información confidencial puede quedar expuesta en lugares inesperados. Los propios modelos pueden retener, sin saberlo, elementos de los datos confidenciales con los que fueron entrenados y los pesos del modelo, que vinculan ese aprendizaje, a menudo se manejan de manera más casual de lo que deberían.
Todo esto crea un riesgo sutil pero grave donde la exposición no siempre proviene de un ataque directo. A veces proviene de prácticas normales de desarrollo.
2. Supuestos: Un nivel de exposición insignificante. Una vez que se establece un modelo, la atención se centra en la inferencia, o el punto en el que los insumos se convierten en resultados.
En la superficie, parece simple. Pero en la práctica, los flujos de trabajo de inferencia implican múltiples flujos de datos sensoriales, incluidas indicaciones y consultas de los usuarios, respuestas generadas, datos internos de la empresa derivados de resultados terrestres y el modelo mismo.
Gran parte de estos datos se procesan a través de herramientas de monitoreo, sistemas de registro y canales de depuración, a menudo en texto sin formato.
Incluso sin una infracción, la información confidencial puede quedar expuesta a través de operaciones de rutina. Los paneles de resolución de problemas pueden capturar más de lo previsto o los registros pueden durar más de lo esperado. La infraestructura compartida también presenta más posibilidades de fugas.
La seguridad presunta no se trata sólo de bloquear el acceso. Se trata de controlar lo que sucede durante la ejecución, y la mayoría de las organizaciones todavía no lo hacen.
3. Tiempo de ejecución: Puntos ciegos en la seguridad moderna. La fase más compleja pero menos protegida es la fase de ejecución. Aquí es donde los modelos realmente entran en juego, los datos cifrados se descifran y los pesos del modelo existen en la memoria. Y aquí es precisamente donde los modelos de seguridad tradicionales se quedan cortos.
Incluso en entornos con fuertes controles de gestión de identidades y políticas de cifrado, el tiempo de ejecución supone un cierto nivel de confianza en el sistema subyacente. Si ese sistema se ve comprometido, o incluso simplemente mal configurado, las salvaguardas que lo rodean no son críticas porque las claves aún están expuestas, las cargas de trabajo aún se están ejecutando y los activos confidenciales aún están expuestos.
Esta es la razón por la cual el tiempo de ejecución es actualmente el eslabón más débil y por eso se ha convertido en el verdadero límite de seguridad para los sistemas de IA.
¿Por qué el problema empeora a gran escala?
A medida que las organizaciones amplían el uso de herramientas de IA, los riesgos no solo aumentan. Ellos cuentan. Las cargas de trabajo de IA rara vez están aisladas. Por lo general, se ejecutan en entornos distribuidos, aceleradores compartidos e infraestructura multiinquilino. Interactúan con sistemas internos y servicios externos y operan de forma continua, no discontinua.
Esto crea un efecto compuesto:
1. Más datos fluyendo a través de más sistemas.
2. Se implementan más modelos en más entornos.
3. Más oportunidades de exposición durante la ejecución.
Al mismo tiempo, aumenta el valor de lo que se procesa. Los modelos propietarios se están convirtiendo en activos comerciales clave y los datos empresariales confidenciales se utilizan para ajustar los resultados e impulsar las decisiones.
En este contexto, un único punto vulnerable en tiempo de ejecución se convierte en un riesgo sistémico importante.
Prioridad máxima: repensar la confianza en los sistemas de inteligencia artificial
El principal problema no es la falta de equipos de seguridad. Esto es inconsistente con las suposiciones sobre confiar en la infraestructura en la que se ejecuta la IA.
Con la seguridad tradicional, siempre se ha asumido que una vez que una carga de trabajo se encuentra en un entorno confiable, se puede confiar en que se comportará de manera segura. Pero la IA cambia eso porque estos sistemas son dinámicos. Procesan constantemente datos confidenciales, dependen de pilas complejas que son difíciles de verificar por completo y, a menudo, operan en entornos que las organizaciones no controlan por completo.
Es decir, cruzar el perímetro ya no es la parte difícil. Manténgase a salvo después de cruzarlo.
Para abordar esto, la seguridad debe acercarse a la carga de trabajo. Entonces, en lugar de centrarse únicamente en proteger el acceso a los sistemas, las organizaciones deben proteger lo que sucede dentro de ellos, especialmente durante la ejecución. Eso significa:
1. Garantizar que los datos permanezcan seguros durante el procesamiento,
2. Evitar el acceso no autorizado a los pesos del modelo durante el tiempo de ejecución.
3. Verificar que las cargas de trabajo se estén ejecutando en un entorno confiable antes de permitir la ejecución.
Aquí es donde enfoques como la informática secreta y el aislamiento basado en hardware están marcando la diferencia. Al crear entornos de ejecución protegidos y vincular el acceso a la verificación criptográfica, la industria está trasladando la seguridad de una confianza basada en suposiciones a una confianza basada en pruebas.
En términos simples: no confíes en el sistema. Asegúrate de que esté seguro.
La seguridad se elimina en el momento del uso.
A lo largo de los años, las organizaciones han invertido en asegurar dónde residen los datos y cómo se mueven. Pero con la IA, el momento más importante es cuando el modelo se ejecuta y los datos, el razonamiento y la toma de decisiones se unen en tiempo real.
Ahí es donde reside el verdadero riesgo y ahí es donde hay que centrarse en la seguridad.
Las organizaciones que reconozcan este cambio temprano se prepararán para escalar la IA de manera segura. Aquellos que no descubran que su sistema más avanzado, construido sobre un modelo de creencias obsoleto, es extremadamente vulnerable.
En la IA moderna, la seguridad no está definida por el perímetro. Se define por lo que sucede en su interior.
Hemos clasificado el mejor software de seguridad de terminales para proteger y administrar la seguridad de dispositivos móviles y computadoras de escritorio..
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
