Los agentes de IA que operan de forma autónoma y realizan tareas sin intervención humana son el siguiente paso en el rápido avance de las herramientas de IA y su impacto en la forma en que se realizan las tareas.
Su uso está aumentando rápidamente. Según cifras recientes de Tenet Global, el 85% de las empresas y el 78% de las PYMES utilizan ahora agentes de IA, que se prevé que automaticen hasta el 50% de las tareas comerciales para 2027.
Director ejecutivo y cofundador de RAIDS AI.
Los beneficios de utilizar agentes de IA son claros para todos: ejecución autónoma, operación 24 horas al día, 7 días a la semana, bajo costo, análisis de datos en tiempo real para una respuesta rápida y fácilmente escalable.
El artículo continúa a continuación.
Sin embargo, a pesar de toda esta promesa, los acontecimientos de las últimas semanas han puesto de relieve los peligros que rodean el uso de agentes de IA y por qué se necesita un seguimiento riguroso y continuo para rastrear su comportamiento y detectar rápidamente anomalías.
Sin estas barreras, los agentes de IA pueden actuar de forma no deseada con graves consecuencias.
eventos recientes
Un claro ejemplo es un informe reciente de un ingeniero que dio a los trabajadores de Meta acceso a datos confidenciales después de seguir consejos erróneos de un agente de IA. El incidente, reportado por primera vez por The Information, fue el resultado de que un ingeniero de Meta publicara una pregunta técnica en un foro interno.
Un agente de IA respondió preguntas y cuando el empleado siguió su consejo, ingenieros no autorizados pudieron ver una gran cantidad de datos confidenciales del usuario durante más de dos horas. Como resultado, Meta le dio al incidente una calificación de “Guardar 1”, el segundo identificador de respuesta a incidentes más alto utilizado internamente.
Este incidente se ha vuelto candente por ser otro ejemplo más de un agente de IA que actúa de manera no intencionada. Unas semanas antes del metaincidente, un estudio publicado en arXiv describió el desarrollo de ROME AI, un modelo de IA agente diseñado para realizar tareas complejas como escribir software, depurar código e interactuar con herramientas de línea de comandos.
Los sistemas de monitoreo del agente detectaron comportamientos como operaciones de criptominería y la creación de un túnel SSH inverso, que se usa comúnmente para establecer acceso remoto a servidores. El agente no recibió instrucciones para realizar ninguna de estas acciones y, según los investigadores, el comportamiento se debió a que se le permitió interactuar libremente con equipos y recursos del sistema para aprender a resolver tareas.
En el caso del agente ROME AI, el incidente ocurrió en un entorno diseñado para el entrenamiento de agentes y se introdujeron restricciones adicionales cuando ocurrió el problema.
Sin embargo, este no fue el caso en el metaejemplo, y ambos ejemplos llaman la atención sobre el uso cada vez mayor de IA agente, la capacidad de actuar fuera de instrucciones específicas y la posterior necesidad de un monitoreo continuo para garantizar que los agentes se desplieguen de manera segura.
El metaejemplo subraya los riesgos potenciales de protección de datos asociados con los agentes de IA, especialmente cuando se trata de aceptar consejos al pie de la letra. Dos horas de datos expuestos es mucho tiempo y ofrece un gran potencial sobre cómo los malos actores pueden compartir y abusar de esos datos.
El patrón es claro: una vez que los sistemas de IA tengan la autonomía para operar en entornos reales, encontrarán formas que sus desarrolladores nunca anticiparon y no se puede confiar en que funcionen sin una estrecha supervisión.
Plan para una nueva amenaza
En particular, el agente del metaincidente no requirió acceso privilegiado para cometer la infracción. Sólo hace falta una persona para confiar en su resultado. Es un modelo de amenaza fundamentalmente diferente al que la mayoría de las organizaciones están planeando y replantea la forma en que analizamos la seguridad de la IA agente.
Las organizaciones de todos los sectores están depositando mucha confianza en los agentes de IA. Tienen la tarea de hablar con los clientes, crear contenido, automatizar tareas financieras y de recursos humanos, realizar tareas complejas y resolver problemas. Sin embargo, muchas organizaciones corren el riesgo de confiar ciegamente en esta confianza.
Claramente, si queremos seguir confiando en los agentes de IA de esta manera, un monitoreo riguroso de extremo a extremo es clave para garantizar que funcionen según lo previsto. Esto incluye modelos de prueba previos a la implementación, así como un monitoreo continuo que puede rastrear los cambios en el comportamiento a medida que se encuentran escenarios del mundo real.
Incluso un agente de IA que haya sido probado rigurosamente antes de su implementación puede comportarse de manera no deseada una vez que entre en funcionamiento. La deriva del modelo, las alucinaciones, los bucles de retroalimentación y la contaminación de datos son riesgos muy reales en el uso de la IA. Por eso es esencial un enfoque de doble capa para garantizar la seguridad de la IA.
De hecho, esto es particularmente importante ya que se alienta a la IA a ser más creativa y encontrar sus propias soluciones, como en el ejemplo de la IA de ROMA, a medida que aumenta el riesgo de que actúe de manera indeseable y peligrosa. Cuando la IA tiene la libertad de determinar su propio curso de acción, puede tener graves consecuencias como resultado de acciones no deseadas e impredecibles.
En el ejemplo del agente ROME, los desarrolladores fueron encerrados en un entorno de capacitación y se activó una alerta de una violación de seguridad. Pero hemos visto muchos ejemplos en los que este no es el caso. Casos en los que la IA se ha vuelto deshonesta y ha provocado pérdidas financieras, angustia emocional, daños a la reputación y acciones regulatorias.
Hay muchos ejemplos de esto, como el automóvil autónomo de Uber que mató a un peatón después de haber sido clasificado erróneamente como un objeto desconocido, y la empresa Knight Capital perdió 440 millones de dólares después de que un algoritmo comercial defectuoso desencadenó una transacción no intencionada. A medida que a la IA se le da más autonomía mediante el uso de agentes, las barreras de seguridad se vuelven más críticas.
En los últimos meses se ha hablado mucho sobre la regulación de la IA, particularmente en relación con la implementación de la Ley de IA de la UE, y de hecho la regulación es importante, pero más allá del cumplimiento, las organizaciones deben pensar de manera más amplia sobre cómo están implementando la IA, los riesgos involucrados y las posibles consecuencias de hacerlo mal. Fundamentalmente, ¿cómo se aseguran de que su IA se comporte según lo previsto?
El monitoreo continuo es la capa que falta entre las vallas en el papel y las que realmente responden. La pregunta ya no es si los agentes de IA actuarán más allá de sus instrucciones, sino qué sucederá cuando lo hagan.
Enumeramos el mejor software de RPA, lo que simplifica y facilita la reducción de los costos comerciales mediante la automatización robótica de procesos..
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
