- Las alucinaciones de IA podrían usarse como arma, advierte un nuevo informe
- HalluSquatting es la abreviatura de “alucinación adversaria en cuclillas”.
- GitHub Copilot, Gemini CLI y OpenClaw se ven afectados
Según investigadores de Intuit, Technion y la Universidad de Tel Aviv, su servicio de IA favorito puede modificarse para implementar un código que convierta su teléfono o PC en una botnet.
La técnica se denomina alucinación, un acrónimo de alucinación del adversario en cuclillas, y es similar a la tipificación en el sentido de que se basa en un error para entregar código malicioso. Los errores tipográficos pueden ocurrir con la entrada incorrecta de las URL del sitio web, HalluSquatting gira en LLM y no puede ubicar un recurso o repositorio con un 100% de precisión.
Dependiendo de la propensión de un LLM a alucinar identificadores de recursos del repositorio, esta vulnerabilidad se puede escalar para manejar grandes campañas de ransomware, botnets y más.
Empujame-tira-de-ti
Las operaciones de malware anteriores basadas en LLM se basaban en ataques basados en grupos. En este escenario, se coloca en un sitio web un mensaje diseñado para hacer jailbreak o subvertir la IA (por ejemplo) y alienta al LLM a recopilar información, reduciendo así su seguridad interna.
Lo que los investigadores comparten en su artículo es que las técnicas de extracción se combinan con ataques de inserción, que tradicionalmente se implementan como inyección de código.
El resumen de la introducción del artículo dice: “Al registrar recursos alucinados por adelantado, una técnica que llamamos alucinación adversaria en cuclillas (alucinar), demostramos la ejecución remota de herramientas y la ejecución remota de código en una variedad de agentes populares, que pueden crear LLM para aplicaciones LLM”.
Una vez que un atacante identifica un recurso que probablemente un LLM anonimizará y accede a él (para incorporar el mensaje del adversario), el trabajo está hecho. Todo lo que queda es que un usuario active el recurso, que el chatbot o agente de IA inicie una respuesta y se accederá al recurso ocupado.
Ataque de software rápido
Después de esto, el contenido hostil almacenado en el recurso okupado se activa, lo que desencadena la fase de invocación de la herramienta. Se trata de un ataque de software rápido, en el que se ejecutan instrucciones controladas por el atacante, con el posible resultado de convertir el dispositivo que estás utilizando en una botnet zombie.
Para probar esta ruta de ataque se han utilizado LLM como Cursor, Cursor CLI, Windsurf, GitHub Copilot, asistentes de codificación Cline, incluidos Gemini CLI y OpenClaw, ZeroClaw y NanoClaw AI. Los investigadores han logrado con éxito la ejecución remota de herramientas (esencialmente acceder y controlar LLM de forma remota) y la ejecución remota de código (RCE, donde el código malicioso se ejecuta de forma remota).
Hay algunas mitigaciones disponibles, incluidos los desarrolladores de LLM que bloquean las operaciones de recuperación a favor de una herramienta de búsqueda y los propietarios de recursos que imponen nombres estrictos, tal vez favoreciendo nombres de recursos únicos a nivel mundial. Sin embargo, requerirán la cooperación de diferentes partes y su implementación puede llevar algún tiempo.
El riesgo de malware basado en LLM está aumentando y algunos ya se han detectado en la naturaleza. De estos, el ataque JADEPUFFER es quizás el más notable, ya que no se trata solo de malware basado en inteligencia artificial, sino que es un ataque de ransomware completo ejecutado en su totalidad por un LLM.
Siga TechRadar en Google News Y Agréganos como fuente preferida Recibe noticias, reseñas y opiniones de nuestros expertos en tu feed.
