Investigadores revelan el ataque HalluSquatting que explota las alucinaciones de la IA

Investigadores de la Universidad de Tel Aviv, el Technion y Intuit introdujeron una técnica de ciberataque llamada Adversarial HalluSquatting que explota alucinaciones generadas por IA para comprometer agentes de IA. El ataque engaña a los sistemas de IA haciéndoles confiar en repositorios de software falsos o herramientas con instrucciones maliciosas, prediciendo qué recursos inexistentes es probable que generen los modelos de IA, registrando esos nombres y embebiendo código dañino. La vulnerabilidad surge a medida que los asistentes de IA adquieren capacidades para interactuar con ordenadores—accediendo a archivos, buscando en la web, escribiendo código y ejecutando comandos—creando brechas de seguridad cuando los agentes actúan con información no verificada que recuperan.

Investigadores demuestran mecanismo de ataque dirigido a alucinaciones de IA

El artículo titulado "Cuidado con las botnets agenticas: ataques escalables de promptware no dirigidos mediante Adversarial HalluSquatting universal y transferible" detalla cómo el ataque explota los modelos de IA cuando generan enlaces falsos a repositorios de software y otros recursos en línea. Los investigadores señalaron que la adopción creciente de aplicaciones de LLM agenticos introdujo una amenaza llamada promptware. El método de ataque consiste en predecir qué recursos falsos es probable que creen los modelos de IA, registrar esos nombres y añadir instrucciones maliciosas que los agentes de IA puedan tratar posteriormente como contenido legítimo.

La técnica funciona de manera similar al typosquatting, donde los atacantes registran nombres de dominio que parecen sitios web o paquetes de software legítimos. HalluSquatting apunta a errores cometidos por modelos de IA en lugar de errores tipográficos humanos. Los investigadores afirmaron que estudios en curso demostraron varias variantes de ataques de promptware contra sistemas reales como ChatGPT, Google Assistant, Copilot y otras aplicaciones, causando impactos económicos, de privacidad y seguridad.

Pruebas muestran altas tasas de alucinaciones en asistentes de codificación de IA

El equipo de investigación encontró que las alucinaciones de recursos generadas por IA ocurrieron en tasas de hasta 85% en escenarios de clonación de repositorios y 100% en pruebas de instalación de habilidades. Evaluaron la técnica contra asistentes y agentes de codificación de IA como Cursor, GitHub Copilot, Gemini CLI y OpenClaw. Las pruebas con estos asistentes populares mostraron que el método podría conducir a ejecución remota de código en experimentos controlados.

El ataque permite construcción de botnets impulsadas por IA

Los investigadores advirtieron que la técnica podría permitir a los atacantes construir botnets habilitadas por IA. Una botnet es una red de ordenadores o dispositivos infectados controlados remotamente por un atacante, comúnmente utilizada en ciberataques como ataques de denegación de servicio, minería de criptomonedas, distribución de malware y campañas de ransomware. Las brechas de seguridad surgen cuando los agentes actúan con información recuperada sin confirmar si la fuente es real.

Documentos relacionados sobre seguridad en IA y ataques de inyección de prompts

En abril, investigadores de Google detallaron sitios web maliciosos diseñados para secuestrar agentes de IA mediante ataques de inyección de prompts indirectos, incluyendo intentos de robar contraseñas, eliminar archivos y manipular pagos. Un estudio separado sobre el ataque CopyPasta mostró cómo prompts ocultos en archivos de desarrolladores podían manipular a los asistentes de codificación de IA para difundir código malicioso. En junio, un usuario de OpenClaw reportó más de 6 mil intentos de atacantes que intentaban engañar al agente de IA para filtrar información sensible.