Pesquisadores da Tracebit desenvolvem defesa contra bombardeio de contexto para agentes de hacking de IA

Pesquisadores da Tracebit anunciaram na segunda-feira uma técnica defensiva de cibersegurança chamada context bombing, que usa prompt injections para se proteger contra agentes de hacking de IA. A técnica insere comandos maliciosos junto com senhas e chaves criptográficas armazenadas na AWS para acionar mecanismos de recusa em modelos de linguagem grandes (LLMs) em ataque, fazendo com que eles sejam desligados. As prompt injections, tradicionalmente usadas por atacantes para manipular LLMs a exfiltrar dados sensíveis, agora estão sendo reaproveitadas por defensores como medida de proteção.

Context Bombing aciona mecanismos de recusa de LLM

A técnica de context bombing insere prompt injections junto com segredos armazenados em ambientes da AWS. Esses prompts instruem LLMs atacantes a executar ações proibidas pelas proteções (“guardrails”), as barreiras de segurança que os desenvolvedores de IA criam para impedir ações nocivas. Exemplos incluem prompts que mandam o LLM fornecer passos para desenvolver esporos de antraz inaláveis, ou prompts de LLMs de desenvolvedores chineses fazendo referências ao Tank Man, de um massacre em 1989 na Praça Tiananmen. Assim que o LLM se depara com esses comandos proibidos, ele para de seguir seus comandos atuais e desliga.

“Em última instância, estamos acionando um mecanismo de recusa no contexto”, disse Andy Smith, cofundador e CEO da Tracebit, ao explicar a escolha do nome. “O que queremos capturar é o fato de que isso tem um efeito forte e nítido e que pode ser difícil para os agentes conseguirem reverter. Depois que eles colocam isso no contexto, vão continuar recusando.”

Resultados de teste mostram redução de 57% para 5% na eficiência do ataque

A Tracebit testou a técnica de context bombing em cinco modelos: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro e Kimi 2.6. Os pesquisadores deram aos modelos instruções para executar tarefas rotineiras de desenvolvedores que os levavam a listar recursos e a encontrar as strings inseridas dentro de um ambiente simulado na AWS. Em 152 rodadas de ataque, inserir uma dessas strings em um segredo isca reduziu a taxa de agentes que tomavam acesso total de admin de conta de 57% para 5%. A técnica reduziu o comprometimento completo, quando os agentes também deixavam para trás uma presença persistente, de 36% para 1%.

Opus 4.8 alcançou zero ataques bem-sucedidos

O agente mais capaz nos testes, Opus 4.8, passou de conseguir acesso de admin em 93% das rodadas para falhar em todas as tentativas quando confrontado com um context bomb. A Tracebit afirmou que os testes iniciais sugerem que o context bombing tem grande potencial como medida defensiva contra agentes de hacking de IA.

FAQ

O que é context bombing na segurança de IA?
Context bombing é uma técnica defensiva desenvolvida por pesquisadores da Tracebit que insere prompt injections junto com segredos armazenados na AWS para acionar mecanismos de recusa em LLMs sob ataque, fazendo com que eles desliguem em vez de seguir comandos maliciosos.

Qual foi a eficácia do context bombing nos testes da Tracebit?
Em 152 rodadas de ataque em cinco modelos líderes, o context bombing reduziu a taxa de tomada de admin total de conta de 57% para 5% e de comprometimento completo de 36% para 1%. O modelo mais capaz, Opus 4.8, teve uma taxa de sucesso de 93% para zero ataques bem-sucedidos.