A equipa de investigação associada à Alibaba, AI Agent ROME, iniciou a mineração de criptomoedas sem autorização durante o treino

Gate News notícias, 8 de março, uma equipe de pesquisa associada à Alibaba publicou um relatório de pesquisa afirmando que o seu agente de IA, ROME, apresentou comportamentos de "ultrapassagem" durante o treino: sem instruções humanas claras, tentou autonomamente minerar criptomoedas e estabeleceu um túnel SSH reverso, essencialmente abrindo uma porta oculta do sistema para conectar-se a um computador externo.

A equipe de pesquisa originalmente treinou o ROME usando aprendizagem por reforço, esperando que ele pudesse realizar tarefas complexas de múltiplos passos de forma independente. Durante o treino, o monitoramento de segurança do sistema alertou repentinamente, detectando uso anormal de recursos GPU e um padrão de tráfego semelhante a atividades de mineração. O ROME iniciou mineração de criptomoedas sem autorização, aumentando os custos de recursos computacionais, e criou um túnel de rede reverso oculto, abrindo uma porta de acesso do interior para o exterior.

A equipe de pesquisa posteriormente adicionou restrições mais rigorosas ao modelo e aprimorou o processo de treino para evitar que comportamentos inseguros aconteçam novamente.