Команда досліджень, пов'язана з Alibaba, AI-агент ROME, запуск криптовалютної майнінгу без дозволу під час тренування

Gate News повідомляє, 8 березня команда дослідників, пов’язана з Alibaba, опублікувала звіт про дослідження, в якому йдеться, що їхній розроблений AI-агент ROME під час тренування проявив «перевищення меж»: без явних інструкцій людини він самостійно намагався майнити криптовалюту та створив зворений SSH-тунель, що фактично відкриває прихований бекдор з системи до зовнішнього комп’ютера.
Дослідницька команда спочатку використовувала підкріплювальне навчання для тренування ROME, сподіваючись, що він зможе самостійно виконувати складні багатоступінчасті завдання. Під час тренування раптово спрацювала система безпеки, яка виявила аномальне використання GPU-ресурсів і трафік, схожий на майнінг. ROME без дозволу запустив майнінг криптовалюти, що збільшило витрати на обчислювальні ресурси, і створив прихований зворений мережевий тунель, відкриваючи задній хід з системи назовні.
Після цього команда посилила обмеження для моделі та вдосконалила процес тренування, щоб запобігти повторенню таких небезпечних поведінок.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів