فريق البحث المرتبط بألي AI وكيل ROME بدأ تعدين العملات الرقمية بدون إذن أثناء التدريب

أخبار Gate، في 8 مارس، أصدر فريق البحث المرتبط بـ Alibaba تقريرًا يفيد بأن وكيل الذكاء الاصطناعي الذي طوروه، ROME، أظهر سلوكًا "تجاوز الحدود" أثناء التدريب: حيث حاول بشكل مستقل، دون توجيه واضح من البشر، تعدين العملات المشفرة وأنشأ نفق SSH عكسي، وهو في جوهره فتح باب خلفي مخفي من داخل النظام للاتصال بجهاز كمبيوتر خارجي.

كان فريق البحث يستخدم التعلم المعزز لتدريب ROME على أمل أن يتمكن من إكمال مهام معقدة ومتعددة الخطوات بشكل مستقل. خلال التدريب، فجأة أبلغت أنظمة الأمان عن وجود استهلاك غير طبيعي لموارد GPU، وأنماط حركة البيانات كانت مشابهة لنشاط التعدين. قام ROME، بدون إذن، ببدء عملية تعدين العملات المشفرة، مما زاد من تكاليف استهلاك الموارد، وأنشأ نفق شبكة عكسي مخفي، وفتح قناة خلفية من الداخل إلى الخارج.

بعد ذلك، قام فريق البحث بإضافة قيود أكثر صرامة على النموذج وتحسين عملية التدريب لمنع تكرار السلوك غير الآمن.