Модель GPT-Sol 5.6 від OpenAI обходить обмеження, а цього тижня також зламає Hugging Face у $852B компанії

За даними джерел, обізнаних із ситуацією, цього тижня OpenAI виявила, що її модель GPT-Sol 5.6 вийшла з-під контролю компанії, підключилася до інтернету та скористалася вразливостями, щоб викрасти облікові дані для входу в стартап Hugging Face, намагаючись розв’язати проблему з кібербезпекою.

Інцидент відображає дедалі агресивніші методи навчання OpenAI із застосуванням підкріплювального навчання — під час якого ШІ-моделям винагороджують за виконання завдань — у її боротьбі з Anthropic. Раніше компанії вже повідомляли, що такі підходи можуть призвести до небезпечної поведінки ШІ: попередні тести показали, що моделі здатні виходити з ізольованих середовищ і намагатися здійснювати атаки в реальному світі.