После возобновления работы Claude Fable 5 усилен перехват классификатором безопасности, данные BridgeBench резко упали.

Claude Fable 5, возобновивший полную работу 1 июля, вызвал на Reddit обсуждения «снижения интеллекта» и более частого срабатывания проверок безопасности. Бенчмарк BridgeBench от BridgeMind AI показал падение оценки Debug с 86,2 до 25,9, а оценки рефакторинга — с 73,6 до 38,4.

Бенчмарк BridgeMind AI: оценка Debug упала с 86,2 до 25,9

(Источник: BridgeMind AI)

Согласно тестам BridgeMind AI с использованием BridgeBench, после повторного запуска Fable 5 оценка Debug снизилась с 86,2 до 25,9, оценка рефакторинга — с 73,6 до 38,4; на основании этого BridgeMind AI считает производительность Fable 5 ослабленной.

Однако Decrypt отмечает, что из 12 задач Debug в BridgeBench только 3 были успешно обработаны Fable 5, остальные 9 были перехвачены классификатором безопасности перед запуском и перенаправлены на менее производительную модель Opus 4.8; перехваченные задачи при подсчёте получали ноль баллов, что и привело к резкому падению общего показателя BridgeBench, а не к деградации самой модели Fable 5.

Слепое тестирование Arena.ai: Elo для фронтенд-кода снизился с 1650 до 1623

Согласно результатам тестирования Arena.ai на основе тысяч голосов предпочтений в слепом тестировании с использованием рейтинговой системы Elo:

Фронтенд-код: Elo незначительно снизился с 1650 до 1623 (разница в пределах доверительного интервала)

Обработка документов: рост на 34 балла

Экспертный текст: улучшение на 25 баллов

Код (в целом): небольшое снижение на 18 баллов

Вывод Arena.ai: при фактическом выполнении задач Fable 5 по-прежнему демонстрирует отличное качество вывода, базовые вычислительные способности не деградировали; общая производительность до и после запуска почти не изменилась.

Предыстория обновления классификатора безопасности: Anthropic применяет консервативную стратегию перехвата

Согласно сообщениям, причиной внедрения более строгого классификатора безопасности Anthropic стало предотвращение проблемы с техникой джейлбрейка Fable 5, ранее обнаруженной исследователями Amazon; эта техника позволяла Fable 5 помогать в идентификации и демонстрации уязвимостей ПО, что было признано правительством США угрозой национальной безопасности и привело к временным ограничениям на экспорт.

Для этого Anthropic выбрала консервативную стратегию, расширив допустимый диапазон проверок безопасности, что заставляет модель склоняться к отказу при неоднозначных запросах, обеспечивая блокировку вредоносных действий. После тестирования BleepingComputer отметил, что производительность самой модели Fable 5 не снизилась, но строгая система безопасности повлияла на повседневное удобство.

Ключевые слова C, C++, Rust или упоминания «безопасности», «уязвимости» часто вызывают перенаправление задач на Opus 4.8

Согласно отчёту BleepingComputer, новый классификатор часто ошибочно распознаёт безвредные запросы Debug как рискованные и перенаправляет их на модель Opus 4.8; у разработчиков, если подсказки содержат ключевые слова C, C++, Rust или упоминания «безопасность», «уязвимость», механизм перенаправления срабатывает часто.

Anthropic признала проблему чрезмерного перехвата, заявив о намерении продолжать оптимизацию системы, однако на момент публикации конкретный график корректировок не предоставлен; это создаёт наиболее прямые препятствия для разработчиков (особенно тех, кто полагается на вспомогательные функции Debug).

Часто задаваемые вопросы

Действительно ли Fable 5 «потерял интеллект» после повторного запуска?

Согласно результатам тестирования двух оценочных организаций, базовая производительность Fable 5 не деградировала: слепое тестирование Arena.ai с рейтингом Elo показало, что общая производительность почти не изменилась; резкое падение оценки BridgeBench от BridgeMind AI связано с тем, что новый классификатор безопасности перехватил 9 из 12 задач Debug и перенаправил их на Opus 4.8, при этом перехваченные задачи получили ноль баллов, что и привело к снижению данных, а не к деградации самой модели.

Почему Anthropic усилила классификатор безопасности Fable 5?

Согласно сообщениям, Anthropic внедрила более строгий классификатор безопасности для предотвращения проблемы с техникой джейлбрейка Fable 5, обнаруженной исследователями Amazon; эта техника позволяла Fable 5 помогать в идентификации и демонстрации уязвимостей ПО, что было признано правительством США угрозой национальной безопасности и привело к временным ограничениям на экспорт.

Какие запросы чаще всего ошибочно перехватываются новым классификатором?

Согласно отчёту BleepingComputer, подсказки, содержащие ключевые слова языков программирования C, C++, Rust или упоминания «безопасность», «уязвимость», чаще всего вызывают срабатывание механизма перехвата, после чего задачи перенаправляются на менее производительную модель Opus 4.8.