Anthropic обнаруживает скрытый механизм J-Space в Claude для безмолвного рассуждения

Согласно исследованию, опубликованному сегодня, Anthropic обнаружила в своей языковой модели Claude особый внутренний механизм, названный J-пространством, который отражает сознательный доступ в человеческом мозге. J-пространство позволяет модели выполнять преднамеренные рассуждения и удерживать концепты в уме без генерации видимого текстового вывода, работая незаметно во внутренних активациях модели с помощью новой техники интерпретируемости, названной линзой Якобиана.

Эксперименты подтвердили, что J-пространство причинно ответственно за сложные рассуждения. Когда исследователи изменяли паттерны в этом пространстве, последующие ответы Claude соответствующим образом менялись, демонстрируя, что незаметные внутренние шаги управляют многошаговым решением проблем. Открытие предлагает практические приложения для мониторинга безопасности ИИ, позволяя исследователям обнаруживать, когда модели частным образом распознают тестовые сценарии, фабрикуют данные или преследуют вредоносные цели, устраняя критический пробел в методах оценки, которые обычно полагаются исключительно на анализ сгенерированного текста.