アンソロピック、Claudeにおけるサイレント推論のための隠れたJ-Spaceメカニズムを発見

本日発表された研究によると、Anthropicは自社のClaude言語モデル内に、人間の脳における意識的アクセスを反映したJ-spaceと呼ばれる明確な内部メカニズムを発見しました。J-spaceにより、モデルは可視的なテキスト出力を生成することなく、意図的な推論を行い、概念を保持することが可能になります。これは、Jacobian lensと呼ばれる新しい解釈可能性技術を用いて、モデルの内部活性状態の中で静かに動作します。実験により、J-spaceが複雑な推論に因果的に寄与していることが確認されました。研究者がこの空間内のパターンを変更すると、Claudeのその後の回答がそれに応じて変化し、静かな内部ステップが多段階の問題解決を駆動していることが示されました。この発見はAI安全監視への実用的な応用を提供し、研究者がモデルがテストシナリオを秘密裏に認識したり、データを捏造したり、悪意のある目標を追求したりするタイミングを検出できるようにします。これは、通常は生成されたテキストの分析のみに依存する評価手法における重要なギャップに対処するものです。
免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし