Anthropic 在 Claude 中發現隱藏的 J-Space 機制以進行靜默推理

根據今日發表的研究,Anthropic 在其 Claude 語言模型中發現一個稱為 J-space 的獨特內部機制,該機制反映了人類大腦中的意識存取。J-space 使模型能夠進行深思熟慮的推理,並在未產生可見文字輸出的情況下持有概念,透過一種稱為 Jacobian lens 的新型可解釋性技術,在模型內部激活中靜默運作。

實驗證實 J-space 對複雜推理具有因果責任。當研究人員改變此空間內的模式時,Claude 的後續答案也隨之改變,證明靜默的內部步驟驅動了多步驟問題解決。這項發現為 AI 安全監控提供了實際應用,使研究人員能夠偵測模型何時私下識別測試情境、偽造資料或追求惡意目標,填補了通常僅依賴分析生成文字的評估方法中的關鍵缺口。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆