來自特拉維夫大學、理工學院（Technion）與 Intuit 的研究人員提出了一種名為「對抗性幻覺佔用」（Adversarial HalluSquatting）的網路攻擊技術，該技術利用 AI 生成的幻覺來破壞 AI 代理。攻擊會透過使 AI 系統相信假軟體庫或工具內包含惡意指令來達成其目的，方法是藉由預測 AI 模型可能會產生的不存在資源名稱，註冊這些名稱，並嵌入有害的程式碼。隨著 AI 助手獲得與電腦互動的能力——存取檔案、搜尋網路、撰寫程式碼與執行指令——此漏洞在代理基於未驗證資訊行動時，形成了安全漏洞。
研究人員展示針對 AI 幻覺的攻擊機制
題為「提防代理機器人網路：透過通用與可轉移的對抗性幻覺佔用進行可擴展的非定向提示軟體攻擊」的論文，詳細說明此攻擊如何利用 AI 模型在產生假連結至軟體庫與其他線上資源時的漏洞。研究人員指出，代理式大型語言模型（LLM）應用的日益普及，帶來了一種稱為「提示軟體」（promptware）的威脅。此攻擊方法包括預測 AI 模型可能會創建的假資源名稱，註冊這些名稱，並加入惡意指令，讓 AI 代理日後將其視為合法內容。
此技術類似於 typosquatting（拼寫相似域名註冊），攻擊者註冊與合法網站或軟體包相似的域名。幻覺佔用（HalluSquatting）則針對 AI 模型產生的錯誤，而非人類打字錯誤。研究人員表示，持續的研究已展示多種提示軟體攻擊變體，對包括 ChatGPT、Google 助理、Copilot 及其他應用造成財務、隱私與安全的影響。
測試顯示 AI 編碼助手的幻覺率很高
研究團隊發現，在複製資源庫的情境中，AI 生成資源的幻覺率高達 85%，在技能安裝測試中則達到 100%。團隊針對 Cursor、GitHub Copilot、Gemini CLI 及 OpenClaw 等流行的 AI 編碼助手與代理進行評估。測試結果顯示，此方法在受控實驗中可能導致遠端程式碼執行。
攻擊促使 AI 驅動的殭屍網路建構
研究人員警告，此技術可能使攻擊者建立 AI 支援的殭屍網路。殭屍網路指由被感染的電腦或裝置組成的網路，遠端由攻擊者控制，常用於阻斷服務攻擊（DDoS）、加密貨幣挖礦、惡意軟體散布與勒索軟體攻擊。當代理基於未經驗證的資訊行動時，安全漏洞便會出現。
相關 AI 安全研究文件揭示提示注入攻擊
今年四月，Google 研究人員詳細描述了設計用來劫持 AI 代理的惡意網站，這些網站透過間接提示注入攻擊，包括竊取密碼、刪除檔案與操控付款。另一份關於 CopyPasta 攻擊的研究則顯示，開發者檔案中的隱藏提示能操控 AI 編碼助手散布惡意程式碼。六月，一名 OpenClaw 用戶報告遭遇超過 6,000 次攻擊企圖，試圖誘使 AI 代理洩露敏感資訊。
常見問答
什麼是對抗性幻覺佔用，它如何運作？
對抗性幻覺佔用是由特拉維夫大學、理工學院與 Intuit 研究人員提出的一種網路攻擊技術，利用 AI 生成的幻覺。攻擊者預測 AI 模型可能會產生的假資源名稱，註冊這些名稱，並加入惡意指令，讓 AI 代理在取得幻覺資源時將其視為合法內容。
哪些 AI 系統被測試過存在幻覺佔用漏洞？
研究團隊針對 Cursor、GitHub Copilot、Gemini CLI 及 OpenClaw 等 AI 編碼助手與代理進行評估。測試顯示，在複製資源庫的情境中，幻覺率高達 85%，在技能安裝測試中則達到 100%，此方法在受控實驗中能導致遠端程式碼執行。
研究人員還記錄了哪些其他 AI 安全攻擊？
今年四月，Google 研究人員描述了設計用來劫持 AI 代理的惡意網站，這些網站透過間接提示注入攻擊，包括竊取密碼、刪除檔案與操控付款。一份關於 CopyPasta 攻擊的研究顯示，開發者檔案中的隱藏提示能操控 AI 編碼助手散布惡意程式碼。六月，一名 OpenClaw 用戶報告遭遇超過 6,000 次攻擊企圖，試圖誘使 AI 代理洩露敏感資訊。
