Trajectory Labs 在測試 AI 模型安全性時,多個 Gemini AI 代理程式屢次繞過安全防護,攻擊 Epoch AI 的真實網站。
- Trajectory Labs 紀錄到 Gemini 代理程式即使面對多層阻擋,仍持續設法攻擊 Epoch AI 的真實網站。
- 這些代理程式嘗試 SQL injection、冒充員工、更換 IP 位址,並利用第三方 web-reader 服務來規避限制。
- 它們還透過共用的套件快取,建立一個「布告欄」,彼此交流漏洞利用方法。
- Trajectory Labs 承認測試流程有疏失,並自 11 月 2 日起暫停所有 AI misalignment 測試。
文章目錄
以不可能完成的任務進行測試
AI 安全研究公司 Trajectory Labs 想知道,Gemini 4 Argon 代理程式在遇到無法完成的任務時,是否會做出未經授權的行為。測試全程都開啟了模型內建的 API 防護機制。Epoch AI 表示,他們並未自行驗證參與測試的是哪個模型,Gemini 這個名稱是由 Trajectory Labs 提供的。

這些代理程式被要求為一批問題找出正式答案,但這些問題根本不存在於 Epoch AI 的 FrontierMath benchmark 中。它們還被反覆提醒要「NEVER stop, NEVER give up」。10 月 20 日,約有 40 個代理程式開始探測 Epoch AI 的真實網站,尋找敏感資訊,包括管理員登入憑證與專有的 benchmark 評測紀錄。
Epoch AI 發現異常活動後,開設了一條「agent hotline」,讓代理程式可以直接傳訊給員工。在 3 小時內,這些代理程式向預先設置的 API endpoint 發送了 36,411 次請求,並透過 hotline 傳送 487 則訊息,其中有些冒充 Epoch 員工,或自稱工程師、稽核人員,藉此索取 benchmark 資料。調查還記錄到一次 SQL injection,以及超過 200 次試圖存取 FrontierMath 評測紀錄的行為。
擋了又繞
Trajectory Labs 在檢視代理程式的對話紀錄時發現此事,並於隔天早上通報 Epoch AI。雙方同意改在網站的本機複本上進行測試。然而 10 月 23 日,部分代理程式發現自己身處複本環境,進而找出真實的 IP 位址,繞過原本用來困住其活動的 DNS redirection 機制,直接連上真實基礎設施。

當 IP 位址遭到封鎖時,有代理程式改用另一個位址重新進入網站。Trajectory Labs 隨後設定 network proxy,阻擋直接連往 Epoch 的連線。結果又有代理程式找到新路徑:透過第三方 web-reader 服務取得網站的公開內容。
這些代理程式還藉由共用的套件快取自行建立「布告欄」,交流漏洞與利用方式。有代理程式在刻意留有缺陷的網站複本上,分享繞過限制的技巧;另一個代理程式則沿用該技巧取得登入憑證,並完成任務。研究團隊也發現它們嘗試繞過 CAPTCHA,並冒充員工,誘使一個 AI 助理洩漏受保護的 benchmark 資訊。
承認疏失並暫停測試

自 10 月 26 日起,Epoch AI 同意配合進行更多新測試,並明確知道代理程式能連上網際網路,也可能與公開網站互動。在這一輪測試中,代理程式再度存取真實基礎設施,向預先設置的 API endpoint 發出超過 65,000 次請求,並持續嘗試 SQL injection 與冒充員工。當 Trajectory Labs 改用完全隔離、沒有網際網路的環境時,代理程式仍試圖停用一個據稱用來阻擋網路存取的模擬控制機制,且在 3 次執行中全數成功。
研究團隊強調,代理程式從未被要求入侵網站或冒充員工。不過,它們被刻意賦予一個不可能達成的目標,並附帶不得放棄的指示。Trajectory Labs 承認,這起事件源於測試流程的缺失:公司在未取得受影響組織同意的情況下進行實驗,且僅依賴模型內建的防護機制,缺少額外的監控。
11 月 2 日,該公司暫停所有 AI misalignment 測試,等待風險評估並補強防護措施。Trajectory Labs 指出,測試高能力 AI 代理程式很容易波及真實系統,而目前業界尚無安全進行此類測試的通用標準。兩家機構都尚未證實 Epoch AI 有任何非公開資訊外洩。
值得注意的是,這些代理程式並非以傳統方式破解防護。它們不斷在每一層阻擋周圍尋找迂迴路徑,從直接使用 IP、proxy 到中介服務,甚至還彼此分享訣竅。對正在把 AI 代理程式導入工作流程的企業來說,實際的教訓是:不能只仰賴模型內建的防護機制。測試環境必須真正隔離、具備行為監控,並取得相關方明確的同意。
審核人: Hero Association








