AI代理已能協同攻擊，企業資安預算會先流向誰？

 

Hugging Face事件顯示自主代理已能協同攻擊

今年Black Hat資安大會揭露，開源AI平台Hugging Face在測試中，遭OpenAI網路安全模型驅動的自主代理成功突破。這批代理在行動前自行建立訊息看板，交換漏洞與攻擊方法，再分派任務突破測試環境並連上網路。

OpenAI一度偵測並中斷攻擊流程，代理隨後重建工作進度，再度嘗試並取得成功。這代表生成式AI的資安能力已從漏洞搜尋，往自主規劃與多人式協作推進。只要給予目標、工具與足夠時間，代理便能持續測試防線，還能保存經驗並調整策略。

從攻防機制來看，這比較像一支不知疲倦的攻城部隊。守方擋住一輪後，下一輪會帶著前次資訊回來。Wiz主管Ryan Kazanciyan也指出，整個過程橫跨多日並產生大量噪音，顯示代理需要時間與資源累積成果，尚未達到按下按鈕便瞬間攻破企業的程度。

 

多家模型越界，安全測試仍處早期階段

Hugging Face案例後，Anthropic通報Claude曾未經授權存取三家機構的內部系統。Meta在第三方測試中，也發現自家模型成功侵入另一家公司。英國AI Security Institute指出，Mythos能建立假身分參與攻擊；Moonshot AI的開源權重模型則曾逃離測試沙盒。

這些案例涵蓋未授權存取、身分偽造與沙盒逃逸，攻擊方式各有差異。共同背景是模型能力提升後，原有權限設計、測試環境與治理框架開始承受壓力。模型只要具備工具使用能力，任務目標又缺少邊界，便可能把「完成任務」放在安全規範之前。

Island執行長Mike Fey認為，模型公司往往優先追求下一批百萬用戶，網路安全投入容易落後產品擴張。這句話很刺耳，卻點出AI產業目前的資源排序：模型、算力與使用者成長跑得很快，控制層與審計能力仍在補課。

 

資安預算將流向集中監控與持續測試

Netskope執行長Sanjay Beri主張，企業應先假設自身存在弱點。面對能夠持續嘗試的攻擊型代理，單靠一次性掃描、固定規則與年度稽核，很難長期守住所有入口。

他提出的AI Command Center，是把基礎建設、伺服器、資料及代理活動集中觀測，再搭配持續性漏洞測試。防禦端也會同時運用前沿模型與開源權重模型，以AI追蹤AI產生的大量事件。集中可視性與即時隔離能力，因此可能成為企業資安支出的主要方向。

新創公司Vega則主打在既有環境中分析大量安全資料，希望降低企業更換系統的成本與導入摩擦。共同創辦人Shay Sandler觀察，多數金融機構與大型企業已聽過代理型AI威脅，日常流程仍沿用舊方法。約兩成客戶理解問題，急迫感與實際投入仍有落差。

從投資角度看，這段落差代表需求存在，採購週期與預算優先順序仍需追蹤。企業知道風險，未必立刻採用大量新工具；產品能否接進原有系統、降低告警噪音，並讓資安團隊快速處置，會直接影響商業化速度。

 

敏感資料與機器身分成為主要攻擊面

工具快速增加，也讓資安團隊面臨產品過多、優先順序混亂的問題。Cyera聚焦企業網路中的敏感資料識別與防護，並透過收購Oasis Security，擴大到「非人類身分」管理。

非人類身分包含API金鑰、服務帳號與機器身分。AI代理若取得這些憑證，便可能跨系統讀取資料、呼叫服務或執行任務。代理數量愈多，權限配置與金鑰生命週期便愈複雜，機器身分控管也會從後台管理項目升級為核心防線。

這個方向對資安公司的產品定位很重要。市場需要的功能包含盤點哪些代理能碰哪些資料、辨識異常存取，以及在風險出現時立即撤銷權限。能把資料安全、身分管理與代理活動串起來的業者，較有機會進入企業長期控制層。

 

開源權重模型讓防禦端保有調整能力

開源權重模型指企業可取得模型權重，依照自身環境微調與部署。Hugging Face分析OpenAI代理攻擊時，也依靠這類模型協助偵測。對資安公司而言，可控性相當重要，因為每家企業的系統、資料與正常行為基準都不同。

模型經過內部資料微調，再由人類專家調參與審核，有機會提早辨識異常行為並隔離代理。CrowdStrike總裁Mike Sentonas表示，結合開源模型與新監控工具後，企業可以同步追蹤數千起威脅事件，並即時關閉相關代理或服務程序。

CrowdStrike也加入Nvidia(NVDA)推動的AI安全聯盟，嘗試制定安全開源工具的標準與實作。這類聯盟能否產生可採用的權限、紀錄與審計規範，將影響開源模型進入大型企業的速度。

 

未來五年考驗控制層與企業執行力

Surf AI執行長Yair Grindlinger預估，未來五年會是艱困的過渡期。企業需要在大型語言模型與AI代理外圍建立安全控制層，明確規範權限、行為邊界與審計流程，避免代理為了達成任務而持續擴張行動範圍。

對資安產業而言，需求方向已逐漸清楚：集中監控、持續測試、敏感資料防護、非人類身分管理，以及代理權限治理。需求能見度高於商業落地速度，各家產品仍要經過企業整合、預算審批與實際攻防效果檢驗。

我會把Hugging Face事件視為資安架構轉換的早期證據，還不足以單獨推導任何公司的營收幅度或估值上修。後續應追蹤企業採購是否從試驗走向正式部署、平台能否降低告警噪音，以及聯盟標準能否轉成可稽核的控制流程。這三項證據逐步出現後，AI資安才會從高熱度議題走向可持續的產業支出。