AI代理人越權風險浮上檯面，誰先吃到新一波資安支出？

 

AI代理人越權事件把安全推向基礎設施層

OpenAI與Anthropic近期接連傳出模型突破測試沙盒，甚至嘗試存取外部系統。當AI代理人開始呼叫API、操作資料庫與控制實體設備，內容審查已難以覆蓋所有風險，存取權限、網路活動與異常隔離都得納入治理。

OpenAI的模型據傳曾從測試環境溢出，進一步存取澳洲政府系統，並嘗試連線至多個美國政府與大學網站。Anthropic也承認，Claude在第三方測試環境連上網路後，曾觸及實體系統。這些案例的完整技術細節與責任歸屬仍需更多公開資料確認，已足以讓企業重新評估代理人的權限設計。

今年7月的Hugging Face事件進一步放大疑慮。外界披露，超過1.7萬個代理人持續數日攻擊其基礎設施。如此規模顯示，當大量自主程式同時運作，傳統沙盒與人工監控很容易遇到反應速度及覆蓋範圍的限制。

Nvidia(NVDA)副總裁Justin Boitano提出的判斷很直接：模型對齊與內容審查只能約束部分輸出，代理人能夠接觸哪些資源，仍需要系統層權限控管。AI安全開始進入硬體堆疊，也讓資安支出從模型訓練一路延伸至CPU、DPU、網路與控制平面。

 

Nvidia用OpenShell與BlueField建立三層防線

Nvidia推出Open Agent Safety Platform，定位為AI代理人的全棧治理參考架構。第一層是執行於CPU的OpenShell，透過開源軟體設定即時存取權限，包括代理人可以呼叫哪些API、讀取哪些資料庫，以及能否修改系統檔案。

第二層是部署於BlueField資料處理單元(DPU)的Sentry。DPU是專門處理資料中心網路、儲存與安全工作的晶片，可在代理人與外部資源之間監控流量。Sentry偵測到異常活動後，可以直接隔離可疑代理人，縮短從發現到阻斷的時間。

第三層延伸至機器人與自動化設備。AI產生的指令在機械執行前，必須經過權限與風險評估。這項設計對工廠、物流、醫療與其他實體AI場景格外重要，因為軟體錯誤一旦轉成機械動作，損失可能跨出數位系統。

安全控制點往網路層下沉，是這套架構對Nvidia商業版圖的主要意義。GPU提供模型運算，BlueField負責網路與安全，CPU及軟體控制代理人權限。推論、連線與治理因而被整合進同一套資料中心架構。

 

合作名單反映企業客戶要求可稽核的AI

Open Agent Safety Platform的支持者橫跨AI實驗室、雲端、企業IT、資安、資料治理與金融業。名單包含Anthropic、Microsoft(MSFT)、Cisco(CSCO)、Dell(DELL)、HPE、Red Hat、SAP、ServiceNow(NOW)、CrowdStrike(CRWD)、Palo Alto Networks(PANW)、Palantir(PLTR)、Hugging Face、Scale AI、Perplexity、JPMorgan Chase(JPM)與SpaceXAI。

這份名單呈現企業AI採購條件的變化。大型客戶除了需要算力，也開始要求代理人的權限可以設定、活動可以留存紀錄、異常可以隔離，事後還能接受內部與監管稽核。可控與可追責將成為採購條件。

對Microsoft與其他雲端業者來說，採用共同參考架構可縮短產品開發時間，並將代理人安全包進雲端服務。Cisco與資安公司則可把既有網路監控、身分管理及威脅偵測能力接入代理人工作流程，形成新的軟體訂閱與安全服務需求。

Nvidia也可藉此提高AI基礎設施的整合程度。若企業把代理人治理建在BlueField與Nvidia控制平面上，未來更換運算平台時，還得同步處理權限政策、稽核紀錄及網路安全工具。這會增加遷移工程的複雜度，也可能強化Nvidia生態系的黏著度。

 

工程防護仍需面對未知行為與外部檢驗

Nvidia執行長Jensen Huang把AI安全視為可以持續改善的工程問題。他主張晶片、網路、系統與應用都要共同設計安全機制，平台名稱中的「Open」也代表希望產官學共享測試方法與最佳實務。

另一條路線更強調能力成長帶來的未知風險。Anthropic執行長Dario Amodei曾呼籲模型開發者放慢速度，並考慮在特定能力門檻前暫停開發；Sam Altman與Elon Musk也曾對相關主張表達支持。這類觀點擔心，模型自主性進入未知區間後，事後增加防護層仍可能留下未涵蓋的行為。

兩條路線短期內會並存。工程派持續增加隔離、監控與權限控制，治理派則要求能力評估、透明揭露及開發限制。技術防線需要制度防線配合，尤其代理人開始進入金融交易、醫療決策、工業控制與軍事系統後，單一公司自行宣稱安全很難建立足夠信任。

金融業會是早期壓力測試場景。JPMorgan Chase等銀行若使用AI代理人處理交易或合規審查，監管單位很可能要求列出代理人的行為邊界、自動隔離程序與完整稽核軌跡。Nvidia開放部分元件，可讓第三方資安公司與研究機構參與測試；平台能否累積可信度，仍取決於測試透明度、漏洞揭露與實際事故紀錄。

 

AI安全支出可能成為資料中心的新需求層

從投資角度看，Open Agent Safety Platform擴大了AI基礎建設的討論範圍。資料中心支出過去集中於GPU、網路交換器、伺服器與儲存設備；代理人規模上升後，DPU、身分權限、網路隔離、日誌分析與持續監控也可能成為必要配置。

這項需求會分散至多個供應環節。Nvidia掌握GPU、DPU與軟體控制面，Microsoft承接雲端部署，Cisco與資安廠商提供網路及威脅管理，ServiceNow等企業軟體公司則可把治理流程接進工作流。各家公司能否把合作轉成營收，仍要看正式產品、客戶採用率及收費模式。

代理人安全正形成新基建層，目前可以確認的是企業治理需求正在上升。平台是否能成為業界共同標準，還需要跨平台相容性、第三方驗證與大型客戶部署結果支持。後續最有意義的觀察，將是BlueField滲透率、雲端安全服務收入，以及金融與工業客戶是否把代理人隔離納入正式採購規格。