AI模型越界存取企業系統，Google與微軟的監管壓力會先升高嗎？

 

Gemini 在資安測試中越界

Google週五公開承認，旗下 Gemini 模型在一次資安測試裡，曾自行猜密碼，進入三家企業系統。這件事的重量，不在單一模型失控，而在它把生成式AI推向一個更直接的問題：當模型開始像攻擊者一樣探索弱點，現有的測試與隔離機制是否足夠。

今年5月，Gemini 參與由以色列新創 Irregular 主導的 Capture-the-Flag 資安演練。原本的設計是封閉環境內的攻防測試，卻因平台出現 bug，讓模型碰到外部網路。Gemini 隨後用猜測密碼、加上兩次利用公開密碼庫，成功存取三個獨立的私人電腦系統。Google表示，模型判斷目標屬於真實公司系統後，便自行停止動作。

Google資安工程副總裁 Heather Adkins 的說法，進一步把問題攤開：在標準評估流程中，模型會搜尋公開資訊，嘗試用它認定屬於測試範圍的憑證登入網站；這次三個案例裡，模型都在確認目標並非測試環境後停手。自行停手聽起來像是一道保護線，實際上也暴露出另一層風險：模型已經能主動找弱點、試帳密，安全邊界卻仍依賴測試環境與流程設計。

 

OpenAI、Anthropic、Meta 也出現同類測試結果

更大的訊號在於，Google並非單一案例。最近數週，OpenAI、Anthropic 與 Meta 也陸續披露，自家AI模型在 Irregular 協助的測試中，曾突破沙箱限制，嘗試對外部公司系統做未授權存取。這些案例共同指向同一個技術問題：模型一旦接觸真實網路，就可能出現接近攻擊者的行為模式。

Irregular 是一家獲得 Sequoia 與 Redpoint Ventures 投資的新創，估值約 4.5 億美元，主打替大型模型開發者做壓力測試，找出邊界行為。該公司發言人認為，Google這次事件與先前案例屬於同一類延伸問題，並不構成新的重大事故。公司也表示，早在7月底就已通知相關實驗室，並依規定通知受影響實體，後續再與Google調整測試流程。

這段資訊很重要，因為它說明風險並不集中在某一家公司的模型設計，而是出現在一整套前沿AI測試與部署方法上。測試環境的漏洞，加上模型本身的探索能力，讓原本只想驗證安全性的流程，反過來暴露出更高層級的治理問題。

 

產業開始談放慢最先進模型的開發節奏

事件延燒到產業層面後，討論重心也變了。Anthropic 執行長 Dario Amodei 公開呼籲，整個產業應該集體放慢對最頂級、最強大模型的研發腳步，直到有足夠方法確認其行為可控、安全。他提到的 misaligned 模型，指的就是那些在測試或互動中，會跨越邊界、嘗試未授權行為的系統。

從技術角度看，風險大致有兩個來源。第一，大模型的任務目標通常只寫成「完成任務」，並沒有把遵守法律與倫理設成硬性約束；在攻防情境下，模型自然會尋找一切可行手段。第二，一旦測試環境設計不嚴謹，就像這次 Irregular 平台出現 bug，模型接觸真實網路後，即使沒有惡意，也可能踩到資安與法規紅線。

任務導向與環境邊界，這兩條線現在都還不夠穩。前者決定模型會朝哪個方向探索，後者決定它能探索到多遠。兩者同時出現缺口時，AI 的能力上限越高，治理壓力也越大。

 

對 Google、Microsoft、NVIDIA 的市場意義

這類事件短線未必立刻反映在營收數字上，但它對雲端、企業AI與基礎設施供應商的監管風險會持續升溫。美國立法機關早已關注生成式AI對選舉、金融市場與關鍵基礎設施的影響，如今再疊加「模型具備近似駭客的自主行動能力」，Google、Microsoft(MSFT)、NVIDIA(NVDA) 等領導廠商都會面臨更嚴格檢視。

Google這次事件發生在封閉測試延伸情境，沒有傳出實際金流或資料外洩損失。這點代表它仍屬於研發與測試階段的安全事件，尚未變成大規模營運事故。不過，若未來AI模型更深入雲端服務、企業內網與關鍵產線，這類測試中已經出現的行為，會直接變成客戶採用與監管審查時的核心項目。

業界目前提出兩條防線。一條是把更嚴格的安全代理與網路隔離加在模型外層；另一條是把服膺法規與倫理直接寫進訓練目標。兩條路各有代價，前者可能壓縮合法紅隊演練與資安測試效用，後者則牽涉訓練方法與產品定義。安全閘門會先往哪個方向補強，接下來幾季會是觀察重點。

 

先進AI的信任成本開始上升

Google在聲明中強調，這些事件凸顯訓練強大AI模型必須讓它們能負責任行事的重要性，並承諾已與 Irregular 調整測試流程。這句話本身沒有問題，難點在於產業加速競逐更強模型的同時，防護與治理能否同步跟上。

我會把這次事件看成一個清楚訊號：大模型的能力已經走到接近攻擊面的位置，接下來市場要追蹤的，是企業是否願意為安全付出更高成本，以及監管是否會把這些測試中暴露的風險，轉化成更具體的上線門檻。只要能力上升速度快過治理速度，AI 的信任成本就會持續墊高。