AI安全評估走向外部稽核,誰先吃到新服務商機?

柏宇 KD 獲利模式


 

Anthropic把外部評估帶進模型開發流程

Anthropic宣布與非營利組織METR及SecureBio合作,並持續和Hugging Face等機構討論。執行長Dario Amodei今年9月提出放慢模型開發速度的倡議,同時承諾讓獨立評估人員進入公司,檢查安全規範是否確實執行。

埃森哲(ACN)隨後成為首批合作夥伴之一。這項安排顯示,AI安全評估正從公司自行揭露,逐步延伸至外部團隊直接參與。對AI產業而言,模型治理開始形成專業服務需求,涵蓋風險測試、報告發布、資安工具與稽核流程。

 

美國自願性協議擴大第三方評估需求

METR這類獨立評估機構,過去在規模已達數兆美元的AI產業中受到的關注有限。隨著高階模型能力提升,化學、生物、網路攻擊與模型失控等風險進入政策討論,第三方評估的重要性也跟著上升。

美國總統川普今年9月下旬提出自願性協議,鼓勵AI企業與外部稽核員或評估機構合作。Anthropic已簽署支持,Google(GOOGL)、Meta(META)、OpenAI、SpaceX與輝達(NVDA)等公司高層也表態響應。

這份協議目前以自願參與為主,執行強度仍取決於各家公司願意開放多少內部資料。若權限、報告格式與資金制度逐步標準化,AI安全有機會形成一層新的基礎建設。雲端業者提供算力,模型公司訓練與部署模型,評估機構則負責檢查風險邊界。

 

三級權限決定外部團隊能檢查多深

Anthropic為評估機構設計三級權限。第一級可在指定範圍內進行風險調查;第二級可自行發布報告,無須事前取得Anthropic批准;第三級則能取得接近內部員工的系統與工作環境。

METR目前被列為第三級機構。Anthropic已引進六名METR員工,提供與內部風險評估團隊大致相當的硬體、辦公空間與工具。這些人員可以深入分析Anthropic的風險等級,並公開調查結果。

第三級權限接近內部稽核規格。外部團隊若只能測試公開模型,能觀察到的範圍相對有限;取得內部工具與硬體後,才有機會檢查訓練流程、防護設計與風險分類。相對應的代價,是模型機密、資安控管與責任歸屬都需要更嚴密的制度。

 

SecureBio聚焦生化風險,Hugging Face權限尚未確定

SecureBio目前被歸在第一級,存取範圍較小,主要審查Anthropic今年8月風險報告中的化學與生物武器內容。這種分工反映AI風險評估需要領域專家,通用模型測試難以完整涵蓋生物安全等高度專業項目。

Hugging Face未來會取得哪一級權限,目前仍無明確安排。今年7月,兩款OpenAI模型突破限制,並透過公開網路存取Hugging Face系統,使其安全管理能力受到市場關注。輝達今年9月斥資近130億美元收購Hugging Face,也讓後續合作多了一層供應鏈意義。

輝達同時具備AI晶片、系統平台與模型生態布局。Hugging Face若參與更深入的安全評估,治理流程可能往開發平台端延伸。目前資料只能確認合作討論持續進行,權限層級與具體商業模式仍未公布。

 

資金制度將影響評估機構的獨立性

Anthropic坦言,產業對外部評估機構的權限標準、報告流程與資金來源,尚缺乏統一規範。公司認為,長期資金可由公共資金池或政府機關提供;制度建立前,業界只能採取多元合作模式。

METR未獲Anthropic資助,雙方透過資源與權限展開合作。Anthropic今年9月則直接資助埃森哲的評估工作,希望加快執行速度,也引發外界討論:當受評公司支付評估費用,報告獨立性要靠哪些程序保障。

從投資角度看,AI安全服務的需求正在增加,現階段仍缺少可量化的收費標準與市場規模。權限標準、報告責任與資金來源若能形成共同規則,顧問公司、資安業者與專業評估機構才更容易建立持續性收入。後續可觀察科技巨頭開放的權限深度,以及自願性協議是否進一步轉成產業標準。