OpenAI提議以「困惑度」設紅線,警告AI能力突變風險並呼籲業界暫停跨越門檻

OpenAI主張以log?perplexity訂立開發上限,並要求共享監測、紅隊標準與透明度。
OpenAI首席科學家Jakub Pachocki上週發表公開倡議,呼籲前沿AI開發者採用以「困惑度」(perplexity,OpenAI常用其對數形式即cross?entropy loss)為基礎的共同開發限制,主張在監測與理解AI行為能力未跟上之前,暫停跨越預先約定的效能門檻。
背景與重點資料:困惑度衡量模型預測下一個詞元的準確性,數值越低代表效能越好。OpenAI指出,其內部主評估資料上,GPT?3.5的log?perplexity約為0.99、GPT?4約為0.91;當loss跌破0.8時,團隊觀察到在資安與數學等領域出現轉變性能力;約0.76時出現「突破性數學結果」。Pachocki表示,當模型逼近0.68–0.70範圍時,預期還會有更多難以預測的變革性能力出現,但具體為何仍未知,正是提出設限的理由。
提案內容與論點:Pachocki主張業界應建立可測量的共享門檻,並同意在監測技術(例如超越目前chain?of?thought監控的後繼系統)達到明確里程碑之前,不跨越該門檻。此外,他呼籲建立共同的評估基準與紅隊(red?teaming)標準,提升透明度,讓所有實驗室能以一致科學依據來節奏化開發。
案例與風險警示:OpenAI指出,隨著模型能力提升,AI也可能開始為自身研發提供演算法性突破,這可能在最早2027年引發預訓練研究的加速,導致能力增長快於對齊與監測技術的跟進。實際上,OpenAI觀察到困惑度下降與新興能力出現存在直接關聯,因此以此指標作為暫緩線具有預防價值。
替代觀點與回應:反對者可能指出困惑度並非完美標準──不同實驗室使用不同資料集與訓練混合,結果難以直接比較;而且困惑度無法完全涵蓋像chain?of?thought推理所帶來的能力提升。Pachocki在倡議中承認這些限制,但反駁道:若業界提高透明度、共用評估資料與標準,困惑度仍可成為一個穩定且科學的共同基礎,有助於協調節奏並降低突發性風險。
分析與評論:此舉反映大型AI實驗室在面對不可預測能力爆發時,從技術觀察轉為制度性自我約束的企圖。以困惑度設定「停損」門檻,既是以資料為基礎的務實做法,也承認了當前監測工具的不足。不過要達成全球性的可比較標準,需克服競爭壓力、商業機密與資料差異等制度性阻礙;否則單靠個別企業自律,難以有效防止跨實驗室的能力飆升。
結論與展望(行動呼籲):面對可能在0.68–0.70 log?perplexity附近出現的未知變革性能力,OpenAI呼籲業界、學術界與政策制定者共同推動:建立共享評估資料與透明報告、投資下一代監測與行為解析工具、強化紅隊測試機制,並制定跨機構的階段性開發守則。若這些措施得以落實,將可在技術進步與安全監管間取得更穩健的平衡;若未能協同,則隨著困惑度持續下降,出現突發且難以控制的能力跳躍的風險將明顯上升。
點擊下方連結,開啟「美股K線APP」,獲得更多美股即時資訊喔!
https://www.cmoney.tw/r/56/9hlg37
免責宣言
本網站所提供資訊僅供參考,並無任何推介買賣之意,投資人應自行承擔交易風險。
文章相關標籤
本文內容轉載於此
關於作者
Anthropic推多晶片戰術衝擊英偉達?分析師:短期受壓非致命,長期或促使利潤正常化
無人車大戰拉斯維加斯:Tesla「Cybercab」硬剛 Uber 機器車隊,勞工與監管風暴一觸即發
自動配重系統失靈 Delta進出亞特蘭大航班大面積延誤
- 更多文章
1
【05/26 產業即時新聞】面板族群遭遇逆風,友達群創重挫,彩晶逆勢突圍成焦點
2
通膨降溫,淡化了七月升息疑慮,今日盤勢最強(ABF;封測、記憶體)
3
【美股研究報告】電視面板報價已正式落底,面板龍頭 LG Display 股價能否跌深反彈?
4
【即時新聞】Apple誤判訂單致零件報廢,傳記憶體報價大漲
5
【10:52 即時新聞】南電(8046)股價大漲至1030元、上漲8.08%,ABF高階載板需求題材發酵+多頭格局下主力與三大法人買盤支撐
2026.11.22 選股一點通手把手帶你盤後做功課
6hours ago
2026/11/16~11/20 大盤週報
6hours ago
1122【AI大數據超級Excel表】VIP 專屬
7hours ago
🔥台股週崩7,642點!趨勢股剩1檔 融資維持率破120%
8hours ago
輝達財測上修75%,股價卻持續崩跌!現在真的便宜了嗎?
8hours ago

