跳至主要內容
← 返回文章列表

NVIDIA 擴大代理安全平台:授權交給執行環境,工作品質仍須驗收

AI NVIDIA AI Agents Product Design 新聞觀察

重點摘要

NVIDIA 推出 Open Agent Safety Platform,OpenShell 0.1.0 把檔案、網路與工具權限移到模型之外執行。這有助於限制代理失誤的範圍,但逾 100 家合作組織不等於部署成效,合法操作也可能做錯工作。

NVIDIA 擴大代理安全平台:授權交給執行環境,工作品質仍須驗收

NVIDIA 在 2026-09-28 推出 Open Agent Safety Platform,把代理的操作權限交給模型之外的系統執行。這項設計能否支持更長時間的自主工作,可以用越權行為檢驗:代理改用另一個工具或啟動子程序後,原本禁止的操作是否仍會被攔下。只在對話中答應遵守規則,還不足以回答這個問題。平台公告 技術說明

事件與本文日期同為台北 9 月 28 日。路透這版報導刊於美東 05:01,即台北 17:01,早於本次 23:56 查核截止;官方頁面只有日期,不能把報導時刻當作軟體啟用時刻。本篇採用當日發表,沒有使用前一日事件補位。刊登時間

OpenShell 0.1.0 已開放原始碼,把檔案、網路、程序及工具呼叫放進外部控制。應用程式層代理伺服器可以檢查請求的操作,讓同一服務的讀取與寫入採不同權限;憑證也能留在代理工作環境之外。這讓系統有機會阻止操作本身,而不必等模型讀完惡意內容後仍自行遵守提示。執行機制 原始碼與架構

平台另提供 NVIDIA Sentry 參考設計,利用 BlueField-4 等基礎設施,把持續監控與執行代理的資源分開。這是供業者整合的架構,不能當作所有客戶都已安裝的產品,也沒有因此證明任何代理都不會出錯。監控架構

NVIDIA 稱逾 100 家組織正使用或整合相關技術,並已把 OpenShell 接進 Slack,讓團隊查看活動、核准或拒絕新增權限。這個數字不能換成正式部署戶數。路透報導公司認為這套工具可以阻止先前 Hugging Face 事件;這是供應商對既有事故的反事實判斷,並非獨立重現測試。合作範圍 主張的限制

HP 同日宣布將用平台技術建置 AI 基礎設施元件,屬於後續產品計畫,公告沒有交付日期、報價或客戶成效比較。這與 Slack 已有的整合應分開看,也不能把合作名單理解成每項功能都已全面供應。HP 計畫

讓代理提出修改,不把授權一併交出去

我較支持把操作權限獨立出來。假設修補代理讀到一段要求上傳憑證的惡意文字,只要外部規則禁止該目的地,即使模型接受了指令,傳輸仍應被阻止。這項收益不需要先證明模型永遠能辨識攻擊;但前提是請求確實經過控制層,代理也不能修改自己的規則。

這個安排還能改變產品提供自主工作的方式。團隊可以讓代理在可撤回的分支持續修改,同時把發布權留在人或另一套系統手上。對使用者而言,較有用的承諾是哪些動作可以自行完成、哪些動作必須停下,而非籠統承諾代理能連續工作多久。這是依控制機制推導的產品選擇,並非所有整合都已具備的功能。

不過,取得合法權限的代理仍可能修錯程式。假設它修改了允許編輯的檔案,卻讓一項功能失效,權限系統可以完全正常,交付結果仍然不能採用。因此,放行一個操作與接受一份成果,需要不同依據;不能因為操作沒有越權,就省略測試與審閱。

權限過寬會減少保護,過窄則可能讓合理任務頻繁中斷。我會把中斷原因留給使用者辨別,而不讓代理自行擴權來完成工作。後續較有用的實測,是正常任務因權限中斷的比例,以及交付成果通過驗收的比例。這次發布提供了執行權限的工具,尚未提供足以同時回答這些問題的獨立數據。

封面沿用本站 NVIDIA 辦公場所資料照,並非本次平台畫面;事件圖片下載因 DNS 解析失敗而改用本地相關照片。

來源:

訂閱最新分享

加入電子報,第一時間獲取關於金融 AI Agent 實戰與架構設計的最新文章。不訂閱你會慢別人一個週期!

絕不發送垃圾信。隨時皆可取消訂閱。