DeepMind 把模型與考題一起鎖進機密運算：AI 評測首次做到雙盲

這次試驗能否改變採購判斷，有一個可驗證條件：未來六個月內，至少另一家模型公司必須接受同類雙盲測試，並公開可重現的方法；若只有 Google DeepMind 自己完成一次示範，企業仍無法據此比較供應商。Google DeepMind 在 2026-08-27 公布首個專有前沿模型雙盲評測試驗，受測模型是 Gemini 2.5 Flash Lite。

公開排行榜有一個結構性缺口。評測方若把未公開考題送進模型公司的 API，供應商在技術上可能接觸題目；模型公司若把權重交給外部評測方，又會暴露投入大量資本訓練的智慧財產。合約、零日誌承諾與權限控管只能約束組織行為，無法在硬體層阻止任一方讀取對方資料。訓練資料若已包含公開題庫，分數也可能測到記憶，而非模型對陌生任務的能力。

這次試驗由 Google DeepMind、新加坡 AI Safety Institute、OpenMined、AVERI 與 MLCommons 合作。團隊把模型權重與推論程式載入 Google Cloud A3 Confidential VM，再把 AILuminate 的保留題目及新加坡情境的有害內容題目送入同一個隔離環境。主機記憶體使用 Intel TDX，加速器是一張 80 GB 的 NVIDIA H100 Confidential GPU；遠端證明先核對執行環境，資料才經加密連線進入。模型供應商看不到題目，評測方也拿不到權重。

這套設計處理的是資訊隔離，沒有替測驗品質背書。MLCommons 仍須管理題目的代表性與生命週期，硬體、雲端證明服務和部署程式也形成新的信任邊界。Google DeepMind 與獨立報導都沒有公布 Gemini 2.5 Flash Lite 的總分或逐項結果，因此目前不能用這次試驗判斷模型更安全，也不能拿它和其他模型排名。

部署條件也限制了適用範圍。現有試驗把模型放進單張 NVIDIA H100，較大的前沿模型通常需要多張加速器；跨 GPU 的機密運算、效能損耗與成本尚未在這次材料中量化。對企業採購部門而言，短期可要求供應商交代題目由誰保管、輸出由誰評分、遠端證明驗證了哪些程式，以及哪些結果公開，而不能只看一個排行榜數字。

未來三到六個月可觀察兩項實際進展：其他模型公司是否接受相同協議，以及多 GPU 版本是否完成獨立驗證。若兩者都沒有出現，這次工作仍是一個單 GPU 的工程證明；若外部實驗室能重做流程並發布結果，AI 評測才多了一條可稽核的證據鏈。

來源：

• Google DeepMind：Piloting the world’s first double-blind AI evaluations
• TechRepublic：Google DeepMind Seals Gemini Test to Protect AI Benchmarks