跳至主要內容

Aleph Alpha 釋出 Kolibri:78B 開放權重,服務成本仍要算記憶體

AI

重點摘要

Kolibri 開放商用與自行部署,每個 token 啟用約 3.46B 參數,但 FP8 權重仍約占 78GB。德英專用模型增加了部署選擇;能否省費,要把記憶體、閒置容量與人工修正一起計入。

Aleph Alpha 釋出 Kolibri:78B 開放權重,服務成本仍要算記憶體

Aleph Alpha 在 2026-10-03 發表 Kolibri,開放總參數量 78B 的模型權重。這項發布可以用每件完成工作的成本檢驗:若模型少做計算,卻需要更多重試或人工修正,自行部署未必比原本的服務便宜。開放下載讓這個比較有了可實際運行的對象。發布公告 模型卡

本篇日期為台北 10 月 4 日,查核截止為 09:31,採用前一日發布、仍在 48 小時範圍內的事件。NewsMinimalist 的報導索引標示 10 月 3 日 08:01 UTC,即台北 16:01;這是報導索引的時間。官方沒有列出開放時刻,不能把新聞刊登時間當成權重上線時間。時間索引

Kolibri 以 Apache 2.0 授權提供權重,允許商業使用與自行部署。dpa 報導指出,模型主要面向行政與工業用途;模型卡則明列德文與英文取向。這次新增的選擇,是團隊能取得權重、決定在哪裡運行及保留哪個版本;報導沒有提供已部署客戶的完整成本比較。授權與下載 獨立報導

模型採混合專家架構,每個 token 約啟用 3.46B 參數。這讓一次計算只使用部分專家,全部 78B 權重仍要有存放空間。官方列出的 FP8 權重約占 78GB,最低配置選項之一是兩張各有 80GB 記憶體的 NVIDIA A100;兩張 H100 也在建議配置之中。啟用參數量適合說明稀疏計算,無法單獨推算一台伺服器能接待多少使用者。架構與硬體 技術報告

長文件會占用權重以外的記憶體

模型卡列出最高 1,048,576 tokens 的脈絡長度;針對延遲或吞吐量敏感的部署,以及複雜任務,建議控制在 262,144 tokens 以內。這兩個數字分別描述容量與使用建議,不能合成「百萬 token 都有相同品質」的承諾。處理中的內容還會產生 KV cache,與模型權重一起使用 GPU 記憶體;文件變長或同時進來的請求增加,都會影響可用容量。脈絡與部署限制 快取機制

公司也展示汽車供應商與半導體等內部客戶情境評測,但這些是廠商自建測試,不能當成實際部署後的省費紀錄。應用評測

因此,我較支持把 Kolibri 放進德英文件產品的選型比較,而不因為權重免費就預設它適合所有工作。自行保留模型版本,能讓團隊決定何時更新,也有機會調整特定文件的處理方式。相對地,服務需要有人維持,沒有請求時,已配置的硬體也不會自動變成零成本。穩定的使用量,與偶爾一次的大量工作,可能適合不同的供應方式。

假設一項產品每天整理格式相近的德文文件,團隊可以把修正時間與伺服器費用分攤到持續完成的工作上。若改成偶爾出現、需要反覆核對的複雜案件,同一套硬體與模型就可能得到不同的成本結果。這是依部署機制推導的情境,並非已公布的客戶案例;免費授權本身沒有回答哪種負載較划算。

德英取向也讓採用範圍更容易說清楚。對處理繁體中文文件的台灣團隊,本次查閱的來源沒有足以支持替換既有模型的本地文件品質比較。若只看德英評測或歐洲開發背景,就把同樣的能力套到中文流程,會省略語言與文件種類的差異。公開權重提供了自行查驗的條件,沒有替這項查驗給出結果。

這次發布增加了一個可以自行維護的模型選項。要把這項選擇轉成產品收益,應在相同文件種類與可接受品質下,比較完成一件工作所花的總成本,包含重試、人工修正及未使用的容量。若這些支出抵銷了稀疏計算省下的費用,較低的啟用參數量就不足以支持更換服務。

封面沿用本站 NVIDIA 歐洲 AI 基礎設施活動照片,並非 Aleph Alpha 或 Kolibri 發布現場;官方圖片因名稱解析失敗未能下載。

來源:

繼續讀這個主題

隨機讀一篇