(資料圖片)
智通財(cái)經(jīng)APP獲悉，7月23日深夜，月之暗面(Moonshot AI)宣布開源Kimi K3模型權(quán)重、發(fā)布技術(shù)報(bào)告，并同步開放MoonEP、FlashKDA、AgentEnv三項(xiàng)關(guān)鍵基礎(chǔ)設(shè)施(Infra)技術(shù)。此次開放涵蓋模型、訓(xùn)練方法以及底層訓(xùn)練系統(tǒng)，開發(fā)者可下載模型進(jìn)行部署和二次開發(fā)，具體使用范圍需遵循Kimi K3許可證。
官方介紹顯示，Kimi K3采用混合專家(MoE)架構(gòu)，總參數(shù)規(guī)模達(dá)到2.8萬(wàn)億，具備原生視覺理解能力，并支持100萬(wàn)Token上下文窗口。相較上一代Kimi K2.5，Kimi K3參數(shù)規(guī)模提升約3倍。月之暗面表示，在算力資源有限的情況下，借助Kimi Delta Attention、Attention Residuals以及MoonEP等技術(shù)，其模型規(guī)模化效率提升約2.5倍。
與模型權(quán)重同步發(fā)布的還有Kimi K3技術(shù)報(bào)告。根據(jù)公開內(nèi)容，報(bào)告披露了模型訓(xùn)練與架構(gòu)設(shè)計(jì)的多項(xiàng)技術(shù)細(xì)節(jié)，包括KDA與Gated MLA混合注意力結(jié)構(gòu)、Stable LatentMoE專家路由機(jī)制、MoonViT-V2視覺編碼器訓(xùn)練方案以及模型后訓(xùn)練和評(píng)測(cè)方法。其中，模型采用896個(gè)路由專家、每個(gè)Token激活16個(gè)專家的MoE設(shè)計(jì)，并覆蓋通用推理、Agent及編程Agent等多個(gè)能力方向的訓(xùn)練與評(píng)估。
除模型本身外，月之暗面還宣布開源支撐Kimi K3訓(xùn)練的關(guān)鍵基礎(chǔ)設(shè)施技術(shù)。其中，MoonEP是一套面向大規(guī)模MoE模型的高性能專家并行通信庫(kù);FlashKDA是Kimi Delta Attention對(duì)應(yīng)的高性能計(jì)算算子，官方數(shù)據(jù)顯示，其在英偉達(dá)H20上的Prefill速度相比f(wàn)lash-linear-attention基線提升1.72至2.22倍;AgentEnv則是月之暗面與KVCache.ai合作開發(fā)的Agent沙箱系統(tǒng)，可支持快速快照、恢復(fù)及Fork等能力，用于大規(guī)模Agent訓(xùn)練環(huán)境。
月之暗面表示，此次開放旨在推動(dòng)開放權(quán)重模型生態(tài)的發(fā)展，希望通過開放模型、訓(xùn)練方法及底層基礎(chǔ)設(shè)施，降低模型部署和開發(fā)門檻，為AI社區(qū)及相關(guān)研究提供更多可復(fù)用的技術(shù)資源。
