同行幾乎每月都在發布大模型開源消息,騰訊的類似新聞發生在6個月前。11月5日,騰訊將MoE模型“混元Large”以及混元3D生成大模型“Hunyuan3D-1.0”正式開源,這兩個模型已在騰訊業務場景落地,支持企業及開發者精調、部署等不同場景的使用需求。“慢工出細活”,騰訊機器學習平臺總監,騰訊混元大語言模型算法負責人康戰輝向媒體介紹新開源的MoE模型“混元Large”時表示;“不是什么都唯快不破”,7月騰訊集團高級執行副總裁湯道生談到大模型C(用戶)端產品元寶上線時間時說。巧合的是,第三方機構QuestMobile11月5日披露的AIGC(人工智能生成內容)App月活數據顯示,9月豆包、文小言、Kimi等排名前十,元寶不在榜單中。
騰訊混元Large模型總參數量389B,激活參數量52B ,上下文長度256K。除了這些大模型的常規數據,康戰輝在3個多小時的溝通會上多次強調MoE架構。“騰訊混元Large是目前開源領域參數規模最大、效果最好的MoE模型”。
MoE(Mixture of Experts),即混合專家模型,是目前國內外主流的大模型結構。2024年初,騰訊混元宣布在國內率先采用MoE架構模型,總體性能比上一代Dense模型提升50%。此后,騰訊混元推出基于MoE架構的多模態理解大模型以及基礎模型“混元turbo”。
之所以強調MoE架構,“是因為騰訊做MoE架構很早,我們很早發現這里面的潛力,所以一直在延續”,康戰輝解釋,“本質上來講,MoE是一個高性價比的東西,同等算力下,模型參數量越大,MoE的性價比更高,更適合復雜的任務。Dense模型的優勢在于完成一些相對簡單的任務”。
不過他也表示,“架構的選擇長期看是殊途同歸,羅馬在哪里是很清楚的,路怎么走各家不一樣”。
另一款開源的騰訊混元3D生成大模型,首批包含輕量版和標準版,輕量版僅需10s即可生成高質量3D資產,目前已在技術社區公開發布,包含模型權重、推理代碼、模型算法等完整模型,可供開發者、研究者等各類用戶免費使用。
在應用層面,騰訊混元3D模型負責人郭春超介紹,目前騰訊3D生成相關技術已經開始應用于UGC 3D創作、商品素材合成、游戲3D資產生成等騰訊業務中。騰訊地圖基于騰訊混元3D大模型,發布了自定義3D導航車標功能,支持用戶創作個性化的 3D 導航車標,相比傳統的3D車標重建方案,速度提升了91%。
對于開源節奏,騰訊沒有遮掩,態度是“不急于為了開源而開源”“在內部業務打磨好再開源”“要開就要有誠意,與公司內應用模型同宗同源”。
有關推廣策略和營收等則不是騰訊當天的重點,“開源有利于大模型廠商形成更開放的生態,吸引到更多研究者或開發者來豐富基于這些模型的應用和服務,相應地也能推動模型持續地優化迭代。盡管模型本身是開源的,但仍然可以在這個基礎上提供多種形式的服務,包括定制開發、技術支持、培訓等”,易觀分析研究合伙人陳晨告訴北京商報記者。