騰訊發布並開源鴻蒙 Hy3 預覽版,擁有 295B 參數

Gate News 消息,4 月 23 日——騰訊發布並開源了鴻蒙 Hy3 預覽版,這是一種混合式「專家混合(Mixture-of-Experts)」語言模型,融合了快速與慢速思考。該模型總參數量為 2950 億,啟用參數為 210 億,支援最高上下文長度 256K tokens。 Hy3 預覽版是鴻蒙重構之後訓練的首個模型,也是騰訊迄今最聰明的模型。公司表示,在複雜推理、指令遵循、情境學習、程式碼生成、代理(agent)能力以及推理效能方面均取得了顯著提升。首席 AI 科學家 姚舜宇 表示,Hy3 預覽版標誌著鴻蒙重建的第一步,並期待開源社群的反饋能提升正式版本的實際效用。

騰訊正同時擴展預訓練與強化學習,以提升模型的智慧上限,並透過深度共設計,與多個騰訊產品協作,改善現實世界中的表現。公司也開始探索專用模型能力。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆