- 數(shù)字報(bào)
- 小程序
- 公眾號(hào)
近日，中電信人工智能科技有限公司和中國(guó)電信人工智能研究院（TeleAI）的星辰語義大模型研發(fā)團(tuán)隊(duì)宣布，國(guó)內(nèi)首個(gè)全國(guó)產(chǎn)化訓(xùn)練的千億參數(shù)細(xì)粒度混合專家模型語義大模型TeleChat3-105B-A4.7-Thinking正式開源。
據(jù)介紹，該模型采用細(xì)粒度混合專家模型架構(gòu)，基礎(chǔ)模型訓(xùn)練數(shù)據(jù)超15萬億字節(jié)，共包括1個(gè)共享專家和192個(gè)路由專家，模型整體共1050億參數(shù)量，實(shí)際激活參數(shù)為47億，專家稀疏比（單次推理過程中實(shí)際激活的專家數(shù)量與總專家數(shù)量的比例）處于業(yè)界前列。
面對(duì)綜合任務(wù)場(chǎng)景，該語義大模型可高效拆解任務(wù)需求，整合多項(xiàng)代碼能力，一次性交付出完整可運(yùn)行的代碼，實(shí)現(xiàn)代碼補(bǔ)全、代碼修改、網(wǎng)站和網(wǎng)頁游戲生成等多類任務(wù)，省去大量人工調(diào)試時(shí)間投入，運(yùn)行流暢，結(jié)果準(zhǔn)確。
此外，團(tuán)隊(duì)還同步開源了稠密參數(shù)模型TeleChat3-36B-Thinking，在知識(shí)問答、邏輯推理、智能體等維度實(shí)現(xiàn)了能力提升，并實(shí)現(xiàn)了文本創(chuàng)作、語義理解、角色扮演等任務(wù)的針對(duì)性優(yōu)化。
據(jù)悉，此前雙方已陸續(xù)開源自研的TeleChat、TeleChat2及TeleChat2.5系列模型，以傳統(tǒng)稠密參數(shù)架構(gòu)為主，模型尺寸覆蓋十億到千億，構(gòu)建了全尺寸大模型的開源布局。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國(guó)高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號(hào)-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證060344號(hào)主辦單位：《中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào)》社有限責(zé)任公司
