當(dāng)前,AI推理在各行各業(yè)大規(guī)模使用,大模型數(shù)量開始收斂,推理應(yīng)用快速增長,Token調(diào)用量爆發(fā)式增長,推理成本持續(xù)攀升。如何提升AI推理效能,進(jìn)一步降低推理成本,成為行業(yè)關(guān)注的焦點(diǎn)。
11月4日,由中國信息通信研究院(以下簡(jiǎn)稱信通院)組織召開的“存力中國行”北京站活動(dòng)舉行。活動(dòng)通過座談會(huì)和實(shí)地調(diào)研的形式,深入探討AI時(shí)代下先進(jìn)存力賦能AI大模型發(fā)展的支撐作用。

進(jìn)入“大模型落地元年”,各行各業(yè)不再滿足于擁有一個(gè)龐大的模型,而是迫切需要將模型能力無縫融入實(shí)際業(yè)務(wù)場(chǎng)景中,如投研分析、卷宗分析、智能客服、醫(yī)療影像輔助診斷等,這些場(chǎng)景對(duì)Token的消耗越來越大。近兩年AI技術(shù)快速發(fā)展,當(dāng)前雖已在文檔處理等場(chǎng)景體現(xiàn)價(jià)值,但仍需解決推理效率、存力等突出問題,而存儲(chǔ)對(duì)大模型訓(xùn)練與推理效果至關(guān)重要。
中國信息通信研究院首席專家石友康在會(huì)上表示,先進(jìn)存力成為提升AI推理效能、控制成本的關(guān)鍵。當(dāng)前,國家高度重視先進(jìn)存力發(fā)展,明確提出“加速存力技術(shù)研發(fā)應(yīng)用”“持續(xù)提升存儲(chǔ)產(chǎn)業(yè)能力”“推動(dòng)存算網(wǎng)協(xié)同發(fā)展”。信通院在政策研究、標(biāo)準(zhǔn)制定、測(cè)試服務(wù)等方面開展多項(xiàng)工作,并聯(lián)合產(chǎn)業(yè)鏈企業(yè)成立“算力產(chǎn)業(yè)發(fā)展方陣先進(jìn)存力AI推理工作組”,同時(shí)提出三點(diǎn)建議:鼓勵(lì)前沿存儲(chǔ)技術(shù)研發(fā)創(chuàng)新,推動(dòng)存算運(yùn)深度融合,加強(qiáng)存算協(xié)同產(chǎn)業(yè)生態(tài)建設(shè),呼吁業(yè)界同仁凝聚共識(shí),共同推動(dòng)我國存算協(xié)同發(fā)展。
中國移動(dòng)云能力中心項(xiàng)目總師周宇分享了面向推理的存儲(chǔ)技術(shù)趨勢(shì)與實(shí)踐。當(dāng)前推理面臨KVCache(即鍵值對(duì)緩存,是一種用于快速訪問數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu))存儲(chǔ)需求升級(jí)、多模態(tài)數(shù)據(jù)協(xié)同、存算協(xié)同帶寬不足等挑戰(zhàn)。他介紹,移動(dòng)云針對(duì)性采用分層緩存調(diào)度、高速數(shù)據(jù)互聯(lián)技術(shù)提升帶寬、多模數(shù)據(jù)專屬存儲(chǔ)與標(biāo)準(zhǔn)化等技術(shù)破局。未來趨勢(shì)上,移動(dòng)云推動(dòng)存儲(chǔ)從被動(dòng)存儲(chǔ)轉(zhuǎn)向智算協(xié)同,分階段落地高密全閃存儲(chǔ)、數(shù)據(jù)高速互聯(lián)、存算一體等技術(shù),長遠(yuǎn)構(gòu)建池化多體存儲(chǔ)體系,同時(shí)強(qiáng)調(diào)技術(shù)整合與生態(tài)協(xié)同。
華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線戰(zhàn)略與業(yè)務(wù)發(fā)展部總裁王旭東介紹了AI時(shí)代IT基礎(chǔ)設(shè)施能力面臨三大挑戰(zhàn):“管不好”的數(shù)據(jù)、“喂不飽”的算力、“降不下”的成本。傳統(tǒng)存儲(chǔ)架構(gòu)難以兼顧高吞吐、低時(shí)延及異構(gòu)數(shù)據(jù)融合的需求,造成業(yè)務(wù)發(fā)展瓶頸,阻礙AI應(yīng)用落地。她介紹,華為針對(duì)AI推理訓(xùn)練研發(fā)的UCM推理記憶數(shù)據(jù)管理技術(shù)在行業(yè)落地中的核心作用,通過“集中高質(zhì)數(shù)據(jù)、提速AI訓(xùn)練、優(yōu)化推理效能”三個(gè)角度,打造AI推理加速解決方案。
北京硅基流動(dòng)科技有限公司解決方案總監(jiān)唐安波圍繞大模型推理“推不動(dòng)、推得慢、推得貴”問題展開分享:硅基流動(dòng)構(gòu)建的AI infra(基礎(chǔ)設(shè)施)工具鏈,核心推理框架適配多模態(tài)模型與國內(nèi)外算力,適配昇騰并優(yōu)化DeepSeek模型可實(shí)現(xiàn)性價(jià)比提升。從推理框架延伸至MaaS(模型即服務(wù))服務(wù)平臺(tái),部署主流開源模型,聚焦提升算力利用率。
會(huì)后,與會(huì)專家走進(jìn)科大訊飛、華為北京研究所達(dá)芬奇展廳,實(shí)地調(diào)研存力技術(shù)如何促進(jìn)AI推理應(yīng)用、AI推理框架、先進(jìn)存力和智能算力協(xié)同發(fā)展,推動(dòng)存儲(chǔ)產(chǎn)業(yè)高質(zhì)量發(fā)展。
(主辦方供圖)
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號(hào)-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號(hào)主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào)》社有限責(zé)任公司