從一句話生成一張圖,到幾秒鐘生成一段視頻,生成式人工智能正在走向更復(fù)雜的真實世界應(yīng)用。模型越大、分辨率越高、生成內(nèi)容越豐富,對算力與能耗的需求就越驚人,后摩爾定律時代,面向未來的研究焦點轉(zhuǎn)向光電計算等“下一代算力芯片”。如何讓下一代算力光芯片能運行復(fù)雜生成模型,成為全球智能計算領(lǐng)域公認(rèn)的難題。

上海交通大學(xué)集成電路學(xué)院陳一彤課題組在新一代算力光芯片方向取得重大突破,首次實現(xiàn)了支持大規(guī)模語義視覺生成模型的全光計算芯片LightGen。相關(guān)研究成果發(fā)表于最新一期國際學(xué)術(shù)期刊《科學(xué)》。
專家解釋,所謂“光計算”,可以通俗理解為不是讓電子在晶體管中運行,而是讓光在芯片中傳播,用光場的變化完成計算。光天然具備高速和并行的優(yōu)勢,因此長期被視為突破算力與能耗瓶頸的重要方向。然而,要把光計算真正用到生成式AI上,并非這么簡單:生成模型往往規(guī)模更大,還需要在不同維度之間不斷變換;如果芯片規(guī)模較小,則不得不頻繁在光與電之間級聯(lián)或復(fù)用,速度優(yōu)勢會被延遲和能耗迅速抵消。因此,全光計算,就顯得更為重要和困難。

LightGen之所以能夠?qū)崿F(xiàn)驚人的性能飛躍,在于它在單枚芯片上同時突破了三項領(lǐng)域公認(rèn)的關(guān)鍵瓶頸:單片上百萬級光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換,不依賴真值的光學(xué)生成模型訓(xùn)練算法。這三項中的任意一項單獨突破都足以構(gòu)成重要進(jìn)展,而LightGen將它們同時實現(xiàn),使得面向大規(guī)模生成任務(wù)的全光端到端實現(xiàn)成為可能。
更重要的是,LightGen展示的并不是電輔助光做生成,而是讓全光芯片完整實現(xiàn)“輸入—理解—語義操控—生成”的閉環(huán):輸入圖像進(jìn)入芯片后,系統(tǒng)能夠提取與表征語義信息,并在語義操控下生成全新的媒體數(shù)據(jù),實現(xiàn)讓光“理解”和“認(rèn)知”語義。論文實驗驗證,LightGen可完成高分辨率(≥512×512)圖像語義生成、3D生成(NeRF)、高清視頻生成及語義調(diào)控,同時支持去噪、局部與全局特征遷移等多項大規(guī)模生成式任務(wù)。
在性能評估上,LightGen采用了極嚴(yán)格的算力評價標(biāo)準(zhǔn):在實現(xiàn)與電芯片上運行的Stable Diffusion、NeRF、Style Injection Diffusion等前沿電子神經(jīng)網(wǎng)絡(luò)相仿生成質(zhì)量的前提下,直接對端到端耗時與耗能進(jìn)行測量。實測表明,即便采用較滯后性能的輸入設(shè)備,LightGen仍可取得相比頂尖數(shù)字芯片2個和2個數(shù)量級的算力和能效提升。而如果采用前沿設(shè)備使得信號輸入頻率不是瓶頸的情況下,LightGen理論可實現(xiàn)算力提升7個數(shù)量級、能效提升8個數(shù)量級的性能躍升。這不僅體現(xiàn)了在不犧牲生成效果的情況下,用全光方案替換現(xiàn)有方案可能帶來的巨大增益,也從側(cè)面印證了大規(guī)模集成、全光維度變換與無真值訓(xùn)練等難點被系統(tǒng)性解決后,全光片上承載大規(guī)模生成網(wǎng)絡(luò)的現(xiàn)實意義。
該文也同步被《科學(xué)》官方選為高光論文重點報道。文中提到,生成式AI正加速融入生產(chǎn)生活,要讓“下一代算力芯片”在現(xiàn)代人工智能社會中真正實用,勢在必行的是研發(fā)能夠直接執(zhí)行真實世界所需前沿任務(wù)的芯片——尤其是大規(guī)模生成模型這類對端到端時延與能耗極高的任務(wù)。面向這一目標(biāo),LightGen為新一代算力芯片真正助力前沿人工智能開辟了新路徑,也為探索更高速、更高能效的生成式智能計算提供了新的研究方向。
(受訪對象供圖)
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報》社有限責(zé)任公司