- 數(shù)字報(bào)
- 小程序
- 公眾號(hào)
據(jù)國家自然科學(xué)基金委員會(huì)網(wǎng)站消息，復(fù)旦大學(xué)智能復(fù)雜體系基礎(chǔ)理論與關(guān)鍵技術(shù)實(shí)驗(yàn)室、現(xiàn)代語言學(xué)研究院張夢(mèng)翰團(tuán)隊(duì)與計(jì)算與智能創(chuàng)新學(xué)院邱錫鵬、黃萱菁團(tuán)隊(duì)合作，揭示了僅通過預(yù)測訓(xùn)練大語言模型能夠自發(fā)涌現(xiàn)出類人的概念表征及其組織結(jié)構(gòu)。研究成果以“語言預(yù)測揭示涌現(xiàn)的類人概念表征”為題，于2025年10月31日發(fā)表于《美國科學(xué)院院刊》。
僅依賴下一個(gè)token預(yù)測訓(xùn)練的大語言模型（LLMs）是否形成了類似于人類的概念是人工智能與認(rèn)知科學(xué)共同關(guān)注的科學(xué)問題。研究團(tuán)隊(duì)將“反向詞典”任務(wù)重構(gòu)為概念探針，結(jié)合表征相似性分析（RSA）等計(jì)算方法，系統(tǒng)探究了LLMs在不同語境下構(gòu)建概念表征的能力。研究團(tuán)隊(duì)提出的模型能夠根據(jù)語言描述靈活推導(dǎo)概念，且其表征逐漸收斂于一種共享的、獨(dú)立于具體語境的關(guān)系結(jié)構(gòu)。這些關(guān)系結(jié)構(gòu)不僅能可靠預(yù)測模型在各項(xiàng)理解與推理任務(wù)中的表現(xiàn)，還與SimLex-999、THINGS等人類心理行為數(shù)據(jù)高度一致。研究發(fā)現(xiàn)該表征與人腦視覺皮層等區(qū)域的神經(jīng)活動(dòng)模式呈現(xiàn)顯著的對(duì)齊關(guān)系，這一發(fā)現(xiàn)驗(yàn)證了表征模型與組織結(jié)構(gòu)的生物學(xué)合理性。
研究表明，結(jié)構(gòu)化的類人概念表征可以單純通過語言預(yù)測機(jī)制涌現(xiàn)。該研究不僅為利用大語言模型探索人類概念本質(zhì)提供了新窗口，也為推進(jìn)人工智能與人類智能的深度對(duì)齊奠定了基礎(chǔ)。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號(hào)-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號(hào)主辦單位：《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào)》社有限責(zé)任公司
