當我們讀到 " 蘋果 "" 香蕉 "" 西瓜 " 這些詞，雖然顏色不同、形狀不同、味道也不同，但仍會下意識地歸為 " 水果 "。
哪怕是第一次見到 " 火龍果 " 這個詞，也能憑借語義線索判斷它大概也是一種水果。
這種能力被稱為語義壓縮，它讓我們能夠高效地組織知識、迅速地對世界進行分類。
那問題來了：大型語言模型（LLM）雖然語言能力驚人，但它們在語義壓縮方面能做出和人類一樣的權(quán)衡嗎？
為探討這一問題，圖靈獎得主 LeCun 團隊，提出了一種全新的信息論框架。
該框架通過對比人類與 LLM 在語義壓縮中的策略，揭示了兩者在壓縮效率與語義保真之間的根本差異：
LLM 偏向極致的統(tǒng)計壓縮，而人類更重細節(jié)與語境。
要實證性地研究 LLM 的表征方式與人類概念結(jié)構(gòu)之間的關(guān)系，需要兩個關(guān)鍵要素：
穩(wěn)健的人類概念分類基準
研究團隊基于認知科學中的三項經(jīng)典研究（Rosch 1973、1975 和 McCloskey & Glucksberg 1978），構(gòu)建了一個涵蓋1049 個項目、34 個語義類別的統(tǒng)一基準。
這些數(shù)據(jù)不僅提供了類別歸屬信息，還包含人類對各項目 " 典型性 " 的評分，反映了人類認知中概念形成的深層結(jié)構(gòu)。
相比現(xiàn)代眾包數(shù)據(jù)，這些經(jīng)過專家嚴格設(shè)計的數(shù)據(jù)集更具可信度與解釋力，為 LLM 的類人性評估提供了高保真的比較基礎(chǔ)。
多樣化的 LLM 模型選擇
為全面評估不同大型語言模型在概念表征上的差異，研究團隊選取了30+LLMs（BERT、LlamA、Gemma、Qwen 等），參數(shù)規(guī)模從 3 億到 720 億不等。
所有模型均從輸入嵌入層提取靜態(tài)詞元表示，以貼近人類分類實驗中 " 去上下文 " 的刺激方式，確保模型和人類的認知基準保持一致，便于公平比較。
為分析 LLM 與人類在表達和組織語義信息時的差異，研究引入了一個信息論框架。
該框架借鑒了兩大經(jīng)典信息論原理：
速率失真理論：描述壓縮效率與信息失真之間的最優(yōu)權(quán)衡；
信息瓶頸原理：關(guān)注在壓縮表示的同時，最大程度保留與目標相關(guān)的信息。
LLM 與人類在表征策略上的關(guān)鍵差異
研究發(fā)現(xiàn)，LLM 的概念分類結(jié)果與人類語義分類的對齊程度顯著高于隨機水平。
這一結(jié)果驗證了 LLM 在語義組織方面的基本能力，并為后續(xù)更細粒度的語義結(jié)構(gòu)對比奠定了基礎(chǔ)。
答案是：LLM 難以處理細粒度的語義差異。它們的內(nèi)部概念結(jié)構(gòu)與人類對類別歸屬的直覺不相符。
那 LLM 和人類在信息壓縮與語義保真上存在哪些關(guān)鍵差異呢？
LLM 側(cè)重于統(tǒng)計壓縮，力求最大程度地減少冗余信息；而人類則更注重適應性和豐富性，強調(diào)保持靈活性和上下文的完整性。
這項研究由斯坦福大學與紐約大學聯(lián)合開展，團隊成員均來自這兩所高校。
其中，第一作者為斯坦福大學博士后研究員 Chen Shani。
LeCun 早在 1980 年代便開始研究神經(jīng)網(wǎng)絡(luò)，最著名的貢獻是提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的核心架構(gòu)—— LeNet-5，用于手寫數(shù)字識別。
該網(wǎng)絡(luò)是現(xiàn)代深度學習模型的雛形，為后續(xù)圖像識別和計算機視覺技術(shù)的發(fā)展奠定了堅實基礎(chǔ)。
他與 Geoffrey Hinton、Yoshua Bengio 被譽為 " 深度學習三巨頭 "，共同推動了深度學習的理論與應用突破。
2018 年，三人因在深度學習領(lǐng)域的杰出貢獻，榮獲了計算機科學領(lǐng)域的最高獎項——圖靈獎。
除了技術(shù)創(chuàng)新，LeCun 還積極推動深度學習技術(shù)在工業(yè)界的應用，尤其是在 Meta，領(lǐng)導團隊將人工智能技術(shù)應用于大規(guī)模系統(tǒng)。
他同時是自監(jiān)督學習的積極倡導者，認為這是實現(xiàn)通用人工智能（AGI）的關(guān)鍵路徑之一。
可以說，LeCun 的研究對人工智能技術(shù)的演進產(chǎn)生了重要影響。
論文地址：https://arxiv.org/abs/2505.17117
參考鏈接：https://x.com/ziv_ravid/status/1928118800139841760
一鍵三連「點贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評論區(qū)留下你的想法！
— 完 —
專屬 AI 產(chǎn)品從業(yè)者的實名社群，只聊 AI 產(chǎn)品最落地的真問題 掃碼添加小助手，發(fā)送「姓名 + 公司 + 職位」申請入群～
進群后，你將直接獲得：
最新最專業(yè)的 AI 產(chǎn)品信息及分析
不定期發(fā)放的熱門產(chǎn)品內(nèi)測碼
內(nèi)部專屬內(nèi)容與專業(yè)討論
點亮星標
科技前沿進展每日見
