7 月 5 日下午，華為旗下 AI 大語(yǔ)言模型盤古 Pro MoE 技術(shù)開(kāi)發(fā)團(tuán)隊(duì) " 諾亞方舟實(shí)驗(yàn)室 " 發(fā)布了一份聲明，稱盤古 Pro MoE 開(kāi)源模型是基于昇騰硬件平臺(tái)開(kāi)發(fā)、訓(xùn)練的基礎(chǔ)大模型，并非基于其他廠商模型增量訓(xùn)練而來(lái)。
" 我們注意到近期開(kāi)源社區(qū)及網(wǎng)絡(luò)平臺(tái)關(guān)于盤古大模型開(kāi)源代碼的討論。盤古 Pro MoE 開(kāi)源模型是基于昇騰硬件平臺(tái)開(kāi)發(fā)、訓(xùn)練的基礎(chǔ)大模型，并非基于其他廠商模型增量訓(xùn)練而來(lái)，在架構(gòu)設(shè)計(jì)、技術(shù)特性等方面做了關(guān)鍵創(chuàng)新，是全球首個(gè)面向昇騰硬件平臺(tái)設(shè)計(jì)的同規(guī)格混合專家模型，創(chuàng)新性地提出了分組混合專家模型（MoGE）架構(gòu)，有效解決了大規(guī)模分布式訓(xùn)練的負(fù)載均衡難題，提升訓(xùn)練效率。其他技術(shù)特性創(chuàng)新，請(qǐng)參考昇騰生態(tài)競(jìng)爭(zhēng)力系列技術(shù)報(bào)告披露內(nèi)容。" 華為盤古團(tuán)隊(duì)表示。
盤古團(tuán)隊(duì)指出，" 盤古 Pro MoE 開(kāi)源模型部分基礎(chǔ)組件的代碼實(shí)現(xiàn)參考了業(yè)界開(kāi)源實(shí)踐，涉及其他開(kāi)源大模型的部分開(kāi)源代碼。我們嚴(yán)格遵循開(kāi)源許可證的要求，在開(kāi)源代碼文件中清晰標(biāo)注開(kāi)源代碼的版權(quán)聲明。這不僅是開(kāi)源社區(qū)的通行做法，也符合業(yè)界倡導(dǎo)的開(kāi)源協(xié)作精神。"
盤古 Pro MoE 技術(shù)開(kāi)發(fā)團(tuán)隊(duì)強(qiáng)調(diào)，團(tuán)隊(duì)始終堅(jiān)持開(kāi)放創(chuàng)新，尊重第三方知識(shí)產(chǎn)權(quán)，同時(shí)提倡包容、公平、開(kāi)放、團(tuán)結(jié)和可持續(xù)的開(kāi)源理念。感謝全球開(kāi)發(fā)者與合作伙伴對(duì)盤古大模型的關(guān)注和支持，團(tuán)隊(duì)高度重視開(kāi)源社區(qū)的建設(shè)性意見(jiàn)。希望通過(guò)盤古大模型開(kāi)源，與志同道合的伙伴一起，探索并不斷優(yōu)化模型能力，加速技術(shù)突破與產(chǎn)業(yè)落地。
2021 年，華為云發(fā)布了盤古系列預(yù)訓(xùn)練大模型，包括 NLP（自然語(yǔ)言）大模型、CV（視覺(jué)）大模型、科學(xué)計(jì)算大模型。
今年 6 月 21 日，華為云發(fā)布盤古大模型 5.0，包含不同參數(shù)規(guī)格的模型，如十億級(jí)參數(shù)的 Pangu E 系列可支撐手機(jī)、PC 等端側(cè)的智能應(yīng)用；百億級(jí)參數(shù)的 Pangu P 系列，適用于低時(shí)延、低成本的推理場(chǎng)景；以及千億級(jí)參數(shù)的 Pangu U 系列、萬(wàn)億級(jí)參數(shù)的 Pangu S 系列超級(jí)大模型等，幫助企業(yè)更好地在全場(chǎng)景應(yīng)用 AI 技術(shù)。
6 月 30 日，華為公司宣布開(kāi)源盤古 70 億參數(shù)的稠密模型、盤古 Pro MoE 720 億參數(shù)的混合專家模型和基于昇騰的模型推理技術(shù)，并對(duì)外公布相關(guān)研究論文。對(duì)此，華為表示，此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關(guān)鍵舉措，推動(dòng)大模型技術(shù)的研究與創(chuàng)新發(fā)展，加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價(jià)值創(chuàng)造。
但隨后，華為盤古 Pro MoE 模型被質(zhì)疑套殼抄襲阿里云通義千問(wèn) Qwen-2.5 14B 模型。
7 月 4 日，一項(xiàng)發(fā)布于 GitHub 的研究指出，華為盤古 Pro MoE 模型（總參數(shù) 720 億）采用了 LLM-Fingerprint（模型指紋技術(shù)），與阿里通義千問(wèn) Qwen-2.5 14B 模型的注意力參數(shù)分布存在高度相似性，平均相關(guān)性達(dá) 0.927（接近完全一致的 1.0），顯著超出模型間正常差異范圍，并指向 " 非獨(dú)立開(kāi)發(fā) " 的可能性。
作者自稱是哥斯達(dá)黎加大學(xué)的韓國(guó)學(xué)生。他在文中指出，盤古開(kāi)源代碼文件中發(fā)現(xiàn)標(biāo)注 "Copyright 2024 The Qwen team, Alibaba Group"，被質(zhì)疑復(fù)制阿里代碼時(shí)未刪除版權(quán)聲明。
對(duì)此，華為諾亞方舟實(shí)驗(yàn)室在最新聲明中否認(rèn)抄襲指控，并稱此為引用開(kāi)源組件，并進(jìn)行了合規(guī)標(biāo)注，符合開(kāi)源協(xié)議要求。
該事件在過(guò)去一天引起廣泛關(guān)注，社交平臺(tái)上有很多討論。知乎上多篇帖文指出，這個(gè) GitHub 作者將大語(yǔ)言模型的每個(gè) transformer 層的 QKVO 參數(shù)的標(biāo)準(zhǔn)差組合在一起形成特征向量，作者把這個(gè)模型叫做 " 指紋 "，然后作者根據(jù)模型指紋計(jì)算大語(yǔ)言模型之間的距離，將其作為相似度。但這種邏輯方法不能衡量模型的相似度，而且本身使用參數(shù)標(biāo)準(zhǔn)差來(lái)判定并非科學(xué)手段。
截至發(fā)稿前，阿里 Qwen 方面暫時(shí)沒(méi)有聲明回應(yīng)。但筆者了解到，多個(gè)大廠 AI 研究團(tuán)隊(duì)都在關(guān)注此事進(jìn)展。
抄襲事件再次暴露出 AI 大模型開(kāi)源定義模糊、協(xié)議規(guī)則與法律界定部分仍比較 " 模糊 "、開(kāi)源的模型與代碼協(xié)議較為混亂等問(wèn)題。
普遍而言，開(kāi)源并不代表沒(méi)有版權(quán)，任何第三方使用都應(yīng)該遵循其開(kāi)源許可協(xié)議，如果企業(yè)需要用開(kāi)源代碼進(jìn)行商業(yè)化，需要與開(kāi)源項(xiàng)目所有者進(jìn)行授權(quán)或提交一定的費(fèi)用。而在法律層面上，大模型所有者可以通過(guò)專利、商標(biāo)、版權(quán)等方式保護(hù)自己的大模型知識(shí)產(chǎn)權(quán)。
多位開(kāi)源行業(yè)專家曾對(duì)筆者表示，使用開(kāi)源項(xiàng)目主要關(guān)注兩點(diǎn)：一是要聲明原作者是誰(shuí)，你用的是哪個(gè)項(xiàng)目，而且要遵循開(kāi)源項(xiàng)目里的開(kāi)源協(xié)議、作者聲明，不能修改且不能刪除；二是關(guān)注項(xiàng)目的商業(yè)化界限，有些項(xiàng)目可用于商業(yè)化，還有一些項(xiàng)目不允許商業(yè)化、二次開(kāi)發(fā)等，這需要開(kāi)發(fā)者重新溝通和評(píng)估。
在此之前，零一萬(wàn)物開(kāi)源大模型 Yi-34B 被質(zhì)疑使用 Meta LIama 開(kāi)源模型架構(gòu)，斯坦福大學(xué)的 Llama3-V 項(xiàng)目曾套殼面壁智能研發(fā)的 MiniCPM-Llama3-V 2.5、等事件，均引發(fā)開(kāi)發(fā)者群體的關(guān)注。
未知資本常務(wù)董事 william wong 曾表示，很多初創(chuàng)公司后臺(tái)接入 ChatGPT，前端做了個(gè) UI 設(shè)計(jì)就上架蘋果商店鼓吹自己在做生成式 AI 創(chuàng)業(yè)了，他認(rèn)為這種生成式 AI 項(xiàng)目沒(méi)有技術(shù)壁壘和商業(yè)邏輯，只是 " 蹭熱度 "。
但隨著今年開(kāi)源 AI 模型 DeepSeek-R1/V3 風(fēng)靡全球，自研底座大模型技術(shù)成本較高，很多 AI 模型和應(yīng)用背后都有 DeepSeek 身影。因此，未來(lái)如何定義好開(kāi)源 AI 模型邊界，讓開(kāi)源技術(shù)更加健康有序發(fā)展，仍是行業(yè)亟待解決的重要課題。
據(jù)華為云稱，過(guò)去一年中，盤古大模型已經(jīng)在 30 多個(gè)行業(yè)、400 多個(gè)場(chǎng)景中落地，在政務(wù)、金融、制造、醫(yī)藥研發(fā)、煤礦、鋼鐵、鐵路、自動(dòng)駕駛、工業(yè)設(shè)計(jì)、建筑設(shè)計(jì)、氣象等領(lǐng)域發(fā)揮巨大價(jià)值。（本文首發(fā)于鈦媒體 App，作者｜林志佳，編輯｜蓋虹達(dá)）
