最近，“百模大戰(zhàn)”迎來(lái)了第一次專(zhuān)業(yè)會(huì)考，可以看作是各個(gè)大模型實(shí)力檢驗(yàn)的“期中考試”。

權(quán)威IT市場(chǎng)研究和咨詢公司IDC日前發(fā)布了首個(gè)大模型評(píng)估報(bào)告——《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》，對(duì)國(guó)內(nèi)主流AI大模型進(jìn)行了一次專(zhuān)業(yè)且系統(tǒng)地評(píng)估。

雖然結(jié)果公布之前心里多少有個(gè)大概，但真正看到統(tǒng)一維度和評(píng)定標(biāo)準(zhǔn)下，各個(gè)大模型的差距直觀展示到面前的時(shí)候，多多少少還是有些震撼。

IDC《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》：百度7項(xiàng)滿分、綜合評(píng)分第一

這份報(bào)告顯示，百度文心大模型3.5拿下12項(xiàng)指標(biāo)的7個(gè)滿分，綜合評(píng)分第一，算法模型第一，行業(yè)覆蓋第一！

這三個(gè)絕對(duì)第一，把百度文心大模型的基礎(chǔ)技術(shù)深度和產(chǎn)業(yè)應(yīng)用覆蓋廣度，展現(xiàn)的淋漓盡致。

要知道，在全球大廠當(dāng)中，百度首個(gè)發(fā)布了對(duì)標(biāo)ChatGPT的大模型產(chǎn)品文心一言。算是起步最早，也是第一個(gè)敢于對(duì)國(guó)外大模型發(fā)起挑戰(zhàn)的國(guó)產(chǎn)大模型。

所以，那句話怎么說(shuō)來(lái)著，你大爺終究還是你大爺。

“百模大戰(zhàn)”第一次會(huì)考：文心大模型3.5拿下7個(gè)滿分、3個(gè)絕對(duì)第一

IDC在業(yè)界的“江湖地位”相信不用跟大家過(guò)多介紹了，從1964年至今，IDC在全球110多個(gè)國(guó)家跟蹤技術(shù)趨勢(shì)，也是也是最早進(jìn)入中國(guó)市場(chǎng)的科技市場(chǎng)研究機(jī)構(gòu)之一。

過(guò)去10年，IDC的研究報(bào)告被超100個(gè)IPO申請(qǐng)引用。其研究服務(wù)覆蓋三大領(lǐng)域四大類(lèi)別，在金融、能源、醫(yī)療、制造、零售、政府和通信服務(wù)等行業(yè)的研究引領(lǐng)全球。

在此之前，盡管各種第三方測(cè)試報(bào)告眾多，但市面上一直缺少統(tǒng)一的大模型評(píng)估標(biāo)準(zhǔn)。大多數(shù)企業(yè)依舊在拼參數(shù)量級(jí)，通過(guò)更大的參數(shù)量來(lái)提升模型的準(zhǔn)確度。

但“無(wú)腦”堆參數(shù)量級(jí)，到了一定程度之后，就會(huì)出現(xiàn)數(shù)據(jù)多少和模型的性能收益出現(xiàn)邊際效應(yīng)遞減的現(xiàn)象，投入和產(chǎn)出不成正比了。隨著大模型的越來(lái)越多，業(yè)界迫切需要一套科學(xué)的大模型評(píng)估標(biāo)準(zhǔn)。

IDC選擇在這個(gè)時(shí)候發(fā)布第一個(gè)大模型評(píng)估報(bào)告，自然意義重大，而且極具參考價(jià)值，給大模型發(fā)展指明了道路，也為用戶選擇廠商提供幫助和建議。

我們來(lái)看看IDC是怎么評(píng)估大模型的。

首先，IDC將大模型分為三層，即服務(wù)生態(tài)、產(chǎn)品技術(shù)以及行業(yè)應(yīng)用。

同時(shí)，對(duì)每一層的能力進(jìn)行測(cè)評(píng)，主要考察指標(biāo)為：算法模型、通用能力、創(chuàng)新能力、平臺(tái)能力、安全可解釋、大模型的應(yīng)用行業(yè)以及配套服務(wù)和大模型生態(tài)等10余個(gè)指標(biāo)（具體包括36項(xiàng)細(xì)顆粒度的評(píng)估標(biāo)準(zhǔn)），每個(gè)指標(biāo)有1分-5分五個(gè)層級(jí)，得分越高代表廠商大模型技術(shù)能力越強(qiáng)，最終評(píng)估結(jié)果通過(guò)雷達(dá)圖展示。

其次，在大模型的選擇上，IDC選取了中國(guó)市場(chǎng)9家大模型技術(shù)廠商進(jìn)行重點(diǎn)研究，分別為阿里巴巴、百度、第四范式、科大訊飛、瀾舟科技、云從科技、智譜AI、中國(guó)電信智科以及中科聞歌。

除此之外，IDC還觀察到了360、MiniMax、華為、商湯科技、騰訊等大模型。IDC也表示，會(huì)持續(xù)更新測(cè)評(píng)，涵蓋更多技術(shù)廠商。

IDC《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》：百度獲算法模型、行業(yè)覆蓋唯一滿分

根據(jù)評(píng)估報(bào)告，百度文心大模型獲得了7項(xiàng)核心指標(biāo)滿分（5分）：算法模型、通用能力、創(chuàng)新能力、平臺(tái)能力、生態(tài)合作、行業(yè)覆蓋、能源行業(yè)；

3項(xiàng)國(guó)內(nèi)唯一滿分（5分）：算法模型、行業(yè)覆蓋、能源行業(yè)；

5項(xiàng)指標(biāo)4分：安全可解釋、服務(wù)能力、金融行業(yè)、工業(yè)行業(yè)、醫(yī)療行業(yè)。

在大模型的評(píng)定標(biāo)準(zhǔn)中，“算法模型”和“行業(yè)覆蓋”是衡量大模型能力極其重要的兩個(gè)指標(biāo)。其中，“算法模型”是大模型能力最為核心的要素，“行業(yè)覆蓋”體現(xiàn)了大模型在產(chǎn)業(yè)落地上的實(shí)力。這兩個(gè)指標(biāo)，百度文心大模型在眾多廠商中均獲得唯一滿分，核心技術(shù)上明顯領(lǐng)先其它競(jìng)品。

文心大模型取得這一成績(jī)，有驚喜，但也在預(yù)料之中。早在4年前，大模型還沒(méi)被廣泛關(guān)注的時(shí)候，百度就推出了文心大模型1.0。然后持續(xù)演進(jìn)到2.0、3.0版本。如今，文心大模型已經(jīng)迭代到3.5版本，實(shí)現(xiàn)了基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)等，新版本在效果、功能、性能全面提升。與3月份的3.0版本相比，訓(xùn)練速度提升了2倍，推理速度提升了17倍，模型效果累計(jì)提升超過(guò)50%。

多個(gè)公開(kāi)測(cè)評(píng)顯示，文心大模型3.5版支持下的文心一言中文能力突出，甚至有超出GPT-4 的表現(xiàn)；綜合能力在評(píng)測(cè)中超過(guò)ChatGPT，遙遙領(lǐng)先于其他大模型。

在評(píng)估報(bào)告中，IDC對(duì)百度文心大模型也不乏溢美之詞。

IDC在報(bào)告中指出，百度AI大模型整體競(jìng)爭(zhēng)力位于領(lǐng)先水平，在模型能力、工具平臺(tái)、生態(tài)布局以及行業(yè)覆蓋上優(yōu)勢(shì)明顯，并已提前進(jìn)入商業(yè)化落地探索階段。

IDC認(rèn)為，百度文心大模型源于產(chǎn)業(yè)實(shí)踐，服務(wù)于產(chǎn)業(yè)實(shí)踐。在近年的大模型技術(shù)探索與產(chǎn)業(yè)實(shí)踐中，百度文心形成了支撐大模型產(chǎn)業(yè)落地的關(guān)鍵路徑，構(gòu)建文心大模型層、工具平臺(tái)層，以及以基于文心大模型構(gòu)建的系列產(chǎn)品與社區(qū)。

另外，IDC很看重百度的一點(diǎn)——百度文心大模型不只是一個(gè)模型或者一個(gè)產(chǎn)品。文心大模型包含數(shù) 30 多個(gè)大模型，涵蓋基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型的三級(jí)體系，可以全面滿足產(chǎn)業(yè)應(yīng)用需求。

不僅如此，作為推進(jìn)大模型在行業(yè)深度應(yīng)用的關(guān)鍵舉措，百度文心聯(lián)合國(guó)網(wǎng)、浦發(fā)、泰康、吉利、哈爾濱市、深圳燃?xì)狻CL、上海辭書(shū)出版社等企業(yè)單位，合作發(fā)布了涵蓋電力、燃?xì)狻⒔鹑凇⒑教臁髅健⒊鞘小⒂耙暋⒅圃臁⑸缈频?1個(gè)行業(yè)大模型，加速推動(dòng)行業(yè)的智能化轉(zhuǎn)型升級(jí)。

文心大模型為什么這么強(qiáng)？三大核心優(yōu)勢(shì) 別人學(xué)不來(lái)

“當(dāng)別人剛剛開(kāi)始思考如何進(jìn)行訓(xùn)練的時(shí)候，我們已經(jīng)在推理上沖出了很遠(yuǎn)。”李彥宏曾經(jīng)說(shuō)過(guò)，算力可以買(mǎi)來(lái)，創(chuàng)新能力是買(mǎi)不來(lái)的。

在筆者看來(lái)，文心大模型今天“遙遙領(lǐng)先”的背后，除了長(zhǎng)期技術(shù)積累、行業(yè)先發(fā)帶來(lái)的領(lǐng)先之外，核心還在于百度“芯片-框架-模型-應(yīng)用”四層技術(shù)棧優(yōu)勢(shì)、知識(shí)增強(qiáng)的核心特色以及繁榮的大模型生態(tài)三大優(yōu)勢(shì)。

大家都知道，過(guò)去，無(wú)論是PC還是移動(dòng)時(shí)代， IT技術(shù)棧都是三層，芯片層、操作系統(tǒng)層、應(yīng)用層。但到了人工智能時(shí)代，IT技術(shù)棧變成了四層，即：芯片層、框架層（深度學(xué)習(xí)框架）、模型層（比如文心大模型、信息分發(fā)大模型、交通大模型、能源大模型等）、應(yīng)用層。

百度投入人工智能已經(jīng)超過(guò)10年，在芯片、框架、模型、應(yīng)用四層有全棧布局，在關(guān)鍵核心技術(shù)攻堅(jiān)上，是全球?yàn)閿?shù)不多的全棧布局的人工智能公司，在四層架構(gòu)都有自主研發(fā)的領(lǐng)先產(chǎn)品和技術(shù)，因此可以進(jìn)行端到端的優(yōu)化，迅速提升大模型訓(xùn)練和推理的效率。同時(shí)，文心大模型是完全自主可控的，做到了數(shù)據(jù)可控、框架可控、模型可控。

比如，在框架層，百度擁有自研的深度學(xué)習(xí)平臺(tái)飛槳，有力支撐了大模型的高效訓(xùn)練和推理。

飛槳與文心的協(xié)同優(yōu)化，讓文心大模型3.5最新版本的模型效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。

而在芯片層，百度自研的昆侖芯，已實(shí)現(xiàn)兩代通用AI芯片產(chǎn)品的量產(chǎn)及落地應(yīng)用。昆侖芯 1 代 AI 芯片于 2020 年量產(chǎn)，在百度搜索引擎、小度等業(yè)務(wù)中部署數(shù)萬(wàn)片，是國(guó)內(nèi)唯一一款經(jīng)歷過(guò)互聯(lián)網(wǎng)大規(guī)模核心算法考驗(yàn)的云端 AI 芯片，同時(shí)也被廣泛部署在互聯(lián)網(wǎng)、工業(yè)制造、智慧金融、智慧交通等領(lǐng)域。

搭載新一代架構(gòu) XPU-R 的昆侖芯 2 代 AI 芯片于 2021 年 6 月回片并當(dāng)天點(diǎn)亮，8 月量產(chǎn)發(fā)布。昆侖芯 2 代 AI 芯片是國(guó)內(nèi)首款采用 GDDR6 顯存的通用 AI 芯片，相比昆侖芯 1 代 AI 芯片性能提升 2-3 倍，且在通用性、易用性方面也有顯著增強(qiáng)。昆侖芯 2 代 AI 芯片已經(jīng)開(kāi)啟互聯(lián)網(wǎng)及各行業(yè)客戶交付，當(dāng)前商業(yè)化進(jìn)展順利。據(jù)悉，百度昆侖芯前兩代的產(chǎn)品已有數(shù)萬(wàn)片的部署，第三代會(huì)在明年的年初上市。

百度文心大模型全景圖

另外，知識(shí)增強(qiáng)作為文心大模型的核心特色之一，實(shí)現(xiàn)了更高的效率、更好的效果、更強(qiáng)的可解釋性。在大模型生態(tài)方面，百度文心已形成企業(yè)、教育、社區(qū)三位一體的生態(tài)體系。最新數(shù)據(jù)顯示，百度有超過(guò)750萬(wàn)開(kāi)發(fā)者基礎(chǔ)，20萬(wàn)企業(yè)生態(tài)基礎(chǔ)，多層次開(kāi)展大模型人才培訓(xùn)、企業(yè)賦能、開(kāi)發(fā)者運(yùn)營(yíng)。百度還設(shè)立了10億創(chuàng)投基金鼓勵(lì)大模型創(chuàng)意、繁榮大模型生態(tài)。

“百模大戰(zhàn)”終局提前預(yù)演：百度已提前勝出 下一個(gè)是誰(shuí)？

今年，AI大模型成為行業(yè)關(guān)鍵詞。一波由ChatGPT帶動(dòng)的“百模大戰(zhàn)”正愈演愈烈。如今出門(mén)開(kāi)發(fā)布會(huì)不提AI大模型，都不好意思跟人打招呼。

據(jù)媒體不完全統(tǒng)計(jì)，在OpenAI發(fā)布ChatGPT后，全球已發(fā)布數(shù)百個(gè)大模型，僅今年上半年在中國(guó)就發(fā)布了80多個(gè)大模型產(chǎn)品。到今年下半年，預(yù)計(jì)國(guó)內(nèi)市面上的大模型將超過(guò)百款。

與此同時(shí)，我們也能清晰的看到，有的大模型各項(xiàng)能力已經(jīng)愈發(fā)成熟，提前進(jìn)入商業(yè)化落地探索階段。而絕大多數(shù)大模型，還在給觀眾看PPT。

激烈廝殺過(guò)后，當(dāng)熱情消退，“百模大戰(zhàn)”的終局將如何發(fā)展？

百度集團(tuán)副總裁吳甜判斷，國(guó)內(nèi)“百模大戰(zhàn)”將會(huì)走向在少量大模型上衍生出廣泛應(yīng)用生態(tài)的終局。大模型產(chǎn)業(yè)生態(tài)可類(lèi)比芯片代工廠，把大數(shù)據(jù)、大算力、大算法都封裝，建設(shè)自動(dòng)化、數(shù)字化、標(biāo)準(zhǔn)化的生產(chǎn)模式。未來(lái)依托幾個(gè)少量大模型，將會(huì)衍生出非常廣泛的應(yīng)用生態(tài)。

“像文心一言這樣的大模型并不是想要做就能做起來(lái)的，需要有多年的積累、綜合的能力和堅(jiān)定的信心，一直投入下去，才能夠做好。從這一點(diǎn)上可以看到，將來(lái)只能有少數(shù)的大模型。”

當(dāng)下AI大模型還在“野蠻生長(zhǎng)”階段，此次IDC的評(píng)估報(bào)告的發(fā)布，不僅是主流AI大模型的真實(shí)水平的一次集中檢驗(yàn)，更是“百模大戰(zhàn)”終局的一次提前預(yù)演。相信隨著炒作大潮褪去，誰(shuí)在“裸泳”，即將一目了然了。

國(guó)產(chǎn)AI大模型的上半場(chǎng)比拼，百度已經(jīng)提前勝出，下半場(chǎng)會(huì)是誰(shuí)？