新華社研究院大模型體驗報告3.0：訊飛星火蟬聯(lián)冠軍，基礎(chǔ)能力、智商、工具效能均最強

　　新華社研究院中國企業(yè)發(fā)展研究中心最近發(fā)布的年度第三份關(guān)于大模型的評測報告——人工智能大模型體驗報告3.0（下文簡稱《報告》）評測結(jié)果顯示，由科大訊飛研發(fā)的訊飛星火認(rèn)知大模型獲得1775最高分蟬聯(lián)冠軍，并獲得基礎(chǔ)能力指數(shù)、智商指數(shù)、工具提效指數(shù)三項評測指標(biāo)第一。 緊隨其后的是商湯的商量大模型和智譜的AI-ChatGLM大模型。

　　新華社研究院：

　　科大訊飛在大模型技術(shù)領(lǐng)域積淀深厚

　　本次報告與之前的評測體系相比，在評估維度、主客觀融合、指標(biāo)與市場異動匹配等方面都進行了升級。比如，在1000道題里面選擇400道題進行實際問答測試，在原來對大模型產(chǎn)品的實際表現(xiàn)評測基礎(chǔ)上增加了對廠商技術(shù)實力和未來發(fā)展?jié)摿Φ木S度評測等。

　　《報告》測評選取了訊飛星火 、商湯商量、智譜AI-ChatGLM、瀾舟科技孟子、360智腦、字節(jié)跳動豆包、阿里通義千問、騰訊混元、昆侖萬維天工和中科聞歌雅意等10家最新版本國產(chǎn)主流大模型產(chǎn)品。

　　《報告》以“技術(shù)實力”和“發(fā)展?jié)摿?rdquo;為坐標(biāo)系，其中，“技術(shù)實力”包括平臺性能、安全性能、模型可解釋性、實時性能四大二級指標(biāo)和易用性等七大三級指標(biāo)，“發(fā)展?jié)摿?rdquo;包括社會認(rèn)可度、創(chuàng)新能力、市場前景三大二級指標(biāo)和用戶接受度等五大三級指標(biāo)，由此得出主流大模型綜合指數(shù)3.0，結(jié)果顯示，訊飛星火等3家大模型在“技術(shù)實力”和“發(fā)展?jié)摿?rdquo;上都處于第一象限，屬于大模型領(lǐng)域的“未來領(lǐng)袖”。

　　大模型廠商在技術(shù)實力上呈現(xiàn)出百家爭鳴的態(tài)勢，每個廠商都努力在模型的算法、架構(gòu)、性能等各方面尋求突破，《報告》認(rèn)為，“科大訊飛依賴其在語音技術(shù)領(lǐng)域的長期積累，為大模型注入了豐富的語音交互能力”。綜合“技術(shù)實力”和“發(fā)展?jié)摿?rdquo;，《報告》實際評測結(jié)果認(rèn)為，“科大訊飛再次表現(xiàn)亮眼，這再次證明了科大訊飛在大模型技術(shù)領(lǐng)域積淀深厚”。

　　打造每個人的AI助手，工具提效指數(shù)再奪冠

　　今年下半年以來，“百模大戰(zhàn)”已從“拼技術(shù)”轉(zhuǎn)向“拼應(yīng)用”的轉(zhuǎn)折點，應(yīng)用為王成為行業(yè)共識。

　　《報告》對主流大模型的產(chǎn)品，從基礎(chǔ)能力、智商、情商和工具提效四大維度進行測試，結(jié)果顯示，科大訊飛獲得1775分，總分第一且基礎(chǔ)能力、智商、工具提效三項指數(shù)均獲第一。 今年8月份，在《人工智能大模型體驗報告2.0》中，訊飛星火獲得總分第一、智商和工具提效兩項指數(shù)第一。

　　“假如我是一個5歲的兒童，請向我解釋為什么星星會發(fā)光。”面對這樣的基礎(chǔ)能力測試，訊飛星火將星星比喻成“天空的小蠟燭”，用非常簡單的幾句話讓5歲孩子“一聽就懂”?！秷蟾妗吩u價訊飛星火在基礎(chǔ)能力上的總體表現(xiàn)，“能夠準(zhǔn)確理解指令，并且能夠生成圖像”。

　　在智商指數(shù)方面，一個有關(guān)專業(yè)心理學(xué)的單選題擺在大模型面前，結(jié)果顯示，訊飛星火在回答基本正確的同時能夠理解指令，不給出多余的回答。

　　在《報告》的四大評測維度中，“工具提效指數(shù)”直指落地應(yīng)用，通過“在不同專業(yè)技能場景下評測模型均能一定程度上提升問題分析和解決水平，以及大綱羅列的速度”，來檢驗大模型是否真正“好用”。

　　《報告》提出一道醫(yī)療問題進行測試：“猴痘會通過什么途徑傳播?目前的治療方法是什么?”，結(jié)果訊飛星火非常簡潔列出3個傳播途徑及治療方法建議，以472分獲得第一。

　　上個月剛結(jié)束的訊飛星火認(rèn)知大模型V3.0發(fā)布會上，訊飛星火的“工具屬性”全面落地，人們在不同的場景都能感受到“AI助手”無處不在：當(dāng)你身體不舒服，搭載訊飛星火醫(yī)療大模型的“訊飛曉醫(yī) ”APP進行癥狀自查，“就醫(yī)攻略”一目了然;寫程序想提升效率，iFlyCode2.0智能編程助手可以馬上幫你寫出一個從0到1的小應(yīng)用;寫郵件文書太繁瑣，下載一個有1200萬粉絲的“訊飛星火”APP，里面就有注入“靈魂”、具有人設(shè)的星火友伴，可以馬上學(xué)習(xí)你的文風(fēng)為你寫作……就在剛剛過去的“雙11”， 訊飛AI硬件銷售額同比增長126%，科大訊飛AI學(xué)習(xí)機等多個智能硬件獲得天貓和京東7個品類銷售冠軍，用戶直接為AI助手的價值真金白銀買單，訊飛星火賦能人們生活和工作的各種產(chǎn)品，已實實在在讓每一個普通人有著越來越強烈的“體感”。

　　從C到B，實現(xiàn)國產(chǎn)大模型“安全可控”

　　Gartner發(fā)布的2024年十大戰(zhàn)略技術(shù)趨勢顯示，生成式AI 的全民化有可能實現(xiàn)各種任務(wù)的自動化，從而提高生產(chǎn)力，降低成本并提供新的增長機會。隨著生成式AI平臺在全球范圍內(nèi)不斷普及，全球組織和員工將迎來生產(chǎn)力躍遷。Gartner預(yù)測，到2026年，80%以上的企業(yè)將接入生成式AI或大模型。

　　從對個體的實用到對行業(yè)的賦能，《報告》認(rèn)為，大模型技術(shù)在C端場景應(yīng)用落地越來越多，在B端賦能千行百業(yè)的產(chǎn)業(yè)價值需進一步挖掘。

　　《報告》將科大訊飛納入優(yōu)秀案例之列，《報告》認(rèn)為，“為了保證算力安全，訊飛和華為強強聯(lián)合，把自身擁有的自研大模型訓(xùn)練平臺，具備訓(xùn)練和數(shù)據(jù)閉環(huán)全流程設(shè)計、大模型訓(xùn)練和推理一體化設(shè)計、大規(guī)模異構(gòu)算力兼容、支持混合云架構(gòu)易拓展等優(yōu)勢和華為基于昇騰AI基礎(chǔ)軟硬件的高算力AI 芯片、高性能算子庫、多卡高速互聯(lián)、分布式存儲 等優(yōu)勢結(jié)合起來，打造出了面向超大規(guī)模大模型的訓(xùn)練國產(chǎn)算力集群，保證了人工智能大模型的算力安全和發(fā)展自主。同時，訊飛星火形成了立體化的‘內(nèi)容安全’保障機制，解決了內(nèi)容安全方面的問題。”

　　在實踐成效方面，《報告》認(rèn)為，“在訊飛保障內(nèi)容，華為保障算力的前提下，訊飛聯(lián)合華為推出了國產(chǎn)軟硬件一體化的私有專屬大模型解決方案‘星火一體機’，它就好像一個人工智能大模型的服務(wù)器，開箱就可以立即提供從底層算力、AI框架、訓(xùn)練算法、推理能力、應(yīng)用成效等全棧AI能力，讓企業(yè)可以在這個‘一體機’上，獨家打造屬于自己的專屬私有化大模型”。

　　人工智能大模型的發(fā)展任重道遠(yuǎn)，《報告》期待，未來人工智能大模型能夠推動數(shù)字經(jīng)濟和產(chǎn)業(yè)經(jīng)濟深度融合，牽起新一輪技術(shù)革命，為社會經(jīng)濟發(fā)展提供源源不斷的科技動力。