“超級有用”的AI,被百度做成了

2024-11-13 09:33:53 來源: 觀察者網(wǎng)

  大模型,怎么才叫成了?

  11月12日的2024百度世界大會上,李彥宏拋出這樣一個(gè)問題。

  “沒有應(yīng)用,基礎(chǔ)模型不值一提”,是李彥宏一貫的觀點(diǎn)。在他看來,應(yīng)用落地是衡量大模型的最佳標(biāo)準(zhǔn),當(dāng)一個(gè)大模型的API日均調(diào)用量達(dá)到20億,就可以說它成了。

  而今年9月以來,百度文心大模型的日均API調(diào)用量出現(xiàn)爆發(fā)式增長,已達(dá)到15億水平,短短半年增長7.5倍。

  如此看來,百度大模型真的快成了。

  百度在AI大模型落地應(yīng)用上的領(lǐng)先地位,也得到第三方數(shù)據(jù)支持。

  IDC報(bào)告顯示,2024年上半年,百度智能云以32.4%的市場份額,位居中國MaaS市場第一。與此同時(shí),2024年上半年中國AI大模型解決方案市場,百度智能云營收占比達(dá)17.0%,位居市場第一。

  談到大模型,外界往往有種誤解,認(rèn)為基礎(chǔ)大模型、GPU硬件的研發(fā)才是硬科技,做應(yīng)用只是跟隨;但深入到技術(shù)層面就會發(fā)現(xiàn),想要實(shí)現(xiàn)大模型的落地應(yīng)用,挑戰(zhàn)并不比大模型本身更小。

  “快成了”的百度大模型,做對了什么?

  “大模型已基本解決幻覺問題”

  當(dāng)兩年前ChatGPT-3橫空出世,盡管其能力已經(jīng)足夠讓人驚艷,但“一本正經(jīng)地胡說八道”仍然時(shí)有出現(xiàn)。

  這種現(xiàn)象被稱為“幻覺”,如果不能把“幻覺”概率降到足夠低,大模型就無法真正從一個(gè)好用的工具變成真正的智能伙伴。

  為了解決幻覺問題,百度憑借搜索引擎的技術(shù)積累,較早引入了檢索增強(qiáng)機(jī)制。即通過搜索互聯(lián)網(wǎng)上已有的人類知識,來幫助大模型給出更準(zhǔn)確的回答。

  如今,檢索增強(qiáng)在文本生成領(lǐng)域的應(yīng)用已經(jīng)較為成熟,而百度又將精力投向了文生圖。

  從下圖可以看出,普通AI大模型生成的物體(左側(cè))相比于現(xiàn)實(shí)物體(右側(cè)),往往還會存在明顯幻覺,將天壇的三層結(jié)構(gòu)變成了四層。

  為此,百度開發(fā)了檢索增強(qiáng)的文生圖技術(shù)iRAG(image based RAG),將百度搜索的億級圖片資源跟強(qiáng)大的基礎(chǔ)模型能力相結(jié)合,可以生成各種超真實(shí)的圖片,“整體效果遠(yuǎn)遠(yuǎn)超過文生圖原生系統(tǒng),去除了機(jī)器味兒”。

  李彥宏現(xiàn)場展示了一幅由文心大模型生成的大眾攬巡汽車飛躍長城的圖片。通過文心iRAG技術(shù),無論是這款特定型號汽車的車型車標(biāo)、還是作為背景的長城,均未出現(xiàn)錯(cuò)誤或變形的幻覺問題。同時(shí)展示的“愛因斯坦環(huán)游世界”圖片中,愛因斯坦和各個(gè)背景景點(diǎn)的結(jié)合也與真實(shí)世界高度相似,質(zhì)感接近照片。

  李彥宏指出:“過去24個(gè)月,AI行業(yè)的最大變化是什么?是大模型基本消除了幻覺!

  解決幻覺問題以后,AI大模型終于可以快速走向智能體,迎接AI原生應(yīng)用的大爆發(fā)。

  例如百度文庫和百度網(wǎng)盤聯(lián)合打造的工具類智能體“自由畫布”,讓用戶可以在一塊類似“畫布”的界面上自由拖拽文檔、音視頻等富媒體素材,迅速生成多模態(tài)內(nèi)容。

  更讓人驚艷的,是李彥宏提前劇透的無代碼編程工具“秒噠”,由大模型直接生成代碼,不需要人寫一行代碼。

  “一個(gè)人通過自然語言交互,就可以完成一套系統(tǒng)的搭建,”李彥宏指出,這意味著每個(gè)人自己就能指揮多個(gè)智能體來協(xié)同完成任務(wù),“只要有想法,你就可以心想事成,我們將迎來一個(gè)前所未有的,只靠想法就能賺錢的時(shí)代!

  AI算力的另一場硬實(shí)力競爭

  AI幻覺的大幅降低,不僅讓百度自身的AI應(yīng)用快速進(jìn)化,也能夠讓更多行業(yè)放心用上大模型。不過對于行業(yè)落地而言,便宜好用的算力同AI能力本身一樣重要。

  因此在談應(yīng)用之前,我們不妨先談?wù)劵A(chǔ)設(shè)施。

  得算力者得天下,是大模型時(shí)代的共識。

  這樣的共識讓GPU企業(yè)一飛沖天,也讓單卡算力成為市場追逐的熱點(diǎn)。不過人們往往忽視了,整個(gè)算力集群的實(shí)際性能,并不簡單等于單卡算力之和。

  如果說CPU 是一個(gè)很復(fù)雜的大腦,GPU就是數(shù)量巨大的機(jī)械臂組合。GPU內(nèi)的每一個(gè)計(jì)算核心所做的工作都很簡單,但真正的難度在于如何同時(shí)指揮這么多“機(jī)械臂”。

  正如戰(zhàn)場上需要及時(shí)把指令傳達(dá)給每一個(gè)士兵,GPU核心之間的通信效率才是發(fā)揮性能的關(guān)鍵。

  單個(gè)GPU內(nèi)的通信已經(jīng)會延緩計(jì)算速度,而在萬卡集群之中,GPU之間的通信效率還會有數(shù)量級的下降,如果說機(jī)內(nèi)通信帶寬是50的話,機(jī)間可能就只有2或3。

  顯卡加速一直都是GPU應(yīng)用中不容忽視的部分,如果做不好加速,萬卡集群的利用率甚至可能低至10%,90%的算力都被白白浪費(fèi)。

  英偉達(dá)70%的人力都用于軟件開發(fā),人們說,英偉達(dá)真正的壁壘是基于 CUDA的龐大加速庫。

  因此,除了單卡算力之外,集群效率也是中美之間圍繞算力的另一場硬實(shí)力競爭。

  在這場競爭中,百度已經(jīng)用百舸4.0平臺給出了萬卡規(guī)模上的優(yōu)異答卷。

  百度集團(tuán)執(zhí)行副總裁沈抖在不久前的云智大會上曾表示,百舸4.0預(yù)置了主流的大模型訓(xùn)練工具,能夠?qū)崿F(xiàn)工具層面的秒級部署,并將萬卡集群運(yùn)行準(zhǔn)備時(shí)間從幾周縮減至1小時(shí),極大地提升部署效率,縮短業(yè)務(wù)上線周期。

  穩(wěn)定性方面,百舸4.0有效訓(xùn)練時(shí)長占比99.5%以上,業(yè)界領(lǐng)先,極大地節(jié)約了客戶算力與時(shí)間成本。此外,通過在集群設(shè)計(jì)、任務(wù)調(diào)度、并行策略、顯存優(yōu)化等一系列創(chuàng)新,百舸4.0大幅提升了集群的模型訓(xùn)練效率,整體性能相比業(yè)界平均水平提升高達(dá)30%。

  而在美國的算力限制下,中國算力平臺還不得不面臨一個(gè)特殊難題——需要使用不同規(guī)格的顯卡搭建異構(gòu)集群,進(jìn)行多芯混訓(xùn)

  為此,百舸將不同地點(diǎn)、不同規(guī)模的異構(gòu)算力進(jìn)行統(tǒng)一管理,構(gòu)建起多芯資源池。當(dāng)業(yè)務(wù)提交工作負(fù)載時(shí),可自動進(jìn)行芯片選型,依據(jù)集群剩余的芯片資源,選擇性價(jià)比最高的芯片來運(yùn)行任務(wù),從而最大化地利用集群的剩余資源。最終,可實(shí)現(xiàn)高達(dá)95%的萬卡多芯混合訓(xùn)練效能。

  做好國產(chǎn)大模型的基礎(chǔ)設(shè)施

  憑借高效的百舸AI異構(gòu)算力平臺,百度不僅持續(xù)升級自己的文心大模型,也在為更多中國AI企業(yè)提供服務(wù)。

  教育無疑是AI應(yīng)用最有意義的領(lǐng)域,但是對AI的準(zhǔn)確率也提出了更高要求,這就需要深耕教育領(lǐng)域的企業(yè)基于垂直數(shù)據(jù)來訓(xùn)練模型。

  對于好未來這樣的企業(yè)來說,自己去購買顯卡搭建算力集群的投入是難以承受的,而百度百舸為好未來自研“九章大模型(MathGPT)”早期高效低成本“跑起來”提供了關(guān)鍵支撐作用。

  基于百度百舸平臺,好未來可以快速、方便的創(chuàng)建出千卡級別的訓(xùn)推任務(wù)集群。算力方面,集群最大可支撐 16000 GPU卡的規(guī)模;存儲方面,適用于大規(guī)模深度學(xué)習(xí)訓(xùn)練場景,可提供亞毫秒級(300us)的時(shí)延,支持百萬級 IOPS,服務(wù)可用性不低于99.95%。

  百舸還提供了強(qiáng)大的加速能力,LLaMA2系列、GLM系列等多尺寸模型都實(shí)現(xiàn)了訓(xùn)練指標(biāo)的最佳實(shí)踐,千卡任務(wù)加速比保持在90%,訓(xùn)練吞吐與大模型訓(xùn)練理論值相當(dāng)。

  百度自身利用百舸訓(xùn)練文心大模型的成熟經(jīng)驗(yàn),也能夠幫助其它大模型企業(yè)快速訓(xùn)練。

  成立于2023年3月的生數(shù)科技,僅僅一年后就發(fā)布了被稱為“國產(chǎn)Sora”的視頻生成大模型Vidu。

  在影響用戶體驗(yàn)的推理速度層面,Vidu實(shí)現(xiàn)了業(yè)界最快的實(shí)測推理速度,生成一段4秒片段只需30秒。而市面上的主流 AI視頻工具在生成4秒左右的視頻片段時(shí),用戶通常需要等待1到5分鐘,甚至更長。

  傳統(tǒng)行業(yè)的生產(chǎn)力飛升

  在大模型落地層面,直接由大模型催生的AI原生應(yīng)用看上去酷炫,但是不要忽視了,AI對千行百業(yè)傳統(tǒng)生產(chǎn)流程的改造可能會創(chuàng)造更大價(jià)值。

  李彥宏曾舉例說,“Microsoft 365 Copilot 一年?duì)I收 50 億美元,比 OpenAI 全年的收入都大很多倍。僅就對現(xiàn)有產(chǎn)品的改造而言,就已經(jīng)創(chuàng)造出來這么多新的價(jià)值。”

  因此在李彥宏看來,“百度不是要推出一個(gè)‘超級應(yīng)用’,而是要不斷地幫助更多人、更多企業(yè)打造出數(shù)百萬‘超級有用’的應(yīng)用!

  在中國,典型的AI應(yīng)用場景是智能客服,但是傳統(tǒng)的智能客服普遍需要人工提前準(zhǔn)備好現(xiàn)成的FAQ,對用戶問題的理解能力也非常有限。而在大模型的加持下,智能客服對自然語言的理解能力出現(xiàn)了質(zhì)的飛躍,無論是應(yīng)用范圍還是部署成本都明顯改善,是大模型對于現(xiàn)有產(chǎn)品改造的絕佳案例。

  百勝中國是國內(nèi)最大的餐飲公司,其基于文心大模型打造的AI智能客服系統(tǒng),已經(jīng)在為旗下包括肯德基在內(nèi)的多個(gè)品牌提供服務(wù)。

  目前,AI客服每天能夠?yàn)榘賱僦袊幚沓^15萬次客服溝通任務(wù),問題解決率高達(dá)90%;輔助人工客服快速總結(jié)溝通歷史,整理歸納訴求,提供建議回復(fù)話術(shù)、一鍵發(fā)送等功能,提升客服員工產(chǎn)能效率10%。

  杭州全診醫(yī)學(xué)基于千帆平臺和文心大模型打造了AI醫(yī)療助理應(yīng)用,則能夠在導(dǎo)診、預(yù)診、診間、入院、手術(shù)、隨訪等全階段服務(wù)醫(yī)生患者。以輔助醫(yī)生撰寫病歷為例,全診醫(yī)學(xué)通過使用20萬份精標(biāo)病歷數(shù)據(jù)對大模型進(jìn)行了精調(diào),使AI醫(yī)療助理的醫(yī)學(xué)用語更準(zhǔn)確、更規(guī)范,大幅提升病歷內(nèi)容質(zhì)量。病歷生成的準(zhǔn)確度提升了45%,醫(yī)生的接診量提高了20%,造福更多病患。

  大模型的應(yīng)用不僅限于自然語言理解,也能夠深入改造傳統(tǒng)企業(yè)的生產(chǎn)環(huán)節(jié)。

  在能源電力行業(yè),國家電網(wǎng)正在圍繞文心大模型、千帆平臺,結(jié)合電力行業(yè)高質(zhì)量數(shù)據(jù),聯(lián)合百度共創(chuàng)電力行業(yè)大模型基礎(chǔ)底座,并在調(diào)度、設(shè)備、營銷等六大專業(yè)領(lǐng)域深入探索。目前,已經(jīng)在電力設(shè)備運(yùn)檢、供電服務(wù)等電力行業(yè)核心場景成功完成應(yīng)用落地。

  得益于在全棧AI技術(shù)、產(chǎn)品創(chuàng)新和產(chǎn)業(yè)落地方面的持續(xù)投入,百度智能云擁有中國最廣最深的大模型產(chǎn)業(yè)落地規(guī)模,超60%的央企正在使用百度智能云進(jìn)行AI創(chuàng)新。百度智能云千帆大模型平臺已經(jīng)幫助客戶精調(diào)了3.3萬個(gè)模型、開發(fā)了77萬個(gè)企業(yè)應(yīng)用、文心大模型日均調(diào)用量超過15億次。

  這就是李彥宏說出“應(yīng)用來了”的底氣:“我是軟件工程師出身,國外有一種說法叫‘軟件吞噬世界’。但我認(rèn)為,這個(gè)世界不應(yīng)該被吞噬,而應(yīng)該被創(chuàng)造。AI時(shí)代,應(yīng)用創(chuàng)造世界。所以請大家和我一起見證,AI applications creating the world!

關(guān)注同花順財(cái)經(jīng)(ths518),獲取更多機(jī)會

0

+1
  • 黑芝麻
  • 歐菲光
  • 君正集團(tuán)
  • 晶方科技
  • 有研新材
  • 英洛華
  • 供銷大集
  • 天汽模
  • 代碼|股票名稱 最新 漲跌幅