智東西

(資料圖)

作者 | 三北

編輯 | 漠影

智東西8月16日?qǐng)?bào)道，過(guò)去半年，越來(lái)越多的行業(yè)已經(jīng)接入了大模型。

如果將大模型比作一道“佳肴大餐”，那么大模型平臺(tái)就是供大廚烹飪的“廚房”。菜好不好吃，廚房的作用至關(guān)重要。當(dāng)下，越來(lái)越多的“xx行業(yè)首個(gè)大模型”誕生，大模型行業(yè)落地進(jìn)入效果驗(yàn)證的深水區(qū)，對(duì)大模型平臺(tái)也提出了更高要求。

在與上百家客戶磨合調(diào)研之后，百度智能云千帆大模型平臺(tái)近期迎來(lái)了最新升級(jí)，在模型庫(kù)、提示詞庫(kù)等方面實(shí)現(xiàn)迭代。

千帆大模型平臺(tái)是一個(gè)覆蓋從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練、評(píng)估優(yōu)化、測(cè)試服務(wù)、落地部署等全流程的企業(yè)級(jí)一站式開(kāi)發(fā)環(huán)境和工具鏈， 據(jù)稱已有超15萬(wàn)企業(yè)申請(qǐng)?jiān)囉?，上百家企業(yè)與之深度接觸。

隨著千帆大模型平臺(tái)擴(kuò)大開(kāi)放范圍，智東西第一時(shí)間對(duì)其進(jìn)行了試用體驗(yàn)，并通過(guò)對(duì)話百度智能云千帆大模型平臺(tái)的相關(guān)專家，對(duì)其最新功能迭代，以及迭代背后的思路和產(chǎn)業(yè)洞察進(jìn)行了深入探討。

一、引入Llama 2等33個(gè)大模型，模型推理成本最多可降50%

在很多人的印象中，千帆大模型平臺(tái)主要是支持百度文心大模型的調(diào)用和部署。但登入千帆大模型平臺(tái)的操作臺(tái)，我們發(fā)現(xiàn)， “模型倉(cāng)庫(kù)”中有很多可選項(xiàng)，多個(gè)第三方模型可以進(jìn)行直接調(diào)用、部署，無(wú)需等待申請(qǐng)。

千帆大模型平臺(tái)支持直接調(diào)用第三方大模型

千帆的工程師稱，目前，千帆大模型平臺(tái)除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個(gè)大模型，成為國(guó)內(nèi)擁有大模型最多的平臺(tái)。接入的模型經(jīng)過(guò)千帆平臺(tái)二次性能增強(qiáng)，模型推理成本可降低50%。

企業(yè)和開(kāi)發(fā)者調(diào)用第三方模型時(shí)為什么要使用千帆平臺(tái)？ 這位工程師告訴智東西，接入是簡(jiǎn)單的動(dòng)作，企業(yè)通過(guò)Llama 2等模型的官網(wǎng)就可以實(shí)現(xiàn)，但接入不是目的，關(guān)鍵是千帆平臺(tái)能為用戶帶來(lái)更多的價(jià)值。

據(jù)稱，千帆大模型平臺(tái)上納管的模型均經(jīng)過(guò)平臺(tái)優(yōu)選，充分考慮可商用、模型效果和模型安全性。在此基礎(chǔ)上，團(tuán)隊(duì)還對(duì)第三方模型做了一系列增強(qiáng)，比如通過(guò)全套工具鏈適配實(shí)現(xiàn)性能增強(qiáng)，通過(guò)SFT（全量參數(shù)微調(diào)）及強(qiáng)化學(xué)習(xí)等調(diào)優(yōu)方式實(shí)現(xiàn)效果增強(qiáng)、安全性增強(qiáng)，從而為企業(yè)降本增效。

千帆大模型平臺(tái)支持多種方法模型調(diào)優(yōu)

同樣是為了效果增強(qiáng)，千帆大模型平臺(tái)本次還帶來(lái)了應(yīng)用支持方面的更新。

在“Prompt（提示詞）模板”選項(xiàng)中可以看到，103款Prompt模板已經(jīng)上線，包含對(duì)話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場(chǎng)景。據(jù)稱其中大部分是基于百度智能云在產(chǎn)業(yè)實(shí)踐中的積累。

103款Prompt模板已經(jīng)上線千帆大模型平臺(tái)

Prompt是指通過(guò)自然語(yǔ)言向大模型提出問(wèn)題，問(wèn)題的好壞直接影響大模型的內(nèi)容輸出質(zhì)量。在實(shí)際應(yīng)用中，大模型往往因?yàn)镻rompt缺乏針對(duì)性、描述不清晰等原因影響到內(nèi)容準(zhǔn)確性。

用不同Prompt給某對(duì)話機(jī)器人提問(wèn)，會(huì)得到不同的效果。比如當(dāng)Prompt輸入：“《長(zhǎng)安三萬(wàn)里》好看嗎？”，機(jī)器人會(huì)輸出一個(gè)比較簡(jiǎn)單的結(jié)果：

“《長(zhǎng)安三萬(wàn)里》是一部非常出色的動(dòng)畫(huà)電影，它以唐朝為背景，通過(guò)展現(xiàn)那個(gè)時(shí)代的文化繁榮和詩(shī)歌藝術(shù)的精髓，讓觀眾能夠深入感受到唐朝的歷史和文化氛圍。

電影在畫(huà)面、故事、演員表現(xiàn)和制作質(zhì)量等方面都表現(xiàn)出了極高的水平，讓觀眾能夠沉浸其中，感受到角色的內(nèi)心世界和情感糾葛。同時(shí)，電影還將傳統(tǒng)的唐樂(lè)和現(xiàn)代音樂(lè)相融合，為電影增添了一種獨(dú)特的氣息。

雖然電影也有一些缺點(diǎn)，例如某些情節(jié)可能過(guò)于緊湊，某些角色的發(fā)展可能不夠充分，但是這些缺點(diǎn)并不影響電影的整體質(zhì)量。總的來(lái)說(shuō)，《長(zhǎng)安三萬(wàn)里》是一部非常值得觀看的動(dòng)畫(huà)電影，如果你對(duì)歷史和文化有濃厚興趣，那么這部電影一定不容錯(cuò)過(guò)?！?

對(duì)比來(lái)看，使用Prompt模板+原始Prompt：“我希望你充當(dāng)一個(gè)電影評(píng)論家。你將編寫(xiě)一篇引人入勝和有創(chuàng)意的影評(píng)。你可以涵蓋諸如情節(jié)、主題和基調(diào)、演技和角色、方向、配樂(lè)、電影攝影、制作設(shè)計(jì)、特效、剪輯、節(jié)奏、對(duì)話等主題。但最重要的方面是強(qiáng)調(diào)電影給你的感覺(jué)。什么是真正引起你的共鳴。你也可以對(duì)電影進(jìn)行批評(píng)。請(qǐng)避免劇透。電影名稱是《長(zhǎng)安三萬(wàn)里》”。因Prompt更詳細(xì)具體，對(duì)話機(jī)器人回復(fù)了更符合預(yù)期的答案：

“《長(zhǎng)安三萬(wàn)里》是一部極具創(chuàng)意和想象力的動(dòng)畫(huà)電影，帶領(lǐng)觀眾穿越到繁華輝煌的唐朝，展現(xiàn)出那個(gè)時(shí)代的文化氣息和詩(shī)歌藝術(shù)的精髓。這部電影在情節(jié)、主題、演技、制作等方面都表現(xiàn)出了極高的水平，但最令人難忘的是它給觀眾帶來(lái)的那種沉浸式的感受。

電影以李白和高適的友情為主線，將歷史上的文人墨客融入其中，讓觀眾在欣賞美輪美奐的畫(huà)面和感受情感糾葛的同時(shí)，也能領(lǐng)略到唐詩(shī)的魅力。情節(jié)緊湊跌宕，人物形象生動(dòng)鮮明，使得觀眾能夠深入感受到角色的內(nèi)心世界。

在演技方面，主要演員的表演非常出色，將角色的個(gè)性和情感表現(xiàn)得淋漓盡致。他們的表演為電影增色不少，讓觀眾更加深入地融入到故事情節(jié)中。

電影的制作質(zhì)量也非常高，從鏡頭到音效到配樂(lè)，都展現(xiàn)出了精細(xì)的制作和精美的設(shè)計(jì)。特別是電影的配樂(lè)，將傳統(tǒng)的唐樂(lè)和現(xiàn)代音樂(lè)相融合，為電影增添了一種獨(dú)特的的氣息。

當(dāng)然，電影也有一些缺點(diǎn)。例如，有些情節(jié)可能過(guò)于緊湊，讓人有些無(wú)法消化;某些角色的發(fā)展可能不夠充分。讓人難以完全理解他們的內(nèi)心世界。但是，這些缺點(diǎn)并不影響電影的整體質(zhì)量，仍然是一部值得觀看的電影。

總的來(lái)說(shuō)，《長(zhǎng)安三萬(wàn)里》是一部非常出色的動(dòng)畫(huà)電影，它帶給觀眾的不僅是視覺(jué)上的享受，更是精神上的震撼。如果你對(duì)歷史和文化有濃厚的興趣，那么這部電影一定不容錯(cuò)過(guò)?！?

Prompt模板的更新標(biāo)志著千帆大模型平臺(tái)的邊界進(jìn)一步拓展，向用戶的應(yīng)用效果靠近，從而大大降低了大模型的使用門(mén)檻。

而不斷降低使用門(mén)檻，也是千帆大模型整條工具鏈平均每?jī)芍芤坏囊粋€(gè)重要指導(dǎo)思路。

千帆的工程師說(shuō)，千帆大模型平臺(tái)包含了海量數(shù)據(jù)處理標(biāo)注、再訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)、評(píng)估、高效壓縮、自動(dòng)化Prompt工程、快速應(yīng)用編排等工具。通過(guò)這一系列工具鏈，千帆的核心是服務(wù)于企業(yè)核心的需求痛點(diǎn)，從而增強(qiáng)終端的大模型應(yīng)用效果。

千帆大模型平臺(tái)提供大模型全流程工具鏈

二、“煉?！甭冯y關(guān)多，幾百家客戶摸著“千帆”過(guò)河

千帆大模型平臺(tái)迭代背后，是百度智能云團(tuán)隊(duì)與數(shù)百家企業(yè)的磨合和深度調(diào)研。

千帆的工程師談道，自千帆大模型平臺(tái)于3月27日正式上線以來(lái)，團(tuán)隊(duì)每周都會(huì)對(duì)接大量客戶，了解他們的平臺(tái)使用情況、大模型應(yīng)用的效果。目前千帆大模型平臺(tái)已有超15萬(wàn)企業(yè)申請(qǐng)，內(nèi)部深度跟進(jìn)的就有上百家。本次功能的迭代，正是從和當(dāng)前深度接觸的客戶的場(chǎng)景實(shí)踐中來(lái)。

千帆大模型平臺(tái)全景

團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)下大模型需求可以歸結(jié)為兩類：

一是企業(yè)希望通過(guò)大模型改善它終端應(yīng)用的效果，并且很多企業(yè)在孵化很多創(chuàng)新的應(yīng)用，這些企業(yè)核心關(guān)注需要的就是大模型的效果保障，包括它的推理SFT的工具鏈，以及Prompt工程。

二是有很多行業(yè)企業(yè)，包括像金融、能源、教育，這些企業(yè)的訴求是希望能夠結(jié)合自己的行業(yè)已有的知識(shí)經(jīng)驗(yàn)和豐富場(chǎng)景數(shù)據(jù)積累，去構(gòu)建行業(yè)大模型，或者服務(wù)它的行業(yè)上下游企業(yè)。

從調(diào)研結(jié)果來(lái)看，90%以上的客戶最關(guān)心的還是模型效果，這是所有企業(yè)最關(guān)注的“Top1痛點(diǎn)”。 比如在大模型輸入輸出方面，企業(yè)不僅關(guān)注推理速度、輸出信息準(zhǔn)確度等客觀指標(biāo)，還會(huì)有一些主觀評(píng)判。其次企業(yè)和開(kāi)發(fā)者關(guān)注性能的提升，在資源消耗等方面尋求更高的性價(jià)比。

隨著實(shí)踐深入，客戶的要求在不斷變高。 比如很多客戶對(duì)內(nèi)容生成速度上有要求，有的用戶會(huì)提出將首個(gè)Token上線時(shí)間從7~8秒優(yōu)化到1秒以內(nèi)。此外，一些手機(jī)、車(chē)載廠商希望模型能放到本地，消除通信帶來(lái)的延遲并增強(qiáng)用戶隱私保護(hù)，這就需要平臺(tái)配備滿足更多樣化需求的模型。

正是這些客戶不斷提出更高的要求，倒逼千帆去從工具鏈和模型角度做更多的性能優(yōu)化。

實(shí)際上，在“煉模”的全過(guò)程中，企業(yè)在數(shù)據(jù)管理、模型訓(xùn)練、評(píng)估/優(yōu)化、預(yù)測(cè)服務(wù)和Prompt工程和插件服務(wù)等各個(gè)環(huán)節(jié)都面臨著不確定性及痛點(diǎn)，這也讓專業(yè)的一站式的大模型平臺(tái)需求更加迫切。

千帆大模型平臺(tái)或許是國(guó)內(nèi)經(jīng)歷客戶真實(shí)場(chǎng)景測(cè)試最多的企業(yè)級(jí)一站式大模型平臺(tái)。 千帆的工程師談道，在對(duì)客戶的陪伴式服務(wù)過(guò)程中，團(tuán)隊(duì)收到了很多客戶對(duì)千帆大模型平臺(tái)的好評(píng)：

比如某政務(wù)場(chǎng)景客戶，基于千帆平臺(tái)構(gòu)建了一個(gè)政務(wù)AI助手應(yīng)用，在落地過(guò)程中發(fā)現(xiàn)對(duì)政策文件的解讀不夠精準(zhǔn)詳實(shí)，于是基于千帆SFT調(diào)優(yōu)工具在幾天時(shí)間內(nèi)實(shí)現(xiàn)迭代，滿意度直線提升；

某醫(yī)療客戶，結(jié)合千帆平臺(tái)做診前診中醫(yī)療輔助，通過(guò)提示詞模版和域內(nèi)知識(shí)檢索結(jié)合，助大模型給出更好的輔助判斷；

某電商客戶，基于千帆提示詞模板庫(kù)將電商導(dǎo)購(gòu)類的Prompt導(dǎo)入，在不到一周的時(shí)間里搭建了導(dǎo)購(gòu)應(yīng)用。

當(dāng)下，隨著“百模大戰(zhàn)”進(jìn)入深水區(qū)，更多的企業(yè)開(kāi)始更關(guān)注模型效果調(diào)優(yōu)、實(shí)際應(yīng)用部署等過(guò)程中更細(xì)的問(wèn)題。這些問(wèn)題的解決依靠經(jīng)驗(yàn)和工具的支撐，眾多企業(yè)選擇摸著“千帆”過(guò)河，這也客觀上為千帆大模型平臺(tái)的進(jìn)一步迭代提供了源泉。

三、行業(yè)一線試練5個(gè)月，千帆大模型平臺(tái)尋求“破繭時(shí)刻”

縱觀全球科技圈，隨著科技巨頭掀起AI大模型競(jìng)賽，大模型平臺(tái)成為兵家必爭(zhēng)之地。

3月27日，千帆平臺(tái)發(fā)布，百度在模型研發(fā)和產(chǎn)業(yè)應(yīng)用上都做多工作，可以說(shuō)百度是目前整個(gè)市場(chǎng)上接觸開(kāi)發(fā)者最多的大模型廠商。

千帆大模型平臺(tái)正尋求新的“破繭時(shí)刻”，向更易用、更全面、更高效、更開(kāi)放、更安全方向發(fā)展。

更易用：降低門(mén)檻，開(kāi)箱即用。 千帆希望通過(guò)把整個(gè)工具鏈做可視化界面封裝，實(shí)現(xiàn)開(kāi)箱即用。體現(xiàn)在產(chǎn)品的方案和框架，非專業(yè)人士5分鐘也能很快理解和上手。

更全面：覆蓋大模型全生命周期。 應(yīng)用大模型的行業(yè)和場(chǎng)景分散，對(duì)工具鏈的豐富性提出更高要求，為此千帆提供數(shù)據(jù)標(biāo)注、模型訓(xùn)練與評(píng)估，推理服務(wù)與應(yīng)用集成的全面功能服務(wù)。

更高效：訓(xùn)練與推理性能大幅提升。 當(dāng)下超大規(guī)模參數(shù)模型十分耗費(fèi)算力，對(duì)其進(jìn)行性能優(yōu)化是復(fù)雜的工程，需要通過(guò)IaaS、PaaS、MaaS等多層服務(wù)優(yōu)化服務(wù)鏈路。據(jù)稱，團(tuán)隊(duì)在MLPerf榜單訓(xùn)練性能世界領(lǐng)先，千億模型分布式并行訓(xùn)練加速能力和算力利用率大幅提升。

更開(kāi)放：預(yù)置百度文心大模型與第三方大模型，助力大模型多場(chǎng)景落地應(yīng)用。 千帆從上線的第一天起就強(qiáng)調(diào)會(huì)預(yù)置第三方大模型，希望讓客戶通過(guò)多個(gè)模型測(cè)試后做出最優(yōu)選擇。

更安全：千帆對(duì)所有接入的第三方模型均做了模型安全增強(qiáng)，不僅保障文心大模型的內(nèi)容安全，還保障了第三方大模型的安全輸出。 千帆提供完善的鑒權(quán)與流控安全機(jī)制，自帶敏感詞過(guò)濾功能。

千帆的工程師談道，百度是端到端的四層技術(shù)架構(gòu)的踐行者。 從底層的昆侖芯到飛槳深度學(xué)習(xí)框架，到大模型再到上層應(yīng)用，每一層都有領(lǐng)先的技術(shù)和產(chǎn)品。千帆大模型平臺(tái)基于四層架構(gòu)，在大模型開(kāi)發(fā)和應(yīng)用的全生命周期過(guò)程中做了端到端優(yōu)化，從而讓客戶感受到系統(tǒng)的提升，最后達(dá)到應(yīng)用效果的提升。

結(jié)語(yǔ)：AIGC應(yīng)用的孵化地上，企業(yè)摸著“千帆”過(guò)河

隨著“百模大戰(zhàn)”打響數(shù)月，眾多行業(yè)大模型已經(jīng)推出，產(chǎn)業(yè)接下來(lái)面對(duì)的是在真實(shí)應(yīng)用場(chǎng)景中的模型價(jià)值驗(yàn)證。應(yīng)用價(jià)值的實(shí)現(xiàn)不僅取決于模型算法本身，還與數(shù)據(jù)、調(diào)優(yōu)方法、應(yīng)用部署等各個(gè)環(huán)節(jié)的操作相關(guān)，這都需要稱手的大模型平臺(tái)來(lái)為開(kāi)發(fā)者提供支持。

百度智能云千帆大模型平臺(tái)深度參與了國(guó)內(nèi)大模型落地的進(jìn)程，也正將洞察和經(jīng)驗(yàn)沉淀為功能組件，從而為更多企業(yè)應(yīng)用大模型提供重要的橋梁和工具。不過(guò)，當(dāng)下國(guó)內(nèi)外的大模型平臺(tái)也都處于探索落地期，要真正讓平臺(tái)生態(tài)形成正向循環(huán)支持產(chǎn)業(yè)發(fā)展，依然有很遠(yuǎn)的路要走。

關(guān)鍵詞：