在輕薄本上跑 Stable Diffusion 和端側(cè)大模型?英特爾說沒問題
不管被動還是主動,大模型,AIGC,ChatGPT,Stable Diffusion,MidJourney 等等名詞在大家的新聞列表里狂轟濫炸,經(jīng)歷了上半年的驚喜、恐慌、期待和擔(dān)憂之后,AIGC 現(xiàn)今已不是天降福音或者天網(wǎng)再臨,人們開始正視它,理解它,適度利用它。
(資料圖片僅供參考)
當然,這一輪 AIGC 浪潮主要發(fā)生在云端,無論是 ChatGPT,還是文心一言,通義千問這類大語言模型應(yīng)用,亦或是 MidJourney 這類 AI 生成圖片的應(yīng)用,還有不少像 Runway 這樣 AI 生成視頻的應(yīng)用,都需要聯(lián)網(wǎng),因為 AI 計算都發(fā)生在千里之外的云端服務(wù)器上。
畢竟一般而言,服務(wù)器端能夠提供的算力和存儲,要遠大于電腦端和手機端,但情況也并非絕對,響應(yīng)快,無需聯(lián)網(wǎng)的端側(cè) AI 毫無疑問是另一個趨勢,和云端 AI 能夠相互互補。
在前不久的小米年度演講中,小米創(chuàng)始人雷軍表示,小米 AI 大模型最新一個 13 億參數(shù)大模型已經(jīng)成功在手機本地跑通,部分場景可以媲美 60 億參數(shù)模型在云端運行結(jié)果。
雖然參數(shù)量不太大,但說明了大模型在端側(cè)的可行性和潛力。
在算力大得多的 PC 端,是否也有端側(cè)大模型等 AIGC 運用的可行性和潛力呢?8 月 18 日,英特爾舉辦了一場技術(shù)分享會,著重分享了 2 個方面的信息:英特爾銳炫顯卡 DX11 性能更新,并推出全新英特爾 PresentMon Beta 工具,以及展示英特爾在 AIGC 領(lǐng)域的進展。
去年英特爾銳炫臺式機產(chǎn)品發(fā)布時,就承諾過英特爾銳炫顯卡會持續(xù)優(yōu)化升級,帶來更出色的體驗。
通過最新 Game On 驅(qū)動的發(fā)布,英特爾銳炫顯卡在運行一系列 DX11 游戲的時候,能夠獲得 19% 的幀率提升,以及平均約 20% 的 99th Percentile 幀率流暢度提升(相較于首個驅(qū)動版本)。此前購買使用過英特爾銳炫 A750 顯卡的用戶,可以直接下載最新驅(qū)動,在《守望先鋒 2》、《DOTA 2》、《Apex Legends》等游戲中獲得體驗升級。
對于在顯卡選擇上有點猶豫的用戶來說,1700 元檔位上的銳炫 A750 顯卡也成為了頗有競爭力的選擇。
PresentMon Beta 則是英特爾推出的圖形性能分析工具,提供了 Overlay(疊加視圖)等功能,可以在運行游戲時在屏幕上顯示性能數(shù)據(jù),幫助玩家實時遙測 GPU 的電壓和溫度等,實時分析大量信息。同時也可以查看 99th Percentile 幀時間與 GPU 占用率圖表。
另外,PresentMon Beta 也帶來了名為「GPU Busy」的全新指標。這里可以解釋一下,用戶通過它可以看到 GPU 實際使用了多少時間進行實際渲染而不是處于等待狀態(tài),或者在運行游戲的 PC 是否處于 CPU 和 GPU 平衡。
游戲是 PC 永恒的主題,而 AI 則是新晉的主題。
實際上,這一輪 AIGC 浪潮發(fā)生的主陣地設(shè)備,就是 PC,無論是 ChatGPT,還是 MidJourney,或者 Stable Diffusion 等等應(yīng)用,包括基于大模型的微軟 Office Copilot,亦或是金山辦公的 WPS AI,都是在 PC 上才可以獲得更好的體驗。
但 PC 相較于其他設(shè)備,諸如手機,平板和優(yōu)勢,不僅在于屏幕更大,交互輸入更高效,還在于芯片性能。
在英特爾談 PC 上的 AIGC 之前,我們關(guān)注到 PC 端側(cè)跑 AIGC,往往就是用高性能游戲本去跑圖,但輕薄本往往被排除在外。
現(xiàn)在,英特爾明確表示了,基于英特爾處理器的輕薄本能跑大模型,也可以跑大模型和 Stable Diffusion。
英特爾基于 OpenVINO PyTorch(英特爾推出的一個開放源碼工具包,旨在優(yōu)化深度學(xué)習(xí)模型的推理性能,并將其部署到不同的硬件平臺上)后端的方案,通過 Pytorch API 讓社區(qū)開源模型能夠很好地運行在英特爾的客戶端處理器、集成顯卡、獨立顯卡和專用 AI 引擎上。
比如開源的圖像生成模型 Stable Diffusion(具體講,是 Automatic1111 WebUI)就可以通過這種方式,在英特爾 CPU 和 GPU(包括集成顯卡和獨立顯卡)上運行 FP16 精度的模型,用戶實現(xiàn)文字生成圖片、圖片生成圖片以及局部修復(fù)等功能。
▲ 圖片來自:愛極物
比如這張 512×512 分辨率的蜂蜜薄餅圖在英特爾處理器輕薄本(只用 i7-13700H 的核顯)上,只需要十幾秒就可以生成出來。
這主要得益于 13 代酷睿處理器在核心數(shù)、性能、功耗比還有圖形性能上的進步,以 14 核心 20 線程的 i7-13700H 處理器為例,它的 TDP 達到了 45W,集成的 Intel Iris Xe Graphics (96EU) 顯卡也不容小覷。
作為目前最高規(guī)格的核顯之一,Intel Iris Xe Graphics (96EU) 相較于 Iris Plus 核顯最高 64EU,基本規(guī)格提升明顯,F(xiàn)P16、FP32 浮點性能提升幅度高達 84%,還引入了 INT8 整數(shù)計算能力 ,這些都加強了它的 AI 圖形計算能力,也是英特爾輕薄本能夠很好支持 Stable Diffusion 的主要原因。
在以往,TDP 45W 左右的英特爾處理器很難裝進輕薄本,不過到了 13 代酷睿,已經(jīng)出現(xiàn)了一大批在 1.4KG 左右的輕薄本把 14 核心 20 線程的 i7-13700H 處理器乃至性能更高的 i7-13900H 處理器塞了進去,所以,在筆記本上跑 Stable Diffusion 快速出圖已經(jīng)不是高性能獨顯游戲本的專屬,今后輕薄本同樣能夠勝任這項工作。
當然,Stable Diffusion 本身主要跑在本地,輕薄本通過芯片性能的提升和優(yōu)化來運行合乎邏輯,不過本地的端側(cè)大模型則屬于較為新生的事物。
通過通過模型優(yōu)化,降低了模型對硬件資源的需求,進而提升了模型的推理速度,英特爾讓一些社區(qū)開源模型能夠很好地運行在個人電腦上。
以大語言模型為例,英特爾通過第 13 代英特爾酷睿處理器 XPU 的加速、low-bit 量化以及其它軟件層面的優(yōu)化,讓最高達 160 億參數(shù)的大語言模型,通過 BigDL-LLM 框架運行在 16GB 及以上內(nèi)存容量的個人電腦上。
雖然離 ChatGPT3.5 的 1750 億參數(shù)有量級差距,但畢竟 ChatGPT3.5 是跑在一萬顆英偉達 V100 芯片構(gòu)建的 AGI 網(wǎng)絡(luò)集群上。而這通過 BigDL-LLM 框架運行 160 億參數(shù)大模型是跑在英特爾酷睿 i7-13700H 或 i7-13900H 這樣為高性能輕薄本打造的處理器上。
不過這里也可以看到,PC 端側(cè)的大語言模型,也比手機端側(cè)的大語言模型高一個量級。
出現(xiàn)了數(shù)十年的 PC,并非運行云端大模型的工具人,得益于硬件進步,英特爾處理器支持的 PC 已經(jīng)能夠快速對接新興模型,兼容 HuggingFace 上的 Transformers 模型,目前已經(jīng)驗證過的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等。
▲ 圖片來自:愛極物
在技術(shù)分享會現(xiàn)場,英特爾演示了基于酷睿 i7-13700H 設(shè)備跑大模型的表現(xiàn):ChatGLM-6b 可以做到首個 token 生成 first latency 241.7ms,后續(xù) token 平均生成率為 55.63ms/token。在在自然語言處理領(lǐng)域,「token」是指文本中的一個基本單元,可以是一個單詞、一個字、一個子詞(subword)、一個標點符號,或者其他可以進行語義處理的最小單元??梢钥吹剑@個處理器速度相當不錯。
目前還可以得到的消息是,英特爾的下一代處理器 Meteor Lake 具備獨特的分離式模塊架構(gòu)的優(yōu)勢,更好地為 AI 服務(wù),包括像 Adobe Premiere Pro 中的自動重新構(gòu)圖和場景編輯檢測等多媒體功能,并實現(xiàn)更有效的機器學(xué)習(xí)加速。
雖然 AIGC 是 2023 年的一個關(guān)鍵詞,但是 AI 并不新鮮,而且也是英特爾這幾年來經(jīng)常掛在嘴邊的關(guān)鍵詞。
更早之前的 AI 視頻通話降噪,AI 視頻通話背景降噪等等,其實都是 AI 的應(yīng)用。
可以看到,未來處理器的競爭力,將不局限于核心數(shù)、線程數(shù)、主頻這些,能否更好地驅(qū)動 AI 功能,將成為愈發(fā)重要的維度,也會是今后消費者選購產(chǎn)品會考慮的因素之一。
在命運的塑料大棚里,每棵被噴了過多農(nóng)藥的白菜心中,都曾經(jīng)有一個成為無公害有機蔬菜的夢想。
#歡迎關(guān)注愛范兒官方微信公眾號:愛范兒(微信號:ifanr),更多精彩內(nèi)容第一時間為您奉上。
| · ·
責(zé)任編輯:
關(guān)鍵詞:
[責(zé)任編輯:xwzkw]
相關(guān)閱讀
- (2023-08-23)在輕薄本上跑 Stable Diffusion 和端側(cè)大模型?英特爾說沒問題
- (2023-08-23)個性分組大全(個性分組名字)
- (2023-08-23)山楂泡水喝的功效與作用及禁忌是什么_山楂泡水喝的功效與作用及禁忌
- (2023-08-23)支票軟件下載_開支票軟件
- (2023-08-23)蕭孟虧(關(guān)于蕭孟虧簡述)
- (2023-08-23)籃球后衛(wèi)是幾號位 籃球后衛(wèi)
- (2023-08-23)香港國際機場7月客運量逾380萬人次 環(huán)比上月增15%
- (2023-08-23)《灼灼風(fēng)流》電視劇什么時候開播 灼灼風(fēng)流改編自什么小說?
- (2023-08-23)創(chuàng)世之柱任務(wù)哪里交(創(chuàng)世之柱任務(wù))
- (2023-08-23)淘客微信群推廣怎么做(微信群推廣大全二維碼)
- (2023-08-23)港股異動 | 中聯(lián)重科(01157)再跌超4% 內(nèi)需出口短期均承壓 7月挖掘機銷量同比下滑近三成
- (2023-08-23)避開七夕“劫”|戀人幫你選投資?小心被“養(yǎng)豬”!
- (2023-08-23)沈陽市氣象臺發(fā)布最新天氣預(yù)報
- (2023-08-23)三棵樹藝術(shù)漆質(zhì)量怎么樣啊(三棵樹藝術(shù)漆)
- (2023-08-23)中超第1輸給泰超第9!世預(yù)賽國足怎么踢泰國...
- (2023-08-23)營銷渠道(關(guān)于營銷渠道簡述)
- (2023-08-23)2-3,爆冷出局!海港無緣亞冠正賽,追平隊史最差,武磊錯失絕平
- (2023-08-23)朝鮮最繁華的未來科學(xué)家大街,卻反映了朝鮮的供電不足的事實
- (2023-08-23)這是夢幻西游69級第一4抗封手鐲?大神合出三特殊服戰(zhàn)胚子
- (2023-08-23)上海八佰伴在什么區(qū)(上海八佰伴)
- (2023-08-23)中國男籃公布出征2023世界杯12人最終名單
- (2023-08-23)為攬客冒充民警,一男子被上海鐵路警方行拘10日
- (2023-08-23)異性之間,有這些感應(yīng),才算是真正的“靈魂伴侶”
- (2023-08-23)天億馬(301178.SZ):南京樂遂擬減持不超2.5%股份
- (2023-08-23)WiFi信號不見了怎么回事 WiFi信號搜不到了解決方法 無線網(wǎng)信號搜不到是什么原因
- (2023-08-23)六壬式盤天文歷法特征天象還原圖。
- (2023-08-23)8月22日液化氣產(chǎn)業(yè)鏈情報
- (2023-08-23)“種子運動”黨候選人阿雷瓦洛在危地馬拉總統(tǒng)選舉中獲勝
- (2023-08-23)總投資5億元!燃料電池和鋰電池測試系統(tǒng)項目落戶常州國家高新區(qū)
- (2023-08-23)大球:我們那屆夏聯(lián)陣容或是史上最佳 我們不打戰(zhàn)術(shù)每回都是快攻