當(dāng) AI 大模型從云端神壇走向終端設(shè)備,一場關(guān)于“算力民主化”的革命悄然興起。以 DeepSeek 為代表的國產(chǎn)大模型,憑借開源生態(tài)和硬件適配性,催生了大量鐘情本地部署的極客玩家。雖然筆者并不建議普通玩家嘗試本地部署(硬件機(jī)能不足,導(dǎo)致只能嘗試蒸餾版),但對于企業(yè)和工作室來說,本地部署的確有著低延遲、高安全,以及后續(xù)使用的成本優(yōu)勢。
本地部署 AI 應(yīng)用,CPU 和 GPU 是其中最關(guān)鍵的硬件。此外,大容量內(nèi)存對推理過程也有很大的加成,它決定了本地 AI 模型的可選范圍和運(yùn)行效率,能夠支持 一 次性加載更多數(shù)據(jù),減少磁盤 I / O 瓶頸。以 DeepSeek 為例,其 70B 版本需至少 64GB 內(nèi)存,而企業(yè)級 671B 模型甚至需要 512GB 內(nèi)存。
最近也是心血來潮,入手了套海盜船復(fù)仇者 32GB X 2 DDR5 內(nèi)存條,干脆跑個(gè)測試,看看大容量內(nèi)存對 AI 本地部署的加成有多大效果。
▼內(nèi)存外封是海盜船騷氣的黃色,32GB 單條的容量,可以說狠狠拿捏了筆者對內(nèi)存容量的渴望。話說,這么大的容量,就算不跑 AI ,日常的 PS 或者 LR ,乃至玩游戲,都不用擔(dān)心內(nèi)存捉襟見肘。
▼內(nèi)存造型依然是復(fù)仇者系列的硬核電競風(fēng),激光蝕刻的菱形紋理滿布馬甲表面,獨(dú)立存在的中間區(qū)域貼了塊金屬片,上刻“VENGEANCE”品牌字樣。
▼另一面則換成了產(chǎn)品銘牌,參數(shù)方面 6000MT/s 頻率,時(shí)序 38 - 44 - 44 - 96,工作電壓 1.35V。
▼因?yàn)闆]有采用 RGB 設(shè)計(jì),所以內(nèi)存整體高度控制在 35mm 左右。優(yōu)點(diǎn)是電壓要求更低,同時(shí)也有更好的硬件兼容性,適合搭配空間緊張的 ITX 機(jī)箱。
▼側(cè)面視角,可以看到 PCB 板厚度不錯(cuò)
▼上機(jī)視角來張,樸實(shí)無華但質(zhì)感滿滿。
▼開機(jī)正常啟動(dòng),64GB 的容量,滿滿的實(shí)在感。
CPU-Z 的信息讀取內(nèi)存基本參數(shù)。內(nèi)存顆粒來自三星,25 年第 8 周下線, 內(nèi)存支持 AMD EXPO 和 Intel XMP 3.0 技術(shù),時(shí)序均為 CL 38-44-44-96,電壓 1.35V。
▼先看看內(nèi)存的基礎(chǔ)性能,兩種數(shù)據(jù)分別對應(yīng) XMP 6000MHz 和開機(jī)技嘉主板的高帶寬低延時(shí)模式
▼XMP 6000MHz:內(nèi)存讀寫速度分別是 92010MB/s 和 86768MB/s,復(fù)制 89026MB/s、延遲 89.4ns。
開啟高帶寬低延時(shí):內(nèi)存讀寫速度分別是 93265MB/s 和 88125MB/s,復(fù)制 90054MB/s、延遲 88.7ns。
▼關(guān)于本機(jī)部署 ollama 有太多教程,這里就不在贅述,反正就是利用 Ollama library 直接拉取即可,主機(jī)搭載的顯卡為 RTX4070TI,所以拉取的 14B 版本,順便利用 Cherry Studio 生成可視化界面來運(yùn)行
▼對比不同內(nèi)存容量下 DeepSeek 推理效率
普通 32GB 內(nèi)存:首字延時(shí)為 358ms,每秒 51Tokens
海盜船 復(fù)仇者 64GB 內(nèi)存:首字延時(shí)為 382ms,每秒 65Token
▼客觀的說,14B 模型跑此類測試,內(nèi)存容量不會有太多區(qū)別。
但把模型換成 70B 或更高,區(qū)別就很明顯了,比如下圖就是 14B 和 70B 跑測試的對比,14B 模型運(yùn)行時(shí)內(nèi)存占用不到 10GB,70B 模型直接超過了 40G,這也對應(yīng)文章開篇提到的
“大容量內(nèi)存決定了本地 AI 模型的可選范圍和運(yùn)行效率”
▼下圖就是換成 32GB 內(nèi)存運(yùn)行 70B 模型的截圖,不僅是內(nèi)存直接爆了,甚至連帶把 SSD 也搞到了 100% 占用。
▼接下來看看標(biāo)準(zhǔn)化測試軟件的對比,首先是游戲加加和魯大師自帶的 AI 測評模組,海盜船復(fù)仇者 64G 無論是總分還是單項(xiàng),都比普通 32G 內(nèi)存得分更高。
▼再來看看 ULProcyon 的量化測試,這是 ULSolutions(3DMARK 母公司)出品的、面向?qū)I(yè)人士的測試軟件,本次測試使用的 【AI Text Generation Benchmark】模組,它是基于本地 LLM 推理任務(wù) 的測試,例如使用設(shè)備上的 AI 助手來幫助完成簡單的辦公任務(wù)。該基準(zhǔn)測試由使用 Phi-3.5-mini、Mistral 7B、Llama-3.1-8B 和 Llama-2-13B LLM 指導(dǎo)模型的四個(gè)工作負(fù)載組成。
▼結(jié)果如下
普通 32GB:模組分別得分 Phi3.5(3768)、Mistral 7B(3599)、Llama3.1(3100)和 Llama2(1828)。
海盜船復(fù)仇者 64GB:模組分別得分 Phi3.5(3836)、Mistral 7B(3660)、Llama3.1(3031)和 Llama2(2306)。
▼首先還是運(yùn)行平臺,與游戲向不同,Intel 平臺內(nèi)存的讀寫上限更高,其次 Ultra 系列有 獨(dú)立的 NPU,并且兼容多種框架,非常適合經(jīng)常使用 AI 軟件或從事設(shè)計(jì)工作的專業(yè)人士。而且 Ultra 系列的功耗也比上代控制的更好
當(dāng)然最重要的還是價(jià)格了,現(xiàn)在盒裝的 265K 甚至能做到 2000 以內(nèi),性價(jià)比那是相當(dāng)?shù)轿弧?/span>
▼Z890 超級雕是技嘉專為 Intel 第 15 代酷睿 Ultra 處理器設(shè)計(jì)的旗艦主板,18+1+2 相供電(單路 110A DrMos)搭配全新供電散熱方案,能輕松駕馭 Ultra 處理器的滿血性能釋放。有 一 說一,這塊板子更適合搭配 285K 以上的處理器,這里只是作為測試平臺而已。
▼主板的散熱規(guī)模相當(dāng)夸張,發(fā)熱區(qū)域均覆蓋納米碳涂層散熱裝甲,VRM 和主 M.2 插槽更是采用垂直堆棧鰭片疊加 12 層立體散熱結(jié)構(gòu),以此進(jìn)行熱量的快速傳遞。冰晶藍(lán)的配色風(fēng)格,搭配裝甲表面的線條勾勒,很好的詮釋了何謂“科技美感”。
▼既然是超級雕系列,接口配置自然做到了滿配組合
▼內(nèi)接插座如圖,合計(jì)提供了 10 個(gè) CPU / 水泵插座,以及 5 個(gè) LED 燈帶插座,位置則是覆蓋主板上下區(qū)域,方便機(jī)箱內(nèi)部走線。
▼IO 接口區(qū)域,除了總計(jì) 12 個(gè) USB 接口,還提供了雙滿血雷電 4 接口( 40Gbps 傳輸 + 8K 視頻輸出);10Gbps 有線網(wǎng)口、天線接口支持 WiFi 7 協(xié)議,此外還板載了 HDMI 接口,方便連接機(jī)箱副屏。
從測試結(jié)果來看,大容量內(nèi)存對于 AI 應(yīng)用最大的優(yōu)勢是提升了運(yùn)行上限,其次在高負(fù)荷下也有 一 定的性能加成,比較適合追求極致效率,看重安全的 DeepSeek 本地用戶。而對于普通用戶來說,大容量內(nèi)存最大的意義還是避免了 DDR5 平臺很難四槽兼容的弊病,更通過「全頻性能+超大容量」的硬件組合,讓視頻剪輯 / 3D 渲染等生產(chǎn)力場景與游戲 / VR 娛樂需求實(shí)現(xiàn)并行不悖。這種「既要又要還要」的硬件哲學(xué),本質(zhì)上重塑了消費(fèi)級 PC 的體驗(yàn)范式。
上一篇
百元級“全能戰(zhàn)士”能有多強(qiáng)?iKF T3頭戴式降噪藍(lán)牙耳機(jī)給你答案
下一篇
東芝新一代Mini LED旗艦電視Z700QF值不值得買?原聲原色、音畫雙芯的新品電視實(shí)測表現(xiàn)如何?