這兩天 DeepSeek 開源 3FS 并行文件系統(tǒng)的消息，猶如向 AI 基礎(chǔ)設(shè)施領(lǐng)域投下一枚深水炸彈。3FS 每秒能搬運(yùn) 6.6TB 數(shù)據(jù)，相當(dāng)于 1 秒鐘傳輸完 700 部 4K 高清電影。還能自動(dòng)調(diào)資源，國產(chǎn)芯片用了它，跟國際大牌的差距直接縮到 15%。b2h28資訊網(wǎng)——每日最新資訊28at.com

這并非簡單的技術(shù)迭代 —— 當(dāng) Llama3 70B 模型單次訓(xùn)練需吞掉 15PB 數(shù)據(jù)（相當(dāng)于連續(xù)播放 250 萬小時(shí) 4K 視頻）時(shí)，全球 AI 實(shí)驗(yàn)室突然意識(shí)到：決定大模型訓(xùn)練效率的不僅是 GPU 算力，存儲(chǔ)系統(tǒng)正成為影響進(jìn)度的一大瓶頸。b2h28資訊網(wǎng)——每日最新資訊28at.com

當(dāng) AI 算力狂飆時(shí)，存儲(chǔ)正在成為隱形戰(zhàn)場b2h28資訊網(wǎng)——每日最新資訊28at.com

2024 年，某頭部 AI 公司曾因存儲(chǔ)帶寬不足，導(dǎo)致 2000 張 A100 顯卡的算力利用率長期低于 40%，單日經(jīng)濟(jì)損失超百萬美元。這暴露了 AI 時(shí)代的 "木桶效應(yīng)"—— 當(dāng) GPU 計(jì)算速度進(jìn)入微秒級(jí)時(shí)，一次突發(fā)的存儲(chǔ)抖動(dòng)就可能導(dǎo)致整個(gè)訓(xùn)練任務(wù)崩潰，讓數(shù)周的計(jì)算成果瞬間蒸發(fā)。這或許也是 DeepSeek 自研存儲(chǔ)的原因。b2h28資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)顯示，存儲(chǔ)優(yōu)化可直接將 175B 參數(shù)模型的訓(xùn)練周期壓縮 30%，對(duì)應(yīng)百萬美元級(jí)的成本被填平。而在推理端，當(dāng) 10% 的異常請(qǐng)求遭遇存儲(chǔ)延遲波動(dòng)時(shí)，P99 響應(yīng)時(shí)間會(huì)瞬間突破 SLA 紅線，這正是某自動(dòng)駕駛公司在線服務(wù)突發(fā)降級(jí)的根本誘因。b2h28資訊網(wǎng)——每日最新資訊28at.com

DeepSeek 之所以選擇自研 3FS 的本質(zhì)，正是發(fā)現(xiàn)了存儲(chǔ)架構(gòu)在 AI 應(yīng)用中的重要性。《金融行業(yè)先進(jìn) AI 存力報(bào)告》》報(bào)告中提到，在同樣的 GPU 算力規(guī)模下，存儲(chǔ)性能的高低可能造成模型訓(xùn)練周期 3 倍的差異。在算力軍備競賽的背后，一場關(guān)于存儲(chǔ)性能密度的暗戰(zhàn)悄然升級(jí)，自研存儲(chǔ)顯得尤為重要。b2h28資訊網(wǎng)——每日最新資訊28at.com

5 家頭部廠商角逐 AI 存儲(chǔ)，國產(chǎn)能否拔得頭籌b2h28資訊網(wǎng)——每日最新資訊28at.com

相比于傳統(tǒng) AI 的需求，大模型對(duì)存力需求場景具有數(shù)據(jù)量大、參數(shù)規(guī)模大、訓(xùn)練周期長等特點(diǎn)。b2h28資訊網(wǎng)——每日最新資訊28at.com

為了提升大模型訓(xùn)練速度，需要對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行快速加載，且一般采用數(shù)百甚至上萬張 GPU 構(gòu)成計(jì)算集群進(jìn)行高效的并行計(jì)算，需要高并發(fā)輸入 / 輸出（I/O）處理，而訓(xùn)練數(shù)據(jù)集呈現(xiàn)海量小文件的特點(diǎn)，文件量在幾億到幾十億量級(jí)，對(duì)應(yīng)的帶寬需求可能每秒要達(dá)到上 TB，這就要求存儲(chǔ)系統(tǒng)具備強(qiáng)大的數(shù)據(jù)管理能力，業(yè)界能達(dá)到該能力的僅寥寥幾家。b2h28資訊網(wǎng)——每日最新資訊28at.com

小編搜集了國內(nèi)外優(yōu)秀的并行存儲(chǔ)產(chǎn)品，對(duì)具體能力進(jìn)行對(duì)比b2h28資訊網(wǎng)——每日最新資訊28at.com

b2h28資訊網(wǎng)——每日最新資訊28at.com

IBM 作為老牌存儲(chǔ)品牌，其產(chǎn)品從 HPC 場景成功向 AI 場景演進(jìn)。在全球 AI 場景得到廣泛應(yīng)用的 DDN，多個(gè)讀、寫帶寬等關(guān)鍵性能指標(biāo)上表現(xiàn)突出，但 DDN 由于技術(shù)封閉性、專有化硬件等原因，導(dǎo)致用戶建設(shè)成本過高。b2h28資訊網(wǎng)——每日最新資訊28at.com

國產(chǎn)廠商 DeepSeek 3FS 雖然是開源的新產(chǎn)品，但相對(duì)老牌存儲(chǔ)也有不錯(cuò)的表現(xiàn)，在讀帶寬能力上表現(xiàn)優(yōu)異，單集群 6.6TB/s，平均單節(jié)點(diǎn) 36.7GB/s 的讀帶寬。b2h28資訊網(wǎng)——每日最新資訊28at.com

我們還驚喜發(fā)現(xiàn)，另一家國產(chǎn)廠商京東云云海，在這個(gè)專業(yè)領(lǐng)域同樣表現(xiàn)出色，以單節(jié)點(diǎn) 95GB/s 的讀帶寬、60GB/s 的寫帶寬，進(jìn)一步拉低了國產(chǎn)存儲(chǔ)與國際老牌廠商的差距。相較于 DeepSeek 的 3FS，京東云云海在提供高性能的同時(shí)適用性更廣，可以同時(shí)滿足 DeepSeek、ChatGPT、LLaMA 等 20 余種主流大模型的存力需求。b2h28資訊網(wǎng)——每日最新資訊28at.com

綜上來看，隨著大模型快速向縱深場景演進(jìn)，對(duì)存儲(chǔ)的要求也越來越高，以 DeepSeek、京東云云海等國產(chǎn)存儲(chǔ)，顯示出在處理大規(guī)模數(shù)據(jù)集時(shí)的優(yōu)越性能，未來國產(chǎn)存儲(chǔ)能否拔得頭籌，讓我們拭目以待。b2h28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-135149-0.html開源高性能文件系統(tǒng) 3FS，DeepSeek 為何自研存儲(chǔ)？

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 抖音李亮：沒有所謂“抖音會(huì)議”，這是仿冒詐騙

下一篇： 中興通訊 2024 年報(bào)發(fā)布：轉(zhuǎn)型成效顯著，AI 布局向?qū)嵃l(fā)展