6 月 11 日消息，俄羅斯科技巨頭 Yandex 推出了一款開(kāi)源的大語(yǔ)言模型訓(xùn)練工具 ——YaFSDP，號(hào)稱(chēng)與現(xiàn)有工具相比速度最高可提升 26%。OJg28資訊網(wǎng)——每日最新資訊28at.com

OJg28資訊網(wǎng)——每日最新資訊28at.com

據(jù)介紹，YaFSDP 在訓(xùn)練速度方面優(yōu)于傳統(tǒng)的 FSDP 方法，尤其適用于大型模型。在預(yù)訓(xùn)練 LLM 方面，YaFSDP速度提高了 20%，并且在高內(nèi)存壓力條件下表現(xiàn)更佳。OJg28資訊網(wǎng)——每日最新資訊28at.com

例如，YaFSDP 對(duì)具有 700 億參數(shù)的 Llama 2 可以實(shí)現(xiàn) 21% 的效率提升，對(duì)具有同級(jí)參數(shù)的 Llama 3 也實(shí)現(xiàn) 了 26% 的效率提升。附官方數(shù)據(jù)一覽：OJg28資訊網(wǎng)——每日最新資訊28at.com

模型gpu-countseq-lennum-ckpt-layersspeedupLlama 2 7B64204809.92%Llama 2 7B64409603.43%Llama 2 7B64819202.68%Llama 2 7B128204809.57%Llama 2 7B128409602.42%Llama 2 7B128819202.32%Llama 2 13B1282048012.10%Llama 2 13B128409603.49%Llama 2 34B1282048020.70%Llama 2 34B2562048021.99%Llama 2 34B256409658.35%Llama 2 70B25620481021.48%Llama 2 70B2564096507.17%Llama 3 8B642048011.91%Llama 3 8B64409607.86%Llama 3 70B25620482026.60%

Yandex 表示，通過(guò)優(yōu)化 GPU 使用率，YaFSDP 可以為開(kāi)發(fā)者和公司節(jié)省大量資金 —— 每月可能節(jié)省數(shù)十萬(wàn)美元。OJg28資訊網(wǎng)——每日最新資訊28at.com

Yandex 的資深開(kāi)發(fā)人員、YaFSDP 團(tuán)隊(duì)成員之一 Mikhail Khruschev 還提到，“目前，我們正在積極嘗試各種模型架構(gòu)和參數(shù)大小，以擴(kuò)展 YaFSDP 的通用性” 。OJg28資訊網(wǎng)——每日最新資訊28at.com

參考資料：OJg28資訊網(wǎng)——每日最新資訊28at.com

《Яндекс открывает YaFSDP — инструмент для ускорения обучения больших языковых моделей и сокращения расходов на GPU / Хабр》OJg28資訊網(wǎng)——每日最新資訊28at.com

《GitHub - yandex/YaFSDP: YaFSDP: Yet another Fully Sharded Data Parallel》OJg28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-4591-0.html俄羅斯科技巨頭 Yandex 宣布開(kāi)源“YaFSDP”大語(yǔ)言模型訓(xùn)練工具：大幅提升 GPU 利用率，對(duì) Llama 3 可實(shí)現(xiàn) 26% 加速

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 蘋(píng)果高管：正努力將“Apple Intelligence”引入中國(guó)市場(chǎng)

下一篇： Copilot Pro 訂閱魅力下降，微軟 7 月 10 日下線用戶自建 GPT 服務(wù)