ChatGPT訪問量增速下滑，AI真的是一場泡沫嗎？
來源：首席商業評論2023年，最火的莫過于ChatGPT，席卷全球的同時也引發了生成式AI（人工智能）的投資熱潮。在美股，ChatGPT相關概念股飆漲，以AI算力龍頭英偉達為例，其股價年內一度累計上
6 月 11 日消息，俄羅斯科技巨頭 Yandex 推出了一款開源的大語言模型訓練工具 ——YaFSDP，號稱與現有工具相比速度最高可提升 26%。
據介紹，YaFSDP 在訓練速度方面優于傳統的 FSDP 方法，尤其適用于大型模型。在預訓練 LLM 方面，YaFSDP速度提高了 20%，并且在高內存壓力條件下表現更佳。
例如，YaFSDP 對具有 700 億參數的 Llama 2 可以實現 21% 的效率提升，對具有同級參數的 Llama 3 也實現 了 26% 的效率提升。附官方數據一覽：
模型gpu-countseq-lennum-ckpt-layersspeedupLlama 2 7B64204809.92%Llama 2 7B64409603.43%Llama 2 7B64819202.68%Llama 2 7B128204809.57%Llama 2 7B128409602.42%Llama 2 7B128819202.32%Llama 2 13B1282048012.10%Llama 2 13B128409603.49%Llama 2 34B1282048020.70%Llama 2 34B2562048021.99%Llama 2 34B256409658.35%Llama 2 70B25620481021.48%Llama 2 70B2564096507.17%Llama 3 8B642048011.91%Llama 3 8B64409607.86%Llama 3 70B25620482026.60%Yandex 表示，通過優化 GPU 使用率，YaFSDP 可以為開發者和公司節省大量資金 —— 每月可能節省數十萬美元。
Yandex 的資深開發人員、YaFSDP 團隊成員之一 Mikhail Khruschev 還提到，“目前，我們正在積極嘗試各種模型架構和參數大小，以擴展 YaFSDP 的通用性” 。
參考資料：
《Яндекс открывает YaFSDP — инструмент для ускорения обучения больших языковых моделей и сокращения расходов на GPU / Хабр》
《GitHub - yandex/YaFSDP: YaFSDP: Yet another Fully Sharded Data Parallel》
本文鏈接：http://www.www897cc.com/showinfo-45-4591-0.html俄羅斯科技巨頭 Yandex 宣布開源“YaFSDP”大語言模型訓練工具：大幅提升 GPU 利用率，對 Llama 3 可實現 26% 加速
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號