VR/AR迷失元宇宙“硝煙”
不溫不火的VR/AR可穿戴設備因元宇宙崛起火了一陣，又隨著元宇宙回歸平靜。1月份，微軟在 Surface 設備、HoloLens 混合現實硬件和 Xbox 等部門裁員，其中負責混合現實硬件（MR）的Holo
11 月 10 日消息，大語言模型（LLM）快速崛起，在語言生成和理解方面表現出光明的前景，影響超越了語言領域，延伸到邏輯、數學、物理學等領域。
不過想要解鎖這些“非凡能量”，需要付出高額的代價，例如訓練 540B 模型，需要 Project PaLM 的 6144 個 TPUv4 芯片；而訓練 175B 的 GPT-3，需要數千 Petaflop/s-day。
目前一個不錯的解決方案就是低精度訓練，可以提高處理速度，降低內存使用量和通信成本。包括 Megatron-LM、MetaSeq 和 Colossal-AI 等主流訓練系統，默認使用 FP16 / BF16 混合精度或 FP32 全精度來訓練大型語言模型。
雖然這些精度水平對于大語言模型來說是必不可少的，但它們的計算成本很高。
如果采用 FP8 低精度，可以將速度提高 2 倍、內存成本降低 50% 至 75%，并且可節省通信成本。
目前只有 Nvidia Transformer Engine 兼容 FP8 框架，主要利用這種精度進行 GEMM（通用矩陣乘法）計算，同時以 FP16 或 FP32 高精度保持主權重和梯度。
為了應對這一挑戰，來自 Microsoft Azure 和 Microsoft Research 的一組研究人員推出了一個高效的 FP8 混合精度框架，專為大型語言模型訓練量身定制。
微軟引入了三個優化階段，利用 FP8 進行分布式和混合精度訓練。隨著這些層級的進展，FP8 集成程度的提高變得明顯，這表明對 LLM 訓練過程的影響更大。
此外為了克服數據溢出或下溢等問題，微軟研究人員提出自動采樣和精確解耦兩種關鍵方法，前者涉及對精度不敏感的組件降低精度，動態調整 Tensor 采樣因子，以確保梯度值保持在 FP8 表示范圍內。這可以防止全減少通信期間的下溢和溢流事件，確保培訓過程更加順暢。
微軟經過測試，與廣泛采用的 BF16 混合精度方法相比，內存占用減少 27% 至 42%，權重梯度通信開銷顯著降低 63% 至 65%。運行速度比廣泛采用的 BF16 框架（例如 Megatron-LM）快了 64%，比 Nvidia Transformer Engine 的速度快了 17%。
在訓練 GPT-175B 模型時，混合 FP8 精度框架在 H100 GPU 平臺上節省 21% 的內存，而且相比較 TE（Transformer Engine），訓練時間減少 17%。
在此附上 GitHub 地址和論文地址：https://doi.org/10.48550/arXiv.2310.18313
本文鏈接：http://www.www897cc.com/showinfo-45-2519-0.html微軟推出 FP8 混合精度訓練框架：比 BF16 快 64%，內存占用少 42%
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： GitHub Copilot Enterprise 明年 2 月推出，允許企業整合自家代碼模型創建專用 AI 助手
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號