印度登月最關鍵一步！月船三號今晚進入環月軌道
8月5日消息，據印度官方消息，月船三號將于北京時間今晚21時30分左右開始近月制動進入環月軌道。這是該探測器能夠成功的最關鍵步驟之一，如果成功將開始圍
【ITBEAR】8月19日消息，摩爾線程“夸娥智算集群 KUAE”1.2 版本正式發布，此次更新在軟硬件層面進行了全面優化，并增加了對多種大模型的支持。新版本在多個方面都帶來了顯著的提升和新增功能。
具體來說，新版本在使用千卡集群訓練千億模型時，MFU 提升了 10%，而在稠密模型集群訓練中，MFU 最高可達 55%。此外，通過集成最新的 MUSA SDK 平臺與優化后的 Flash Attention2 技術，結合新版 Torch MUSA 和算子融合，新版本在提升大模型訓練效率與資源利用率的同時，也縮短了訓練周期并降低了整體成本。
據ITBEAR了解，新版本還增強了對長文本大模型訓練的支持，優化了處理長文本理解和生成任務的能力，能夠更好地應對文檔摘要、文章寫作等復雜語言處理任務。同時，MCCL 通信庫完成了 All2All 優化，并針對 muDNN 算子在不同形狀下的矩陣運算進行了優化，以更好地支持 MoE（Mixture of Experts）大模型的訓練。
在訓練效率方面，新版本進一步提升了大模型訓練的 Checkpoint 讀寫性能，寫入時間小于 2 秒。同時，實現了基于摩爾線程 GPU 集群的 DeepSpeed 與 Ulysses 的適配和性能優化，強化了長文本訓練支持，并適配了國內外多款大模型，支持在 Hugging Face 上訓練和微調主要開源大模型。
在穩定性方面，千卡集群軟硬件進一步成熟，實現了連續無故障訓練 15 天。新版本還引入了 KUAE Aegis 可靠性功能，加強對 GPU、顯存、集合通信等方面的監控、自動診斷與故障恢復能力。同時，引入了 PerfSight 性能監控系統，可實時顯示模型訓練過程中的資源消耗與性能分析數據。
此外，KUAE 內置模型庫 Model Zoo 也新增了 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型，為用戶提供更豐富的選擇。此前，摩爾線程 AI 旗艦產品夸娥（KUAE）智算集群解決方案已從當前的千卡級別擴展至萬卡規模，具備萬 P 級浮點運算能力。摩爾線程計劃開展三個萬卡集群項目，分別為青海零碳產業園萬卡集群項目、青海高原夸娥萬卡集群項目、廣西東盟萬卡集群項目。
本文鏈接：http://www.www897cc.com/showinfo-16-108726-0.html摩爾線程新動向！"夸娥智算集群1.2版"有何驚喜？
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號