快科技7月18日消息,摩爾線程官方宣布,與清華系AI系統軟件公司清程極智正式建立戰略合作關系,旨在加速國產大規模GPU智算集群的產業化進程,推動AI算力生態的快速發展,為大模型行業提供更強大、靈活且高效的基礎設施支持。
摩爾線程近期宣布了從千卡至萬卡的全功能GPU智算集群擴展方案,雙方此番合作就將聚焦于萬卡級超大規模GPU智算集群的開發與優化。
清程極智是一家致力于構建高效人工智能系統軟件,賦能國產算力,支撐大模型行業發展的公司,自主研發了智能編譯器IntelliGen、高效并行訓練系統FastMoE,能夠顯著加速Transformer類模型和混合專家MoE模型的處理速度,部分模型性能提升高可達15-20倍。
目前,清程極智的核心產品已全面適配摩爾線程自研的MUSA平臺。
摩爾線程還宣布,已與北京智源人工智能研究院順利完成基于Triton語言的高性能算子庫FlagGems的適配工作。
利用摩爾線程自研的統一系統計算架構MUSA,雙方只用了短短一個多星期,就成功完成了近60個算子的功能驗證,精度符合交付標準,并實現了對Bert-large模型的全面支持。
摩爾線程研發團隊經過充分調研論證,還形成了Triton編譯器在MUSA架構上適配的完整方案,力求實現開發者在基于摩爾線程全功能GPU進行Triton開發算子過程中,也能獲得與原來一致的體驗,做到CUDA框架、MUSA框架的無縫遷移。
在摩爾線程MUSA架構上,FlagGems算子庫展現出了接近手寫算子的計算性能,而且性能還在持續調優,極大加速了開源大模型在摩爾線程全功能GPU上的部署速度。
智源研究院是北京市于2018年11月推動成立的新型研發機構,核心目標是聚焦AI原始創新和核心技術,推動AI理論、方法、工具、系統和應用取得變革性、顛覆性突破,支撐北京建設成為全球AI學術思想、基礎理論、頂尖人才、企業創新和發展政策的源頭。
智源研究院的FlagGems算子庫是一個使用Triton編程語言實現的高性能通用算子庫,旨在為大語言模型提供一系列可應用于PyTorch框架的算子,加速模型的推理與訓練,降低新算法的開發門檻。
它以Triton編程語言的易用性和編譯器的標準接口為基礎,為多元芯片提供了一套易適配、高性能的算子解決方案,推動基于Triton的統一、開源的軟硬件生態建設。
本文鏈接:http://www.www897cc.com/showinfo-24-101616-0.html摩爾線程萬卡GPU集群新進展!性能可提升20倍
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com