一加Ace2 Pro官宣：普及16G內存 引領24G
一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
快科技7月29日消息，如今的AI大模型規模越來越龐大，動輒成百上千億參數，訓練過程不僅需要數萬甚至十幾萬塊GPU加速卡，出錯的幾率也越來越高。Meta(Facebook)就披露了一份驚人的報告。
Meta在報告中披露，為了訓練自己的Llama 3 4050億參數大模型，使用了包含16384塊NVIDIA H100 80GB GPU的集群，一共花了45天，期間居然出現了419次意外報錯，平均每3個小時就一次，而一半的錯誤都和GPU及其自帶的HBM3內存有關。
要知道，大模型訓練的工作量異常龐大，而且需要高度同步，一次錯誤就可能導致整個訓練工作必須從頭再來。
報告顯示，為期45天的預訓練階段中，總共出現了466次工作中斷，其中47次是計劃內的自動維護，419次是意外的，且大部分都來自硬件問題，GPU又是多的，占了其中的58.7％。
具體來說，148次即30.1％的意外中斷來自各種GPU失效(包括NVLink總線)，72次即17.2％來自HBM3內存失效——畢竟，700W的功耗太熱了。
還有19次來自GPU SRAM，17次來自GPU處理器，6次來自GPU靜默數據錯誤，6次來自GPU散熱和傳感器。
其他錯誤來自軟件bug、網線和網卡等等各個方面。
有趣的是，CPU錯誤只出現了2次。
還好，Llama 3團隊非常給力，在這么高的出錯幾率下，依然維持了超過90％的有效訓練時間，而且只有三次GPU報錯需要大量人工干預，其他都被自動化管理糾正了。
本文鏈接：http://www.www897cc.com/showinfo-24-104367-0.html16384塊NVIDIA H100訓練Meta Llama3 4050億參數大模型：3小時報錯一次
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號