2023年科技產業備受關注的人物與企業,莫非NVIDIA與其CEO黃仁勛莫屬。2月間,黃仁勛宣稱「AI的iPhone時刻」已經到來,半年之后,外界用連續2季的財報業績" />
NVIDIA H100從2022年9月量產投入市場,至今供不應求。李建梁攝(數據照)
2023年科技產業備受關注的人物與企業,莫非NVIDIA與其CEO黃仁勛莫屬。2月間,黃仁勛宣稱「AI的iPhone時刻」已經到來,半年之后,外界用連續2季的財報業績檢視NVIDIA,NVIDIA也在抱回外界難以想像的獲利。
NVIDIA公布的2024會計年度第2季(2QFY24)財報數據,揭示營收年增101%、凈利年增422%、毛利率高達71.2%的炸裂式業績,各項指標均遠超預期,而H100系列芯片在AI熱潮推動的大型語言模型訓練(LLM)市場中一卡難求。
NVIDIA 2QFY24業績可用「噴井」形容
主要科技大廠2Q23法說提到AI的次數
AI算力需求呈現爆炸式成長,對云端業者而言,只能不斷采購AI服務器;然對于LLM開發廠商來說,NVIDIA的數據中心業務瘋狂吸金,而客戶卻還未實現獲利。眼前LLM大浪未至,錢卻都被NVIDIA賺走了。
在財報公布前,NVIDIA高端AI GPU不斷傳出漲價聲,Barrron's引述分析師報告,H100制造成本為3,320美元,而售價則高達2.5萬~3萬美元,利潤接近成本的10倍;毛利率超過70%,對芯片產品而言,有些不可思議。
對此黃仁勛強調,NVIDIA提供的是軟件生態系統和硬件平臺,具備軟件生態架構的靈活性、多功能性,再加上廣大的安裝基礎及涵蓋范圍,程序碼數量和應用程序組合的類型相當瘋狂,簡單說,賣的是「準系統」而非「單一芯片」,但NVIDIA花了20年才走到這一步。
外界分析,NVIDIA構建的CUDA軟件生態,不僅讓旗下GPU受青睞,也是客戶無法輕易轉向超微(AMD)等競爭對手的主因。原因在于,AI算力的配置絕非簡單的硬件堆疊,即便把重達30多公斤、多達3.5萬個零件組成的NVIDIAHGX平臺層層堆起來,也堆不出LLM必須的AI算力。
要把1,000張加速卡、100臺AI服務器放在一起,跑同一個LM訓練或推論任務,還需要大量的配套軟件、通訊網絡,還不包括客戶的大量數據。這是一系列軟硬件聯合調用的復雜過程,黃仁勛把H100這類AI GPU稱為「技術奇跡」,并非沒有原因。
H100從2022年9月量產投入市場,至今供不應求,甚至上一代的A100至今仍是搶手貨。NVIDIA聚焦于系統級服務器產品,最新款DGX產品GH200集結256塊H100和Grace CPU,預料會在2023年下半量產后將躍居業績新推手。
至于H100為何價格高昂?在硬件層面上,H100采用了四大先進技術。第一是臺積電4納米制程(N4),要讓這一顆長26.8厘米、寬11.1厘米、含有800億個晶體管的H100發揮前所未有的效能,舉世當今非臺積電代工莫屬。
第二是連接技術,每張H100包含3個NVLink連接,這是NVIDIA獨家的數據傳輸技術,第四代NVlink可提供每秒900GB的GPU對GPU互連帶寬,以便將更多H100互連使用,獲得倍增的效能。
第三是80GB的HBM2e高帶寬存儲器,目前僅SK海力士(SK Hynix)、三星電子(Samsung Electroics)可供應,值得注意的是,NVIDIA剛剛宣布將最新的HBM3e植入最新GH200,是全球第一個支持HBM3e的GPU產品。
第四是臺積電的CoWoS封裝技術,臺積電正積極擴建CoWoS產能,但供不應求情況恐將持續到2024年。
這四大技術每一項均屬尖端領域,付出代價所費不貲,如果說LLM推動AI GPU加速運算時代來臨,但讓NVIDIA站在當前科技舞臺上獨舞的關鍵,卻是黃仁勛領導團隊的長期押注與心血累積。
責任編輯:朱原弘
本文鏈接:http://www.www897cc.com/showinfo-27-6936-0.htmlAI淘金熱未至 鏟子先熱賣 NVIDIA H100為何身價不凡?
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com