快科技12月14日消息,這兩年AI爆發(fā),它不僅影響了AI產(chǎn)業(yè),實(shí)際上還在改變了芯片發(fā)展的方向,但是這個(gè)方向?qū)PC、科學(xué)計(jì)算來(lái)說(shuō)可不一定是好事。
這是因?yàn)镹VIDIA近年來(lái)已經(jīng)把AI性能作為一切的核心,計(jì)算精度實(shí)際上是不斷降低的,以前大家比較GPU性能可能還會(huì)計(jì)算有FP64、FP32這兩個(gè)核心指標(biāo),如今AI時(shí)代,F(xiàn)P16、FP8及FP4才是重點(diǎn)。
我們之前提到過(guò),NVIDIA新一代顯卡會(huì)轉(zhuǎn)向FP4標(biāo)準(zhǔn),從Blackwell開(kāi)始雖然也支持FP4、MXFP4這兩種標(biāo)準(zhǔn),但重點(diǎn)推的是NVFP4,它跟E2M1 FP4結(jié)構(gòu)差不多,但精度幾乎沒(méi)有多少損失。
GB300在支持FP4后性能提升了50%,精度比FP8幾乎沒(méi)有損失,內(nèi)存占用大幅減少2-3倍,能效則是50倍提升。
但是在FP64上面,這幾年的顯卡,尤其是頂級(jí)產(chǎn)品不僅沒(méi)提升,還在倒退,HPCWire做了這幾代顯卡的對(duì)比,如下所示:

A100時(shí)代FP64性能還有9.7TFLOPS,H100及H200是34TFLOPS,B100、B200是30、37TFLOPS,B300則是大幅降低到了1.2TFLOPS。
這已經(jīng)引起了學(xué)術(shù)圈的抱怨,SC25大會(huì)期間,TOP500的發(fā)起人、田納西大學(xué)教授Jack Dongarra就表示NVIDIA在從Hopper架構(gòu)轉(zhuǎn)向Blackwell時(shí)沒(méi)有實(shí)質(zhì)性提升FP64性能。
AI性能雖然重要,但在科學(xué)計(jì)算上,比如材料科學(xué)、氣候建模、流體力學(xué)模擬等研究中,F(xiàn)P64性能是無(wú)可替代的。
對(duì)于這些質(zhì)疑,NVIDIA負(fù)責(zé)HPC、AI超大規(guī)?;A(chǔ)設(shè)施解決方案的高級(jí)總監(jiān)Dion Harris強(qiáng)調(diào)他們并沒(méi)有放棄64位計(jì)算,它依然是核心。
他提到10月份推出的cuBLAS,這是一個(gè)CUDA-X數(shù)學(xué)庫(kù),可以在矢量核心上模擬FP64計(jì)算,使用這個(gè)庫(kù)可以讓FP64性能提升1.8倍。
至于專業(yè)人士期待的FP64性能提升,Dion Harris提到NVIDIA未來(lái)的GPU會(huì)在核心底層上提升FP64計(jì)算,但具體信息暫時(shí)不能說(shuō)。
明年3月份會(huì)有GTC大會(huì)上,NVIDIA應(yīng)該會(huì)公布下一代GPU架構(gòu)了,或許會(huì)在這方面有所變化。

本文鏈接:http://www.www897cc.com/showinfo-24-188370-0.htmlAI已成一切的核心 NVIDIA表態(tài):我們沒(méi)放棄64位計(jì)算
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com