快科技12月14日消息，這兩年AI爆發(fā)，它不僅影響了AI產(chǎn)業(yè)，實(shí)際上還在改變了芯片發(fā)展的方向，但是這個(gè)方向?qū)PC、科學(xué)計(jì)算來(lái)說(shuō)可不一定是好事。
這是因?yàn)镹VIDIA近年來(lái)已經(jīng)把AI性能作為一切的核心，計(jì)算精度實(shí)際上是不斷降低的，以前大家比較GPU性能可能還會(huì)計(jì)算有FP64、FP32這兩個(gè)核心指標(biāo)，如今AI時(shí)代，F(xiàn)P16、FP8及FP4才是重點(diǎn)。
我們之前提到過(guò)，NVIDIA新一代顯卡會(huì)轉(zhuǎn)向FP4標(biāo)準(zhǔn)，從Blackwell開(kāi)始雖然也支持FP4、MXFP4這兩種標(biāo)準(zhǔn)，但重點(diǎn)推的是NVFP4，它跟E2M1 FP4結(jié)構(gòu)差不多，但精度幾乎沒(méi)有多少損失。
GB300在支持FP4后性能提升了50%，精度比FP8幾乎沒(méi)有損失，內(nèi)存占用大幅減少2-3倍，能效則是50倍提升。
但是在FP64上面，這幾年的顯卡，尤其是頂級(jí)產(chǎn)品不僅沒(méi)提升，還在倒退，HPCWire做了這幾代顯卡的對(duì)比，如下所示：
A100時(shí)代FP64性能還有9.7TFLOPS，H100及H200是34TFLOPS，B100、B200是30、37TFLOPS，B300則是大幅降低到了1.2TFLOPS。
這已經(jīng)引起了學(xué)術(shù)圈的抱怨，SC25大會(huì)期間，TOP500的發(fā)起人、田納西大學(xué)教授Jack Dongarra就表示NVIDIA在從Hopper架構(gòu)轉(zhuǎn)向Blackwell時(shí)沒(méi)有實(shí)質(zhì)性提升FP64性能。
AI性能雖然重要，但在科學(xué)計(jì)算上，比如材料科學(xué)、氣候建模、流體力學(xué)模擬等研究中，F(xiàn)P64性能是無(wú)可替代的。
對(duì)于這些質(zhì)疑，NVIDIA負(fù)責(zé)HPC、AI超大規(guī)?；A(chǔ)設(shè)施解決方案的高級(jí)總監(jiān)Dion Harris強(qiáng)調(diào)他們并沒(méi)有放棄64位計(jì)算，它依然是核心。
他提到10月份推出的cuBLAS，這是一個(gè)CUDA-X數(shù)學(xué)庫(kù)，可以在矢量核心上模擬FP64計(jì)算，使用這個(gè)庫(kù)可以讓FP64性能提升1.8倍。
至于專業(yè)人士期待的FP64性能提升，Dion Harris提到NVIDIA未來(lái)的GPU會(huì)在核心底層上提升FP64計(jì)算，但具體信息暫時(shí)不能說(shuō)。
明年3月份會(huì)有GTC大會(huì)上，NVIDIA應(yīng)該會(huì)公布下一代GPU架構(gòu)了，或許會(huì)在這方面有所變化。
本文鏈接：http://www.www897cc.com/showinfo-24-188370-0.htmlAI已成一切的核心 NVIDIA表態(tài)：我們沒(méi)放棄64位計(jì)算
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
