在近日舉行的Google Cloud Next 25大會(huì)上，谷歌正式發(fā)布了第七代張量處理單元（TPU）Ironwood。作為谷歌迄今為止性能最強(qiáng)、可擴(kuò)展性最高的定制AI加速器，Ironwood專為推理任務(wù)設(shè)計(jì)，標(biāo)志著AI計(jì)算領(lǐng)域的重要進(jìn)展。
性能與能效的飛躍
Ironwood是谷歌TPU系列的最新成員，其性能和能效較上一代產(chǎn)品顯著提升。據(jù)谷歌介紹，Ironwood的每瓦性能是第六代TPU Trillium的兩倍，能效更是2018年首款云TPU的近30倍。這種提升得益于先進(jìn)的液冷解決方案和優(yōu)化的芯片設(shè)計(jì)，使其在持續(xù)高負(fù)載下仍能保持穩(wěn)定運(yùn)行。
此外，Ironwood在高帶寬內(nèi)存（HBM）容量和帶寬方面也實(shí)現(xiàn)了突破。每芯片的HBM容量高達(dá)192GB，是Trillium的6倍，單芯片HBM帶寬達(dá)7.2TB/s，是前代產(chǎn)品的4.5倍。這些改進(jìn)使得Ironwood能夠處理更大規(guī)模的AI模型和數(shù)據(jù)集，同時(shí)減少頻繁的數(shù)據(jù)傳輸需求。
芯片設(shè)計(jì)與架構(gòu)創(chuàng)新
Ironwood采用了雙芯片組設(shè)計(jì)，與之前的單片式TPU不同。據(jù)nextplatform報(bào)道，這是谷歌首款支持FP8計(jì)算的TPU，此前的TPU僅支持INT8和BF16格式。此外，Ironwood還配備了第三代SparseCore加速器，最初用于推薦模型，如今擴(kuò)展至金融和科學(xué)計(jì)算領(lǐng)域。
Ironwood的芯片間互連（ICI）帶寬也得到顯著提升，雙向帶寬達(dá)1.2Tbps，是Trillium的1.5倍。這使得芯片間通信更高效，為大規(guī)模分布式訓(xùn)練和推理提供了支持。每個(gè)Ironwood封裝包含8個(gè)HBM內(nèi)存組，推測(cè)為HBM3E，總?cè)萘窟_(dá)192GB。
推理時(shí)代的突破
據(jù)谷歌表示，Ironwood專為支持“思維模型”而設(shè)計(jì)，這些模型涵蓋大型語(yǔ)言模型（LLM）、混合專家模型（MoE）和高級(jí)推理任務(wù)。Ironwood的低延遲、高帶寬ICI網(wǎng)絡(luò)確保了大規(guī)模張量操作的高效執(zhí)行，同時(shí)最大限度地減少了芯片上的數(shù)據(jù)移動(dòng)和延遲。
谷歌強(qiáng)調(diào)，Ironwood的推出將為AI計(jì)算帶來新的可能性。無論是超大規(guī)模密集LLM還是具有訓(xùn)練和推理能力的MoE模型，Ironwood都能提供強(qiáng)大的并行處理能力和高效的內(nèi)存訪問支持。

本文鏈接：http://www.www897cc.com/showinfo-27-143301-0.html谷歌發(fā)布第七代TPU Ironwood：性能與能效雙提升

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 關(guān)稅風(fēng)暴下，芯片供應(yīng)鏈5月恐陷“砍單潮”

下一篇： 長(zhǎng)城電源攜手英諾賽科推出高效氮化鎵鈦金電源