六大權(quán)益！華為8月服務(wù)日開(kāi)啟：手機(jī)免費(fèi)貼膜、維修免人工費(fèi)
8月5日消息，一年一度的華為開(kāi)發(fā)者大會(huì)2023（Together）日前在松山湖拉開(kāi)帷幕，與此同時(shí)，華為8月服務(wù)日也式開(kāi)啟，到店可享六大專屬權(quán)益。華為用戶可在華為商城Ap
北京時(shí)間4月9日晚間，Intel在美國(guó)召開(kāi)了“Intel Vision 2024”大會(huì)，介紹了Intel在AI領(lǐng)域取得的成功，并發(fā)布了新一代的云端AI芯片Gaudi 3及第六代至強(qiáng)（Xeon）可擴(kuò)展處理器，進(jìn)一步拓展了Intel的AI產(chǎn)品路線圖。
AI芯片市場(chǎng)的巨大機(jī)遇
在生成式AI持續(xù)爆發(fā)背景之下，市場(chǎng)對(duì)于AI芯片的需求正高速增長(zhǎng)。根據(jù)市場(chǎng)研究機(jī)構(gòu)Gartner新預(yù)測(cè)，到2024年AI芯片市場(chǎng)規(guī)模將較上一年增長(zhǎng) 25.6%，達(dá)到671億美元，預(yù)計(jì)到2027年，AI芯片市場(chǎng)規(guī)模預(yù)計(jì)將是2023年規(guī)模的兩倍以上，達(dá)到1194億美元。
Intel也表示，到2030年，半導(dǎo)體市場(chǎng)規(guī)模將達(dá)1萬(wàn)億美元，人工智能是主要推動(dòng)力。創(chuàng)新技術(shù)正在以前所未有的速度發(fā)展，每家公司都在加速成為AI公司，這一切都需要半導(dǎo)體技術(shù)提供支持。從PC到數(shù)據(jù)中心再到邊緣，Intel正在讓AI走進(jìn)千行百業(yè)。
在邊緣AI市場(chǎng)，Intel已經(jīng)發(fā)布了涵蓋Intel酷睿Ultra、Intel酷睿、Intel凌動(dòng)處理器和Intel銳炫顯卡系列產(chǎn)品在內(nèi)的全新邊緣芯片，主要面向零售、工業(yè)制造和醫(yī)療等關(guān)鍵領(lǐng)域。
Intel邊緣AI產(chǎn)品組合內(nèi)的所有新品將于本季度上市，并將在今年年內(nèi)獲得Intel剛剛發(fā)布的Intel Tiber邊緣解決方案平臺(tái)的支持，以簡(jiǎn)化企業(yè)軟件和服務(wù)的部署，包括生成式AI。
對(duì)于去年推出的面向AI PC產(chǎn)品的Intel酷睿Ultra處理器，憑借強(qiáng)大的AI內(nèi)核，為生產(chǎn)力、安全性和內(nèi)容創(chuàng)作提供了全新能力，并為企業(yè)煥新其PC設(shè)備提供了巨大動(dòng)力。Intel預(yù)計(jì)將于2024年出貨4000萬(wàn)臺(tái)AI PC，以及超過(guò)230種的設(shè)計(jì)，覆蓋輕薄PC和游戲掌機(jī)設(shè)備。
同時(shí)，Intel透露將于2024年推出的下一代Intel酷睿Ultra客戶端處理器家族（代號(hào)Lunar Lake），將具備超過(guò)100 TOPS平臺(tái)算力，以及在神經(jīng)網(wǎng)絡(luò)處理單元（NPU）上帶來(lái)超過(guò)46 TOPS的算力，從而為下一代AI PC提供強(qiáng)大支持。
在面向云端的數(shù)據(jù)中心市場(chǎng)，Intel在2022年就推出了AI加速芯片Gaudi 2，在去年年底還推出了集成了AI內(nèi)核的代號(hào)為“Emerald Rapids”的面向數(shù)據(jù)中心的第五代 Xeon處理器。
Intel公司首席執(zhí)行官帕特·基辛格表示：“創(chuàng)新技術(shù)正在以前所未有的速度發(fā)展，每家公司都在加速成為AI公司，這一切都需要半導(dǎo)體技術(shù)提供支持。從PC到數(shù)據(jù)中心再到邊緣，Intel正在讓AI走進(jìn)千行百業(yè)。Intel新的Gaudi、至強(qiáng)和酷睿平臺(tái)將提供靈活的、可定制化的解決方案，滿足客戶和合作伙伴不斷變化的需求，把握住未來(lái)的巨大機(jī)遇。”
Gaudi 3：BF16性能提升4倍，支持1800億參數(shù)大模型
而在云端AI加速芯片市場(chǎng)，Intel早在2019年12月就斥資20億美元收購(gòu)Habana Labs（其于2019 年 7 月推出了 Gaudi 1 加速器），雖然當(dāng)時(shí)英偉達(dá)在AI芯片市場(chǎng)的體量還很小，但是在AI芯片的技術(shù)積累上，英偉達(dá)更為深厚。因此，我們可以看到，當(dāng)2022年Gaudi 2 推出之時(shí)，其也只能與英偉達(dá)A100進(jìn)行對(duì)標(biāo)。
為了進(jìn)一步加強(qiáng)在云端AI加速芯片市場(chǎng)的競(jìng)爭(zhēng)力，在此次“Intel Vision 2024”大會(huì)上，Intel正式推出了全新的Gaudi 3。雖然整體得到了大幅提升，但是依然只能是與英偉達(dá)上一代的H100/H200競(jìng)爭(zhēng)。
據(jù)介紹，Gaudi 3采用的是臺(tái)積電5nm工藝，在芯片設(shè)計(jì)上，Gaudi 3轉(zhuǎn)向了具有兩個(gè)計(jì)算集群的Chiplet的設(shè)計(jì)，而不是Gaudi 2所采用的單個(gè)集群的方案。
Gaudi 3 擁有 8 個(gè)矩陣數(shù)學(xué)引擎、64 個(gè)張量?jī)?nèi)核、96MB SRAM（每個(gè)Tile 48MB，可提供12.8 TB/s的總帶寬） 和 128 GB HBM2e 內(nèi)存，16 個(gè) PCIe 5.0 通道和 24 個(gè) 200GbE 鏈路 。
在計(jì)算核心的周?chē)瑒t是八個(gè)HBM2e內(nèi)存堆棧，總?cè)萘繛?28 GB，帶寬為3.7 TBps。
與上一代的Gaudi 2 相比，Gaudi 3在BF16工作負(fù)載方面的性能將是Gaudi 2的四倍，F(xiàn)P8性能也將是Gaudi 2 的兩倍，網(wǎng)絡(luò)性能也是Gaudi 2的兩倍（Gaudi 2是24個(gè)內(nèi)置的100 GbE RoCE Nic），HBM容量是Gaudi 2的1.5倍。
另外，Gaudi 3 設(shè)備中的張量?jī)?nèi)核支持與 Gaudi 32 相同的 FP32、TF32、BF16、FP16 和 FP8 數(shù)據(jù)格式，并且不支持 FP4 精度。相比之下英偉達(dá)新的Blackwell GPU 將支持 FP2 精度，而英偉達(dá)現(xiàn)有的 Hopper GPU 則不支持。
Intel表示，Gaudi 3預(yù)計(jì)可大幅縮短70億和130億參數(shù)Llama2模型，以及1750億參數(shù)GPT-3模型的訓(xùn)練時(shí)間。此外，在Llama 7B、70B和Falcon 180B大型語(yǔ)言模型（LLM）的推理吞吐量和能效方面也展現(xiàn)了出色性能。
盡管Gaudi 3 與英偉達(dá)的Blackwell GPU有著很多相似之處，但I(xiàn)ntel旗下Habana首席運(yùn)營(yíng)官Eitan Medina強(qiáng)調(diào)，這不是GPU。
“GPU傳統(tǒng)上是被設(shè)計(jì)為進(jìn)行圖形渲染，是關(guān)于渲染像素的，所以自然而然地，選擇實(shí)現(xiàn)許多小的執(zhí)行單元，因?yàn)橄袼鼐褪窍袼?rdquo;，他解釋道。“圖形渲染不需要巨大的矩陣乘法。而Gaudi3 是使用數(shù)量較少的非常大的矩陣數(shù)學(xué)引擎構(gòu)建的，這些引擎能夠更有效地處理 AI 工作負(fù)載。”
雖然Gaudi 3是Intel新一代的AI加速芯片，相比上一代的Gaudi 2帶來(lái)了很大的提升，但是其仍然難以與英偉達(dá)新的B200或者AMD新的MI300X系列競(jìng)爭(zhēng)。
顯然，IntelGaudi 3 的主要對(duì)標(biāo)的也是英偉達(dá)H100/H200。
訓(xùn)練性能比英偉達(dá)H100快了40%，推理快了50%
根據(jù)Intel官方公布的數(shù)據(jù)顯示，Gaudi 3 在流行的大語(yǔ)言模型（LLM）訓(xùn)練速度方面，比英偉達(dá)H100平均快了40%；在流行大模型的推理能效表現(xiàn)上，比如英偉達(dá)H100領(lǐng)先50%。
具體來(lái)看，Intel Gaudi 3 與英偉達(dá) H100 在相同節(jié)點(diǎn)數(shù)量下，相關(guān)大模型訓(xùn)練時(shí)間對(duì)比上高快了1.7倍。
其中，LLAMA2 70 億參數(shù)對(duì)比有 1.5 倍于 H100 的優(yōu)勢(shì)，LLAMA2 130 億參數(shù)高有 1.7 倍的優(yōu)勢(shì)，GPT 3 1750 億參數(shù)有 1.4 倍優(yōu)勢(shì)。
在大模型推理速度表現(xiàn)上，Gaudi 3 相比 H100 平均快了1.5倍，高快了4倍。
在大模型推理能效表現(xiàn)上，Gaudi 3 相比 H100 高提升2.3倍。
在更高性能的能效表現(xiàn)上，Gaudi 3 相比 H100 高也提升了2.3倍。
從具體的芯片性能方面來(lái)看，Theregister的報(bào)道顯示，Gaudi 3 的密集的浮點(diǎn)性能為1,835 teraFLOPS ，而英偉達(dá)則依靠稀疏性來(lái)實(shí)現(xiàn)其公布的4 petaFLOPS性能。
考慮到這一點(diǎn)，Gaudi3 僅比 H100 慢了約 144 teraFLOPS，同時(shí)提供了更多的HBM內(nèi)存容量。
在半精度（FP16/BF16）下，Gaudi 3 可以實(shí)現(xiàn)相同的1,835 teraFLOPS性能，使其比英偉達(dá)H100領(lǐng)先了1.85 倍，比AMD MI300X 領(lǐng)先了 1.4 倍。但是，Gaudi 3不支持稀疏性。
“稀疏性是經(jīng)過(guò)大量研究的東西，但我們并不依賴它。”Medina補(bǔ)充說(shuō)，Intel“沒(méi)有立即計(jì)劃”在 Gaudi 3 上啟用稀疏性以進(jìn)行訓(xùn)練或推理。
由于浮點(diǎn)性能只是 AI 性能對(duì)標(biāo)的一個(gè)指標(biāo)，HBM內(nèi)存帶寬在決定AI性能方面也起著巨大的作用，尤其是對(duì)于較大模型來(lái)說(shuō)。
目前英偉達(dá)B200和AMD MI300X都配備了192GB HBM3e/HBM3，英偉達(dá)上代的H200也配備了141GB HBM3。
顯然，Gaudi 3在這方面是相對(duì)落后不少的，僅比H100多一些，但還是較舊的HBM2e，這也使得其在HBM內(nèi)存帶寬上僅有3.7 TBps，遠(yuǎn)低于英偉達(dá)H200的4.8 GBps 和 AMD MI300X的 5.3 TBps。
對(duì)此，Medina解釋稱，繼續(xù)使用HBM2e的決定，是因?yàn)轱L(fēng)險(xiǎn)管理。
“我們的只使用在流片之前已經(jīng)在芯片中得到驗(yàn)證的IP。在我們流片Gaudi 3 時(shí)，還沒(méi)有經(jīng)過(guò)驗(yàn)證符合我們標(biāo)準(zhǔn)的可用物理層。”
大規(guī)模互聯(lián)
無(wú)論是 FP8 還是 FP16/BF16，一個(gè)大語(yǔ)言模型在多個(gè)AI加速器上運(yùn)行并不罕見(jiàn)。例如，要在 FP16 上推理一個(gè) 1750 億參數(shù)的大模型，至少需要五個(gè) 80GB HBM內(nèi)存的 H100 才能將模型放入其中。
為此，英偉達(dá) 和 AMD 分別使用稱為 NVLink 和 Infinity Fabric 的專用互連器，它們提供大約 900 GBps 的帶寬，將八個(gè)或更多AI加速器拼接在一起。相比之下，IntelGaudi3 使用的是常規(guī)的舊RDMA融合以太網(wǎng)（ROCe）。
但是，Gaudi 3具有 24 個(gè) 200GbE 接口，總帶寬為 1.2 TBps。24 條鏈路中有 3 條專用于節(jié)點(diǎn)外通信，剩余 1 TBps 用于服務(wù)器內(nèi)的芯片到芯片通信。
這樣做有幾個(gè)好處。
首先，從理論上講，Gaudi 3系統(tǒng)應(yīng)該簡(jiǎn)單得多，因?yàn)樗鼈冃枰俚慕M件。在典型的 英偉達(dá) 或 AMD 系統(tǒng)中，每個(gè) GPU 至少有一個(gè)用于計(jì)算網(wǎng)絡(luò)的 NIC。
Intel認(rèn)為，通過(guò)將以太網(wǎng)網(wǎng)卡集成到其Gaudi 3 加速器中，使用傳統(tǒng)的骨干葉架構(gòu)擴(kuò)展以支持 512 甚至 1,024 個(gè)節(jié)點(diǎn)集群也更容易。
△要獲得 512 個(gè)服務(wù)器節(jié)點(diǎn)上的 4,096 個(gè) Gaudi 3 加速器，需要構(gòu)建 32 個(gè)子集群，并將 96 個(gè)葉交換機(jī)與三組 16 個(gè)主干交換機(jī)交叉鏈接，這將為您提供三種不同的路徑，通過(guò)兩層網(wǎng)絡(luò)將任何 Gaudi 3 鏈接到任何其他 Gaudi 3。
軟件生態(tài)
軟件生態(tài)方面，Intel Gaudi 3 針對(duì)生成式 AI 提供端到端全棧 AI 軟件解決方案，包括嵌入式軟件、軟件套件、AI 軟件、AI 應(yīng)用。
Gaudi 3 可以支持基于還支持多模態(tài)、大語(yǔ)言模型、增強(qiáng)檢索生成核心能力的 3D 生成、文本生成、視頻圖片生成、內(nèi)容總結(jié)、翻譯、問(wèn)答、分級(jí)等常見(jiàn) AI 功能。
依靠豐富的 AI 軟件生態(tài)，Gaudi 3 也支持常見(jiàn)的 AI 框架庫(kù)、使用場(chǎng)景和工具，并對(duì)有代表性的模型進(jìn)行支持。Intel還提供 Gaudi 軟件套件，提供對(duì)底層硬件的支持。
Gaudi 3提供開(kāi)放的、基于社區(qū)的軟件，以及行業(yè)標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò)，可以靈活地從單個(gè)節(jié)點(diǎn)擴(kuò)展到擁有數(shù)千個(gè)節(jié)點(diǎn)的集群、超級(jí)集群和超大集群，支持大規(guī)模的推理、微調(diào)和訓(xùn)練。
三種形態(tài)產(chǎn)品
對(duì)于Gaudi 3 硬件，Intel提供了OAM兼容夾層卡（Mezzanine Card）、通用基板（Universal Baseboard）、PCle加速卡三種形態(tài)產(chǎn)品。
Gaudi 3 Universal Baseboard有些類似英偉達(dá)DGX H100，集成了八個(gè)Gaudi 3芯片。
三季度交付
Intel在 Vision 2024 上也公布了 Gaudi 3 生產(chǎn)節(jié)點(diǎn)，2024 年一季度將率先推出風(fēng)冷版樣品，二季度推出液冷版樣品，并在今年第三、第四季度分別批量交付風(fēng)冷版和液冷版。
在此基礎(chǔ)上，Intel也宣布 Gaudi 3 今年下半年可在Intel Developer Cloud 獲得。除了Intel Gaudi 3 加速器之外，Intel還提供了關(guān)于其在企業(yè) AI 各個(gè)領(lǐng)域的下一代產(chǎn)品和服務(wù)的更新。
OEM供應(yīng)商及行業(yè)客戶
Gaudi 3 硬件將由戴爾、惠與、聯(lián)想和超微四家 OEM 廠商提供。
目前，IntelGaudi加速器的行業(yè)客戶及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys，等等。
第六代至強(qiáng)可擴(kuò)展處理器“Xeon 6”
繼去年12月Intel正式推出了集成NPU內(nèi)核的代號(hào)為“Emerald Rapids”的第五代至強(qiáng)（Xeon）可擴(kuò)展處理器之后，Intel此次正式公布了第六代Xeon處理器，Intel將其重新命名為了“Intel Xeon 6”系列。
和之前曝光的信息一樣，Intel Xeon 6系列擁有基于性能核（P-core）的 Xeon 6（此前代號(hào)為Granite Rapids）和基于能效核（E-core）的 Xeon 6（此前代號(hào)為Sierra Forest）兩個(gè)系列。
其中，配備能效核的Intel至強(qiáng)6處理器具有144 核和 288 核的兩種配置，相比第二代Intel Xeon 處理器，每瓦性能提高了 2.4 倍，并且機(jī)架密度提高了 2.7 倍。
對(duì)于Intel的客戶而言，可以以接近 3 比 1 的比例替換老舊系統(tǒng)，大幅降低能耗，推動(dòng)實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo)。
配備性能核的Intel至強(qiáng)6處理器則包含了對(duì)MXFP4數(shù)據(jù)格式的軟件支持，與使用FP16的第四代至強(qiáng)處理器相比，可將下一個(gè)令牌（token）的延遲時(shí)間多縮短6.5倍，能夠運(yùn)行700億參數(shù)的Llama-2模型。
△IntelCEO基辛格展示Sierra Forest與Granite Rapids晶圓
Intel表示，配備能效核的Intel至強(qiáng)6處理器將于2024年第二季度推出，提供卓越的效率，配備性能核的Intel至強(qiáng)6處理器將緊隨其后推出，帶來(lái)更高的AI性能。
生態(tài)系統(tǒng)聯(lián)合共建開(kāi)放平臺(tái)
此外，Intel還宣布聯(lián)合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴，共同創(chuàng)建一個(gè)開(kāi)放平臺(tái)，助力企業(yè)推動(dòng)AI創(chuàng)新。
該計(jì)劃旨在開(kāi)發(fā)開(kāi)放的、多供應(yīng)商的AIGC系統(tǒng)，通過(guò)RAG（檢索增強(qiáng)生成）技術(shù)，提供一流的部署便利性、性能和價(jià)值。RAG可使企業(yè)在標(biāo)準(zhǔn)云基礎(chǔ)設(shè)施上運(yùn)行的大量現(xiàn)存專有數(shù)據(jù)源得到開(kāi)放大語(yǔ)言模型（LLM）功能的增強(qiáng)。
初始階段，Intel將利用至強(qiáng)處理器、Gaudi加速器，推出AIGC流水線的參考實(shí)現(xiàn)，發(fā)布技術(shù)概念框架，并繼續(xù)加強(qiáng)Intel Tiber開(kāi)發(fā)者云平臺(tái)基礎(chǔ)設(shè)施的功能。
另外值得一提的是，通過(guò)超以太網(wǎng)聯(lián)盟（UEC），Intel正在驅(qū)動(dòng)面向AI高速互聯(lián)技術(shù)（AI Fabrics）的開(kāi)放式以太網(wǎng)網(wǎng)絡(luò)創(chuàng)新，并推出一系列針對(duì)AI優(yōu)化的以太網(wǎng)解決方案。這些創(chuàng)新旨在革新可大規(guī)模縱向（scale-up）和橫向（scale-out）擴(kuò)展的AI高速互聯(lián)技術(shù)，以支持AI模型的訓(xùn)練和推理，這些模型的規(guī)模日益龐大，每一代都會(huì)增長(zhǎng)一個(gè)數(shù)量級(jí)。
Intel的產(chǎn)品組合包括IntelAI網(wǎng)絡(luò)連接卡（AI NIC）、集成到XPU的AI連接芯粒、基于Gaudi加速器的系統(tǒng)，以及一系列面向Intel代工的AI互聯(lián)軟硬件參考設(shè)計(jì)。
本文鏈接：http://www.www897cc.com/showinfo-24-82593-0.html超越NVIDIA H100！訓(xùn)練快40% 推理快50%：Intel Gaudi3憑什么
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)