日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

第五代至強技術揭秘:“為 AI 加速而生”的 CPU 處理器

來源: 責編: 時間:2024-03-21 09:44:50 202觀看
導讀 ChatGPT 引發的 AI 大模型概念已經持續火爆一年,直至今日,AI 的熱度不僅沒有下降,行業也迸發出越來越多具有顛覆性的應用。2024 年初以來,AI PC、AI 手機、AI 邊緣等產品相繼開售,過年期間,Sora 又引發了大規模討論

ChatGPT 引發的 AI 大模型概念已經持續火爆一年,直至今日,AI 的熱度不僅沒有下降,行業也迸發出越來越多具有顛覆性的應用。2024 年初以來,AI PC、AI 手機、AI 邊緣等產品相繼開售,過年期間,Sora 又引發了大規模討論。3uB28資訊網——每日最新資訊28at.com

可以說,AI 領域,永遠都在革新。但隨著大模型對算力需求的高速增長,現階段生產的芯片很難滿足業界需求。3uB28資訊網——每日最新資訊28at.com

在 AI 熱潮之中,GPU、AISC 等加速器是行業中的主角。而事實上,任何數據中心都無法脫離 CPU,比喻起來就是魚和水的關系。去年 12 月,英特爾第五代至強可擴展處理器(代號為 Emerald Rapids)正式面世,它有著許多令人驚喜的 AI 秘籍。3uB28資訊網——每日最新資訊28at.com

做 AI,只有一個選擇?3uB28資訊網——每日最新資訊28at.com

眾所周知,面對大模型這一新風口,全球科技公司均將目光投向了 AI 芯片,特別是 GPU。但 GPU 的產量與 HBM,或者說 2.5D 封裝能力直接掛鉤。這讓本就供應吃緊的 GPU 再遇瓶頸,導致供需嚴重失衡。3uB28資訊網——每日最新資訊28at.com

與之相悖的是,眼下 AI 大模型“拼殺”的關鍵在于做大參數量,用“力大磚飛”實現更為強大的智能涌現。可以說,即便是面對 AI 芯片漲價,多少公司也會選擇購買,畢竟錯過這個風口,或許就會失去競爭力。3uB28資訊網——每日最新資訊28at.com

對于大型數據中心來說,每顆芯片都在牟足力氣,全功率地運行著,如果能擁有更多 AI 性能,那么,還需要額外購置一批 GPU 嗎?3uB28資訊網——每日最新資訊28at.com

事實上,我們都陷入了一種思維定勢,其實跑 AI 并非只有 GPU 一個選擇,CPU 也已經具備很強大了 AI 性能。3uB28資訊網——每日最新資訊28at.com

亞信科技就在自家 OCR-AIRPA 方案中采用了 CPU 作為硬件平臺,實現從 FP32 到 INT8 / BF16 的量化,從而在可接受的精度損失下,增加吞吐量并加速推理。將人工成本降至原來的五分之一到九分之一,效率還提升 5~10 倍。3uB28資訊網——每日最新資訊28at.com

被改變的,不只是互聯網和通信領域,AI 制藥被看作是終結藥物研發“雙十定律”的希望,在這個領域中 AlphaFold2 這類大型模型被視為最重要的算法。去年開始,至強可擴展平臺就開始使 AlphaFold2 端到端的通量提升到了原來的 23.11 倍,而第四代可擴展處理器讓這個數值再次提升 3.02 倍。3uB28資訊網——每日最新資訊28at.com

可以說,將 CPU 用于 AI 推理正在不斷證實可行。而現在,第五代至強可擴展處理器能夠在無需添加獨立加速器的前提下,運行高達 200 億參數的模型推理,且延遲低于 100 毫秒。一款為 AI 加速而生,且表現更強的處理器誕生了。3uB28資訊網——每日最新資訊28at.com

CPU,怎么讓 AI 跑起來3uB28資訊網——每日最新資訊28at.com

很多人會奇怪,為什么第五代至強作為一個通用處理器,能夠運行 AI 負載?事實上,除了本身落在第五代至強的 AI 負載,其中內置的一系列的加速器是關鍵。3uB28資訊網——每日最新資訊28at.com

這種設計可以與時下 MCU(單片機)的流行做法進行對比,通過內置 DSP、NPU,分走一部分部分 AI 負載,讓 AI 任務跑得更高效,從而更省電,至強也是類似的原理。3uB28資訊網——每日最新資訊28at.com

這種設計在早期的至強可擴展處理器中就出現過,只不過,那時候大家沒有過多關注,也沒有那么 AI 任務需要跑。3uB28資訊網——每日最新資訊28at.com

具體看第五代至強,其內置的英特爾 AVX-512 及英特爾 ?AMX(英特爾 ? 高級矩陣擴展)功能是關鍵,這兩個加速器在第四代至強中就已搭載,而在第五代至強中,AMX 支持新的 FP16 指令,同時混合 AI 工作負載性能提高 2~3 倍。3uB28資訊網——每日最新資訊28at.com

加之第五代至強本身性能的提升,使其本身性能就能更從容應對 AI 負載:CPU 核心數量增加到 64 個,單核性能更高,每個內核都具備 AI 加速功能;采用全新 I / O 技術(CXL、PCIe5),UPI 速度提升。3uB28資訊網——每日最新資訊28at.com

根據行業人士分析,CPU 做大模型推理,最大的難點不在計算能力,而在內存帶寬。第五代至強的內存帶寬從 4800 MT/s提高至 5600 MT/s,三級緩存容量提升至近 3 倍之多,同時插槽可擴展性,支持從一個插槽擴展至八個插槽,這些都為第五代至強支持大模型提供了堅實的后盾。3uB28資訊網——每日最新資訊28at.com

3uB28資訊網——每日最新資訊28at.com

從數據上來看,與上一代產品相比,第五代至強相同熱設計功耗下平均性能提升 21%;與第三代產品比,平均性能提升 87%。相較于前一代產品,第五代至強不僅迭代了性能,還帶來了 42% 的 AI 推理性能提升。3uB28資訊網——每日最新資訊28at.com

此外,在一系列加速器中,英特爾 ? 可信域拓展(英特爾 ?TDX)提供虛擬機(VM)層面的隔離和保密性,從而增強隱私性和對數據的管理。3uB28資訊網——每日最新資訊28at.com

不止如此,第五代至強還是迄今為止推出的最“綠色”的至強處理器,它能夠幫助用戶管理能耗,降低碳足跡。可以說,軟件只是一方面,歸功于第五代至強內的多種創新技術和功能,搭配干活,效率更高,最終體現出來的就是更低的功耗。3uB28資訊網——每日最新資訊28at.com

CPU 未來發展趨勢,一定是拼功耗,這需要全方位發力。首先是工藝,隨著工藝逐漸提升到 Intel 3、Intel 20A、Intel 18A,功耗會越來越低,每一代都會有兩位數的功耗降低。封裝也一樣,使用先進的封裝技術把不同制程的芯片通過 Chiplet 架構放在一起,進行一個運算,并不需要把所有地方都用起來,而是只使用對應的區域,這樣功耗自然就降低了。還有,就是針對不同的工作負載做優化。3uB28資訊網——每日最新資訊28at.com

有時候調整應用程序的架構也可以最大限度地降低功耗。舉例來說,如果要訓練大模型,假設總共有 20 個大模型,每個模型的訓練周期為 3 個月,需要 1000 臺機器來訓練,每臺機器功率為 1 萬瓦。如果規定只需訓練其中的 5 個模型,而剩下的 15 個模型不需要訓練,這樣就能節省 75% 的電能。因此,有時候通過調整應用程序的架構,可以更有效地降低功耗。3uB28資訊網——每日最新資訊28at.com

“隨著算力的持續高速發展,如何實現數據中心的節能減碳,改變‘電老虎’的形象,對尋求采用可再生能源和更環保的技術方面有了更高的需求。”英特爾數據中心與人工智能集團副總裁兼中國區總經理陳葆立對 AI 大模型時代提出了這樣的擔憂,第五代至強就是節能減碳的關鍵。3uB28資訊網——每日最新資訊28at.com

與此同時,英特爾也有一系列的產品和技術創新,如通過更高效的冷卻技術、智能能源管理系統等推動新型和存量數據中心進行節能減排,并攜手中國合作伙伴推動應用落地。3uB28資訊網——每日最新資訊28at.com

英特爾如何支撐起 AI 開發3uB28資訊網——每日最新資訊28at.com

GPU 的發展,軟件生態也起到了至關重要的作用,比如行業無人不知的 CUDA。對英特爾來說,軟件一直以來都是強項,與此同時,英特爾發力軟件堆棧,不斷加大投資,這為第五代至強在 AI 方面的發展帶來了巨大的天然優勢。3uB28資訊網——每日最新資訊28at.com

英特爾一直以來,都比較強調統一性和易用性,在 AI 方面亦如如此。開發者可以通過利用 OpenVINO,實現“一次編寫,隨處部署”的愿景。英特爾開發的基礎軟件和數據庫通過 Pytorch 和 ONNX Runtime 等流行框架支持自身的 CPU、GPU、IPU 和 AI 加速器。3uB28資訊網——每日最新資訊28at.com

此外,英特爾還提供了 PyTorch 和 TensorFlow 的庫擴展,這將有助于開發者使用默認安裝運行這些擴展以獲得最新的軟件加速。這意味著,用戶既可以繼續使用 PyTorch 或 TensorFlow,也可以利用 OpenVINO 進行開發,掌握不同語言的開發者都能在同樣一個平臺下開發。3uB28資訊網——每日最新資訊28at.com

值得一提的是,OpenVINO 2023.1 版本正在加速英特爾追求的“任何硬件、任何模型、任何地方”的目標實現,即逐步擴展 OpenVINO 成為跨客戶端與邊緣端的、針對推理與部署運行 AI 模型的完整軟件環境。3uB28資訊網——每日最新資訊28at.com

“我認為 ChatGPT 技術不僅僅是關于人類語言、英語語言,還有編程語言。因此,可以實現生產力的提高。你可以從 ChatGPT 和其他類似的技術中生成自動代碼審查。我認為這里有許多機會,但我認為它存在于行業領先公司正在使用的 Python 編程模型中。它不是剛剛興起的,已經出現了一段時間,我們極客稱為 SMLAR 技術。”英特爾專家曾經這樣分享道。3uB28資訊網——每日最新資訊28at.com

簡單解釋,就是“雞生蛋、蛋生雞”的關系,也就是說,未來 AI 大模型還會用在開發 AI 大模型上。現在 CUDA 就已經開始有了這樣的動作,英特爾也正蓄勢待發。3uB28資訊網——每日最新資訊28at.com

3uB28資訊網——每日最新資訊28at.com

在 2 月末剛剛結束的 MWC2024 上,英特爾展示了最多具備 288 個核心的能效核(E-core)處理器 Sierra Forest,性能核(P-core)處理器 Granite Rapids 也正蓄勢待發。可以說,未來在 AI 推理領域,至強還會更強。3uB28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-78163-0.html第五代至強技術揭秘:“為 AI 加速而生”的 CPU 處理器

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 聯合騰訊網易等大廠登陸 27 省,看華為游戲中心如何“造節”

下一篇: 詮釋家居一體化美學 全新三星 BESPOKE 繽色鉑格冰箱為生活注入新鮮感

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 昔阳县| 达尔| 常熟市| 灵川县| 广安市| 巴林右旗| 且末县| 枞阳县| 永吉县| 永城市| 都兰县| 紫金县| 广灵县| 武汉市| 博客| 林口县| 长沙市| 镇宁| 淄博市| 资中县| 周口市| 孟州市| 中江县| 武乡县| 库伦旗| 南华县| 仁怀市| 白朗县| 安康市| 开阳县| 建昌县| 西贡区| 定兴县| 江油市| 石河子市| 西乡县| 临湘市| 邳州市| 贡觉县| 达拉特旗| 商丘市|