日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

為AI加速而生 英特爾CPU能跑200億參數大模型

來源: 責編: 時間:2023-12-22 09:35:14 306觀看
導讀實用化 AI 算力又升上了一個新臺階。在人工智能的應用領域,出現了一些讓人始料未及的趨勢:很多傳統企業開始選擇在CPU平臺上落地和優化AI應用。例如制造領域在高度精細且較為耗時的瑕疵檢測環節,就導入了CPU及其他產品組

實用化 AI 算力又升上了一個新臺階。vRR28資訊網——每日最新資訊28at.com

在人工智能的應用領域,出現了一些讓人始料未及的趨勢:很多傳統企業開始選擇在CPU平臺上落地和優化AI應用。vRR28資訊網——每日最新資訊28at.com

例如制造領域在高度精細且較為耗時的瑕疵檢測環節,就導入了CPU及其他產品組合,來構建橫跨“云-邊-端”的AI?缺陷檢測方案,代替傳統的人工瑕疵檢測方式。vRR28資訊網——每日最新資訊28at.com

再比如亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺,實現了從FP32到INT8/BF16的量化,從而在可接受的精度損失下,增加吞吐量并加速推理。將人工成本降至原來的1/5到1/9,效率還提升了約5-10倍。vRR28資訊網——每日最新資訊28at.com

在處理AI制藥領域最重要的算法——AlphaFold2這類大型模型上,CPU同樣也“加入群聊”。從去年開始,CPU便使AlphaFold2端到端的通量提升到了原來的23.11倍;而現如今,CPU讓這個數值再次提升3.02倍。vRR28資訊網——每日最新資訊28at.com

上述這些CPU,都有個共同的名字——至強,即英特爾?? 至強?? 可擴展處理器。vRR28資訊網——每日最新資訊28at.com

為什么這些AI任務的推理能用CPU,而不是只考慮由GPU或AI加速器來處理?vRR28資訊網——每日最新資訊28at.com

這里歷來存在很多爭論。vRR28資訊網——每日最新資訊28at.com

很多人認為,真正落地的AI應用往往與企業的核心業務緊密關聯,在要求推理性能的同時,也需要關聯到它的核心數據,因此對數據安全和隱私的要求也很高,因此也更偏向本地化部署。vRR28資訊網——每日最新資訊28at.com

而結合這個需求,再考慮到真正用AI的傳統行業更熟悉、更了解也更容易獲取和使用CPU,那么使用服務器CPU混合精度實現的推理吞吐量,就是他們能夠更快和以更低成本解決自身需求的方法了。vRR28資訊網——每日最新資訊28at.com

面對越來越多傳統AI應用和大模型在CPU上的落地優化,“用CPU加速AI”這條道路被不斷驗證。這就是在數據中心中,有70%的推理運行在英特爾? 至強?可擴展處理器上的原因。1vRR28資訊網——每日最新資訊28at.com

最近,英特爾的服務器CPU完成了又一次進化。12月15日,第五代英特爾? 至強?可擴展處理器正式發布。英特爾表示,一款為AI加速而生,而且表現更強的處理器誕生了。vRR28資訊網——每日最新資訊28at.com

人工智能正在推動人類與技術交互方式的根本性轉變,這場轉變的中心就是算力。vRR28資訊網——每日最新資訊28at.com

英特爾CEO帕特·基辛格(PatGelsinger)在2023英特爾ON技術創新大會表示:“在這個人工智能技術與產業數字化轉型飛速發展的時代,英特爾保持高度的責任心,助力開發者,讓AI技術無處不在,讓AI更易觸達、更可見、透明并且值得信任?!?span style="display:none">vRR28資訊網——每日最新資訊28at.com

第五代至強為AI加速vRR28資訊網——每日最新資訊28at.com

第五代英特爾? 至強?可擴展處理器的核心數量增加至64個,配備了高達320MB的L3緩存和128MB的L2緩存。不論單核性能還是核心數量,它相比以往的至強都有了明顯提升。在最終性能指標上,與上代產品相比,在相同功耗下平均性能提升21%,內存帶寬提升高達16%,三級緩存容量提升到了原來的近3倍。vRR28資訊網——每日最新資訊28at.com

更為重要的是,第五代至強?可擴展處理器的每個內核均具備AI加速功能,完全有能力處理要求嚴苛的AI工作負載。與上代相比,其訓練性能提升多達29%,推理能力提升高達42%。vRR28資訊網——每日最新資訊28at.com

在重要的AI負載處理能力上,第五代英特爾? 至強? 可擴展處理器也交出了令人滿意的答卷。vRR28資訊網——每日最新資訊28at.com

首先要讓CPU學會高效處理AI負載的方法:在第四代至強? 可擴展處理器上,英特爾面向深度學習任務帶來了矩陣化的算力支持。vRR28資訊網——每日最新資訊28at.com

英特爾?? AMX就是至強CPU上的專用矩陣計算單元,可被視為CPU上的Tensor Core,從第四代至強?可擴展處理器開始成為內置于CPU的AI加速引擎。vRR28資訊網——每日最新資訊28at.com

第五代至強?? 可擴展處理器利用英特爾?? AMX與英特爾??AVX-512指令集,配合更快的內核,以及速度更快的內存,可以讓生成式AI更快地在其上運行,無需獨立的AI加速器就能執行更多工作負載。vRR28資訊網——每日最新資訊28at.com

借助在自然語言處理 (NLP) 推理方面實現的性能飛躍,這款全新的至強?可支持響應更迅速的智能助手、聊天機器人、預測性文本、語言翻譯等工作負載,可以在運行參數量200億的大語言模型時,做到時延不超過100毫秒。vRR28資訊網——每日最新資訊28at.com

據了解,11.11期間,京東云便通過基于第五代英特爾? 至強?可擴展處理器的新一代服務器,成功應對了業務量激增。與上一代服務器相比,新一代京東云服務器實現了23%的整機性能提升,AI計算機視覺推理性能提升了38%,Llamav2推理性能也提高了51%,輕松hold住用戶訪問峰值同比提高170%、智能客服咨詢量超14億次的大促壓力。vRR28資訊網——每日最新資訊28at.com

除此之外,第五代英特爾? 至強?可擴展處理器也在能效、運營效率、安全及質量等方面實現了全面提升,提供了向前代產品的軟件和引腳兼容性支持,以及硬件級安全功能和可信服務。vRR28資訊網——每日最新資訊28at.com

國內云服務大廠阿里云也在發布會上披露了其實測體驗數據,基于第五代英特爾? 至強? 可擴展處理器及英特爾? AMX、英特爾? TDX加速引擎,阿里云打造了“生成式AI模型及數據保護”的創新實踐,使第八代ECS實例在實現了全場景加速和全能力提升情況下,更加固了安全性能,且保持實例價格不變,普惠客戶。vRR28資訊網——每日最新資訊28at.com

數據顯示,其在數據全流程保護的基礎上,AI推理性能提高25%、QAT加解密性能提升20%、數據庫性能提升25%,以及音視頻性能提升15%。vRR28資訊網——每日最新資訊28at.com

英特爾表示,第五代至強?可擴展處理器可為AI、數據庫、網絡和科學計算工作負載帶來更強大的性能和更低的TCO,將目標工作負載的每瓦性能提升高達10倍。vRR28資訊網——每日最新資訊28at.com

對先進AI模型實現原生加速vRR28資訊網——每日最新資訊28at.com

為讓CPU能夠高效處理AI任務,英特爾把AI加速的能力提升到了「開箱即用」的程度。vRR28資訊網——每日最新資訊28at.com

英特爾??AMX除了可以加速深度學習的推理、訓練以外,現在已經支持了流行的深度學習框架。在深度學習開發者常用的TensorFlow、PyTorch上,英特爾?oneAPI深度神經網絡庫 (oneDNN)提供了指令集層面的支持,使開發人員能夠在不同硬件架構和供應商之間自由遷移代碼,可以更輕松地利用芯片內置的AI加速能力。vRR28資訊網——每日最新資訊28at.com

在保證了AI加速直接可用之后,英特爾利用高性能開源深度學習框架OpenVINO?工具套件,幫助開發者實現了一次開發、多平臺部署。它可以轉換和優化使用熱門框架訓練好的模型,在多種英特爾硬件的環境中快速實現,幫用戶最大程度地利用已有資源。vRR28資訊網——每日最新資訊28at.com

OpenVINO? 工具套件最新的版本也加入了對大型語言模型 (LLM)性能的改進,可以支持生成式AI工作負載,包括聊天機器人、智能助手、代碼生成模型等。vRR28資訊網——每日最新資訊28at.com

OpenVINO? 工具套件2vRR28資訊網——每日最新資訊28at.com

通過這一系列技術,英特爾讓開發者們能夠在幾分鐘內調優深度學習模型,或完成對中小型深度學習模型的訓練,在不增加硬件和系統復雜性的前提下獲得媲美獨立AI加速器的性能。vRR28資訊網——每日最新資訊28at.com

比如在先進的預訓練大語言模型上,英特爾的技術就可以幫助用戶完成快速部署。vRR28資訊網——每日最新資訊28at.com

用戶可以從最熱門的機器學習代碼庫Hugging Face中下載預訓練模型LLaMA2,然后使用英特爾?? PyTorch、英特爾?? NeuralCompressor等將模型轉換為BF16或INT8精度版本以降低延遲,再使用PyTorch進行部署。vRR28資訊網——每日最新資訊28at.com

英特爾表示,為了能夠緊跟AI領域的潮流,有數百名軟件開發人員正在不斷改進常用的模型加速能力,讓用戶能夠在跟上最新軟件版本的同時,獲得對于先進AI模型的支持。vRR28資訊網——每日最新資訊28at.com

第五代至強? 可擴展處理器的實力,目前已在部分大廠進行了驗證?;鹕揭媾c英特爾合作升級了第三代彈性計算實例。vRR28資訊網——每日最新資訊28at.com

目前,火山引擎已通過獨有的潮汐資源并池能力,構建百萬核彈性資源池,能夠以近似包月的成本提供按量使用體驗,降低上云成本。基于第五代英特爾? 至強?可擴展處理器,火山引擎第三代彈性計算實例整機算力再次提升了39%,應用性能最高提升了43%。vRR28資訊網——每日最新資訊28at.com

這只是個開始。可以預見,很快會有更多科技公司的應用能夠從第五代至強?? 可擴展處理器的性能中獲益。vRR28資訊網——每日最新資訊28at.com

下一代至強已經現身vRR28資訊網——每日最新資訊28at.com

未來,人們對于生成式AI的需求還將不斷擴大,更多的智能化應用將會改變我們的生活。以計算能力為基礎,萬物感知、萬物互聯、萬物智能的時代正在加速到來。vRR28資訊網——每日最新資訊28at.com

面對這樣的趨勢,英特爾正在加緊打造再下一代的至強CPU,它們面向AI的「專業化」程度還會更高。vRR28資訊網——每日最新資訊28at.com

在最近披露的英特爾數據中心路線圖上,下一代至強?處理器將對不同工作負載、場景配備不同的核心,其中主打計算密集型與AI任務的型號會使用側重性能輸出的核「P-core」,面向高密度與橫向擴展負載的型號則會使用有更高能效的核「E-core」,這兩種不同的核心架構并存的設計,既滿足部分用戶對極致性能的追求,也能兼顧到可持續發展綠色節能的需求。vRR28資訊網——每日最新資訊28at.com

未來,英特爾還將如何實現晶體管和芯片性能的飛躍,在AI算力上還能有什么樣的躍升?vRR28資訊網——每日最新資訊28at.com

讓我們拭目以待。vRR28資訊網——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0
 
 
更多>同類資訊
  • 客戶房子完工送什么禮品
  • 客戶防疫禮品送什么好
  • 客戶感冒嗓子疼送什么禮品
  • 客戶感恩回饋禮品送什么
  • 客戶分級禮品送什么好
  • 客戶高升禮品送什么好呢
  • 客戶高升禮品送什么
  • 客戶高端禮品送什么好
  • 客戶感冒送什么禮品
  • 客戶骨折送什么禮品
  • 客戶骨折 送什么禮品
  • 客戶關懷活動送什么禮品
  • 客戶關愛送什么禮品好
  • 客戶關愛送什么禮品
  • 客戶過節送什么禮品
  • 客戶關懷送什么禮品
  • 客戶關懷禮品送什么
  • 客戶孩子出生送什么禮品
  • 客戶過年送什么禮品
  • 客戶過敏性鼻炎送什么禮品
點擊查看更多 +
全站最新
創盈芯聯手英特爾打造AI迷你主機F1A
創盈芯聯手英特爾打造AI迷你主機F1A
2023愛采購歲末家年華周口站圓滿落幕 攜手企業共贏AI時代
2023愛采購歲末家年華周口站圓滿落幕 攜手企業共贏AI時代
京東聯合高校及科技企業開展“AI公開課” 助力大學生掌握AI技能
京東聯合高校及科技企業開展“AI公開課” 助力大學生掌握AI技能
百萬用戶選擇的阿爾法蛋AI詞典筆,如何成為家長圈實力“頂流”
百萬用戶選擇的阿爾法蛋AI詞典筆,如何成為家長圈實力“頂流”
硬核科技護航“雪龍號”極地科考,高梵助力中國科考事業獲央視點贊
硬核科技護航“雪龍號”極地科考,高梵助力中國科考事業獲央視點贊
亞信科技榮獲“金紫竹”多項大獎,歐陽曄詳解6G OSS演進
亞信科技榮獲“金紫竹”多項大獎,歐陽曄詳解6G OSS演進
熱門內容
  • 電視家突然不能用了,有什么軟件可以看電視直播?
  • 電視家下架后,如何在大屏上觀看央視、衛視直播?
  • 電視家下架了用哪個直播軟件,教你如何用投影儀繼續觀看電視直播
  • 電視直播軟件免費哪個好?在當貝X5投影上這五款電視直播軟件都可以免費用
  • 電視家不能用了,電視在哪看電視臺節目?有什么好用的軟件
  • 哪里可以看CCTV5體育頻道?沒有電視家,還有用這些軟件
  • GPT4開通方法詳解 開通ChatGPT Plus看這篇就夠了!
  • 電視在哪看CCTV,中央臺用什么軟件看?這幾個app頂好用
  • 【3DM游戲修復大師】DirectX/DLL/運行庫問題一站式解決助手
  • 長視頻行業下一個賽點?愛優騰芒視聽能力體驗
  • Redmi K70E首發天璣8300-Ultra,實測性能同級第一直接擠爆牙膏!
  • 2023中國上市公司ESG行動報告出爐,可持續發展為大勢所趨
  • 波場TRON亮相幣安區塊鏈周 獲彭博社、美聯社等外媒高度關注
  • 聯發科天璣8300超神進化,實測GPU能效翻倍完勝旗艦競品
  • 懂車帝舉報多個抹黑造謠冬測自媒體,將追究法律責任
本欄最新
京東聯合高校及科技企業開展“AI公開課” 助力大學生掌握AI技能
京東聯合高校及科技企業開展“AI公開課” 助力大學生掌握AI技能
百萬用戶選擇的阿爾法蛋AI詞典筆,如何成為家長圈實力“頂流”
百萬用戶選擇的阿爾法蛋AI詞典筆,如何成為家長圈實力“頂流”
硬核科技護航“雪龍號”極地科考,高梵助力中國科考事業獲央視點贊
硬核科技護航“雪龍號”極地科考,高梵助力中國科考事業獲央視點贊
亞信科技榮獲“金紫竹”多項大獎,歐陽曄詳解6G OSS演進
亞信科技榮獲“金紫竹”多項大獎,歐陽曄詳解6G OSS演進
2023愛采購歲末家年華鄭州站圓滿落幕 攜手企業共贏AI時代
2023愛采購歲末家年華鄭州站圓滿落幕 攜手企業共贏AI時代
深化數字驅動,信美相互人壽榮獲“2023年度保險科技創新獎”
深化數字驅動,信美相互人壽榮獲“2023年度保險科技創新獎”

本文鏈接:http://www.www897cc.com/showinfo-45-2997-0.html為AI加速而生 英特爾CPU能跑200億參數大模型

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 同盾科技決策智能核心產品適配華為鯤鵬,推動金融信創國產化

下一篇: 創盈芯聯手英特爾打造AI迷你主機F1A

標簽:
  • 熱門焦點
  • 清華、北大等86所高校布局元宇宙,是風口還是噱頭?

    作者:徐賜豪來源:區塊鏈日報據全國高校人工智能與大數據創新聯盟元宇宙專委會不完全統計,截至2023年7月,全國共有86所高校戰略布局元宇宙領域,其中本科院校73所,高職??圃盒?3所
  • 大廠元宇宙,又菜又愛玩

    撰文 | 吳先之 編輯 | 王 潘當下所有大廠推出的元宇宙產品,所能帶來的沉浸式體驗并不多,好在國內外科技巨頭在bug方面都處在同一水平線。以Meta為例,由于VR頭顯設
  • 冰墩墩的NFT暴漲千倍?真相則是價格暴跌、成交遇冷

    《區塊鏈日報》記者查證,近日來冰墩墩數字藏品交易數量出現大幅下滑,而所謂的暴漲千倍更是有價無市的自嗨。昨日,北京冬奧會正式閉幕。在這屆冬奧會上,吉祥物“冰
  • 2021年中國元宇宙行業用戶行為分析熱點報告

    元宇宙網絡熱度高漲,中國網民對虛擬生態興趣濃厚。艾媒咨詢數據顯示,超六成的網民對“元宇宙”了解程度較高,在元宇宙較基礎的游戲領域,超九成的人對VR游戲更感興
  • 紐約街頭出現NFT自動販賣機

    一家初創公司宣布在紐約市開放一臺NFT自動售貨機,允許任何人——即使是沒有加密資產的人也能購買NFT。該交易平臺名為Neon,上個月完成了一輪300萬美元的種子募捐
  • Meta公布AI概念“Builder Bot”;銀保監發布元宇宙相關風險提示

    概述自從Meta在2月初公布財報后,其負責元宇宙的核心部門Reality Labs表現不佳,凈虧損超100億美元,隨后股價斷崖式下跌。如今,Meta開始繼續發力元宇宙,想要挽回頹勢,
  • 權限風波過后 X2Y2如何挑戰OpenSea?

    繼LooksRare之后,又一個OpenSea挑戰者X2Y2來了。上周,X2Y2宣布向超過86萬個OpenSea交易用戶發放X2Y2通證空投,并啟動了「掛單挖礦」的獎勵機制。這場早期激勵活動
  • 下一個黃金賽道?NFT的碎片化!

    碎片化可能是我們一生中最重要的一個投資趨勢,碎片化本身并不新鮮。它已經存在了400年之久。早在1602年,荷蘭東印度公司是歷史上第一家在公共證券交易所上市的公
  • 知識產權可能在元宇宙中“消失”?

    開篇老雅痞先來劃重點:一些公司開始采取積極的方式來保護他們在元宇宙的知識產權。耐克、愛馬仕和米拉麥克斯最近提起訴訟,聲稱NFT侵犯了他們的知識產權。Inside

最新推薦

猜你喜歡

熱門推薦

相關資訊

Top 主站蜘蛛池模板: 台北市| 扎鲁特旗| 永德县| 三台县| 房产| 嘉荫县| 寿光市| 屯昌县| 井研县| 寻乌县| 六枝特区| 依兰县| 姜堰市| 醴陵市| 大理市| 土默特左旗| 体育| 清水河县| 青岛市| 龙游县| 嘉义县| 伊通| 班戈县| 绍兴县| 百色市| 论坛| 晋州市| 平果县| 象州县| 乐至县| 洪泽县| 潜江市| 南投县| 丰宁| 大埔县| 吉安市| 霍林郭勒市| 太仆寺旗| 利川市| 靖边县| 永州市|