清華、北大等86所高校布局元宇宙，是風口還是噱頭？
作者：徐賜豪來源：區塊鏈日報據全國高校人工智能與大數據創新聯盟元宇宙專委會不完全統計，截至2023年7月，全國共有86所高校戰略布局元宇宙領域，其中本科院校73所，高職?？圃盒?3所
實用化 AI 算力又升上了一個新臺階。
在人工智能的應用領域，出現了一些讓人始料未及的趨勢：很多傳統企業開始選擇在CPU平臺上落地和優化AI應用。
例如制造領域在高度精細且較為耗時的瑕疵檢測環節，就導入了CPU及其他產品組合，來構建橫跨“云-邊-端”的AI?缺陷檢測方案，代替傳統的人工瑕疵檢測方式。
再比如亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺，實現了從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來的1/5到1/9，效率還提升了約5-10倍。
在處理AI制藥領域最重要的算法——AlphaFold2這類大型模型上，CPU同樣也“加入群聊”。從去年開始，CPU便使AlphaFold2端到端的通量提升到了原來的23.11倍;而現如今，CPU讓這個數值再次提升3.02倍。
上述這些CPU，都有個共同的名字——至強，即英特爾?? 至強?? 可擴展處理器。
為什么這些AI任務的推理能用CPU，而不是只考慮由GPU或AI加速器來處理?
這里歷來存在很多爭論。
很多人認為，真正落地的AI應用往往與企業的核心業務緊密關聯，在要求推理性能的同時，也需要關聯到它的核心數據，因此對數據安全和隱私的要求也很高，因此也更偏向本地化部署。
而結合這個需求，再考慮到真正用AI的傳統行業更熟悉、更了解也更容易獲取和使用CPU，那么使用服務器CPU混合精度實現的推理吞吐量，就是他們能夠更快和以更低成本解決自身需求的方法了。
面對越來越多傳統AI應用和大模型在CPU上的落地優化，“用CPU加速AI”這條道路被不斷驗證。這就是在數據中心中，有70%的推理運行在英特爾? 至強?可擴展處理器上的原因。1
最近，英特爾的服務器CPU完成了又一次進化。12月15日，第五代英特爾? 至強?可擴展處理器正式發布。英特爾表示，一款為AI加速而生，而且表現更強的處理器誕生了。
人工智能正在推動人類與技術交互方式的根本性轉變，這場轉變的中心就是算力。
英特爾CEO帕特·基辛格(PatGelsinger)在2023英特爾ON技術創新大會表示：“在這個人工智能技術與產業數字化轉型飛速發展的時代，英特爾保持高度的責任心，助力開發者，讓AI技術無處不在，讓AI更易觸達、更可見、透明并且值得信任?！?span style="display:none">vRR28資訊網——每日最新資訊28at.com
第五代至強為AI加速
第五代英特爾? 至強?可擴展處理器的核心數量增加至64個，配備了高達320MB的L3緩存和128MB的L2緩存。不論單核性能還是核心數量，它相比以往的至強都有了明顯提升。在最終性能指標上，與上代產品相比，在相同功耗下平均性能提升21%，內存帶寬提升高達16%，三級緩存容量提升到了原來的近3倍。
更為重要的是，第五代至強?可擴展處理器的每個內核均具備AI加速功能，完全有能力處理要求嚴苛的AI工作負載。與上代相比，其訓練性能提升多達29%，推理能力提升高達42%。
在重要的AI負載處理能力上，第五代英特爾? 至強? 可擴展處理器也交出了令人滿意的答卷。
首先要讓CPU學會高效處理AI負載的方法：在第四代至強? 可擴展處理器上，英特爾面向深度學習任務帶來了矩陣化的算力支持。
英特爾?? AMX就是至強CPU上的專用矩陣計算單元，可被視為CPU上的Tensor Core，從第四代至強?可擴展處理器開始成為內置于CPU的AI加速引擎。
第五代至強?? 可擴展處理器利用英特爾?? AMX與英特爾??AVX-512指令集，配合更快的內核，以及速度更快的內存，可以讓生成式AI更快地在其上運行，無需獨立的AI加速器就能執行更多工作負載。
借助在自然語言處理 (NLP) 推理方面實現的性能飛躍，這款全新的至強?可支持響應更迅速的智能助手、聊天機器人、預測性文本、語言翻譯等工作負載，可以在運行參數量200億的大語言模型時，做到時延不超過100毫秒。
據了解，11.11期間，京東云便通過基于第五代英特爾? 至強?可擴展處理器的新一代服務器，成功應對了業務量激增。與上一代服務器相比，新一代京東云服務器實現了23%的整機性能提升，AI計算機視覺推理性能提升了38%，Llamav2推理性能也提高了51%，輕松hold住用戶訪問峰值同比提高170%、智能客服咨詢量超14億次的大促壓力。
除此之外，第五代英特爾? 至強?可擴展處理器也在能效、運營效率、安全及質量等方面實現了全面提升，提供了向前代產品的軟件和引腳兼容性支持，以及硬件級安全功能和可信服務。
國內云服務大廠阿里云也在發布會上披露了其實測體驗數據，基于第五代英特爾? 至強? 可擴展處理器及英特爾? AMX、英特爾? TDX加速引擎，阿里云打造了“生成式AI模型及數據保護”的創新實踐，使第八代ECS實例在實現了全場景加速和全能力提升情況下，更加固了安全性能，且保持實例價格不變，普惠客戶。
數據顯示，其在數據全流程保護的基礎上，AI推理性能提高25%、QAT加解密性能提升20%、數據庫性能提升25%，以及音視頻性能提升15%。
英特爾表示，第五代至強?可擴展處理器可為AI、數據庫、網絡和科學計算工作負載帶來更強大的性能和更低的TCO，將目標工作負載的每瓦性能提升高達10倍。
對先進AI模型實現原生加速
為讓CPU能夠高效處理AI任務，英特爾把AI加速的能力提升到了「開箱即用」的程度。
英特爾??AMX除了可以加速深度學習的推理、訓練以外，現在已經支持了流行的深度學習框架。在深度學習開發者常用的TensorFlow、PyTorch上，英特爾?oneAPI深度神經網絡庫 (oneDNN)提供了指令集層面的支持，使開發人員能夠在不同硬件架構和供應商之間自由遷移代碼，可以更輕松地利用芯片內置的AI加速能力。
在保證了AI加速直接可用之后，英特爾利用高性能開源深度學習框架OpenVINO?工具套件，幫助開發者實現了一次開發、多平臺部署。它可以轉換和優化使用熱門框架訓練好的模型，在多種英特爾硬件的環境中快速實現，幫用戶最大程度地利用已有資源。
OpenVINO? 工具套件最新的版本也加入了對大型語言模型 (LLM)性能的改進，可以支持生成式AI工作負載，包括聊天機器人、智能助手、代碼生成模型等。
OpenVINO? 工具套件2
通過這一系列技術，英特爾讓開發者們能夠在幾分鐘內調優深度學習模型，或完成對中小型深度學習模型的訓練，在不增加硬件和系統復雜性的前提下獲得媲美獨立AI加速器的性能。
比如在先進的預訓練大語言模型上，英特爾的技術就可以幫助用戶完成快速部署。
用戶可以從最熱門的機器學習代碼庫Hugging Face中下載預訓練模型LLaMA2，然后使用英特爾?? PyTorch、英特爾?? NeuralCompressor等將模型轉換為BF16或INT8精度版本以降低延遲，再使用PyTorch進行部署。
英特爾表示，為了能夠緊跟AI領域的潮流，有數百名軟件開發人員正在不斷改進常用的模型加速能力，讓用戶能夠在跟上最新軟件版本的同時，獲得對于先進AI模型的支持。
第五代至強? 可擴展處理器的實力，目前已在部分大廠進行了驗證?；鹕揭媾c英特爾合作升級了第三代彈性計算實例。
目前，火山引擎已通過獨有的潮汐資源并池能力，構建百萬核彈性資源池，能夠以近似包月的成本提供按量使用體驗，降低上云成本。基于第五代英特爾? 至強?可擴展處理器，火山引擎第三代彈性計算實例整機算力再次提升了39%，應用性能最高提升了43%。
這只是個開始。可以預見，很快會有更多科技公司的應用能夠從第五代至強?? 可擴展處理器的性能中獲益。
下一代至強已經現身
未來，人們對于生成式AI的需求還將不斷擴大，更多的智能化應用將會改變我們的生活。以計算能力為基礎，萬物感知、萬物互聯、萬物智能的時代正在加速到來。
面對這樣的趨勢，英特爾正在加緊打造再下一代的至強CPU，它們面向AI的「專業化」程度還會更高。
在最近披露的英特爾數據中心路線圖上，下一代至強?處理器將對不同工作負載、場景配備不同的核心，其中主打計算密集型與AI任務的型號會使用側重性能輸出的核「P-core」，面向高密度與橫向擴展負載的型號則會使用有更高能效的核「E-core」，這兩種不同的核心架構并存的設計，既滿足部分用戶對極致性能的追求，也能兼顧到可持續發展綠色節能的需求。
未來，英特爾還將如何實現晶體管和芯片性能的飛躍，在AI算力上還能有什么樣的躍升?
讓我們拭目以待。
本文鏈接：http://www.www897cc.com/showinfo-45-2997-0.html為AI加速而生 英特爾CPU能跑200億參數大模型
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 同盾科技決策智能核心產品適配華為鯤鵬，推動金融信創國產化
下一篇： 創盈芯聯手英特爾打造AI迷你主機F1A
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號