Rust中的高吞吐量流處理
作者 | Noz編譯 | 王瑞平本篇文章主要介紹了Rust中流處理的概念、方法和優(yōu)化。作者不僅介紹了流處理的基本概念以及Rust中常用的流處理庫，還使用這些庫實(shí)現(xiàn)了一個流處理程序
中國工程院院士倪光南
算力、存力和運(yùn)力共同構(gòu)成算力基礎(chǔ)設(shè)施底座的關(guān)鍵核心技術(shù)，三者之間應(yīng)有效配比，協(xié)同發(fā)展
以我國自主創(chuàng)新的數(shù)據(jù)通信網(wǎng)絡(luò)技術(shù)為代表的新型運(yùn)力，是算力充分釋放的關(guān)鍵引擎。尤其在轉(zhuǎn)發(fā)/交換芯片等關(guān)鍵核心技術(shù)研發(fā)方面，我國已經(jīng)取得突破性進(jìn)展，今后仍須持續(xù)加強(qiáng)自主創(chuàng)新力度
加大在數(shù)據(jù)通信產(chǎn)業(yè)的戰(zhàn)略布局，鼓勵加快推進(jìn)根技術(shù)研發(fā)，構(gòu)筑算力時代的中國新優(yōu)勢
文 |《瞭望》新聞周刊記者 陳燕
隨著大模型和AIGC（生成式人工智能）等創(chuàng)新技術(shù)的興起，人工智能在我國數(shù)字經(jīng)濟(jì)各領(lǐng)域的潛力正加速釋放。算力作為數(shù)字經(jīng)濟(jì)時代新的生產(chǎn)力，成為新一代信息技術(shù)產(chǎn)業(yè)浪潮的核心要素。
日前，中國工程院院士倪光南在接受《瞭望》新聞周刊記者專訪時表示，廣義算力應(yīng)包括算力、存力、運(yùn)力三方面因素，其中運(yùn)力作為經(jīng)濟(jì)社會發(fā)展的戰(zhàn)略性公共基礎(chǔ)設(shè)施，對于算力基礎(chǔ)設(shè)施建設(shè)、支撐數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展至關(guān)重要。
應(yīng)均衡配置算力、存力、運(yùn)力
《瞭望》：您提出廣義算力的概念，并認(rèn)為運(yùn)力、存力、算力協(xié)同發(fā)展構(gòu)建中國算力基礎(chǔ)設(shè)施，如何理解三者之間的關(guān)系？
倪光南：我國“十四五”規(guī)劃綱要提出，建設(shè)高速泛在、天地一體、集成互聯(lián)、安全高效的信息基礎(chǔ)設(shè)施，增強(qiáng)數(shù)據(jù)感知、傳輸、存儲和運(yùn)算能力。數(shù)據(jù)的傳輸、存儲和運(yùn)算能力，可以理解為廣義算力概念，即運(yùn)力、存力和算力。
運(yùn)力和存力、算力三者是數(shù)字基礎(chǔ)設(shè)施核心底座的關(guān)鍵核心要素，是掌握數(shù)字經(jīng)濟(jì)發(fā)展主動權(quán)和構(gòu)筑新優(yōu)勢的堅(jiān)實(shí)保障。在數(shù)字經(jīng)濟(jì)大背景下，我國作為未來數(shù)據(jù)第一大國，數(shù)據(jù)的傳輸和存儲能力，即運(yùn)力和存力必須高效協(xié)同、均衡配置，用廣義算力概念衡量AI算力中心（包含各類數(shù)據(jù)中心）的高質(zhì)量發(fā)展。
《瞭望》：當(dāng)前，以ChatGPT為代表的AI智能計(jì)算正爆發(fā)式增長，各地都在紛紛部署AI算力中心建設(shè)，運(yùn)力如何在算力中心建設(shè)中提升算力效能？能否滿足廣域大數(shù)據(jù)量輸送及算力調(diào)度的需求？
倪光南：以ChatGPT為代表的新的人工智能時代已經(jīng)到來，預(yù)計(jì)到2030年人工智能算力將增加500倍。計(jì)算、數(shù)據(jù)存儲技術(shù)和通訊技術(shù)已經(jīng)成為各國的競爭高地，產(chǎn)業(yè)各方對算力普遍關(guān)注，并加大投入、作出戰(zhàn)略部署。2022年我國也出臺了《數(shù)字中國建設(shè)整體布局規(guī)劃》。
其中運(yùn)力是提升算力的關(guān)鍵因素之一，幅度可以達(dá)到20%。例如，AI智能計(jì)算網(wǎng)絡(luò)場景下，ChatGPT-4大模型訓(xùn)練需要通過網(wǎng)絡(luò)把上萬張GPU卡連接起來，并在訓(xùn)練中對模型參數(shù)不斷進(jìn)行更新迭代，這個數(shù)據(jù)通量是非常大的。提升網(wǎng)絡(luò)吞吐、降低計(jì)算通信時延，是AI智算中心充分釋放算力的核心問題。傳統(tǒng)網(wǎng)絡(luò)往往存在資源分配不均衡的問題，某些節(jié)點(diǎn)可能因過載導(dǎo)致網(wǎng)絡(luò)性能下降，因此數(shù)據(jù)高速傳輸離不開網(wǎng)絡(luò)的負(fù)載均衡。
除此之外，運(yùn)力對于數(shù)據(jù)中心之間端到端的高效搬運(yùn)數(shù)據(jù)、全局調(diào)度算力和存力都發(fā)揮著至關(guān)重要的作用。比如，大家熟知的“東數(shù)西算”工程，要讓用戶調(diào)用千公里以外的計(jì)算資源時，像使用本地服務(wù)站的資源體驗(yàn)一樣，這就需要一個彈性靈活、智能可靠的調(diào)度網(wǎng)，實(shí)現(xiàn)算力中心間的算力互聯(lián)和高效協(xié)同。
目前我國業(yè)界已經(jīng)出現(xiàn)了一些創(chuàng)新技術(shù)，可以實(shí)現(xiàn)數(shù)據(jù)中心互聯(lián)、用戶獲取算力所需要的高品質(zhì)連接和體驗(yàn)保障要求。
我國數(shù)據(jù)通信網(wǎng)絡(luò)設(shè)備產(chǎn)業(yè)鏈基本成熟
《瞭望》：當(dāng)前我國數(shù)據(jù)通信網(wǎng)絡(luò)技術(shù)的發(fā)展水平如何？具備哪些競爭優(yōu)勢？
倪光南：近年來，隨著我國網(wǎng)絡(luò)強(qiáng)國的戰(zhàn)略部署深入推進(jìn)，我國現(xiàn)代化通信技術(shù)持續(xù)創(chuàng)新突破。
目前，我國數(shù)據(jù)通信產(chǎn)業(yè)體系日臻完善，數(shù)據(jù)通信網(wǎng)絡(luò)設(shè)備的產(chǎn)業(yè)鏈已經(jīng)基本成熟。
在產(chǎn)業(yè)鏈上游，我國芯片自主研發(fā)能力不斷提升。例如，轉(zhuǎn)發(fā)/交換芯片是數(shù)據(jù)通信網(wǎng)絡(luò)設(shè)備的最核心器件，也是評判網(wǎng)絡(luò)設(shè)備自主化能力的關(guān)鍵，國內(nèi)的代表性廠商近年來持續(xù)加大轉(zhuǎn)發(fā)/交換芯片的研發(fā)投入，已經(jīng)推出了具有國際競爭力的芯片產(chǎn)品。
在產(chǎn)業(yè)鏈中游，國內(nèi)主流的網(wǎng)絡(luò)設(shè)備廠商生產(chǎn)的交換機(jī)、路由器、防火墻等整機(jī)設(shè)備在功能的全面性、性能支撐能力、安全性等方面，已達(dá)到全球先進(jìn)水平，并在政務(wù)、金融、能源、交通等行業(yè)全面部署落地，有效保障了國家的網(wǎng)絡(luò)安全和供應(yīng)安全。同時，我們應(yīng)該看到，國內(nèi)部分網(wǎng)絡(luò)設(shè)備的核心轉(zhuǎn)發(fā)/交換芯片仍然依賴進(jìn)口，整機(jī)自主化水平需持續(xù)提升。
《瞭望》：未來需要在哪些方面著力提升創(chuàng)新能力？
倪光南：面向大模型和AIGC技術(shù)浪潮，我們也要同步加快推進(jìn)數(shù)據(jù)通信網(wǎng)絡(luò)技術(shù)創(chuàng)新發(fā)展。一方面，我們在高端芯片的先進(jìn)制程工藝技術(shù)等部分領(lǐng)域仍然存在差距，需要圍繞關(guān)鍵核心芯片特別是轉(zhuǎn)發(fā)/交換芯片，從設(shè)計(jì)、制造、封裝、測試、裝備、材料、設(shè)計(jì)工具等各環(huán)節(jié)突破“卡脖子”的核心關(guān)鍵技術(shù)，實(shí)現(xiàn)真正的自主創(chuàng)新。另一方面，我們要深入研究“以運(yùn)強(qiáng)算”的課題，從算力設(shè)施內(nèi)、算力設(shè)施間及用戶入算取算的關(guān)鍵場景下，加強(qiáng)重點(diǎn)技術(shù)攻關(guān)，拿出中國的技術(shù)創(chuàng)新解決方案，將數(shù)據(jù)通信技術(shù)發(fā)展自主權(quán)牢牢掌握在手中。
打造算力時代的中國新優(yōu)勢
《瞭望》：對于加快推進(jìn)以數(shù)據(jù)通信網(wǎng)絡(luò)為代表的運(yùn)力產(chǎn)業(yè)發(fā)展，您有什么建議？
倪光南：首先，從政策上鼓勵加快推進(jìn)網(wǎng)絡(luò)運(yùn)力根技術(shù)研發(fā)。加大在數(shù)據(jù)通信產(chǎn)業(yè)的戰(zhàn)略布局，從基礎(chǔ)的軟硬件根技術(shù)入手，不斷加強(qiáng)彈性靈活、高速無損、安全可信的高運(yùn)力網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)，不斷滿足數(shù)字經(jīng)濟(jì)發(fā)展的新要求，加快推進(jìn)轉(zhuǎn)型升級。
其次，以產(chǎn)業(yè)政策和標(biāo)準(zhǔn)激發(fā)網(wǎng)絡(luò)技術(shù)自主創(chuàng)新。從“網(wǎng)絡(luò)安全就是國家安全”和“關(guān)鍵核心技術(shù)自主可控”的高度著眼，政企事業(yè)單位在采購網(wǎng)絡(luò)設(shè)備時，進(jìn)一步向國產(chǎn)網(wǎng)絡(luò)設(shè)備傾斜，推動從芯片到網(wǎng)絡(luò)設(shè)備、再到應(yīng)用的完整產(chǎn)業(yè)生態(tài)發(fā)展。要聯(lián)合產(chǎn)業(yè)聯(lián)盟組織，建立網(wǎng)絡(luò)產(chǎn)品的自主技術(shù)標(biāo)準(zhǔn)、測評規(guī)范、評分原則等，實(shí)現(xiàn)自主網(wǎng)絡(luò)產(chǎn)品標(biāo)準(zhǔn)落地。
最后，人才是經(jīng)濟(jì)社會發(fā)展的第一資源，對于運(yùn)力產(chǎn)業(yè)也不例外。我們要完善專業(yè)領(lǐng)域人才培養(yǎng)機(jī)制，加快填補(bǔ)人才供需缺口，形成完備且可靠的創(chuàng)新人才梯隊(duì)，為持續(xù)創(chuàng)新發(fā)展打下堅(jiān)實(shí)的基礎(chǔ)。
本文鏈接：http://www.www897cc.com/showinfo-16-9649-0.html瞭望·瞭望訪談 | 加強(qiáng)數(shù)據(jù)通信核心技術(shù)自主創(chuàng)新 構(gòu)筑數(shù)字經(jīng)濟(jì)發(fā)展新優(yōu)勢——專訪中國工程院院士倪光南
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
下一篇： 科技筑起安全屏障——探營2023年國家網(wǎng)絡(luò)安全宣傳周網(wǎng)絡(luò)安全博覽會
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號