當(dāng)前位置：首頁 > 科技 > 軟件

圖文詳解io_uring高性能異步IO架構(gòu)（原理篇）

來源：責(zé)編：時(shí)間：2024-01-02 09:32:02 264觀看

導(dǎo)讀說到高性能網(wǎng)絡(luò)編程，我們第一時(shí)間想到的是epoll機(jī)制，epoll很長一段時(shí)間統(tǒng)治著整個(gè)網(wǎng)絡(luò)編程江湖，然而io_uring的出現(xiàn)，似乎在撼動(dòng)epoll的統(tǒng)治地位，今天我們來揭開io_uring的神秘面紗。1.io_uring簡介io_uring是一個(gè)Linux內(nèi)核

說到高性能網(wǎng)絡(luò)編程，我們第一時(shí)間想到的是epoll機(jī)制，epoll很長一段時(shí)間統(tǒng)治著整個(gè)網(wǎng)絡(luò)編程江湖，然而io_uring的出現(xiàn)，似乎在撼動(dòng)epoll的統(tǒng)治地位，今天我們來揭開io_uring的神秘面紗。

1.io_uring簡介

io_uring是一個(gè)Linux內(nèi)核的異步I/O框架，它提供了高性能的異步I/O操作，io_uring的目標(biāo)是通過減少系統(tǒng)調(diào)用和上下文切換的開銷來提高I/O操作的性能。

io_uring通過使用環(huán)形緩沖區(qū)和事件驅(qū)動(dòng)的方式來實(shí)現(xiàn)高效的異步I/O操作。

io_uring的設(shè)計(jì)使得應(yīng)用程序可以同時(shí)處理大量的I/O操作，從而提高系統(tǒng)的吞吐量和響應(yīng)速度。

2.io_uring實(shí)現(xiàn)原理

io_uring整體架構(gòu)如下：

圖片

2.1基礎(chǔ)概念

SQE：提交隊(duì)列項(xiàng)，表示IO請(qǐng)求。
CQE：完成隊(duì)列項(xiàng)，表示IO請(qǐng)求結(jié)果。
SQ：Submission Queue，提交隊(duì)列，用于存儲(chǔ)SQE的數(shù)組。
CQ：Completion Queue，完成隊(duì)列，用于存儲(chǔ)CQE的數(shù)組。
SQ Ring：SQ環(huán)形緩沖區(qū)，包含SQ，頭部索引（head），尾部索引（tail），隊(duì)列大小等信息。
CQ Ring：CQ環(huán)形緩沖區(qū)，包含SQ，頭部索引（head），尾部索引（tail），隊(duì)列大小等信息。
SQ線程：內(nèi)核輔助線程，用于從SQ隊(duì)列獲取SQE，并提交給內(nèi)核處理，并將IO請(qǐng)求結(jié)果生成CQE存儲(chǔ)在CQ隊(duì)列。

2.2 io_uring系統(tǒng)調(diào)用

io_uring_setup()：用于初始化io_uring環(huán)境，創(chuàng)建io_uring實(shí)例。
io_uring_enter()：用于提交和等待io_uring操作的系統(tǒng)調(diào)用，可以指定提交的操作數(shù)量和等待的超時(shí)時(shí)間。
io_uring_register()：用于注冊(cè)文件描述符或事件文件描述符到io_uring實(shí)例中，以便進(jìn)行I/O操作。

2.3 liburing庫

liburing是一個(gè)用于Linux的用戶空間庫，用于利用io_uring接口進(jìn)行高性能的異步I/O操作，它提供了一組函數(shù)和數(shù)據(jù)結(jié)構(gòu)，使開發(fā)者能夠更方便地使用io_uring接口。

io_uring_queue_init：初始化一個(gè)io_uring隊(duì)列。
io_uring_register：將文件描述符注冊(cè)到io_uring隊(duì)列中。
io_uring_prep_read：準(zhǔn)備一個(gè)讀取操作。
io_uring_prep_write：準(zhǔn)備一個(gè)寫入操作。
io_uring_submit：提交一個(gè)或多個(gè)操作到io_uring隊(duì)列中。
io_uring_wait_cqe：等待一個(gè)完成的操作。
io_uring_cqe_seen：標(biāo)記一個(gè)完成的操作已經(jīng)被處理。
io_uring_queue_exit：關(guān)閉并釋放io_uring隊(duì)列。

2.4 工作流程

創(chuàng)建io_uring對(duì)象：首先，需要?jiǎng)?chuàng)建一個(gè)io_uring對(duì)象，可以使用io_uring_setup()函數(shù)來完成。
準(zhǔn)備I/O請(qǐng)求：在進(jìn)行I/O操作之前，需要準(zhǔn)備相關(guān)的I/O請(qǐng)求。可以使用io_uring_prep_XXX()系列函數(shù)來準(zhǔn)備不同類型的I/O請(qǐng)求，例如io_uring_prep_read()用于讀取數(shù)據(jù)，io_uring_prep_write()用于寫入數(shù)據(jù)。
提交I/O請(qǐng)求：準(zhǔn)備好I/O請(qǐng)求后，可以使用io_uring_submit()函數(shù)將請(qǐng)求提交給內(nèi)核，內(nèi)核會(huì)將這些請(qǐng)求放入一個(gè)隊(duì)列中，等待執(zhí)行。
等待IO請(qǐng)求完成：可以使用io_uring_wait_cqe()函數(shù)來等待I/O請(qǐng)求的完成，一旦請(qǐng)求完成，內(nèi)核會(huì)將完成事件放入一個(gè)完成隊(duì)列中。
獲取IO請(qǐng)求結(jié)果：可以使用io_uring_peek_cqe()函數(shù)來獲取完成隊(duì)列中的完成事件。然后，可以通過事件的信息來處理完成的I/O請(qǐng)求，例如讀取數(shù)據(jù)或者處理錯(cuò)誤。
釋放IO請(qǐng)求結(jié)果：獲取完IO請(qǐng)求結(jié)果，使用io_uring_cqe_seen()函數(shù)來釋放IO請(qǐng)求結(jié)果，以便內(nèi)核可以繼續(xù)使用。
重復(fù)執(zhí)行：可以重復(fù)執(zhí)行上述步驟，以處理更多的I/O請(qǐng)求。

3.內(nèi)核實(shí)現(xiàn)

3.1 創(chuàng)建io_uring對(duì)象

圖片

用戶程序通過io_uring_setup系統(tǒng)調(diào)用創(chuàng)建和初始化io_uring對(duì)象，io_uring對(duì)象對(duì)應(yīng)于struct io_ring_ctx結(jié)構(gòu)體對(duì)象。

io_uring_setup主要工作：

創(chuàng)建struct io_ring_ctx對(duì)象并初始化。
創(chuàng)建struct io_urings對(duì)象并初始化，注意此時(shí)已完成CQ和所有CQE創(chuàng)建。
創(chuàng)建SQ和所有SQE并初始化。
如果struct io_ring_ctx對(duì)象flags參數(shù)設(shè)置IORING_SETUP_SQPOLL，則創(chuàng)建SQ線程。

3.2 fd綁定io_uring對(duì)象

圖片

已創(chuàng)建的io_ring對(duì)象需要和fd進(jìn)行綁定，以便能夠通過fd找到io_uring對(duì)象，創(chuàng)建一個(gè)新的file，file private_data成員指向io_ring對(duì)象，申請(qǐng)一個(gè)未使用的文件描述符fd，fd映射至file，并存儲(chǔ)在進(jìn)程已打開文件表中。

注意：mmap內(nèi)存映射需要用到該fd。

3.3 io_uring對(duì)象內(nèi)存映射

圖片

通過io_uring_setup系統(tǒng)調(diào)用創(chuàng)建完io_uring對(duì)象后，用戶程序還不能直接訪問io_uring對(duì)象，此時(shí)用戶程序需要通過mmap函數(shù)將io_uring對(duì)象SQ，CQ以及head和tail等相關(guān)內(nèi)存空間映射出來。

完成mmap內(nèi)存映射后，io_uring對(duì)象相關(guān)內(nèi)存空間成為用戶程序和內(nèi)核共享內(nèi)存空間，用戶程序可以直接訪問io_uring對(duì)象，不再需要通過執(zhí)行系統(tǒng)調(diào)用訪問，很大程度上提高了系統(tǒng)性能。

3.4 提交IO請(qǐng)求

圖片

SQ Ring中有兩個(gè)成員head（頭部索引）和tail（尾部索引），頭部索引指向SQ隊(duì)列第一個(gè)已提交IO請(qǐng)求，尾部索引指向SQ下一個(gè)空閑SQE。

提交IO請(qǐng)求，只需要將tail指向的SQE填充IO請(qǐng)求信息，并讓tail自增1，指向下一個(gè)空閑SQE。

注意：head和tail不是直接指向SQ數(shù)組，而是需要通過head&mask和tail &mask操作指向SQ數(shù)組，mask數(shù)組為數(shù)組長度減1，因?yàn)閿?shù)組有固定大小，所以需要通過&mask方式防止越界訪問數(shù)組，這種方式可以讓數(shù)組形成一個(gè)環(huán)形緩沖區(qū)。

3.5 等待IO請(qǐng)求完成

圖片

IO請(qǐng)求的處理有兩種方式：

方式1：SQ線程從SQ隊(duì)列中獲取SQE（已提交IO請(qǐng)求），并發(fā)送給內(nèi)核處理。
方式2：用戶程序通過io_uring_enter系統(tǒng)調(diào)用從SQ隊(duì)列中獲取SQE（已提交IO請(qǐng)求），并發(fā)送給內(nèi)核處理。

從SQ隊(duì)列獲取SQE只需要獲取SQ Ring head指向的SQE，并讓head自增指向下一個(gè)SQE即可。

圖片

內(nèi)核處理完IO請(qǐng)求后，SQ線程會(huì)申請(qǐng)CQ Ring tail指向的CQE存儲(chǔ)IO請(qǐng)求結(jié)果，tail自增1指向下一個(gè)空閑CQE。

3.6 獲取IO請(qǐng)求結(jié)果

圖片

用戶程序通過判斷CQ Ring head和tail之間的差值，可以檢測到是否有已完成IO請(qǐng)求，如果有已完成IO請(qǐng)求（CQE），獲取CQ Ring head指向CQE，獲取IO請(qǐng)求結(jié)果。

3.7 釋放已完成IO請(qǐng)求

釋放已完成IO請(qǐng)求只需要將CQ Ring head指針自增1指向下一個(gè)CQE即可，這樣做的目的是防止重復(fù)獲取IO請(qǐng)求結(jié)果。

io_uring為什么高效？

核心原因：io_uring通過mmap內(nèi)存映射大大減少了系統(tǒng)調(diào)用，在高并發(fā)場景下，系統(tǒng)調(diào)用非常損耗系統(tǒng)性能。

其他原因：

減少拷貝：io_uring通過共享內(nèi)存減少用戶程序和內(nèi)核數(shù)據(jù)拷貝。
批量操作：io_uring支持批量操作，一次性可以提交多個(gè)I/O請(qǐng)求，減少系統(tǒng)調(diào)用的次數(shù)，提高系統(tǒng)效率。
無鎖環(huán)形隊(duì)列：io_uring采用無鎖隊(duì)列實(shí)現(xiàn)用戶程序與內(nèi)核對(duì)共享內(nèi)存的高效訪問。

本文鏈接：http://www.www897cc.com/showinfo-26-55362-0.html圖文詳解io_uring高性能異步IO架構(gòu)（原理篇）

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： Redis中Leader-Follower架構(gòu)如何確保數(shù)據(jù)一致性和可靠性？

下一篇：圖文詳解io_uring高性能異步IO架構(gòu)（原理篇）

標(biāo)簽：

熱門焦點(diǎn)

紅魔電競平板評(píng)測：大屏幕硬實(shí)力

前言：三年的疫情因?yàn)橐暇W(wǎng)課的原因激活了平板市場，如今網(wǎng)課的時(shí)代已經(jīng)過去，大家的生活都恢復(fù)到了正軌，這也就意味著，真正考驗(yàn)平板電腦生存的環(huán)境來了。也就是面對(duì)著這種殘酷的
三言兩語說透設(shè)計(jì)模式的藝術(shù)-簡單工廠模式

一、寫在前面工廠模式是最常見的一種創(chuàng)建型設(shè)計(jì)模式，通常說的工廠模式指的是工廠方法模式，是使用頻率最高的工廠模式。簡單工廠模式又稱為靜態(tài)工廠方法模式，不屬于GoF 23種設(shè)計(jì)
十個(gè)可以手動(dòng)編寫的 JavaScript 數(shù)組 API

JavaScript 中有很多API，使用得當(dāng)，會(huì)很方便，省力不少。你知道它的原理嗎? 今天這篇文章，我們將對(duì)它們進(jìn)行一次小總結(jié)。現(xiàn)在開始吧。1.forEach()forEach()用于遍歷數(shù)組接收一參
2023 年的 Node.js 生態(tài)系統(tǒng)

隨著技術(shù)的不斷演進(jìn)和創(chuàng)新，Node.js 在 2023 年達(dá)到了一個(gè)新的高度。Node.js 擁有一個(gè)龐大的生態(tài)系統(tǒng)，可以幫助開發(fā)人員更快地實(shí)現(xiàn)復(fù)雜的應(yīng)用。本文就來看看 Node.js 最新的生
一個(gè)注解實(shí)現(xiàn)接口冪等，這樣才優(yōu)雅！

場景碼猿慢病云管理系統(tǒng)中其實(shí)高并發(fā)的場景不是很多，沒有必要每個(gè)接口都去考慮并發(fā)高的場景，比如添加住院患者的這個(gè)接口，具體的業(yè)務(wù)代碼就不貼了，業(yè)務(wù)偽代碼如下：圖片上述代碼有
JVM優(yōu)化：實(shí)戰(zhàn)OutOfMemoryError異常

一、Java堆溢出堆內(nèi)存中主要存放對(duì)象、數(shù)組等，只要不斷地創(chuàng)建這些對(duì)象，并且保證 GC Roots 到對(duì)象之間有可達(dá)路徑來避免垃圾收集回收機(jī)制清除這些對(duì)象，當(dāng)這些對(duì)象所占空間超過
8月見！小米MIX Fold 3獲得3C認(rèn)證：支持67W快充

這段時(shí)間以來，包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都得到了不少爆料，而小米新一代折疊屏旗艦——小米MIX Fold 3此前也屢屢被傳
余承東:AI大模型技術(shù)的發(fā)展將會(huì)帶來下一代智能終端操作系統(tǒng)的智慧體驗(yàn)

8月4日消息，2023年華為開發(fā)者大會(huì)（HDC.Together）今天正式開幕，華為發(fā)布HarmonyOS 4、全新升級(jí)的鴻蒙開發(fā)套件、HarmonyOS Next開發(fā)者預(yù)覽版本等一系列
蘋果140W USB-C充電器：采用氮化鎵技術(shù)

據(jù)10 月 30 日 9to5 Mac 消息報(bào)道，當(dāng)蘋果推出新的 MacBook Pro 2021 時(shí)，該公司還推出了新的 140W USB-C 充電器，附贈(zèng)在 MacBook Pro 16 英寸機(jī)型的盒子里，也支

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

圖文詳解io_uring高性能異步IO架構(gòu)（原理篇）

1.io_uring簡介

2.io_uring實(shí)現(xiàn)原理

2.1基礎(chǔ)概念

2.2 io_uring系統(tǒng)調(diào)用

2.3 liburing庫

2.4 工作流程

3.內(nèi)核實(shí)現(xiàn)

3.1 創(chuàng)建io_uring對(duì)象

3.2 fd綁定io_uring對(duì)象

3.3 io_uring對(duì)象內(nèi)存映射

3.6 獲取IO請(qǐng)求結(jié)果

3.7 釋放已完成IO請(qǐng)求

紅魔電競平板評(píng)測：大屏幕硬實(shí)力

三言兩語說透設(shè)計(jì)模式的藝術(shù)-簡單工廠模式

十個(gè)可以手動(dòng)編寫的 JavaScript 數(shù)組 API

2023 年的 Node.js 生態(tài)系統(tǒng)

一個(gè)注解實(shí)現(xiàn)接口冪等，這樣才優(yōu)雅！

JVM優(yōu)化：實(shí)戰(zhàn)OutOfMemoryError異常

8月見！小米MIX Fold 3獲得3C認(rèn)證：支持67W快充

余承東:AI大模型技術(shù)的發(fā)展將會(huì)帶來下一代智能終端操作系統(tǒng)的智慧體驗(yàn)

蘋果140W USB-C充電器：采用氮化鎵技術(shù)

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊