當前位置：首頁 > 科技 > 軟件

美團面試：說說Netty的零拷貝技術？

來源：責編：時間：2024-06-07 08:47:50 154觀看

導讀零拷貝技術（Zero-Copy）是一個大家耳熟能詳的技術名詞了，它主要用于提升 IO（Input & Output）的傳輸性能。那么問題來了，為什么零拷貝技術能提升 IO 性能？一、零拷貝技術和性能在傳統的 IO 操作中，當我們需要讀取并傳輸數據時，我

零拷貝技術（Zero-Copy）是一個大家耳熟能詳的技術名詞了，它主要用于提升 IO（Input & Output）的傳輸性能。

那么問題來了，為什么零拷貝技術能提升 IO 性能？

一、零拷貝技術和性能

在傳統的 IO 操作中，當我們需要讀取并傳輸數據時，我們需要在用戶態（用戶空間）和內核態（內核空間）中進行數據拷貝，它的執行流程如下：

圖片

從上述流程我們可以看出，在傳統的 IO 操作中，我們是需要 4 次拷貝和 4 次上下文切換（用戶態和內核態的切換）的。

而每次數據拷貝和上下文切換都有時間成本，會讓程序的執行時間變成，所以零拷貝技術的出現就是為了減少數據的拷貝次數以及上下文的切換次數的。

1.1 什么是用戶態和內核態？

操作系統有用戶態和內核態之分，這是因為計算機體系結構中的操作系統設計了兩個不同的執行環境，以提供不同的功能和特權級別。

用戶態（User Mode）是指應用程序運行時的執行環境。在用戶態下，應用程序只能訪問受限資源，如應用程序自身的內存空間、CPU 寄存器等，并且不能直接訪問操作系統的底層資源和硬件設備。
內核態（Kernel Mode）是指操作系統內核運行時的執行環境。在內核態下，操作系統具有更高的權限，可以直接訪問系統的硬件和底層資源，如 CPU、內存、設備驅動程序等。

1.2 什么是DMA？

DMA（Direct Memory Access，直接內存訪問）技術，繞過 CPU，直接在內存和外設之間進行數據傳輸。這樣可以減少 CPU 的參與，提高數據傳輸的效率。

二、Linux零拷貝技術

Linux 下實現零拷貝的主要實現技術是 MMap、sendFile，它們的具體介紹如下。

2.1 MMap

MMap（Memory Map）是 Linux 操作系統中提供的一種將文件映射到進程地址空間的一種機制，通過 MMap 進程可以像訪問內存一樣訪問文件，而無需顯式的復制操作。

使用 MMap 可以把 IO 執行流程優化成以下執行步驟：

圖片

傳統的 IO 需要四次拷貝和四次上下文（用戶態和內核態）切換，而 MMap 只需要三次拷貝和四次上下文切換，從而能夠提升程序整體的執行效率，并且節省了程序的內存空間。

2.2 senFile 方法

在 Linux 操作系統中 sendFile() 是一個系統調用函數，用于高效地將文件數據從內核空間直接傳輸到網絡套接字（Socket）上，從而實現零拷貝技術。這個函數的主要目的是減少 CPU 上下文切換以及內存復制操作，提高文件傳輸性能。

使用 sendFile() 可以把 IO 執行流程優化成以下執行步驟：

圖片

三、Netty零拷貝技術

Netty 中的零拷貝和傳統 Linux 的零拷貝技術的實現不太一樣，Netty 中的零拷貝技術主要是通過優化用戶態的操作來提升 IO 的執行速度，從而實現零拷貝的。

PS：所有可以提升 IO 執行效率的操作或手段都可以稱之為零拷貝技術。

Netty 中的零拷貝技術主要有以下 5 種實現：

使用堆外內存：避免 JVM 堆內存到堆外內存的數據拷貝，從而提升了 IO 的操作性能。
使用 CompositeByteBuf 合并對象：可以組合多個 Buffer 對象合并成一個邏輯上的對象，避免通過傳統內存拷貝的方式將幾個 Buffer 合并成一個大的 Buffer。
通過 Unpooled.wrappedBuffer 合并數據：可以將 byte 數組包裝成 ByteBuf 對象，包裝過程中不會產生內存拷貝。
使用 ByteBuf.slice 共享對象：操作與 Unpooled.wrappedBuffer 相反，slice 操作可以將一個 ByteBuf 對象切分成多個 ByteBuf 對象，切分過程中不會產生內存拷貝，底層共享一個 byte 數組的存儲空間。
使用 FileRegion 實現零拷貝：FileRegion 底層封裝了 FileChannel#transferTo() 方法，可以將文件緩沖區的數據直接傳輸到目標 Channel，避免內核緩沖區和用戶態緩沖區之間的數據拷貝，這屬于操作系統級別的零拷貝。

它們的具體實現如下。

3.1 使用堆外內存

正常情況下，JVM 需要將數據從 JVM 堆內存拷貝到堆外內存進行業務執行的，這是因為：

操作系統并不感知 JVM 的堆內存，而且 JVM 的內存布局與操作系統所分配的是不一樣的，操作系統并不會按照 JVM 的行為來讀寫數據。
同一個對象的內存地址隨著 JVM GC 的執行可能會隨時發生變化，例如 JVM GC 的過程中會通過壓縮來減少內存碎片，這就涉及對象移動的問題了。

而 Netty 在進行 I/O 操作時都是使用的堆外內存，可以避免數據從 JVM 堆內存到堆外內存的拷貝。

3.2 使用CompositeByteBuf合并對象

CompositeByteBuf 可以理解為一個虛擬的 Buffer 對象，它是由多個 ByteBuf 組合而成，但是在 CompositeByteBuf 內部保存著每個 ByteBuf 的引用關系，從邏輯上構成一個整體。使用 CompositeByteBuf 我們可以合并兩個 ByteBuf 對象，從而避免兩個對象合并時需要兩次 CPU 拷貝操作的問題，在沒有使用 CompositeByteBuf 時，我們的操作是這樣的：

ByteBuf httpBuf = Unpooled.buffer(header.readableBytes() + body.readableBytes());httpBuf.writeBytes(header);httpBuf.writeBytes(body);

而實現 header 和 body 這兩個 ByteBuf 的合并，需要先初始化一個新的 httpBuf，然后再將 header 和 body 分別拷貝到新的 httpBuf。合并過程中涉及兩次 CPU 拷貝，這非常浪費性能，所以我們就可以使用 CompositeByteBuf 了，它的使用如下：

CompositeByteBuf httpBuf = Unpooled.compositeBuffer();httpBuf.addComponents(true, header, body);

CompositeByteBuf 通過調用 addComponents() 方法來添加多個 ByteBuf，但是底層的 byte 數組是復用的，不會發生內存拷貝。

3.3 通過Unpooled.wrappedBuffer合并數據

Unpooled.wrappedBuffer 的操作類似，使用它可以將不同的數據源的一個或者多個數據包裝成一個大的 ByteBuf 對象，其中數據源的類型包括 byte[]、ByteBuf、ByteBuffer。包裝的過程中不會發生數據拷貝操作，包裝后生成的 ByteBuf 對象和原始 ByteBuf 對象是共享底層的 byte 數組。

3.4 使用 ByteBuf.slice 共享對象

ByteBuf.slice 和 Unpooled.wrappedBuffer 的邏輯正好相反，ByteBuf.slice 是將一個 ByteBuf 對象切分成多個共享同一個底層存儲的 ByteBuf 對象，從而避免對象分割時的數據拷貝，它的使用如下：

ByteBuf httpBuf = ...ByteBuf header = httpBuf.slice(0, 6);ByteBuf body = httpBuf.slice(6, 4);

3.5 使用 FileRegion 實現文件零拷貝

FileRegion 底層封裝了 FileChannel#transferTo() 方法，可以將文件緩沖區的數據直接傳輸到目標 Channel，避免內核緩沖區和用戶態緩沖區之間的數據拷貝，這屬于操作系統級別的零拷貝。

以下是 FileRegion 的默認實現類 DefaultFileRegion 的使用案例：

@Overridepublic void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {    RandomAccessFile raf = null;    long length = -1;    try {        raf = new RandomAccessFile(msg, "r");        length = raf.length();    } catch (Exception e) {        ctx.writeAndFlush("ERR: " + e.getClass().getSimpleName() + ": " + e.getMessage() + '/n');        return;    } finally {        if (length < 0 && raf != null) {            raf.close();        }    }    ctx.write("OK: " + raf.length() + '/n');    if (ctx.pipeline().get(SslHandler.class) == null) {        // SSL not enabled - can use zero-copy file transfer.        ctx.write(new DefaultFileRegion(raf.getChannel(), 0, length));    } else {        // SSL enabled - cannot use zero-copy file transfer.        ctx.write(new ChunkedFile(raf));    }    ctx.writeAndFlush("/n");}

從上述代碼可以看出，可以通過 DefaultFileRegion 將文件內容直接寫入到 NioSocketChannel 中，從而避免了內核緩沖區和用戶態緩沖區之間的數據拷貝。

本文鏈接：http://www.www897cc.com/showinfo-26-92592-0.html美團面試：說說Netty的零拷貝技術？

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： JavaScript 奇葩行為大賞

下一篇：使用Rust開發的區塊鏈(Solana)與Socket.IO進行實時無人機數據傳輸

標簽：

熱門焦點

一加Ace2 Pro官宣：普及16G內存引領24G

一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
SpringBoot中使用Cache提升接口性能詳解

環境：springboot2.3.12.RELEASE + JSR107 + Ehcache + JPASpring 框架從 3.1 開始，對 Spring 應用程序提供了透明式添加緩存的支持。和事務支持一樣，抽象緩存允許一致地使用各
如何使用JavaScript創建一只圖像放大鏡？

譯者 | 布加迪審校 | 重樓如果您曾經瀏覽過購物網站，可能遇到過圖像放大功能。它可以讓您放大圖像的特定區域，以便瀏覽。結合這個小小的重要功能可以大大改善您網站的用戶體驗
這款新興工具平臺，讓你的電腦效率翻倍

隨著信息技術的發展,我們獲取信息的渠道越來越多,但是處理信息的效率卻成為一個瓶頸。于是各種工具應運而生,都在爭相解決我們的工作效率問題。今天我要給大家介紹一款效率
簽約井川里予、何丹彤，單視頻點贊近千萬，MCN黑馬永恒文希快速崛起！

來源：視聽觀察永恒文希傳媒作為一家MCN公司，說起它的名字來，可能大家會覺得有點兒陌生，但是說出來下面一串的名字之后，或許大家就會感到震驚，原來這么多網紅，都簽約這家公司了。根
華為發布HarmonyOS 4：更好玩、更流暢、更安全

在8月4日的華為開發者大會2023（HDC.Together）大會上，HarmonyOS 4正式發布。自2019年發布以來，HarmonyOS一直以用戶為中心，經歷四年多的發展HarmonyOS已
蘋果公司要求三星和LG Display生產「無邊框」OLED iPhone顯示屏

據 The Elec 報道，蘋果已要求其供應商為未來的 iPhone 型號開發「無邊框」OLED 顯示面板。蘋果顯然已要求三星和 LG Display 開發新的 OLED 顯示面
2299元起！iQOO Pad明晚首銷：性能最強天璣平板

5月23日，iQOO如期舉行了新品發布會，除了首發安卓最強旗艦處理器的iQOO Neo8系列新機外，還在發布會上推出了旗下首款平板電腦——iQOO Pad，其最大的賣點
OPPO K11搭載高性能石墨散熱系統：旗艦同款性能涼爽釋放

日前OPPO官方宣布，將于7月25日14:30舉辦新品發布會，屆時全新的OPPO K11將正式與大家見面，將主打旗艦影像，和同檔位競品相比，其最大的賣點就是將配備索尼

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

美團面試：說說Netty的零拷貝技術？

一、零拷貝技術和性能

1.1 什么是用戶態和內核態？

1.2 什么是DMA？

二、Linux零拷貝技術

2.1 MMap

2.2 senFile 方法

三、Netty零拷貝技術

3.1 使用堆外內存

3.2 使用CompositeByteBuf合并對象

3.3 通過Unpooled.wrappedBuffer合并數據

3.4 使用 ByteBuf.slice 共享對象

3.5 使用 FileRegion 實現文件零拷貝

一加Ace2 Pro官宣：普及16G內存引領24G

SpringBoot中使用Cache提升接口性能詳解

如何使用JavaScript創建一只圖像放大鏡？

這款新興工具平臺，讓你的電腦效率翻倍

簽約井川里予、何丹彤，單視頻點贊近千萬，MCN黑馬永恒文希快速崛起！

華為發布HarmonyOS 4：更好玩、更流暢、更安全

蘋果公司要求三星和LG Display生產「無邊框」OLED iPhone顯示屏

2299元起！iQOO Pad明晚首銷：性能最強天璣平板

OPPO K11搭載高性能石墨散熱系統：旗艦同款性能涼爽釋放

最新推薦

猜你喜歡

熱門推薦

相關資訊