零拷貝(Zero-copy)技術是一種計算機操作系統(tǒng)中用于提高數(shù)據(jù)傳輸效率的優(yōu)化策略。在傳統(tǒng)的數(shù)據(jù)傳輸過程中,需要將數(shù)據(jù)從一個緩沖區(qū)拷貝到另一個緩沖區(qū),然后再傳輸給目標。這涉及到多次的 CPU 和內存之間的數(shù)據(jù)拷貝操作,會消耗 CPU 的時間和內存帶寬。而零拷貝技術通過直接共享數(shù)據(jù)的內存地址,避免了中間的拷貝過程,從而提高了數(shù)據(jù)傳輸?shù)男省?span style="display:none">i9q28資訊網(wǎng)——每日最新資訊28at.com
要搞明白零拷貝技術就要先搞清楚傳統(tǒng) IO 的執(zhí)行流程,傳統(tǒng)的 IO 的執(zhí)行流程如下:
操作系統(tǒng)有用戶態(tài)和內核態(tài)之分,這是因為計算機體系結構中的操作系統(tǒng)設計了兩個不同的執(zhí)行環(huán)境,以提供不同的功能和特權級別。
DMA(Direct Memory Access,直接內存訪問)技術,繞過 CPU,直接在內存和外設之間進行數(shù)據(jù)傳輸。這樣可以減少 CPU 的參與,提高數(shù)據(jù)傳輸?shù)男省?span style="display:none">i9q28資訊網(wǎng)——每日最新資訊28at.com
零拷貝技術可以利用 Linux 下的 MMap、sendFile 等手段來實現(xiàn),使得數(shù)據(jù)能夠直接從磁盤映射到內核緩沖區(qū),然后通過 DMA 傳輸?shù)骄W(wǎng)卡緩存,整個過程中 CPU 只負責管理和調度,而無需執(zhí)行實際的數(shù)據(jù)復制指令。
MMap(Memory Map)是 Linux 操作系統(tǒng)中提供的一種將文件映射到進程地址空間的一種機制,通過 MMap 進程可以像訪問內存一樣訪問文件,而無需顯式的復制操作。
使用 MMap 可以把 IO 執(zhí)行流程優(yōu)化成以下執(zhí)行步驟:
傳統(tǒng)的 IO 需要四次拷貝和四次上下文(用戶態(tài)和內核態(tài))切換,而 MMap 只需要三次拷貝和四次上下文切換,從而能夠提升程序整體的執(zhí)行效率,并且節(jié)省了程序的內存空間。
在 Linux 操作系統(tǒng)中 sendFile() 是一個系統(tǒng)調用函數(shù),用于高效地將文件數(shù)據(jù)從內核空間直接傳輸?shù)骄W(wǎng)絡套接字(Socket)上,從而實現(xiàn)零拷貝技術。這個函數(shù)的主要目的是減少 CPU 上下文切換以及內存復制操作,提高文件傳輸性能。
使用 sendFile() 可以把 IO 執(zhí)行流程優(yōu)化成以下執(zhí)行步驟:
在 Java 中,以下幾個地方使用了零拷貝技術:
NIO(New I/O)通道:java.nio.channels.FileChannel 提供了 transferTo() 和 transferFrom() 方法,可以直接將數(shù)據(jù)從一個通道傳輸?shù)搅硪粋€通道,例如從文件通道直接傳輸?shù)?Socket 通道,整個過程無需將數(shù)據(jù)復制到用戶空間緩沖區(qū),從而實現(xiàn)了零拷貝。
Socket Direct Buffer:在 JDK 1.4 及更高版本中,Java NIO 支持使用直接緩沖區(qū)(DirectBuffer),這類緩沖區(qū)是在系統(tǒng)堆外分配的,可以直接由網(wǎng)卡硬件進行 DMA 操作,減少數(shù)據(jù)在用戶態(tài)與內核態(tài)之間復制次數(shù) ,提高網(wǎng)絡數(shù)據(jù)發(fā)送效率。
Apache Kafka 或者 Netty 等高性能框架:這些框架在底層實現(xiàn)上通常會利用 Java NIO 的上述特性來優(yōu)化數(shù)據(jù)傳輸,如 Kafka 生產者和消費者在傳輸消息時會用到零拷貝技術以提升性能。
使用零拷貝技術可以減少 CPU 拷貝,及減少了上下文的切換帶來的性能開銷,提高了程序的整體執(zhí)行效率,它們的區(qū)別對比如下表格所示:
CPU 拷貝/次數(shù) | DMA 拷貝/次數(shù) | 上下文切換/次數(shù) | |
傳統(tǒng) IO | 2 | 2 | 4 |
MMap | 1 | 2 | 4 |
sendFile() | 1 | 2 | 2 |
本文鏈接:http://www.www897cc.com/showinfo-26-78501-0.html面試官:說說零拷貝的實現(xiàn)原理?
聲明:本網(wǎng)頁內容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com