當前位置：首頁 > 科技 > 軟件

Java Nio FileChannel堆內堆外數據讀寫全流程分析及使用

來源：責編：時間：2024-05-27 08:57:11 155觀看

導讀背景java nio中文件讀寫不管是普通文件讀寫，還是基于mmap實現零拷貝，都離不開FileChannel這個類。隨便打開RocketMQ 源碼搜索FileChannel。就可以看到使用頻率。圖片kafka也是。圖片所以在java中文件讀寫FileChannel尤

背景

java nio中文件讀寫不管是普通文件讀寫，還是基于mmap實現零拷貝，都離不開FileChannel這個類。

隨便打開RocketMQ 源碼搜索FileChannel。

就可以看到使用頻率。

圖片

kafka也是。

圖片

所以在java中文件讀寫FileChannel尤為重用。

java文件讀寫全流程

圖片

這里說的僅僅是FileChannel基于堆內存(HeapByteBuffer)的文件讀寫。

如果是mmap或者堆外內存，可能有些步驟會省略，相當于有一些優化。

FileChannel調用read，將HeapByteBuffer拷貝到DirectByteBuffer。
JVM在native層使用read系統調用進行文件讀取, 這里需要進行上下文切換，從用戶態進入內核態。
JVM 進程進入虛擬文件系統層,查看文件數據再page cache是否緩存，如果有則直接從page cache讀取并返回到DirectByteBuffer。
如果請求文件數據不在page caceh，則進入文件系統。通過塊驅動設備進行真正的IO，并進行文件預讀，比如讀取的文件可能只有1-10，但是會將1-20都讀取。
磁盤控制器DMA將磁盤中的數據拷貝到page cache中。這里發生了一次數據拷貝(非CPU拷貝)。
CPU將page cache數據拷貝到DirectByteBuffer，因為page cache屬于內核空間，JVM進程無法直接尋址。這里是發生第二次數據拷貝。
JVM進程從內核態切換回用戶態，這里如果使用的是堆內存(HeapByteBuffer),實際還需要將堆外內存DirectByteBuffer拷貝到堆內存(HeapByteBuffer)。

FileChannel讀寫文件(非MMAP)

public static void main(String[] args) {        String filename = "小奏技術.txt";        String content = "Hello, 小奏技術.";        // 寫入文件        writeFile(filename, content);        // 讀取文件        System.out.println("Reading from file:");        readFile(filename);    }    public static void writeFile(String filename, String content) {        // 創建文件對象        File file = new File(filename);        // 確保文件存在        if (!file.exists()) {            try {                boolean created = file.createNewFile();                if (!created) {                    System.err.println("Unable to create file: " + filename);                    return;                }            } catch (Exception e) {                System.err.println("An error occurred while creating the file: " + e.getMessage());                return;            }        }        // 使用FileChannel寫入文件        try (RandomAccessFile randomAccessFile = new RandomAccessFile(file, "rw");             FileChannel fileChannel = randomAccessFile.getChannel()) {            ByteBuffer buffer = ByteBuffer.allocate(content.getBytes().length);            buffer.put(content.getBytes());            buffer.flip(); // 切換到讀模式            while (buffer.hasRemaining()) {                fileChannel.write(buffer);            }        } catch (Exception e) {            System.err.println("An error occurred while writing to the file: " + e.getMessage());        }    }    public static void readFile(String filename) {        // 使用FileChannel讀取文件        try (RandomAccessFile randomAccessFile = new RandomAccessFile(filename, "r");             FileChannel fileChannel = randomAccessFile.getChannel()) {            ByteBuffer buffer = ByteBuffer.allocate((int) fileChannel.size());            while (fileChannel.read(buffer) > 0) {                // Do nothing, just read            }            // 切換到讀模式            buffer.flip();            /* while (buffer.hasRemaining()) {                System.out.print((char) buffer.get());            }*/            Charset charset = StandardCharsets.UTF_8;             String fileContent = charset.decode(buffer).toString();            System.out.print(fileContent);        } catch (Exception e) {            System.err.println("An error occurred while reading the file: " + e.getMessage());        }    }

這里需要注意的一個細節我們分配的內存的方式是：

ByteBuffer.allocate()

這里我們可以進入看看源碼：

圖片

實際構造的是HeapByteBuffer，也就是JVM的堆內存。

如果我們使用：

ByteBuffer.allocateDirect()

圖片

則構造的是堆外內存DirectByteBuffer。

HeapByteBuffer和DirectByteBuffer文件讀寫區別

我們看看FileChannel read方法：

圖片

發現IO相關的處理被封裝在IOUtil，我們繼續看看IOUtil的write方法：

圖片

可以看到如果是DirectBuffer則可以直接寫。如果是HeapByteBuffer則需要轉換為DirectByteBuffer。

圖片

為什么要在DirectByteBuffer做一層轉換

主要是HeapByteBuffer受JVM管理，也就是會受到GC影響。如果在進行native調用的時候發生了GC，會導致HeapByteBuffer的內容出現錯誤。具體詳細的說明可以看看這篇MappedByteBuffer VS FileChannel：從內核層面對比兩者的性能差異。講解的非常清晰。

參考

MappedByteBuffer VS FileChannel：從內核層面對比兩者的性能差異

本文鏈接：http://www.www897cc.com/showinfo-26-90858-0.htmlJava Nio FileChannel堆內堆外數據讀寫全流程分析及使用

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： Wire：Go語言依賴注入的利器

下一篇：避免鎖表：為Update語句中的Where條件添加索引字段

標簽：

熱門焦點

MIX Fold3包裝盒泄露新機本月登場

小米的全新折疊屏旗艦MIX Fold3將于本月發布，近日該機的真機包裝盒在網上泄露。從圖上來看，新的MIX Fold3包裝盒在外觀設計方面延續了之前的方案，變化不大，這也是目前小米旗艦
直屏旗艦來了 iQOO 12和K70 Pro同臺競技

旗艦機基本上使用的都是雙曲面屏幕，這就讓很多喜歡直屏的愛好者在苦等一款直屏旗艦，這次，你們等到了。據博主數碼閑聊站帶來的最新爆料稱，Redmi下代旗艦K70 Pro和iQOO 12兩款手
石頭智能洗地機A10 Plus體驗：雙向自清潔治好了我的懶癌

一、前言和介紹專為家庭請假懶人而生的石頭科技在近日又帶來了自己的全新旗艦新品，石頭智能洗地機A10 Plus。從這個產品名上就不難看出，這次石頭推出的并不是常見的掃地機器
7月安卓手機好評榜：三星S23Ultra好評率第一

性能榜和性價比榜之后，我們來看最后的安卓手機好評榜，數據來源安兔兔評測，收集時間2023年7月1日至7月31日，僅限國內市場。第一名：三星Galaxy S23 Ultra好評率：95.71%在即將迎來新
谷歌KDD'23工作：如何提升推薦系統Ranking模型訓練穩定性

谷歌在KDD 2023發表了一篇工作，探索了推薦系統ranking模型的訓練穩定性問題，分析了造成訓練穩定性存在問題的潛在原因，以及現有的一些提升模型穩定性方法的不足，并提出了一種新
小米MIX Fold 3下月亮相：今年唯一無短板的全能折疊屏

這段時間以來，包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都有新的進展，其中榮耀、三星都已陸續發布了最新的折疊屏旗艦，尤其號榮耀Magi
疑似小米14外觀設計圖曝光：后置相機模組變化不大

下半年的大幕已經開啟，而誰將成為下半年手機圈的主角就成為了大家關注的焦點，其中被傳有望拿下新一代驍龍8 Gen3旗艦芯片的小米14系列更是備受大家矚
華為將推出盤古數字人大模型可幫助用戶12小時完成數字人生成

在今日舉行的2023年華為云數字文娛AI創新峰會上，華為云全球Marketing與銷售服務總裁石冀琳表示，華為云將在后續推出盤古數字人大模型，可幫助用戶12小
英特爾Xe HPG游戲顯卡：擁有512EU，單風扇版本

據10 月 30 日外媒 TheVerge 消息報道，英特爾 Xe HPG Arc Alchemist 的正面實被曝光，不僅擁有 512 EU 版顯卡，還擁有 128EU 的單風扇版本。另外，這款顯卡 PCB

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

Java Nio FileChannel堆內堆外數據讀寫全流程分析及使用

背景

java文件讀寫全流程

FileChannel讀寫文件(非MMAP)

HeapByteBuffer和DirectByteBuffer文件讀寫區別

為什么要在DirectByteBuffer做一層轉換

參考

MIX Fold3包裝盒泄露新機本月登場

直屏旗艦來了 iQOO 12和K70 Pro同臺競技

石頭智能洗地機A10 Plus體驗：雙向自清潔治好了我的懶癌

7月安卓手機好評榜：三星S23Ultra好評率第一

谷歌KDD'23工作：如何提升推薦系統Ranking模型訓練穩定性

小米MIX Fold 3下月亮相：今年唯一無短板的全能折疊屏

疑似小米14外觀設計圖曝光：后置相機模組變化不大

華為將推出盤古數字人大模型可幫助用戶12小時完成數字人生成

英特爾Xe HPG游戲顯卡：擁有512EU，單風扇版本

最新推薦

猜你喜歡

熱門推薦

相關資訊