英偉達(dá)近日在文檔理解領(lǐng)域邁出了重要一步，推出了Llama Nemotron Nano VL視覺(jué)-語(yǔ)言模型，這一創(chuàng)新旨在高效且精準(zhǔn)地應(yīng)對(duì)復(fù)雜的文檔級(jí)理解挑戰(zhàn)。31228資訊網(wǎng)——每日最新資訊28at.com

Llama Nemotron Nano VL模型基于先進(jìn)的Llama 3.1架構(gòu)，巧妙融合了CRadioV2-H視覺(jué)編碼器和Llama 3.1 8B指令微調(diào)語(yǔ)言模型。這一結(jié)合使得模型能夠同時(shí)解析多頁(yè)文檔中的視覺(jué)和文本元素，支持處理長(zhǎng)達(dá)16K的上下文，無(wú)論是圖像還是文本序列，都能游刃有余。31228資訊網(wǎng)——每日最新資訊28at.com

為了實(shí)現(xiàn)視覺(jué)與文本的精準(zhǔn)對(duì)齊，該模型采用了投影層和旋轉(zhuǎn)位置編碼技術(shù)，這一創(chuàng)新極大地優(yōu)化了token效率，尤其適用于長(zhǎng)篇多模態(tài)任務(wù)。無(wú)論是面對(duì)多圖像輸入還是復(fù)雜的文本解析，Llama Nemotron Nano VL都能展現(xiàn)出卓越的性能。31228資訊網(wǎng)——每日最新資訊28at.com

31228資訊網(wǎng)——每日最新資訊28at.com

在模型訓(xùn)練過(guò)程中，英偉達(dá)采取了分階段策略。首先，利用豐富的商業(yè)圖像和視頻數(shù)據(jù)集進(jìn)行交錯(cuò)式圖文預(yù)訓(xùn)練，為模型打下堅(jiān)實(shí)基礎(chǔ)。隨后，通過(guò)多模態(tài)指令微調(diào)，進(jìn)一步提升模型的交互式提示能力。最后，重新混合純文本指令數(shù)據(jù)，以優(yōu)化模型在標(biāo)準(zhǔn)語(yǔ)言模型基準(zhǔn)上的表現(xiàn)。31228資訊網(wǎng)——每日最新資訊28at.com

31228資訊網(wǎng)——每日最新資訊28at.com

訓(xùn)練過(guò)程中，英偉達(dá)采用了自家的Megatron-LLM框架和Energon數(shù)據(jù)加載器，依托強(qiáng)大的A100和H100 GPU集群完成。在OCRBench v2基準(zhǔn)測(cè)試中，Llama Nemotron Nano VL在OCR、表格解析和圖表推理等任務(wù)上展現(xiàn)了領(lǐng)先精度，尤其在結(jié)構(gòu)化數(shù)據(jù)提取（如表格和鍵值對(duì)）及布局相關(guān)問(wèn)題解答中，表現(xiàn)尤為突出，甚至媲美更大規(guī)模的模型。31228資訊網(wǎng)——每日最新資訊28at.com

31228資訊網(wǎng)——每日最新資訊28at.com

在部署方面，Llama Nemotron Nano VL同樣表現(xiàn)出色。其設(shè)計(jì)靈活，支持服務(wù)器和邊緣推理場(chǎng)景，滿足多樣化的應(yīng)用需求。英偉達(dá)還提供了4-bit量化版本（AWQ），結(jié)合TinyChat和TensorRT-LLM實(shí)現(xiàn)高效推理，兼容Jetson Orin等受限環(huán)境。該模型還支持Modular NIM（NVIDIA推理微服務(wù)）、ONNX和TensorRT導(dǎo)出，為企業(yè)應(yīng)用提供了豐富的解決方案。31228資訊網(wǎng)——每日最新資訊28at.com

為了進(jìn)一步降低靜態(tài)圖像文檔處理的延遲，英偉達(dá)還引入了預(yù)計(jì)算視覺(jué)嵌入選項(xiàng)。這一創(chuàng)新使得Llama Nemotron Nano VL在處理圖像文檔時(shí)更加高效，為企業(yè)用戶帶來(lái)了實(shí)質(zhì)性的便利。31228資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-48-7489-0.html英偉達(dá)推出Llama Nemotron Nano VL：視覺(jué)-語(yǔ)言模型處理文檔更高效

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 任天堂Switch 2拆解曝光：搭載定制英偉達(dá)芯片，內(nèi)部設(shè)計(jì)有亮點(diǎn)也有槽點(diǎn)

下一篇： OpenAI付費(fèi)商業(yè)用戶數(shù)激增，職場(chǎng)版ChatGPT新功能助力企業(yè)高效運(yùn)作