昨日,網易有道宣布將自研的知識庫問答引擎 QAnything 正式開源,除了可以調用云端大模型服務,還支持純本地部署,所有用戶可免費在開源社區 Github 內進行下載,一鍵部署即可使用。該系統目前支持 word、ppt、excel、pdf、圖片等多種文檔格式,直接導入進去即可實現像 "ChatGPT" 一樣問答。
據了解,QAnything 的主要原理是基于檢索增強的生成(Retrieval Augmented Generation,簡稱 RAG),RAG 是目前很火的一種技術框架,它能夠利用檢索外部內容的方式增強大語言模型的準確度、專業能力和個性化等各方面的性能。
目前,通用大模型能力很強,但無法使用用戶的私有數據,且存在胡亂編造的幻覺問題。QAnything 作為有道自研的 RAG 引擎,則結合了用戶私有數據和大模型的優勢 —— 用戶的任何內容,以任意的形式存在,比如各種格式的文檔,音頻,數據庫等,都可以在 QAnything 的支持下,變成可以針對其內容進行問答的使用方式,通過這個技術框架用戶可以很方便地搭建自己的智能知識助手。
(QAnything 系統架構圖)
值得一提的是,本次開源的 QAnything 是一套完整的 RAG 系統,包括專門優化的自研的 embedding 和 rerank 模型,微調后的 LLM,優化后的推理代碼,向量數據庫,以及一個立即上手可用的前端。所有的算法模型(包括 7B 大模型 + embedding / rerank+OCR)占用顯存不超過 16G。
如今,QAnything 已在有道的多個產品中應用,包括有道翻譯文檔問答、有道速讀及有道內部業務的客服系統等。
以有道速讀為例,它是前不久子曰教育大模型最新發布的創新應用成果之一,目前上線在有道翻譯中。針對大家在日常生活中的閱讀文檔需求,有道速讀內置了文檔問答、文章摘要、要點解讀、引文口碑和領域綜述五大功能,能夠幫大家更快更準地獲得信息和對文檔的理解。而該功能背后的驅動就是 QAnything,在大模型技術的加持下,用戶能夠實現快速理解文檔、定位要點,實現 1 分鐘讀完萬字長文。
“目前,QAnything 項目還在不斷迭代,歡迎大家參與開發,并給予我們更多反饋。我們希望能幫助有需要的開發者們,和更多伙伴一起推動大模型的落地。”網易有道首席科學家段亦濤介紹道。
本文鏈接:http://www.www897cc.com/showinfo-26-63947-0.html又一大模型技術開源!網易有道自研 RAG 引擎 QAnything 正式開放下載
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com