搭上“谷愛凌”，“柳夜熙們”站上風(fēng)口？
作者：張琳 曹楊從“永不塌房”的藝人到頻頻亮相北京冬奧會(huì)，作為元宇宙細(xì)分賽道之一的虛擬數(shù)字人又火了一把。2月7日，即谷愛凌摘得冬奧會(huì)自由式滑雪大跳臺(tái)金牌的
1 月 27 日消息，阿里通義千問今日宣布，正式推出開源的 Qwen2.5-1M 模型及其對(duì)應(yīng)的推理框架支持。
從官方介紹獲悉，通義千問本次發(fā)布了兩個(gè)新的開源模型，分別是Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M，這是通義千問首次將開源的 Qwen 模型的上下文擴(kuò)展到 1M 長度。
為了幫助開發(fā)者更高效地部署 Qwen2.5-1M 系列模型，Qwen 團(tuán)隊(duì)完全開源了基于 vLLM 的推理框架，并集成了稀疏注意力方法，使得該框架在處理 1M 標(biāo)記輸入時(shí)的速度提升了 3 倍到 7 倍。
長上下文任務(wù)在上下文長度為 100 萬 Tokens 的大海撈針（Passkey Retrieval）任務(wù)中，Qwen2.5-1M 系列模型能夠準(zhǔn)確地從 1M 長度的文檔中檢索出隱藏信息，其中僅有 7B 模型出現(xiàn)了少量錯(cuò)誤。
對(duì)于更復(fù)雜的長上下文理解任務(wù)，選擇了 RULER、LV-Eval 和 LongbenchChat 測(cè)試集。
從這些結(jié)果中，Qwen 得出以下幾點(diǎn)關(guān)鍵結(jié)論：
顯著超越 128K 版本：Qwen2.5-1M 系列模型在大多數(shù)長上下文任務(wù)中顯著優(yōu)于之前的 128K 版本，特別是在處理超過 64K 長度的任務(wù)時(shí)表現(xiàn)出色。
性能優(yōu)勢(shì)明顯：Qwen2.5-14B-Instruct-1M 模型不僅擊敗了 Qwen2.5-Turbo，還在多個(gè)數(shù)據(jù)集上穩(wěn)定超越 GPT-4o-mini，為長上下文任務(wù)提供了開源模型的選擇。
短序列任務(wù)
可以發(fā)現(xiàn)：
Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 在短文本任務(wù)上的表現(xiàn)與其 128K 版本相當(dāng)，確保了基本能力沒有因?yàn)樵黾恿碎L序列處理能力而受到影響。
與 GPT-4o-mini 相比，Qwen2.5-14B-Instruct-1M 和 Qwen2.5-Turbo 在短文本任務(wù)上實(shí)現(xiàn)了相近的性能，同時(shí)上下文長度是 GPT-4o-mini 的八倍。
模型鏈接：https://www.modelscope.cn/collections/Qwen25-1M-d6cf9fd33f0a40
技術(shù)報(bào)告：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf
體驗(yàn)鏈接：https://modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo
本文鏈接：http://www.www897cc.com/showinfo-45-10254-0.html支持 100 萬 Tokens 上下文，阿里通義千問推出 Qwen2.5-1M 開源模型
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 全球首個(gè)港口服務(wù)類大模型方舟 TaaS 開啟公測(cè)，支持智能規(guī)劃路線并估算費(fèi)用
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)