日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁(yè) > 科技  > 軟件

四行代碼讓大模型上下文暴增3倍,羊駝Mistral都適用

來源: 責(zé)編: 時(shí)間:2024-01-08 17:10:36 213觀看
導(dǎo)讀無需微調(diào),只要四行代碼就能讓大模型窗口長(zhǎng)度暴增,最高可增加3倍!而且是“即插即用”,理論上可以適配任意大模型,目前已在Mistral和Llama2上試驗(yàn)成功。有了這項(xiàng)技術(shù),大模型(LargeLM)就能搖身一變,成為L(zhǎng)ongLM。近日,來自得克薩斯

無需微調(diào),只要四行代碼就能讓大模型窗口長(zhǎng)度暴增,最高可增加3倍!wWq28資訊網(wǎng)——每日最新資訊28at.com

而且是“即插即用”,理論上可以適配任意大模型,目前已在Mistral和Llama2上試驗(yàn)成功。wWq28資訊網(wǎng)——每日最新資訊28at.com

有了這項(xiàng)技術(shù),大模型(LargeLM)就能搖身一變,成為L(zhǎng)ongLM。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

近日,來自得克薩斯農(nóng)工大學(xué)等機(jī)構(gòu)的華人學(xué)者們發(fā)布了全新的大模型窗口擴(kuò)展方法SelfExtended(簡(jiǎn)稱SE)wWq28資訊網(wǎng)——每日最新資訊28at.com

在Mistral上,研究者在24k長(zhǎng)度的文本中隨機(jī)插入5位數(shù)字讓模型搜索,結(jié)果經(jīng)SE處理后,呈現(xiàn)出了全綠(通過)的測(cè)試結(jié)果。wWq28資訊網(wǎng)——每日最新資訊28at.com

而未經(jīng)處理的版本,在6k長(zhǎng)度時(shí)就已經(jīng)開始“見紅”了。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

GitHub Copilot主創(chuàng)Alex Graveley也激動(dòng)地宣布,在Llama2上進(jìn)行的實(shí)驗(yàn)同樣取得了成功。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

在網(wǎng)友的進(jìn)一步詢問之下,Alex解釋了推文中“work”的具體含義:原先在4k長(zhǎng)度時(shí)就會(huì)出現(xiàn)的噪聲,現(xiàn)在已經(jīng)消失了。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

而對(duì)于SE窗口長(zhǎng)度的極限,一位根據(jù)論文復(fù)現(xiàn)SE代碼的大佬表示,理論上(只要算力足夠)可以達(dá)到無限長(zhǎng)。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

那么,SE具體能達(dá)到什么樣的效果呢?wWq28資訊網(wǎng)——每日最新資訊28at.com

長(zhǎng)文本能力顯著增強(qiáng)

在窗口長(zhǎng)度從4096增長(zhǎng)到16384的過程中,Llama 2的困惑度從一開始變飆升了兩個(gè)數(shù)量級(jí)。wWq28資訊網(wǎng)——每日最新資訊28at.com

但使用SE后,文本長(zhǎng)度變成了原來的4倍,困惑度卻只增加了0.4。wWq28資訊網(wǎng)——每日最新資訊28at.com

而在Mistral上,SE比Mistral自身采用的滑動(dòng)窗口(SWA)機(jī)制帶來了更低的困惑度。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

△左下圖使用對(duì)數(shù)坐標(biāo)

在專為長(zhǎng)文本模型設(shè)計(jì)的LongBench數(shù)據(jù)集中,SE處理后的模型在單/多文檔問答、總結(jié)、少樣本學(xué)習(xí)、代碼等任務(wù)中,評(píng)分均相比起原始版本有所提升。wWq28資訊網(wǎng)——每日最新資訊28at.com

特別是在一個(gè)名為SOLAR的模型上,處理后的模型在16k長(zhǎng)度下的表現(xiàn)比原始版本在4k長(zhǎng)度下的表現(xiàn)還要優(yōu)異。wWq28資訊網(wǎng)——每日最新資訊28at.com

SOLAR由兩個(gè)羊駝掐頭去尾拼接而成,這種拼接的方式,使得其注意力層結(jié)構(gòu)與其他基于Transformer的模型形成了一定差異。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

同時(shí),在GSM等由考試題組成的閉域問答任務(wù)中,SE優(yōu)化后的模型也都相比原始版本取得了更高的平均成績(jī),在Mistral上稍遜于其自身的SWA方法。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

而長(zhǎng)文本能力的增強(qiáng),并沒有帶來模型在短文本上的能力下降。wWq28資訊網(wǎng)——每日最新資訊28at.com

在HuggingFace的OpenLLM基準(zhǔn)下,SE版Llama2的測(cè)評(píng)成績(jī)相比原版均為發(fā)生顯著降低。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

目前,SE的開箱即用版支持Phi、Llama和Mistral三種模型,在這三種模型上只需4行代碼就能進(jìn)行窗口擴(kuò)增。wWq28資訊網(wǎng)——每日最新資訊28at.com

對(duì)于其他模型,則需要對(duì)代碼進(jìn)行一定修改。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

那么,SE是如何給模型增加窗口長(zhǎng)度的呢?wWq28資訊網(wǎng)——每日最新資訊28at.com

兩種注意力機(jī)制共同作用

研究者認(rèn)為,長(zhǎng)文本能力是大模型本身就具有的,但需要通過一定方法激發(fā)才能實(shí)現(xiàn)。wWq28資訊網(wǎng)——每日最新資訊28at.com

其中最主要的問題是,大模型在處理長(zhǎng)文本時(shí),會(huì)遇到相對(duì)位置編碼超出訓(xùn)練時(shí)所見范圍的情況。wWq28資訊網(wǎng)——每日最新資訊28at.com

針對(duì)這一情況,作者采用了FLOOR注意力機(jī)制作為解決策略。wWq28資訊網(wǎng)——每日最新資訊28at.com

FLOOR對(duì)輸入的文本序列進(jìn)行分組,然后用組數(shù)對(duì)某一token的絕對(duì)位置做取整除,就可以長(zhǎng)距離將映射到較短的范圍。wWq28資訊網(wǎng)——每日最新資訊28at.com

然后,對(duì)這些映射值進(jìn)行注意力運(yùn)算,就解決了位置編碼超限的問題,實(shí)現(xiàn)了長(zhǎng)文本的處理。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

而在處理中短長(zhǎng)度文本時(shí),仍然使用模型原有的注意力機(jī)制,從而確保了模型不會(huì)“顧此失彼”,避免因長(zhǎng)文本能力的增長(zhǎng)導(dǎo)致短文本能力損失。wWq28資訊網(wǎng)——每日最新資訊28at.com

此外,在Mistral上復(fù)現(xiàn)SE的作者還坦言,目前該模型并不完美,可能存在計(jì)算量暴增的問題。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

同時(shí),SE的原作者也說,目前SE方法的確還沒有做過效率方面的優(yōu)化,未來計(jì)劃通過引入FlashAttention機(jī)制等策略來解決這一問題。wWq28資訊網(wǎng)——每日最新資訊28at.com

圖片wWq28資訊網(wǎng)——每日最新資訊28at.com

論文地址:https://arxiv.org/abs/2401.01325wWq28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-58903-0.html四行代碼讓大模型上下文暴增3倍,羊駝Mistral都適用

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 在Rust中編寫自動(dòng)化測(cè)試

下一篇: 在 Flutter 中創(chuàng)建圓角圖像和圓形圖像有多少種方法?

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 主站蜘蛛池模板: 鲁甸县| 肃北| 凤山县| 囊谦县| 教育| 威宁| 中牟县| 桑日县| 衡阳县| 遂川县| 伊川县| 呼图壁县| 敖汉旗| 盐边县| 仁寿县| 桐梓县| 蚌埠市| 长治市| 汽车| 电白县| 阿合奇县| 华池县| 南昌市| 东城区| 彭州市| 双牌县| 喀什市| 讷河市| 酒泉市| 丁青县| 亚东县| 南皮县| 海安县| 班玛县| 密云县| 蓝山县| 克什克腾旗| 英吉沙县| 江山市| 乌鲁木齐市| 静乐县|