日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

四行代碼讓大模型上下文暴增3倍,羊駝Mistral都適用

來源: 責編: 時間:2024-01-08 17:10:36 212觀看
導讀無需微調,只要四行代碼就能讓大模型窗口長度暴增,最高可增加3倍!而且是“即插即用”,理論上可以適配任意大模型,目前已在Mistral和Llama2上試驗成功。有了這項技術,大模型(LargeLM)就能搖身一變,成為LongLM。近日,來自得克薩斯

無需微調,只要四行代碼就能讓大模型窗口長度暴增,最高可增加3倍!Nt628資訊網——每日最新資訊28at.com

而且是“即插即用”,理論上可以適配任意大模型,目前已在Mistral和Llama2上試驗成功。Nt628資訊網——每日最新資訊28at.com

有了這項技術,大模型(LargeLM)就能搖身一變,成為LongLM。Nt628資訊網——每日最新資訊28at.com

圖片Nt628資訊網——每日最新資訊28at.com

近日,來自得克薩斯農工大學等機構的華人學者們發布了全新的大模型窗口擴展方法SelfExtended(簡稱SE)Nt628資訊網——每日最新資訊28at.com

在Mistral上,研究者在24k長度的文本中隨機插入5位數字讓模型搜索,結果經SE處理后,呈現出了全綠(通過)的測試結果。Nt628資訊網——每日最新資訊28at.com

而未經處理的版本,在6k長度時就已經開始“見紅”了。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

GitHub Copilot主創Alex Graveley也激動地宣布,在Llama2上進行的實驗同樣取得了成功。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

在網友的進一步詢問之下,Alex解釋了推文中“work”的具體含義:原先在4k長度時就會出現的噪聲,現在已經消失了。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

而對于SE窗口長度的極限,一位根據論文復現SE代碼的大佬表示,理論上(只要算力足夠)可以達到無限長。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

那么,SE具體能達到什么樣的效果呢?Nt628資訊網——每日最新資訊28at.com

長文本能力顯著增強

在窗口長度從4096增長到16384的過程中,Llama 2的困惑度從一開始變飆升了兩個數量級。Nt628資訊網——每日最新資訊28at.com

但使用SE后,文本長度變成了原來的4倍,困惑度卻只增加了0.4。Nt628資訊網——每日最新資訊28at.com

而在Mistral上,SE比Mistral自身采用的滑動窗口(SWA)機制帶來了更低的困惑度。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

△左下圖使用對數坐標

在專為長文本模型設計的LongBench數據集中,SE處理后的模型在單/多文檔問答、總結、少樣本學習、代碼等任務中,評分均相比起原始版本有所提升。Nt628資訊網——每日最新資訊28at.com

特別是在一個名為SOLAR的模型上,處理后的模型在16k長度下的表現比原始版本在4k長度下的表現還要優異。Nt628資訊網——每日最新資訊28at.com

SOLAR由兩個羊駝掐頭去尾拼接而成,這種拼接的方式,使得其注意力層結構與其他基于Transformer的模型形成了一定差異。Nt628資訊網——每日最新資訊28at.com

圖片Nt628資訊網——每日最新資訊28at.com

同時,在GSM等由考試題組成的閉域問答任務中,SE優化后的模型也都相比原始版本取得了更高的平均成績,在Mistral上稍遜于其自身的SWA方法。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

而長文本能力的增強,并沒有帶來模型在短文本上的能力下降。Nt628資訊網——每日最新資訊28at.com

在HuggingFace的OpenLLM基準下,SE版Llama2的測評成績相比原版均為發生顯著降低。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

目前,SE的開箱即用版支持Phi、Llama和Mistral三種模型,在這三種模型上只需4行代碼就能進行窗口擴增。Nt628資訊網——每日最新資訊28at.com

對于其他模型,則需要對代碼進行一定修改。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

那么,SE是如何給模型增加窗口長度的呢?Nt628資訊網——每日最新資訊28at.com

兩種注意力機制共同作用

研究者認為,長文本能力是大模型本身就具有的,但需要通過一定方法激發才能實現。Nt628資訊網——每日最新資訊28at.com

其中最主要的問題是,大模型在處理長文本時,會遇到相對位置編碼超出訓練時所見范圍的情況。Nt628資訊網——每日最新資訊28at.com

針對這一情況,作者采用了FLOOR注意力機制作為解決策略。Nt628資訊網——每日最新資訊28at.com

FLOOR對輸入的文本序列進行分組,然后用組數對某一token的絕對位置做取整除,就可以長距離將映射到較短的范圍。Nt628資訊網——每日最新資訊28at.com

然后,對這些映射值進行注意力運算,就解決了位置編碼超限的問題,實現了長文本的處理。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

而在處理中短長度文本時,仍然使用模型原有的注意力機制,從而確保了模型不會“顧此失彼”,避免因長文本能力的增長導致短文本能力損失。Nt628資訊網——每日最新資訊28at.com

此外,在Mistral上復現SE的作者還坦言,目前該模型并不完美,可能存在計算量暴增的問題。Nt628資訊網——每日最新資訊28at.com

圖片圖片Nt628資訊網——每日最新資訊28at.com

同時,SE的原作者也說,目前SE方法的確還沒有做過效率方面的優化,未來計劃通過引入FlashAttention機制等策略來解決這一問題。Nt628資訊網——每日最新資訊28at.com

圖片Nt628資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/abs/2401.01325Nt628資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-58903-0.html四行代碼讓大模型上下文暴增3倍,羊駝Mistral都適用

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 在Rust中編寫自動化測試

下一篇: 在 Flutter 中創建圓角圖像和圓形圖像有多少種方法?

標簽:
  • 熱門焦點
  • 三言兩語說透設計模式的藝術-簡單工廠模式

    一、寫在前面工廠模式是最常見的一種創建型設計模式,通常說的工廠模式指的是工廠方法模式,是使用頻率最高的工廠模式。簡單工廠模式又稱為靜態工廠方法模式,不屬于GoF 23種設計
  • 一篇聊聊Go錯誤封裝機制

    %w 是用于錯誤包裝(Error Wrapping)的格式化動詞。它是用于 fmt.Errorf 和 fmt.Sprintf 函數中的一個特殊格式化動詞,用于將一個錯誤(或其他可打印的值)包裝在一個新的錯誤中。使
  • 如何使用JavaScript創建一只圖像放大鏡?

    譯者 | 布加迪審校 | 重樓如果您曾經瀏覽過購物網站,可能遇到過圖像放大功能。它可以讓您放大圖像的特定區域,以便瀏覽。結合這個小小的重要功能可以大大改善您網站的用戶體驗
  • 共享單車的故事講到哪了?

    來源丨海克財經與共享充電寶相差不多,共享單車已很久沒有被國內熱點新聞關照到了。除了一再漲價和用戶直呼用不起了。近日多家媒體再發報道稱,成都、天津、鄭州等地多個共享單
  • 本地生活這塊肥肉,拼多多也想吃一口

    出品/壹覽商業 作者/李彥編輯/木魚拼多多也看上本地生活這塊蛋糕了。近期,拼多多在App首頁“充值中心”入口上線了本機生活界面。壹覽商業發現,該界面目前主要
  • 猿輔導與新東方的兩種“歸途”

    作者|卓心月 出品|零態LT(ID:LingTai_LT)如何成為一家偉大企業?答案一定是對“勢”的把握,這其中最關鍵的當屬對企業戰略的制定,且能夠站在未來看現在,即使這其中的
  • 回歸OPPO兩年,一加贏了銷量,輸了品牌

    成為OPPO旗下主打性能的先鋒品牌后,一加屢創佳績。今年618期間,一加手機全渠道銷量同比增長362%,憑借一加 11、一加 Ace 2、一加 Ace 2V三款爆品,一加
  • 聯想的ThinkBook Plus下一版曝光,鍵盤旁邊塞個平板

    ThinkBook Plus 是聯想的一個特殊筆記本類別,它在封面放入了一塊墨水屏,也給人留下了較為深刻的印象。據有人爆料,聯想的下一款 ThinkBook Plus 可能更特殊,它
  • 最薄的14英寸游戲筆記本電腦 Alienware X14已可以購買

    2022年1月份在國際消費電子展(CES2022)上首次亮相的Alienware新品——Alienware X14現在已經可以購買了,這款筆記本電腦被譽為世界上最薄的 14 英寸游戲筆
Top 主站蜘蛛池模板: 勐海县| 延津县| 沧州市| 库尔勒市| 凤凰县| 盐边县| 南昌县| 九江市| 惠水县| 达州市| 垣曲县| 青龙| 顺昌县| 米脂县| 阿城市| 清远市| 澄江县| 西青区| 大港区| 黎城县| 濮阳县| 舞钢市| 新邵县| 曲阜市| 玛曲县| 昂仁县| 陇南市| 新龙县| 攀枝花市| 横峰县| 吕梁市| 河津市| 永德县| 临海市| 高清| 定安县| 淮北市| 遂平县| 定襄县| 若尔盖县| 奇台县|