智能人機交互技術的春晚大考
1月初的一個早晨，京東智能客戶服務產品部緊急開會，進行關于尚未對外公布的“X項目”的初討論。1月5日，這個神秘的X項目對外公布，京東成為央視2022年春晚獨家互動合
10月06日消息，麻省理工學院與metaAI的研究人員最近宣布他們成功開發(fā)了一項名為StreamingLLM的創(chuàng)新框架，該框架被認為能夠解決大型語言模型面臨的內存和泛化問題，使其能夠輕松處理無限長度的文本內容。
這一研究的關鍵焦點在于克服實現(xiàn)高效流式語言模型(Efficient Streaming LanguageModels，ESLM)時所面臨的障礙，尤其是在長時間多輪對話等場景下可能出現(xiàn)的問題。
據(jù)ITBEAR科技資訊了解，研究人員指出，構建流式語言模型主要面臨兩大挑戰(zhàn)。解碼階段獲取標記(token)的鍵(Key)和值(Value)狀態(tài)會耗費大量內存。其次，現(xiàn)有的大型語言模型很難泛化到處理超出其訓練序列長度的長文本。
過去的研究嘗試解決這些挑戰(zhàn)，例如擴展注意力窗口以處理長文本或建立一個固定大小的活動窗口，只關注最近的標記狀態(tài)以維護內存使用和解碼速度。然而，這些策略在處理超出緩存大小的序列時表現(xiàn)不佳。
StreamingLLM采用了一種名為"注意力下沉"的策略，通過觀察到自回歸語言模型中，某些標記會獲得大量的注意力，即使它們在語義上并不重要，這些標記也會吸引模型的關注。這種策略確保了無論輸入序列的長度如何，模型的注意力計算都能保持穩(wěn)定。
StreamingLLM的重要貢獻在于提供了一種簡單而高效的解決方案，使語言模型能夠處理無限長度的文本，而無需進行微調。這將有助于解決當前流式應用中語言模型面臨的問題。雖然流式語言模型在未來將變得更加重要，但由于內存效率和長序列處理性能等方面的限制，相關模型的發(fā)展仍面臨挑戰(zhàn)。
據(jù)研究團隊驗證，StreamingLLM能夠使Llama2、MPT、Falcon和Pythia等模型可靠地處理長達400萬個標記的文本，從而為流式語言模型的部署提供了更多可能性。這一創(chuàng)新有望推動自然語言處理領域的發(fā)展，并為各種應用場景帶來更強大的語言模型支持。
本文鏈接：http://www.www897cc.com/showinfo-45-2093-0.htmlStreamingLLM框架亮相：突破文本長度限制
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號