俄羅斯：將審查iPhone等外國公司設備 保數據安全
iPhone和特斯拉都屬于在各自領域領頭羊的品牌，推出的產品也也都是數一數二的，但對于一些國家而言，它們的產品可靠性和安全性還是在限制范圍內。近日，俄羅斯聯邦通信、信息技術
DeepMind新發布的AlphaFold 3是科技圈今天的絕對大熱門，成為了Hacker News等許多科技媒體的頭版頭條。
圖片
Hacker News熱榜上緊隨其后的則是今年2月發布的論文「一致性大語言模型」。
圖片
到底是什么樣的成果，竟然可以頂著AlphaFold 3的熱度出圈？
這篇論文不僅切中了大語言模型推理速度慢的痛點，而且實現了性能大幅度提升。
圖片
CLLM在多個下游任務上都取得了2-3倍的加速，且推理過程沒有引入額外成本。在GSM8K和Spider兩個任務中，相比今年1月剛發布的Medusa 2都有了明顯提升。
圖片
論文的兩位共同一作都是一年級博士生，分別是來自上海交通大學的寇思麒和來自加州大學圣地亞哥分校的胡嵐翔，他們的指導老師是交大的鄧志杰教授和UCSD的張昊教授，后者也是Vicuna/vLLM/Chatbot Arena等項目的作者。
目前這篇論文已經被ICML 2024會議接收，所用代碼已在GitHub上開源，可以在HuggingFace倉庫上看到模型多個版本的權重。
圖片
https://huggingface.co/cllm
圖片
https://github.com/hao-ai-lab/Consistency_LLM
以GPT和Llama家族為代表的大語言模型雖然可以出色地完成人類語言任務，但代價也是巨大的。
除了參數量大，推理速度慢、token吞吐量低也是經常被人詬病的問題，尤其是對于上下文信息較多的任務，因此大語言模型的部署和在現實中的應用十分受限。
Reddit上經常有開發者詢問減少LLM推理時間的方法，有人曾經發帖，在64G GPU內存、4塊英偉達T4芯片上用langchain部署7B的Llama 2模型后，需要10秒鐘回答較小的查詢，較大的查詢則需要3分鐘。
為了提高推理速度和token吞吐量，研究者們想了很多方法，比如去年很流行的vLLM推理框架，就是通過改進注意力算法來提高語言模型的效率。
CLLM的思路則放在了解碼上，使用更適合并行的Jacobi算法替代傳統的自回歸方法。
自回歸解碼算法在運行時，每次只能基于已知序列生成1個token，這種基于時間序列的算法對GPT之類的大模型非常不友好，要想實現并行化的推理，就必須修改模型架構或者添加額外的構件。
圖片
這篇研究則提出，使用Jacobi解碼算法取代傳統的自回歸，每一次解碼可以同時生成序列后n個token。
Jacobi解碼源自用于求解非線性方程的Jacobi和Gauss-Seidel定點迭代，并被證明與使用貪婪解碼的自回歸生成相同。
給定一個初始序列時，首先生成n個隨機token作為起始點，之后將這n個token的優化問題看作n個非線性方程組，里面含有的n個變量可以基于Jacobi迭代并行求解。
每一次Jacobi迭代可以預測出一個或多個正確的token，進行多輪迭代直至收斂，就完成了n個token的預測，迭代的過程形成Jacobi軌跡。
圖片
本篇文章所用Jacobi算法的靈感追溯至2021年的一篇論文，用求解非線性方程組加速神經網絡計算。
圖片
論文地址：https://arxiv.org/pdf/2002.03629
以及張昊組的另一篇論文lookahead decoding：
圖片
論文地址：https://arxiv.org/pdf/2402.02057
使用Jacobi算法解碼時，大語言模型的推理過程可以被歸納為——一致地將雅可比軌跡
本文鏈接：http://www.www897cc.com/showinfo-26-87963-0.html拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3 聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com 上一篇： 異步編程在C#中的應用：深入理解Task
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號