茅臺的元宇宙App火了，也被罵慘了
元宇宙從概念走向大眾生活，并不是一件簡單的事情。技術、世界觀、填充內容、載體形式，每一個環節都需要層層疊疊的邏輯。但正如賽博朋克奠基人威廉·吉布
70B 模型，秒出 1000token，換算成字符接近 4000！
研究人員將 Llama3 進行了微調并引入加速算法，和原生版本相比，速度足足快出了快了 13 倍！
不僅是快，在代碼重寫任務上的表現甚至超越了 GPT-4o。
這項成果，來自爆火的 AI 編程神器 Cursor 背后團隊 anysphere，OpenAI 也參與過投資。
要知道在以快著稱的推理加速框架 Groq 上，70B Llama3 的推理速度也不過每秒 300 多 token。
Cursor 這樣的速度，可以說是實現了近乎即時的完整代碼文件編輯。
有人直呼好家伙，如果把 Cursor 魔改后的 Llama3 放到 Groq 上，是不是每秒能跑出上萬 token 了。
更是有人激動地說，在大模型領域，我們正在消除“延時”這一概念。
作者此次設計的加速方法，主要是用來解決一種名為“Fast Apply”的任務，即對代碼內容進行快速修改并應用。
首先需要說明的是，雖然說任務最終實現的效果是代碼的局部修改，但是實際操作過程中，輸出并非是只有變化的內容，而是直接全局重寫。
這樣做的原因，是團隊在預先測試后做出的選擇 —— 他們發現，除了 Claude-3-Opus，大多數模型在真?局部修改任務上的表現都不理想。
之所以會這樣，主要有以下三個原因：
首先是直接重寫時會輸出更多 token，使得有更多的前向傳遞來確定正確的解決方案。
其次，模型的訓練數據也大部分都是完整代碼，對局部修改相對陌生。
此外，大模型糟糕的數學運算也無法保證能在輸出差異時正確處理行號。
（不過作者認為這仍然是一個有潛力的未來研究方向。）
確定了采用全局重寫的方案后，Cursor 團隊使用了任務相關的數據對 Llama3 進行了微調。
所采用的數據有真實編輯數據與合成數據兩大來源，按照 1:4 的比例進行了混合。
其中合成數據是指用 GPT-4 生成代碼編輯的建議，然后用其他模型將這些建議“應用”到原始代碼上。
為了提高數據集的質量，作者還對小文件、重復文件和無變化樣本進行了下采樣。
為了評估這些模型的表現，作者讓它們處理了 450 個代碼編輯任務（每個都不超過 400 行），并用 Claude3-Opus 對輸出進行了打分。
最終，作者微調出的 70B Llama3 模型，表現幾乎與 Claude3-Opus-diff 匹配，并且優于 GPT-4-Turbo 和 GPT-4o。
至此的微調解決了性能問題，但不難看出此時的 Llama3 速度依然很慢，每秒只能輸出不到 300 個字符（注意是字符，不是詞也不是 token）。
而讓改寫工作快到飛起的，還有另一項秘密武器。
針對代碼改寫任務，Cursor 團隊專門引入了一種名為預測性編輯（speculative edits）的算法。
這種方式用一種先驗算法來對多個后續 token 進行預測，然后再用本體大模型進行驗證，降低了大模型的調用次數，從而減輕了運算量。
這種先驗算法來自于代碼任務的一個特點 —— 相比于其他文本，其詞表更小，且語法結構、縮進規則等擁有更高的確定性，利用先驗知識可以更精準預測未來的 token。
這樣的做法也與 GPT-4 和 Meta 有著共通之處 ——
傳統的語言模型推理推理速度較慢的原因，主要是預測下一個 token 的過程通常是自回歸的，即模型在生成每個 token 時，都要考慮之前生成的所有 token。
為了降低運算量，以 GPT-4 為代表的大模型，使用了名為預測解碼（speculative decoding）的加速算法，通過小的近似模型提前進行預測，然后再讓本體大模型對預測結果進行驗證。
Cursor 和 GPT-4 的區別就在于，前者的小“模型”是一種更確定的算法，而后者只是模型規模減小，本質上仍是概率預測。
Meta 這邊則是推出了一次性預測多個后續 token 的算法，用 n 個獨立的輸出頭并行預測 n 個未來 token，結果發現在編程任務上表現尤其優異，原因是由于編程語言的邏輯結構更嚴謹，知識的內在聯系更緊密。
當然，Cursor 對這種特點利用更為充分，沒有用注意力頭，而是直接拿更確定的算法來做多 token 預測。
最終的結果就是，預測算法為 70B 的 Llama3 帶來了近 13 倍的速度提升，而測評表現沒有任何損失。
此外，作者還與企業 AI 模型基礎設施平臺 fireworks.ai 合作，利用其優化的推理引擎和定制化的硬件環境，進一步提高了模型的運行效率。
未來，團隊還計劃進行知識蒸餾，并把預測編輯算法遷移到更小的 8B Llama3，并擴展到更多的編程語言和任務。
同時，對于 Cursor 團隊研究過但并未采用的真?局部修改（Diff）算法，作者也計劃進行改進。
One More Thing在實驗當中，作者不僅用預測算法加速了 Llama3，也實現了對 GPT4-Turbo 的加速。
不過作者并沒有介紹具體在 GPT 當中如何實現，而是留做了思考題，還搞了一場“有獎競猜”。
能夠正確解答的人將獲得 1 個月的 Cursor 會員；如果能在 vllm 和 TensorRT-LLM 中實現預測加速，將分別獲得半年和一年的會員。
如果你感覺有思路的話，不妨挑戰試試（手動狗頭）。
參考鏈接：
https://cursor.sh/blog/instant-apply#user-content-fnref-feel-difference
本文來自微信公眾號：量子位 （ID：QbitAI），作者：克雷西
本文鏈接：http://www.www897cc.com/showinfo-45-4331-0.html70B 模型秒出 1000token，代碼重寫超越 GPT-4o，來自 OpenAI 投資的代碼神器 Cursor 團隊
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號