日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

70B 模型秒出 1000token,代碼重寫超越 GPT-4o,來自 OpenAI 投資的代碼神器 Cursor 團隊

來源: 責編: 時間:2024-05-21 09:03:28 177觀看
導讀 70B 模型,秒出 1000token,換算成字符接近 4000!研究人員將 Llama3 進行了微調并引入加速算法,和原生版本相比,速度足足快出了快了 13 倍!不僅是快,在代碼重寫任務上的表現甚至超越了 GPT-4o。這項成果,來自爆火的 AI

70B 模型,秒出 1000token,換算成字符接近 4000!c3K28資訊網——每日最新資訊28at.com

研究人員將 Llama3 進行了微調并引入加速算法,和原生版本相比,速度足足快出了快了 13 倍!c3K28資訊網——每日最新資訊28at.com

不僅是快,在代碼重寫任務上的表現甚至超越了 GPT-4o。c3K28資訊網——每日最新資訊28at.com

這項成果,來自爆火的 AI 編程神器 Cursor 背后團隊 anysphere,OpenAI 也參與過投資。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

要知道在以快著稱的推理加速框架 Groq 上,70B Llama3 的推理速度也不過每秒 300 多 token。c3K28資訊網——每日最新資訊28at.com

Cursor 這樣的速度,可以說是實現了近乎即時的完整代碼文件編輯。c3K28資訊網——每日最新資訊28at.com

有人直呼好家伙,如果把 Cursor 魔改后的 Llama3 放到 Groq 上,是不是每秒能跑出上萬 token 了。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

更是有人激動地說,在大模型領域,我們正在消除“延時”這一概念。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

引入全新推理加速算法

作者此次設計的加速方法,主要是用來解決一種名為“Fast Apply”的任務,即對代碼內容進行快速修改并應用。c3K28資訊網——每日最新資訊28at.com

首先需要說明的是,雖然說任務最終實現的效果是代碼的局部修改,但是實際操作過程中,輸出并非是只有變化的內容,而是直接全局重寫。c3K28資訊網——每日最新資訊28at.com

這樣做的原因,是團隊在預先測試后做出的選擇 —— 他們發現,除了 Claude-3-Opus,大多數模型在真?局部修改任務上的表現都不理想。c3K28資訊網——每日最新資訊28at.com

之所以會這樣,主要有以下三個原因:c3K28資訊網——每日最新資訊28at.com

首先是直接重寫時會輸出更多 token,使得有更多的前向傳遞來確定正確的解決方案。c3K28資訊網——每日最新資訊28at.com

其次,模型的訓練數據也大部分都是完整代碼,對局部修改相對陌生。c3K28資訊網——每日最新資訊28at.com

此外,大模型糟糕的數學運算也無法保證能在輸出差異時正確處理行號。c3K28資訊網——每日最新資訊28at.com

(不過作者認為這仍然是一個有潛力的未來研究方向。)c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

確定了采用全局重寫的方案后,Cursor 團隊使用了任務相關的數據對 Llama3 進行了微調。c3K28資訊網——每日最新資訊28at.com

所采用的數據有真實編輯數據與合成數據兩大來源,按照 1:4 的比例進行了混合。c3K28資訊網——每日最新資訊28at.com

其中合成數據是指用 GPT-4 生成代碼編輯的建議,然后用其他模型將這些建議“應用”到原始代碼上。c3K28資訊網——每日最新資訊28at.com

為了提高數據集的質量,作者還對小文件、重復文件和無變化樣本進行了下采樣。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

為了評估這些模型的表現,作者讓它們處理了 450 個代碼編輯任務(每個都不超過 400 行),并用 Claude3-Opus 對輸出進行了打分。c3K28資訊網——每日最新資訊28at.com

最終,作者微調出的 70B Llama3 模型,表現幾乎與 Claude3-Opus-diff 匹配,并且優于 GPT-4-Turbo 和 GPT-4o。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

至此的微調解決了性能問題,但不難看出此時的 Llama3 速度依然很慢,每秒只能輸出不到 300 個字符(注意是字符,不是詞也不是 token)。c3K28資訊網——每日最新資訊28at.com

而讓改寫工作快到飛起的,還有另一項秘密武器。c3K28資訊網——每日最新資訊28at.com

針對代碼改寫任務,Cursor 團隊專門引入了一種名為預測性編輯(speculative edits)的算法。c3K28資訊網——每日最新資訊28at.com

這種方式用一種先驗算法來對多個后續 token 進行預測,然后再用本體大模型進行驗證,降低了大模型的調用次數,從而減輕了運算量。c3K28資訊網——每日最新資訊28at.com

這種先驗算法來自于代碼任務的一個特點 —— 相比于其他文本,其詞表更小,且語法結構、縮進規則等擁有更高的確定性,利用先驗知識可以更精準預測未來的 token。c3K28資訊網——每日最新資訊28at.com

這樣的做法也與 GPT-4 和 Meta 有著共通之處 ——c3K28資訊網——每日最新資訊28at.com

傳統的語言模型推理推理速度較慢的原因,主要是預測下一個 token 的過程通常是自回歸的,即模型在生成每個 token 時,都要考慮之前生成的所有 token。c3K28資訊網——每日最新資訊28at.com

為了降低運算量,以 GPT-4 為代表的大模型,使用了名為預測解碼(speculative decoding)的加速算法,通過小的近似模型提前進行預測,然后再讓本體大模型對預測結果進行驗證。c3K28資訊網——每日最新資訊28at.com

Cursor 和 GPT-4 的區別就在于,前者的小“模型”是一種更確定的算法,而后者只是模型規模減小,本質上仍是概率預測。c3K28資訊網——每日最新資訊28at.com

Meta 這邊則是推出了一次性預測多個后續 token 的算法,用 n 個獨立的輸出頭并行預測 n 個未來 token,結果發現在編程任務上表現尤其優異,原因是由于編程語言的邏輯結構更嚴謹,知識的內在聯系更緊密。c3K28資訊網——每日最新資訊28at.com

當然,Cursor 對這種特點利用更為充分,沒有用注意力頭,而是直接拿更確定的算法來做多 token 預測。c3K28資訊網——每日最新資訊28at.com

最終的結果就是,預測算法為 70B 的 Llama3 帶來了近 13 倍的速度提升,而測評表現沒有任何損失。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

此外,作者還與企業 AI 模型基礎設施平臺 fireworks.ai 合作,利用其優化的推理引擎和定制化的硬件環境,進一步提高了模型的運行效率。c3K28資訊網——每日最新資訊28at.com

未來,團隊還計劃進行知識蒸餾,并把預測編輯算法遷移到更小的 8B Llama3,并擴展到更多的編程語言和任務。c3K28資訊網——每日最新資訊28at.com

同時,對于 Cursor 團隊研究過但并未采用的真?局部修改(Diff)算法,作者也計劃進行改進。c3K28資訊網——每日最新資訊28at.com

One More Thing

在實驗當中,作者不僅用預測算法加速了 Llama3,也實現了對 GPT4-Turbo 的加速。c3K28資訊網——每日最新資訊28at.com

不過作者并沒有介紹具體在 GPT 當中如何實現,而是留做了思考題,還搞了一場“有獎競猜”。c3K28資訊網——每日最新資訊28at.com

能夠正確解答的人將獲得 1 個月的 Cursor 會員;如果能在 vllm 和 TensorRT-LLM 中實現預測加速,將分別獲得半年和一年的會員。c3K28資訊網——每日最新資訊28at.com

c3K28資訊網——每日最新資訊28at.com

如果你感覺有思路的話,不妨挑戰試試(手動狗頭)。c3K28資訊網——每日最新資訊28at.com

參考鏈接:c3K28資訊網——每日最新資訊28at.com

https://cursor.sh/blog/instant-apply#user-content-fnref-feel-differencec3K28資訊網——每日最新資訊28at.com

本文來自微信公眾號:量子位 (ID:QbitAI),作者:克雷西c3K28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4331-0.html70B 模型秒出 1000token,代碼重寫超越 GPT-4o,來自 OpenAI 投資的代碼神器 Cursor 團隊

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 文生圖 AI 巨頭 Stability AI 被曝欠下近 1 億美元,正與投資者洽談融資事宜

下一篇: 中國電信已在上海建成單集群的萬卡智算資源池,智算規模達 13EFLOPS

標簽:
  • 熱門焦點
  • 茅臺的元宇宙App火了,也被罵慘了

    元宇宙從概念走向大眾生活,并不是一件簡單的事情。技術、世界觀、填充內容、載體形式,每一個環節都需要層層疊疊的邏輯。但正如賽博朋克奠基人威廉·吉布
  • Niantic與索尼在音頻AR領域達成合作;?蘋果為Apple Park申請形象化商標

    今日熱點:迪士尼任命新高管負責元宇宙業務;iFixit成為Valve Index VR頭顯和Steam Deck首家零件銷售商;Niantic與索尼達成合作,將為AR游戲《Ingress》帶來音頻體驗;V
  • 2022年中國元宇宙產業系列研究報告-基礎設施篇(5)

    傳感器是由敏感元件和轉換元件構成,能夠感受規定的檢測量(物理量、化學量、生物量等),并按照一定規律將檢測量轉化成可用的輸出信號的器件和裝置,進而滿足信息的
  • 餐桌上怎么變出元宇宙?

    作者:星影“元宇宙讓餐飲業脫胎換骨。”實體的餐飲與虛擬的元宇宙,看起來風馬牛不相及,但最近全世界的餐飲企業都掀起了一股注冊元宇宙商標的熱潮。2月初,全球最大
  • 2030年的元宇宙產業將會如何發展?

    對互聯網巨頭傳統業務的反壟斷政策倒逼互聯網企業顛覆創新,尋找新的增長點,移動互聯網流量空間見頂之際,元宇宙時代紅利已然開啟。序章:元宇宙應用場景大猜想元宇
  • NFT自動售貨機來啦!

    “紐約市有一臺售賣 Solana NFT 的自動售貨機,用信用卡就能買”Solana NFT 市場 Neon 可讓您使用信用卡親自購買 NFT,無需使用加密貨幣。由于基于 Solana 鏈的 N
  • 對諷刺無動于衷,Nori將碳市場放在區塊鏈上

    當我們聊氣候問題的解決方案時,以太坊區塊鏈應該不是最首想到的,但這正是Nori所選擇的方案,它建立了一個引擎,鼓勵農民使用負碳耕作方法,將空氣中的碳抽出并放回地
  • Steam 禁止NFT和加密貨幣原因曝光

    近日,Valve(V社)總裁Gabe Newell接受PC Gamer采訪時解釋了該平臺禁止NFT和加密貨幣的原因。早在2021年10月18日,PC Gamer就報道Steam推出的新規:使用區塊鏈或允許交
  • 爆發在即的Layer2賽道百花齊放,誰將是領跑者?

    還記得幾年前最早我們提起ETH擴容,首先想到就是Layer2,而Layer2里,首先想到的是閃電網絡,狀態通道,Plasma…然后折騰了幾年,發現并沒有什么用,許多項目方和資本也等不
Top 主站蜘蛛池模板: 乐亭县| 深水埗区| 屏边| 仪陇县| 玉门市| 都兰县| 凤冈县| 玉树县| 鹤峰县| 定边县| 白玉县| 邮箱| 竹溪县| 福安市| 黄石市| 高清| 丹巴县| 菏泽市| 诸暨市| 河东区| 石棉县| 内乡县| 庆元县| 德清县| 兰坪| 莱州市| 庄河市| 丹东市| 二连浩特市| 库伦旗| 满洲里市| 华宁县| 乐陵市| 开江县| 巍山| 武安市| 余庆县| 铜山县| 富裕县| 甘孜| 茌平县|