日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁 > 元宇宙 > AI

70B 模型秒出 1000token,代碼重寫超越 GPT-4o,來自 OpenAI 投資的代碼神器 Cursor 團(tuán)隊

來源: 責(zé)編: 時間:2024-05-21 09:03:28 175觀看
導(dǎo)讀 70B 模型,秒出 1000token,換算成字符接近 4000!研究人員將 Llama3 進(jìn)行了微調(diào)并引入加速算法,和原生版本相比,速度足足快出了快了 13 倍!不僅是快,在代碼重寫任務(wù)上的表現(xiàn)甚至超越了 GPT-4o。這項成果,來自爆火的 AI

70B 模型,秒出 1000token,換算成字符接近 4000!e4j28資訊網(wǎng)——每日最新資訊28at.com

研究人員將 Llama3 進(jìn)行了微調(diào)并引入加速算法,和原生版本相比,速度足足快出了快了 13 倍!e4j28資訊網(wǎng)——每日最新資訊28at.com

不僅是快,在代碼重寫任務(wù)上的表現(xiàn)甚至超越了 GPT-4o。e4j28資訊網(wǎng)——每日最新資訊28at.com

這項成果,來自爆火的 AI 編程神器 Cursor 背后團(tuán)隊 anysphere,OpenAI 也參與過投資。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

要知道在以快著稱的推理加速框架 Groq 上,70B Llama3 的推理速度也不過每秒 300 多 token。e4j28資訊網(wǎng)——每日最新資訊28at.com

Cursor 這樣的速度,可以說是實(shí)現(xiàn)了近乎即時的完整代碼文件編輯。e4j28資訊網(wǎng)——每日最新資訊28at.com

有人直呼好家伙,如果把 Cursor 魔改后的 Llama3 放到 Groq 上,是不是每秒能跑出上萬 token 了。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

更是有人激動地說,在大模型領(lǐng)域,我們正在消除“延時”這一概念。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

引入全新推理加速算法

作者此次設(shè)計的加速方法,主要是用來解決一種名為“Fast Apply”的任務(wù),即對代碼內(nèi)容進(jìn)行快速修改并應(yīng)用。e4j28資訊網(wǎng)——每日最新資訊28at.com

首先需要說明的是,雖然說任務(wù)最終實(shí)現(xiàn)的效果是代碼的局部修改,但是實(shí)際操作過程中,輸出并非是只有變化的內(nèi)容,而是直接全局重寫。e4j28資訊網(wǎng)——每日最新資訊28at.com

這樣做的原因,是團(tuán)隊在預(yù)先測試后做出的選擇 —— 他們發(fā)現(xiàn),除了 Claude-3-Opus,大多數(shù)模型在真?局部修改任務(wù)上的表現(xiàn)都不理想。e4j28資訊網(wǎng)——每日最新資訊28at.com

之所以會這樣,主要有以下三個原因:e4j28資訊網(wǎng)——每日最新資訊28at.com

首先是直接重寫時會輸出更多 token,使得有更多的前向傳遞來確定正確的解決方案。e4j28資訊網(wǎng)——每日最新資訊28at.com

其次,模型的訓(xùn)練數(shù)據(jù)也大部分都是完整代碼,對局部修改相對陌生。e4j28資訊網(wǎng)——每日最新資訊28at.com

此外,大模型糟糕的數(shù)學(xué)運(yùn)算也無法保證能在輸出差異時正確處理行號。e4j28資訊網(wǎng)——每日最新資訊28at.com

(不過作者認(rèn)為這仍然是一個有潛力的未來研究方向。)e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

確定了采用全局重寫的方案后,Cursor 團(tuán)隊使用了任務(wù)相關(guān)的數(shù)據(jù)對 Llama3 進(jìn)行了微調(diào)。e4j28資訊網(wǎng)——每日最新資訊28at.com

所采用的數(shù)據(jù)有真實(shí)編輯數(shù)據(jù)與合成數(shù)據(jù)兩大來源,按照 1:4 的比例進(jìn)行了混合。e4j28資訊網(wǎng)——每日最新資訊28at.com

其中合成數(shù)據(jù)是指用 GPT-4 生成代碼編輯的建議,然后用其他模型將這些建議“應(yīng)用”到原始代碼上。e4j28資訊網(wǎng)——每日最新資訊28at.com

為了提高數(shù)據(jù)集的質(zhì)量,作者還對小文件、重復(fù)文件和無變化樣本進(jìn)行了下采樣。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

為了評估這些模型的表現(xiàn),作者讓它們處理了 450 個代碼編輯任務(wù)(每個都不超過 400 行),并用 Claude3-Opus 對輸出進(jìn)行了打分。e4j28資訊網(wǎng)——每日最新資訊28at.com

最終,作者微調(diào)出的 70B Llama3 模型,表現(xiàn)幾乎與 Claude3-Opus-diff 匹配,并且優(yōu)于 GPT-4-Turbo 和 GPT-4o。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

至此的微調(diào)解決了性能問題,但不難看出此時的 Llama3 速度依然很慢,每秒只能輸出不到 300 個字符(注意是字符,不是詞也不是 token)。e4j28資訊網(wǎng)——每日最新資訊28at.com

而讓改寫工作快到飛起的,還有另一項秘密武器。e4j28資訊網(wǎng)——每日最新資訊28at.com

針對代碼改寫任務(wù),Cursor 團(tuán)隊專門引入了一種名為預(yù)測性編輯(speculative edits)的算法。e4j28資訊網(wǎng)——每日最新資訊28at.com

這種方式用一種先驗(yàn)算法來對多個后續(xù) token 進(jìn)行預(yù)測,然后再用本體大模型進(jìn)行驗(yàn)證,降低了大模型的調(diào)用次數(shù),從而減輕了運(yùn)算量。e4j28資訊網(wǎng)——每日最新資訊28at.com

這種先驗(yàn)算法來自于代碼任務(wù)的一個特點(diǎn) —— 相比于其他文本,其詞表更小,且語法結(jié)構(gòu)、縮進(jìn)規(guī)則等擁有更高的確定性,利用先驗(yàn)知識可以更精準(zhǔn)預(yù)測未來的 token。e4j28資訊網(wǎng)——每日最新資訊28at.com

這樣的做法也與 GPT-4 和 Meta 有著共通之處 ——e4j28資訊網(wǎng)——每日最新資訊28at.com

傳統(tǒng)的語言模型推理推理速度較慢的原因,主要是預(yù)測下一個 token 的過程通常是自回歸的,即模型在生成每個 token 時,都要考慮之前生成的所有 token。e4j28資訊網(wǎng)——每日最新資訊28at.com

為了降低運(yùn)算量,以 GPT-4 為代表的大模型,使用了名為預(yù)測解碼(speculative decoding)的加速算法,通過小的近似模型提前進(jìn)行預(yù)測,然后再讓本體大模型對預(yù)測結(jié)果進(jìn)行驗(yàn)證。e4j28資訊網(wǎng)——每日最新資訊28at.com

Cursor 和 GPT-4 的區(qū)別就在于,前者的小“模型”是一種更確定的算法,而后者只是模型規(guī)模減小,本質(zhì)上仍是概率預(yù)測。e4j28資訊網(wǎng)——每日最新資訊28at.com

Meta 這邊則是推出了一次性預(yù)測多個后續(xù) token 的算法,用 n 個獨(dú)立的輸出頭并行預(yù)測 n 個未來 token,結(jié)果發(fā)現(xiàn)在編程任務(wù)上表現(xiàn)尤其優(yōu)異,原因是由于編程語言的邏輯結(jié)構(gòu)更嚴(yán)謹(jǐn),知識的內(nèi)在聯(lián)系更緊密。e4j28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)然,Cursor 對這種特點(diǎn)利用更為充分,沒有用注意力頭,而是直接拿更確定的算法來做多 token 預(yù)測。e4j28資訊網(wǎng)——每日最新資訊28at.com

最終的結(jié)果就是,預(yù)測算法為 70B 的 Llama3 帶來了近 13 倍的速度提升,而測評表現(xiàn)沒有任何損失。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

此外,作者還與企業(yè) AI 模型基礎(chǔ)設(shè)施平臺 fireworks.ai 合作,利用其優(yōu)化的推理引擎和定制化的硬件環(huán)境,進(jìn)一步提高了模型的運(yùn)行效率。e4j28資訊網(wǎng)——每日最新資訊28at.com

未來,團(tuán)隊還計劃進(jìn)行知識蒸餾,并把預(yù)測編輯算法遷移到更小的 8B Llama3,并擴(kuò)展到更多的編程語言和任務(wù)。e4j28資訊網(wǎng)——每日最新資訊28at.com

同時,對于 Cursor 團(tuán)隊研究過但并未采用的真?局部修改(Diff)算法,作者也計劃進(jìn)行改進(jìn)。e4j28資訊網(wǎng)——每日最新資訊28at.com

One More Thing

在實(shí)驗(yàn)當(dāng)中,作者不僅用預(yù)測算法加速了 Llama3,也實(shí)現(xiàn)了對 GPT4-Turbo 的加速。e4j28資訊網(wǎng)——每日最新資訊28at.com

不過作者并沒有介紹具體在 GPT 當(dāng)中如何實(shí)現(xiàn),而是留做了思考題,還搞了一場“有獎競猜”。e4j28資訊網(wǎng)——每日最新資訊28at.com

能夠正確解答的人將獲得 1 個月的 Cursor 會員;如果能在 vllm 和 TensorRT-LLM 中實(shí)現(xiàn)預(yù)測加速,將分別獲得半年和一年的會員。e4j28資訊網(wǎng)——每日最新資訊28at.com

e4j28資訊網(wǎng)——每日最新資訊28at.com

如果你感覺有思路的話,不妨挑戰(zhàn)試試(手動狗頭)。e4j28資訊網(wǎng)——每日最新資訊28at.com

參考鏈接:e4j28資訊網(wǎng)——每日最新資訊28at.com

https://cursor.sh/blog/instant-apply#user-content-fnref-feel-differencee4j28資訊網(wǎng)——每日最新資訊28at.com

本文來自微信公眾號:量子位 (ID:QbitAI),作者:克雷西e4j28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4331-0.html70B 模型秒出 1000token,代碼重寫超越 GPT-4o,來自 OpenAI 投資的代碼神器 Cursor 團(tuán)隊

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 文生圖 AI 巨頭 Stability AI 被曝欠下近 1 億美元,正與投資者洽談融資事宜

下一篇: 中國電信已在上海建成單集群的萬卡智算資源池,智算規(guī)模達(dá) 13EFLOPS

標(biāo)簽:
  • 熱門焦點(diǎn)
  • 新周期,誰在堅守窄門?

    來源:錦緞今日的投資者恐怕已經(jīng)忘記了,在OpenAI創(chuàng)造出ChatGPT這一殺器的前夜,生成式AI也曾經(jīng)是一道窄門,窄到連馬斯克都差點(diǎn)失去了信心。在當(dāng)時的輿論眼中,AGI的道路不夠性感,不夠
  • 大廠元宇宙,又菜又愛玩

    撰文 | 吳先之 編輯 | 王 潘當(dāng)下所有大廠推出的元宇宙產(chǎn)品,所能帶來的沉浸式體驗(yàn)并不多,好在國內(nèi)外科技巨頭在bug方面都處在同一水平線。以Meta為例,由于VR頭顯設(shè)
  • 游戲玩家才是最“元宇宙”的

    01元宇宙的概念,最早由科幻作家尼爾·斯蒂芬森于1992年在其著作《雪崩》中提出。它指的是一個脫胎于現(xiàn)實(shí)世界,又與現(xiàn)實(shí)世界平行、相互影響,并且始終在線的虛擬世
  • 江西將探索成立元宇宙聯(lián)盟,韓國將加強(qiáng)對NFT和元宇宙的監(jiān)管

    《元宇宙新鮮事》有:江西將探索成立元宇宙聯(lián)盟,支持南昌規(guī)劃建設(shè)元宇宙試驗(yàn)區(qū);韓國金融監(jiān)督局將加強(qiáng)對NFT和元宇宙的監(jiān)管;任天堂社長表示暫時不打算加入元宇宙。【
  • 元宇宙是數(shù)字共識生態(tài)的集成邏輯表達(dá)

    作者: 李鳴元宇宙是數(shù)字共識生態(tài)的集成邏輯表達(dá),是以區(qū)塊鏈技術(shù)為核心的可信數(shù)字化價值交互網(wǎng)絡(luò),是基于Web3.0技術(shù)體系和運(yùn)作機(jī)制支撐下的數(shù)字新生態(tài)。本體論是
  • 從英式拍到荷蘭拍,看傳統(tǒng)金融拍賣玩法如何玩轉(zhuǎn)NFT市場交易

    作者:魯拍賣是一種從古至今的商業(yè)活動。從古代的典當(dāng)?shù)浆F(xiàn)代的拍賣市場、我們熟知的拍賣行,以及知名街頭藝術(shù)家Bansky名畫拍賣成功后,竟自毀粉碎,現(xiàn)價值又翻倍的拍
  • Snoop Dogg 計劃推出致力于數(shù)字媒體NFT的專業(yè)公司

    雅痞哥不知道這人是誰還上新聞,問了助理,解釋,相當(dāng)于美版劉歡的地位吧。Snoop Dogg 在 NFT 領(lǐng)域已經(jīng)有一段時間了,尤其是在最近有消息稱人們在元宇宙中購買房地產(chǎn)
  • 虛擬人行業(yè)研究報告

    最早的虛擬人出現(xiàn)于 20 世紀(jì) 80 年代,受限于技術(shù),當(dāng)時的虛擬人制作以手繪為主。21 世紀(jì)初,隨著動捕、渲染等技術(shù)的逐步發(fā)展,虛擬人相關(guān)技術(shù)開始在影視領(lǐng)域逐漸普及
  • TX加入的NFT數(shù)字收藏品,元宇宙的破圈之路?

    3月7日,澳大利亞 NFT 初創(chuàng)公司 Immutable 在新加坡淡馬錫牽頭的R資中以估值 25 億美元完成2億美元R資,騰訊參投。想必國人最熟知的應(yīng)該就是TX,作為國內(nèi)四大互聯(lián)網(wǎng)

相關(guān)資訊

    SQL Error: select * from ***_ecms_news11 where id in(67,129,,258,104,7) limit 6
Top 主站蜘蛛池模板: 北京市| 宁安市| 马山县| 莎车县| 阿巴嘎旗| 伊金霍洛旗| 武陟县| 青龙| 务川| 子洲县| 阜平县| 芷江| 南漳县| 武义县| 沂南县| 乾安县| 宣汉县| 苏州市| 都安| 咸宁市| 同德县| 漳平市| 泰和县| 奉贤区| 衡阳县| 垣曲县| 丰台区| 奈曼旗| 云龙县| 淳安县| 贵溪市| 泰州市| 若尔盖县| 历史| 尼勒克县| 汝南县| 高碑店市| 南宁市| 平塘县| 云阳县| 小金县|