當(dāng)前位置：首頁 > 科技 > 數(shù)碼

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

來源：責(zé)編：時間：2024-10-01 17:06:37 147觀看

導(dǎo)讀快科技10月1日消息，AMD發(fā)布了自己的首個小語言模型(SLM)，名為“AMD-135M”。相比于越來越龐大的大語言模型(LLM)，它體積小巧，更加靈活，更有針對性，非常適合私密性、專業(yè)性很強(qiáng)的企業(yè)部署。AMD-135小模

快科技10月1日消息，AMD發(fā)布了自己的首個小語言模型(SLM)，名為“AMD-135M”。

相比于越來越龐大的大語言模型(LLM)，它體積小巧，更加靈活，更有針對性，非常適合私密性、專業(yè)性很強(qiáng)的企業(yè)部署。

AMD-135小模型隸屬于Llama家族，有兩個版本：

一是基礎(chǔ)型“AMD-Llama-135M”，擁有多達(dá)6700億個token，在八塊Instinct MIM250 64GB加速器上訓(xùn)練了六天。

二是延伸型“AMD-Llama-135M-code”，額外增加了專門針對編程的200億個token，同樣硬件訓(xùn)練了四天。

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍創(chuàng)建與部署流程

它使用了一種名為“推測解碼”(speculative decoding)的方法，通過較小的草稿模型，在單次前向傳播中生成多個候選token，然后發(fā)送給更大的、更精確的目標(biāo)模型，進(jìn)行驗證或糾正。

這種方法可以同時生成多個token，不會影響性能，還可以降低內(nèi)存占用，但因為數(shù)據(jù)交易更多，功耗也會增加。

AMD還使用AMD-Llama-135M-code作為CodeLlama-7b的草案模型，測試了推測解碼使用與否的性能。

比如在MI250加速器上，性能可提升多約2.8倍，銳龍AI CPU上可提升多約3.88倍，銳龍AI NPU上可提升多約2.98倍。

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍推測解碼

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

AMD-135M小模型的訓(xùn)練代碼、數(shù)據(jù)集等資源都已經(jīng)開源，遵循Apache 2.0。

按照AMD的說法，它的性能與其他開源小模型基本相當(dāng)或略有領(lǐng)先，比如Hellaswag、SciQ、ARC-Easy等任務(wù)超過Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任務(wù)則基本類似GTP2-124MN、OPT-125M。

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

本文鏈接：http://www.www897cc.com/showinfo-24-117135-0.htmlAMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：銳龍7 9800X3D緩存不變還是104MB：頻率大漲！

下一篇： AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

標(biāo)簽：

熱門焦點

紅魔電競平板評測：大屏幕硬實力

前言：三年的疫情因為要上網(wǎng)課的原因激活了平板市場，如今網(wǎng)課的時代已經(jīng)過去，大家的生活都恢復(fù)到了正軌，這也就意味著，真正考驗平板電腦生存的環(huán)境來了。也就是面對著這種殘酷的
影音體驗是真的強(qiáng) 簡單聊聊iQOO Pad

大公司的好處就是產(chǎn)品線豐富，非常細(xì)分化的東西也能給你做出來，例如早先我們看到了新的vivo Pad2，之后我們又在iQOO Neo8 Pro的發(fā)布會上看到了iQOO的首款平板產(chǎn)品iQOO Pad。雖
三言兩語說透柯里化和反柯里化

JavaScript中的柯里化(Currying)和反柯里化(Uncurrying)是兩種很有用的技術(shù)，可以幫助我們寫出更加優(yōu)雅、泛用的函數(shù)。本文將首先介紹柯里化和反柯里化的概念、實現(xiàn)原理和應(yīng)用
多線程開發(fā)帶來的問題與解決方法

使用多線程主要會帶來以下幾個問題：（一）線程安全問題　　線程安全問題指的是在某一線程從開始訪問到結(jié)束訪問某一數(shù)據(jù)期間，該數(shù)據(jù)被其他的線程所修改，那么對于當(dāng)前線程而言，該線程
JavaScript學(xué)習(xí) -AES加密算法

引言在當(dāng)今數(shù)字化時代，前端應(yīng)用程序扮演著重要角色，用戶的敏感數(shù)據(jù)經(jīng)常在前端進(jìn)行加密和解密操作。然而，這樣的操作在網(wǎng)絡(luò)傳輸和存儲中可能會受到惡意攻擊的威脅。為了確保數(shù)據(jù)
華為HarmonyOS 4升級計劃公布：首批34款機(jī)型今日開啟公測

8月4日消息，今天下午華為正式發(fā)布了HarmonyOS 4系統(tǒng)，在更流暢的前提下，還帶來了不少新功能，UI設(shè)計也有變化，會讓手機(jī)煥然一新。華為宣布，首批機(jī)型將會在
3699元！iQOO Neo8 Pro頂配版今日首銷：1TB UFS 4.0同價位唯一

5月23日，iQOO推出了全新的iQOO Neo8系列，包含iQOO Neo8和iQOO Neo8 Pro兩個版本，其中標(biāo)準(zhǔn)版搭載高通驍龍8+，而Pro版更是首發(fā)搭載了聯(lián)發(fā)科天璣9200+旗艦
iQOO Neo8 Pro評測：旗艦雙芯加持最強(qiáng)性能游戲旗艦

【Techweb評測】去年10月，iQOO推出了一款Neo7手機(jī)，該機(jī)搭載了聯(lián)發(fā)科天璣9000+，配備獨(dú)顯芯片Pro+，帶來了同價位段最佳的游戲體驗，一經(jīng)上市便受到了諸多用
華為舉行春季智慧辦公新品發(fā)布會首次推出電子墨水屏平板

北京時間2月27日晚，華為在巴塞羅那舉行春季智慧辦公新品發(fā)布會，在海外市場推出之前已經(jīng)在中國市場上市的筆記本、平板、激光打印機(jī)等辦公產(chǎn)品，并首次推出搭載

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

紅魔電競平板評測：大屏幕硬實力

影音體驗是真的強(qiáng) 簡單聊聊iQOO Pad

三言兩語說透柯里化和反柯里化

多線程開發(fā)帶來的問題與解決方法

JavaScript學(xué)習(xí) -AES加密算法

華為HarmonyOS 4升級計劃公布：首批34款機(jī)型今日開啟公測

3699元！iQOO Neo8 Pro頂配版今日首銷：1TB UFS 4.0同價位唯一

iQOO Neo8 Pro評測：旗艦雙芯加持最強(qiáng)性能游戲旗艦

華為舉行春季智慧辦公新品發(fā)布會首次推出電子墨水屏平板

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊