當(dāng)前位置：首頁 > 科技 > 數(shù)碼

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

來源：責(zé)編：時間：2024-10-01 17:06:37 109觀看

導(dǎo)讀快科技10月1日消息，AMD發(fā)布了自己的首個小語言模型(SLM)，名為“AMD-135M”。相比于越來越龐大的大語言模型(LLM)，它體積小巧，更加靈活，更有針對性，非常適合私密性、專業(yè)性很強(qiáng)的企業(yè)部署。AMD-135小模

快科技10月1日消息，AMD發(fā)布了自己的首個小語言模型(SLM)，名為“AMD-135M”。

相比于越來越龐大的大語言模型(LLM)，它體積小巧，更加靈活，更有針對性，非常適合私密性、專業(yè)性很強(qiáng)的企業(yè)部署。

AMD-135小模型隸屬于Llama家族，有兩個版本：

一是基礎(chǔ)型“AMD-Llama-135M”，擁有多達(dá)6700億個token，在八塊Instinct MIM250 64GB加速器上訓(xùn)練了六天。

二是延伸型“AMD-Llama-135M-code”，額外增加了專門針對編程的200億個token，同樣硬件訓(xùn)練了四天。

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍創(chuàng)建與部署流程

它使用了一種名為“推測解碼”(speculative decoding)的方法，通過較小的草稿模型，在單次前向傳播中生成多個候選token，然后發(fā)送給更大的、更精確的目標(biāo)模型，進(jìn)行驗(yàn)證或糾正。

這種方法可以同時生成多個token，不會影響性能，還可以降低內(nèi)存占用，但因?yàn)閿?shù)據(jù)交易更多，功耗也會增加。

AMD還使用AMD-Llama-135M-code作為CodeLlama-7b的草案模型，測試了推測解碼使用與否的性能。

比如在MI250加速器上，性能可提升多約2.8倍，銳龍AI CPU上可提升多約3.88倍，銳龍AI NPU上可提升多約2.98倍。

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍推測解碼

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

AMD-135M小模型的訓(xùn)練代碼、數(shù)據(jù)集等資源都已經(jīng)開源，遵循Apache 2.0。

按照AMD的說法，它的性能與其他開源小模型基本相當(dāng)或略有領(lǐng)先，比如Hellaswag、SciQ、ARC-Easy等任務(wù)超過Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任務(wù)則基本類似GTP2-124MN、OPT-125M。

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

本文鏈接：http://www.www897cc.com/showinfo-24-117245-0.htmlAMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：銳龍7 9800X3D緩存不變還是104MB：頻率大漲！

下一篇： Intel下下代架構(gòu)大改！IPC性能飆升、APX新指令集

標(biāo)簽：

熱門焦點(diǎn)

vivo TWS Air開箱體驗(yàn)：真輕臻好聽

在vivo S15系列新機(jī)的發(fā)布會上，vivo的最新款真無線藍(lán)牙耳機(jī)vivo TWS Air也一同發(fā)布，本次就這款耳機(jī)新品給大家?guī)硪粋€簡單的分享。外包裝盒上，vivo TWS Air保持了vivo自家產(chǎn)
摸魚心法第一章——和配置文件說拜拜

為了能摸魚我們團(tuán)隊(duì)做了容器化，但是帶來的問題是服務(wù)配置文件很麻煩，然后大家在群里進(jìn)行了“親切友好”的溝通圖片圖片圖片圖片對比就對比，簡單對比下獨(dú)立配置中心和k8s作為配
2023 年的 Node.js 生態(tài)系統(tǒng)

隨著技術(shù)的不斷演進(jìn)和創(chuàng)新，Node.js 在 2023 年達(dá)到了一個新的高度。Node.js 擁有一個龐大的生態(tài)系統(tǒng)，可以幫助開發(fā)人員更快地實(shí)現(xiàn)復(fù)雜的應(yīng)用。本文就來看看 Node.js 最新的生
分享六款相見恨晚的PPT模版網(wǎng)站, 祝你做出精美的PPT!

1、OfficePLUSOfficePLUS網(wǎng)站旨在為全球Office用戶提供豐富的高品質(zhì)原創(chuàng)PPT模板、實(shí)用文檔、數(shù)據(jù)圖表及個性化定制服務(wù)。優(yōu)點(diǎn)：OfficePLUS是微軟官方網(wǎng)站，囊括PPT模板、Word模
品牌洞察丨服務(wù)本地，美團(tuán)直播成效幾何？

來源：17PR7月11日，美團(tuán)App首頁推薦位出現(xiàn)“美團(tuán)直播”的固定入口。在直播聚合頁面，外賣“神槍手”直播間、美團(tuán)旅行直播間、美團(tuán)買菜直播間等均已上線，同時
重估百度丨大模型，能撐起百度的“今天”嗎?

自象限原創(chuàng) 作者｜程心羅輯2023年之前，對于自己的“今天”，百度也很迷茫。“新業(yè)務(wù)到 2022 年底還是 0，希望 2023 年出來一個 1。”這是2022年底，李彥宏
華為開發(fā)者大會2023日程公開：開設(shè)鴻蒙HarmonyOS 4體驗(yàn)區(qū)

IT之家 7 月 31 日消息，華為今日公布了 HDC.Together 開發(fā)者大會 2023 的詳細(xì)日程。整場大會將于 8 月 4 日-6 日之間舉行，屆時將發(fā)布最新一代鴻蒙 H
3699元！iQOO Neo8 Pro頂配版今日首銷：1TB UFS 4.0同價位唯一

5月23日，iQOO推出了全新的iQOO Neo8系列，包含iQOO Neo8和iQOO Neo8 Pro兩個版本，其中標(biāo)準(zhǔn)版搭載高通驍龍8+，而Pro版更是首發(fā)搭載了聯(lián)發(fā)科天璣9200+旗艦
滴滴違法違規(guī)被罰80.26億共存在16項(xiàng)違法事實(shí)

滴滴違法違規(guī)被罰80.26億存在16項(xiàng)違法事實(shí)開始于2121年7月，歷經(jīng)一年時間，網(wǎng)絡(luò)安全審查辦公室對“滴滴出行”網(wǎng)絡(luò)安全審查終于有了一個暫時的結(jié)束。據(jù)“網(wǎng)信

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

vivo TWS Air開箱體驗(yàn)：真輕臻好聽

摸魚心法第一章——和配置文件說拜拜

2023 年的 Node.js 生態(tài)系統(tǒng)

分享六款相見恨晚的PPT模版網(wǎng)站, 祝你做出精美的PPT!

品牌洞察丨服務(wù)本地，美團(tuán)直播成效幾何？

重估百度丨大模型，能撐起百度的“今天”嗎?

華為開發(fā)者大會2023日程公開：開設(shè)鴻蒙HarmonyOS 4體驗(yàn)區(qū)

3699元！iQOO Neo8 Pro頂配版今日首銷：1TB UFS 4.0同價位唯一

滴滴違法違規(guī)被罰80.26億共存在16項(xiàng)違法事實(shí)

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊

AMD發(fā)布首個AI小語言模型：6900億token、推測解碼提速3.88倍