日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁 > 元宇宙 > AI

AI 架構(gòu) Transformer 再進(jìn)化:谷歌新方法突破長文本處理,注意力模塊內(nèi)存需求可降至 1 47

來源: 責(zé)編: 時(shí)間:2024-10-11 16:31:21 82觀看
導(dǎo)讀 10 月 9 日消息,科技媒體 marktechpost 昨日(10 月 8 日)發(fā)布博文,報(bào)道稱谷歌公司推出了選擇性注意力(Selective Attention)方法,可以提高 Transformer 架構(gòu)模型的性能。Transformer 架構(gòu)簡介Transformer 是一種革命

10 月 9 日消息,科技媒體 marktechpost 昨日(10 月 8 日)發(fā)布博文,報(bào)道稱谷歌公司推出了選擇性注意力(Selective Attention)方法,可以提高 Transformer 架構(gòu)模型的性能。P5q28資訊網(wǎng)——每日最新資訊28at.com

Transformer 架構(gòu)簡介

Transformer 是一種革命性的神經(jīng)網(wǎng)絡(luò)架構(gòu),由谷歌在 2017 年提出,主要用于處理序列數(shù)據(jù),特別是在自然語言處理(NLP)領(lǐng)域。P5q28資訊網(wǎng)——每日最新資訊28at.com

Transformer 的核心是自注意力機(jī)制,允許模型在處理輸入序列時(shí)捕捉詞與詞之間的關(guān)系,讓模型能夠關(guān)注輸入序列中的所有部分,而不僅僅是局部信息。P5q28資訊網(wǎng)——每日最新資訊28at.com

Transformer 由多個(gè)編碼器和解碼器組成。編碼器負(fù)責(zé)理解輸入數(shù)據(jù),而解碼器則生成輸出。多頭自注意力機(jī)制使模型能夠并行處理信息,提高了效率和準(zhǔn)確性。P5q28資訊網(wǎng)——每日最新資訊28at.com

Transformer 架構(gòu)模型挑戰(zhàn)

Transformer 架構(gòu)的一大挑戰(zhàn)是它們?cè)谔幚黹L文本序列時(shí)效率低下,由于每個(gè)標(biāo)記與序列中的每個(gè)其他標(biāo)記都相互作用導(dǎo)致二次復(fù)雜度,這就導(dǎo)致隨著上下文長度的增加,計(jì)算和內(nèi)存需求呈指數(shù)增長。P5q28資訊網(wǎng)——每日最新資訊28at.com

現(xiàn)在解決這一問題的方法包括稀疏注意力機(jī)制(sparse attention mechanisms),它限制了標(biāo)記之間的交互數(shù)量,以及通過總結(jié)過去信息來減少序列長度的上下文壓縮技術(shù)。P5q28資訊網(wǎng)——每日最新資訊28at.com

不過這種方法是通過減少在注意力機(jī)制中考慮的標(biāo)記數(shù)量達(dá)成的,因此通常以性能為代價(jià),可能會(huì)導(dǎo)致上下文關(guān)鍵信息丟失。P5q28資訊網(wǎng)——每日最新資訊28at.com

谷歌新方法

谷歌研究的研究人員提出了一種名為選擇性注意的新方法,可以動(dòng)態(tài)忽略不再相關(guān)的標(biāo)記,從而提高 Transformer 模型的效率。P5q28資訊網(wǎng)——每日最新資訊28at.com

選擇性注意力使用軟掩碼矩陣來確定每個(gè)標(biāo)記對(duì)未來標(biāo)記的重要性,減少對(duì)不重要標(biāo)記的關(guān)注。P5q28資訊網(wǎng)——每日最新資訊28at.com

研究表明,配備選擇性注意的 Transformer 架構(gòu)模型在多個(gè)自然語言處理任務(wù)中表現(xiàn)出色,同時(shí)顯著降低了內(nèi)存使用和計(jì)算成本。P5q28資訊網(wǎng)——每日最新資訊28at.com

P5q28資訊網(wǎng)——每日最新資訊28at.com

P5q28資訊網(wǎng)——每日最新資訊28at.com

例如,在擁有 1 億參數(shù)的 Transformer 模型中,注意力模塊的內(nèi)存需求在上下文大小為 512、1024 和 2048 個(gè) tokens 時(shí)分別減少至 1/16、1/25 和 1/47。所提方法在 HellaSwag 基準(zhǔn)測試中也優(yōu)于傳統(tǒng) Transformer,對(duì)于較大的模型規(guī)模實(shí)現(xiàn)了高達(dá) 5% 的準(zhǔn)確率提升。P5q28資訊網(wǎng)——每日最新資訊28at.com

選擇性注意力允許構(gòu)建更小、更高效的模型,在不損害準(zhǔn)確性的情況下,顯著減少內(nèi)存需求。P5q28資訊網(wǎng)——每日最新資訊28at.com

附上參考地址P5q28資訊網(wǎng)——每日最新資訊28at.com

Selective Attention Improves Transformer P5q28資訊網(wǎng)——每日最新資訊28at.com

This AI Paper from Google Introduces Selective Attention: A Novel AI Approach to Improving the Efficiency of Transformer ModelsP5q28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-8788-0.htmlAI 架構(gòu) Transformer 再進(jìn)化:谷歌新方法突破長文本處理,注意力模塊內(nèi)存需求可降至 1 47

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 僅靠微軟無法滿足激增的 AI 計(jì)算需求,OpenAI 被曝和甲骨文合作

下一篇: 消息稱 Kimi AI 助手內(nèi)測深度推理功能,月之暗面有團(tuán)隊(duì)國慶加班 7 天 3 倍工資

標(biāo)簽:
  • 熱門焦點(diǎn)
  • FMIFAwards獎(jiǎng)項(xiàng)即將揭曉!

    來源:X增強(qiáng)現(xiàn)實(shí)FMIF Awards未來元宇宙創(chuàng)新獎(jiǎng)是由未來元宇宙創(chuàng)新論壇、ARinChina以及多家投資機(jī)構(gòu)、媒體、研究院聯(lián)合發(fā)起的一項(xiàng)評(píng)選活動(dòng)。旨在推動(dòng)新技術(shù)的融合與集成低成本
  • “平均時(shí)代”:ChatGPT模仿秀的隱喻

    來源:錦緞如果你問ChatGPT,Instagram上最美的女人是誰?它很可能會(huì)給你一個(gè)名字,叫卡戴珊。如果你觀察過Instagram這個(gè)美版小紅書:平臺(tái)上的所有網(wǎng)紅,展現(xiàn)的幾乎是統(tǒng)一面孔:統(tǒng)一的醫(yī)
  • 關(guān)于ChatGPT的10點(diǎn)思考

    作者:晏濤三壽近日ChatGPT又有大動(dòng)作。5月19日,OpenAI在官網(wǎng)宣布正式發(fā)布App應(yīng)用,并登錄蘋果應(yīng)用商店。與網(wǎng)頁版的聊天機(jī)器人相比,iOS應(yīng)用程序的發(fā)布有望讓更多人接觸到ChatGPT
  • 萬字專訪Vitalik Buterin:以太坊將成為主流和最安全的基礎(chǔ)層

    Vitalik Buterin 在 19 歲時(shí)撰寫了以太坊白皮書。他的目標(biāo)簡單而全面,即創(chuàng)建一個(gè)“世界計(jì)算機(jī)”,旨在成為所有在線應(yīng)用程序的靈活基礎(chǔ)層,無需任何第三方。自 2015
  • 餐桌上怎么變出元宇宙?

    作者:星影“元宇宙讓餐飲業(yè)脫胎換骨。”實(shí)體的餐飲與虛擬的元宇宙,看起來風(fēng)馬牛不相及,但最近全世界的餐飲企業(yè)都掀起了一股注冊(cè)元宇宙商標(biāo)的熱潮。2月初,全球最大
  • 紐約街頭出現(xiàn)NFT自動(dòng)販賣機(jī)

    一家初創(chuàng)公司宣布在紐約市開放一臺(tái)NFT自動(dòng)售貨機(jī),允許任何人——即使是沒有加密資產(chǎn)的人也能購買NFT。該交易平臺(tái)名為Neon,上個(gè)月完成了一輪300萬美元的種子募捐
  • 權(quán)限風(fēng)波過后 X2Y2如何挑戰(zhàn)OpenSea?

    繼LooksRare之后,又一個(gè)OpenSea挑戰(zhàn)者X2Y2來了。上周,X2Y2宣布向超過86萬個(gè)OpenSea交易用戶發(fā)放X2Y2通證空投,并啟動(dòng)了「掛單挖礦」的獎(jiǎng)勵(lì)機(jī)制。這場早期激勵(lì)活動(dòng)
  • NFTs正迎來數(shù)十億美元的繁榮--NFT零工經(jīng)濟(jì)從業(yè)者開始暴賺

    當(dāng)Stefan Prodanovic在13歲時(shí)開始嘗試平面設(shè)計(jì),與一位從事編程工作的學(xué)校朋友共同創(chuàng)作數(shù)字游戲時(shí),他從未料到這個(gè)愛好會(huì)在他成年后變成一個(gè)相當(dāng)有利可圖的生意。
  • 藝術(shù)創(chuàng)作者能否永久收取版稅?

    NFTs正在改變我們理解互聯(lián)網(wǎng)所有權(quán)的方式,社區(qū)管理的所有權(quán)有很多好處,但如果創(chuàng)作者想為他/她的創(chuàng)作獲得永久的收益(版稅),會(huì)發(fā)生什么?這不是一個(gè)容易解決的問題,版稅
Top 主站蜘蛛池模板: 囊谦县| 耒阳市| 华安县| 汨罗市| 新郑市| 西昌市| 盐山县| 汪清县| 普兰店市| 榆中县| 海伦市| 贡嘎县| 洪湖市| 温宿县| 赤壁市| 临汾市| 濮阳县| 平利县| 中阳县| 定结县| 拉萨市| 岫岩| 牡丹江市| 平原县| 汉中市| 内丘县| 阿鲁科尔沁旗| 曲沃县| 吴桥县| 福泉市| 磴口县| 潞城市| 民勤县| 文昌市| 巴南区| 北京市| 格尔木市| 白城市| 林周县| 封丘县| 佳木斯市|