日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁 > 科技  > 軟件

小紅書論文刷新 SOTA:人體動(dòng)作預(yù)測再升級(jí),能精準(zhǔn)到指尖

來源: 責(zé)編: 時(shí)間:2024-03-19 17:35:47 280觀看
導(dǎo)讀想象一下,你在玩一款 VR 游戲,準(zhǔn)備伸手拿起一個(gè)虛擬杯子喝水。在傳統(tǒng)的交互系統(tǒng)中,這通常需要你按下控制器上的特定按鈕。但如果游戲集成了 EAI 框架,這一過程將變得無比自然。當(dāng)你的手緩緩接近虛擬杯子時(shí),系統(tǒng)會(huì)敏銳地預(yù)

Yl628資訊網(wǎng)——每日最新資訊28at.com

想象一下,你在玩一款 VR 游戲,準(zhǔn)備伸手拿起一個(gè)虛擬杯子喝水。Yl628資訊網(wǎng)——每日最新資訊28at.com

在傳統(tǒng)的交互系統(tǒng)中,這通常需要你按下控制器上的特定按鈕。但如果游戲集成了 EAI 框架,這一過程將變得無比自然。當(dāng)你的手緩緩接近虛擬杯子時(shí),系統(tǒng)會(huì)敏銳地預(yù)測出你的未來手部動(dòng)作,無需任何操作,游戲中的“你”便會(huì)流暢地模擬出精細(xì)的手部抓取動(dòng)作,游戲引擎也會(huì)提前對(duì)你的動(dòng)作行為做出響應(yīng)。Yl628資訊網(wǎng)——每日最新資訊28at.com

這種無縫的交互體驗(yàn),將會(huì)提升游戲中人-人、人- NPC 交互的實(shí)時(shí)性和準(zhǔn)確性,極大地提升游戲沉浸感。Yl628資訊網(wǎng)——每日最新資訊28at.com

什么是 EAI 框架?全稱是編碼-對(duì)齊-交互(Encoding-Alignment-Interaction)框架,由小紅書創(chuàng)作發(fā)布團(tuán)隊(duì)在 AAAI 2024 上創(chuàng)新提出。該框架用于預(yù)測未來全身人體動(dòng)作,尤其擅長手部細(xì)微動(dòng)作的預(yù)測。Yl628資訊網(wǎng)——每日最新資訊28at.com

EAI 框架的應(yīng)用遠(yuǎn)不止于此。它能夠理解并預(yù)測用戶的動(dòng)作意圖,無論是在藝術(shù)表演中同步舞者的動(dòng)作,創(chuàng)造出與音樂和視覺效果和諧融合的動(dòng)態(tài)藝術(shù),還是在智能家居中自動(dòng)響應(yīng)你的需求,或是在醫(yī)療康復(fù)領(lǐng)域指導(dǎo)患者正確執(zhí)行運(yùn)動(dòng),避免潛在傷害。它甚至能夠預(yù)測潛在的安全威脅,如在擁擠場所避免踩踏事件。Yl628資訊網(wǎng)——每日最新資訊28at.com

實(shí)驗(yàn)結(jié)果表明:EAI 框架在多個(gè)大規(guī)模基準(zhǔn)數(shù)據(jù)集上取得了最先進(jìn)的預(yù)測性能(SOTA)。它有效地處理了身體和手部動(dòng)作之間的異質(zhì)性和交互性,實(shí)現(xiàn)了全身動(dòng)作預(yù)測的高質(zhì)量輸出。這一突破性的技術(shù),預(yù)示著未來在人機(jī)交互、虛擬現(xiàn)實(shí)以及更廣泛的智能系統(tǒng)中,將有無限的可能性等待著被探索。Yl628資訊網(wǎng)——每日最新資訊28at.com

一、背景

人體動(dòng)作預(yù)測(Human Motion Forecasting),即預(yù)估未來一段時(shí)間內(nèi)的人類行為,正成為連接人類行為與智能系統(tǒng)的關(guān)鍵橋梁。在人機(jī)交互(HRI)、虛擬現(xiàn)實(shí)(VR)和游戲動(dòng)畫(GA)等領(lǐng)域,這一任務(wù)至關(guān)重要。然而,現(xiàn)有研究通常集中在預(yù)測人體主要關(guān)節(jié)的運(yùn)動(dòng),卻忽略了手部精細(xì)動(dòng)作,而這些動(dòng)作在溝通和交互中至關(guān)重要。Yl628資訊網(wǎng)——每日最新資訊28at.com

在人機(jī)交互場景中,機(jī)器人需要準(zhǔn)確預(yù)測人類未來動(dòng)作以實(shí)現(xiàn)有效協(xié)作,但現(xiàn)有模型未能充分捕捉手部精細(xì)動(dòng)作,這直接影響了對(duì)人類意圖和行為的理解。此外,人體各部分間的協(xié)作和交付,如喝水、鼓掌等復(fù)雜交互模式,也未被現(xiàn)有預(yù)測模型充分捕捉,這限制了預(yù)測的準(zhǔn)確性和表達(dá)性。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

為解決上述挑戰(zhàn),我們首先提出了一種全新范式:全身人體動(dòng)作預(yù)測任務(wù),即同時(shí)預(yù)測身體和手部所有關(guān)節(jié)的未來活動(dòng)。通過這種聯(lián)合預(yù)測,可以更準(zhǔn)確地捕捉人類行為的全貌,從而在人機(jī)交互等應(yīng)用中提供更自然的交互體驗(yàn)。這種全身運(yùn)動(dòng)預(yù)測不僅包括身體的主要?jiǎng)幼鳎€細(xì)致地考慮了手部的精細(xì)運(yùn)動(dòng),以理解人類行為的意圖和情感表達(dá)。Yl628資訊網(wǎng)——每日最新資訊28at.com

進(jìn)一步地,為實(shí)現(xiàn)面向全身人體關(guān)節(jié)的細(xì)粒度動(dòng)作預(yù)測的目標(biāo),我們重點(diǎn)提出了編碼-對(duì)齊-交互(Encoding-Alignment-Interaction,EAI)框架。EAI 框架主要包括以下兩個(gè)核心組成部分:Yl628資訊網(wǎng)——每日最新資訊28at.com

  • 跨上下文對(duì)齊(cross-context-alignment,XCA):用于對(duì)齊不同人體組件的潛在特征,消除異質(zhì)性
  • 跨上下文交互(cross-context-interaction,XCI):專注于捕捉人體組件間的上下文交互,提高動(dòng)作預(yù)測的準(zhǔn)確性

通過在新引入的大型數(shù)據(jù)集上的廣泛實(shí)驗(yàn),EAI 框架在 3D 全身人體動(dòng)作預(yù)測方面取得了最先進(jìn)的性能,證明了其在捕捉人類動(dòng)作細(xì)微差別方面的有效性。這些實(shí)驗(yàn)結(jié)果不僅展示了 EAI 框架在預(yù)測復(fù)雜人類動(dòng)作方面的優(yōu)越性,還為未來的人機(jī)交互和虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用提供了新的視角和可能性。Yl628資訊網(wǎng)——每日最新資訊28at.com

二、方法

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

EAI 算法流程圖Yl628資訊網(wǎng)——每日最新資訊28at.com

如圖所示,EAI 框架主要涉及以下三個(gè)核心步驟:Yl628資訊網(wǎng)——每日最新資訊28at.com

  • Encoding :通過離散余弦變換(DCT) 和動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(GCNs)提取運(yùn)動(dòng)序列的時(shí)空相關(guān)性,并將其編碼為高維隱藏特征;
  • Alignment:通過提出的跨上下文對(duì)齊(XCA)來調(diào)整不同身體部分的潛在特征,使其更加一致;
  • Interaction:利用提出的跨上下文交互(XCI)來捕捉身體各部分之間的語義和物理互動(dòng)。

這種方法通過聯(lián)合預(yù)測身體和手部動(dòng)作,能夠提高預(yù)測運(yùn)動(dòng)的準(zhǔn)確性和表達(dá)性,特別是在捕捉不同人體部分動(dòng)作的細(xì)微差別方面具有較強(qiáng)的性能。Yl628資訊網(wǎng)——每日最新資訊28at.com

2.1 內(nèi)部上下文編碼(Intra-context Encoding)

內(nèi)部上下文編碼(Intra-context Encoding)是 EAI 框架中的一個(gè)重要模塊,負(fù)責(zé)從每個(gè)身體部分(如左手、右手和主要身體)提取特征。該模塊能夠獨(dú)立地處理每個(gè)身體部分,以便捕捉每個(gè)組件內(nèi)部的時(shí)空相關(guān)性。假設(shè)下標(biāo)  , , 分別表示左手、軀干和右手,我們將全身人體姿態(tài)劃分為三個(gè)部分:左手動(dòng)作序列  ,軀干動(dòng)作序列  ,右手動(dòng)作序列  。具體操作步驟如下:Yl628資訊網(wǎng)——每日最新資訊28at.com

a. DCT 編碼:在時(shí)間域,使用離散余弦變換(Discrete Cosine Transform,DCT)來捕捉動(dòng)作序列的時(shí)序平滑性,將觀察到的動(dòng)作序列轉(zhuǎn)換到軌跡空間:Yl628資訊網(wǎng)——每日最新資訊28at.com

b. GCN 表示學(xué)習(xí):在空間域,利用圖卷積網(wǎng)絡(luò)(Graph Convolutional Networks,GCNs)將骨骼表示為一個(gè)全連接圖,通過鄰接矩陣來捕捉空間關(guān)系Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

其中,  表示 ReLU 激活函數(shù),  表示鄰接矩陣,  表示輸入特征, 表示 GCN 權(quán)重矩陣,  表示輸出特征。上述是以軀干關(guān)節(jié)進(jìn)行的上下文編碼。相似地,我們也能夠得到左右手的關(guān)節(jié)表示  、 ,這些特征隨后將用于跨上下文對(duì)齊和交互,以實(shí)現(xiàn)更準(zhǔn)確的全身動(dòng)作預(yù)測。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

2.2 跨上下文對(duì)齊(Cross-context Alignment)

跨上下文對(duì)齊(Cross-context Alignment,XCA) 目的是對(duì)齊不同身體部分(如身體、左手和右手)的潛在特征,以消除它們之間的異質(zhì)性,從而方便后續(xù)的跨上下文特征交互。該模塊通過以下步驟實(shí)現(xiàn)特征對(duì)齊:Yl628資訊網(wǎng)——每日最新資訊28at.com

  1. 特征中立化:引入可學(xué)習(xí)的因子來中和不同特征分布之間的差異,通過最小化最大均值差異(Maximum Mean Discrepancy,MMD)來調(diào)整特征分布,使其更加接近一致:


    圖片
  2.  環(huán)形中立化:為了進(jìn)一步實(shí)現(xiàn) part-to-part 的對(duì)齊,我們將中立化擴(kuò)展到環(huán)形版本,通過身體到手腕的鏈路來實(shí)現(xiàn)身體和手部之間的對(duì)齊,確保每個(gè)部分的特征對(duì)齊都會(huì)考慮到其他兩個(gè)部分的特征屬性。
    圖片
  3. 不一致性約束:接著,我們應(yīng)用差異約束來減少部分到部分的差異,通過計(jì)算特征的平均值和方差,然后應(yīng)用中立化和差異約束來調(diào)整特征,使其分布更加一致。

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

通過 XCA,EAI 框架能夠有效地處理身體各部分之間的異質(zhì)性,為后續(xù)的 XCI 提供了更加一致和協(xié)調(diào)的特征表示,從而有助于提高全身動(dòng)作預(yù)測的準(zhǔn)確性和表達(dá)性。Yl628資訊網(wǎng)——每日最新資訊28at.com

2.3 跨上下文交互(Cross-context Interaction)

跨上下文交互(Cross-context Interaction,XCI)是 EAI 框架中的另一個(gè)核心模塊,它專注于捕捉全身不同部分之間的交互性,包括語義和物理層面的互動(dòng)。這個(gè)模塊通過以下步驟實(shí)現(xiàn)交互:Yl628資訊網(wǎng)——每日最新資訊28at.com

a. 語義交互:通過交叉注意力機(jī)制,模型學(xué)習(xí)不同身體部分之間的語義依賴性。例如,對(duì)于吃飯這個(gè)動(dòng)作,手指和頭部關(guān)節(jié)之間存在強(qiáng)相關(guān)性。XCI 通過計(jì)算注意力圖來融合這些語義交互信息。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

b. 物理交互:作為身體和手部之間的橋梁,手腕提供了直接的鏈?zhǔn)较嚓P(guān)性。XCI 采用“分割和融合”策略,首先獨(dú)立地復(fù)制手腕關(guān)節(jié)以包含它,然后進(jìn)行動(dòng)態(tài)特征融合,以更好地模擬身體部分之間的物理連接。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

通過最小化分布差異誤差,XCI 將不同身體部分的特征融合在一起,生成表達(dá)性特征。這些特征隨后用于預(yù)測器,以回歸到預(yù)測的序列。通過 XCI,EAI 框架能夠捕捉到全身動(dòng)作中微妙的交互細(xì)節(jié),這對(duì)于理解和預(yù)測復(fù)雜的人類行為至關(guān)重要。這種交互性的理解有助于提高預(yù)測的準(zhǔn)確性,特別是在涉及精細(xì)手部動(dòng)作的場景中。Yl628資訊網(wǎng)——每日最新資訊28at.com

2.4 損失函數(shù)(Training Loss)

損失函數(shù)(Training Loss)主要包含四個(gè)部分:關(guān)節(jié)損失、物理損失、骨頭長度損失和對(duì)齊損失,具體如下:Yl628資訊網(wǎng)——每日最新資訊28at.com

  1.  關(guān)節(jié)損失():用于衡量模型預(yù)測的 3D 坐標(biāo)準(zhǔn)確性的損失。通過計(jì)算預(yù)測關(guān)節(jié)位置與真實(shí)關(guān)節(jié)位置(Ground Truth)之間的平均每關(guān)節(jié)位置誤差(Mean Per Joint Position Error,MPJPE)來實(shí)現(xiàn):
    圖片
  2. 物理損失():用于考慮手部動(dòng)作的語義信息,特別是手腕的運(yùn)動(dòng)。通過計(jì)算預(yù)測的手腕關(guān)節(jié)位置與真實(shí)手腕關(guān)節(jié)位置之間的誤差來衡量。

    圖片
  3. 骨頭長度損失():用于衡量預(yù)測的骨骼長度與真實(shí)骨骼長度之間的差異。計(jì)算每個(gè)骨骼段的預(yù)測長度與真實(shí)長度之間的差異。確保模型能夠準(zhǔn)確地預(yù)測人體動(dòng)作中骨骼的伸縮和變形非常重要,特別是在涉及到手部和腳部動(dòng)作的預(yù)測中。通過最小化骨頭長度損失,模型能夠更準(zhǔn)確地捕捉到動(dòng)作中的細(xì)微變化。

    圖片
  4.  對(duì)齊損失():用于衡量 XCA 模塊中特征分布的一致性。通過最小化不同身體組件特征分布之間的差異,有助于減少特征的異質(zhì)性。

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

最終損失是所有損失函數(shù)的加權(quán)和,綜合了預(yù)測損失、物理損失和對(duì)齊損失。通過調(diào)整權(quán)重參數(shù)(λ1、λ2、λ3)來平衡這些損失,以確保模型在訓(xùn)練過程中能夠同時(shí)優(yōu)化預(yù)測準(zhǔn)確性和特征的一致性。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

三、實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集:本文采用 GRAB 數(shù)據(jù)集,它一個(gè)近期發(fā)布的大規(guī)模人體運(yùn)動(dòng)分析數(shù)據(jù)集,包含超過 160 萬幀的記錄,涉及 10 位不同演員執(zhí)行的 29 種動(dòng)作。這些動(dòng)作通過高精度的運(yùn)用運(yùn)動(dòng)捕捉技術(shù)進(jìn)行捕捉。GRAB 提供了 SMPL-X 參數(shù),從中提取了 25 個(gè)關(guān)節(jié)(3D 位置)定義為身體( = 25),每只手則表示為 15 個(gè)關(guān)節(jié)( =  = 15),因此全身姿態(tài)總共包含  +  +  = 25 + 15 + 15 個(gè)關(guān)節(jié)。Yl628資訊網(wǎng)——每日最新資訊28at.com

評(píng)估指標(biāo):為了評(píng)估模型的性能,我們使用了平均每個(gè)關(guān)節(jié)位置誤差 MPJPE、手腕對(duì)齊后的 MPJPE-AW。MPJPE 用于衡量預(yù)測的 3D 坐標(biāo)的準(zhǔn)確性,而MPJPE-AW 則用于評(píng)估手部動(dòng)作的精細(xì)預(yù)測,通過將手勢與手腕對(duì)齊來減少手腕運(yùn)動(dòng)對(duì)預(yù)測的影響。Yl628資訊網(wǎng)——每日最新資訊28at.com

實(shí)驗(yàn)設(shè)置:我們采用了兩種訓(xùn)練策略來評(píng)估不同方法的性能:Yl628資訊網(wǎng)——每日最新資訊28at.com

(1)分隔(D)訓(xùn)練策略,分別針對(duì)每個(gè)人體組件的訓(xùn)練基線方法,這種獨(dú)立策略缺乏組件之間的交互,可以用來說明 XCI 的有效性。Yl628資訊網(wǎng)——每日最新資訊28at.com

(2)聯(lián)合(U)訓(xùn)練策略,將 GCN 的節(jié)點(diǎn)數(shù)擴(kuò)展到 55( = 25, =  = 15),這種策略通過全身圖隱含地包含跨上下文交互,但不考慮不同身體部分的異質(zhì)性,用來展示 XCA 的有效性。訓(xùn)練細(xì)節(jié)包括使用 AdamW 優(yōu)化器,初始學(xué)習(xí)率為 0.001,批次大小為 64,訓(xùn)練 50 個(gè)周期,每兩個(gè)周期學(xué)習(xí)率衰減0.96。權(quán)衡參數(shù) {λ1, λ2, λ3} 設(shè)置為 {1, 0.1, 0.001}。Yl628資訊網(wǎng)——每日最新資訊28at.com

3.2 指標(biāo)對(duì)比結(jié)果

我們首先統(tǒng)計(jì)了 GRAB 數(shù)據(jù)集上的平均預(yù)測性能(表 1),針對(duì)每種動(dòng)作類型統(tǒng)計(jì)了預(yù)測性能(表 2)。我們分別展示了使用分割策略(標(biāo)注為 D)和聯(lián)合策略(標(biāo)注為 U)的預(yù)測結(jié)果。另外,每個(gè)表格中分別展示了身體關(guān)節(jié)的預(yù)測結(jié)果(major body)、左手關(guān)節(jié)的預(yù)測結(jié)果(left hand)、右手關(guān)節(jié)的預(yù)測結(jié)果(right hand),以及使用腕關(guān)節(jié)對(duì)齊后的左手對(duì)齊誤差(left hand AW)、右手對(duì)齊誤差(right hand AW),以及全身所有關(guān)節(jié)的預(yù)測結(jié)果(whole body)。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

表1:GRAB 數(shù)據(jù)集上采用分隔(D)和聯(lián)合(U)訓(xùn)練的平均預(yù)測結(jié)果Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

表2:采用統(tǒng)一訓(xùn)練策略,GRAB 數(shù)據(jù)集上每一個(gè)動(dòng)作類別下的預(yù)測結(jié)果Yl628資訊網(wǎng)——每日最新資訊28at.com

3.3 可視化對(duì)比結(jié)果

可視化對(duì)比結(jié)果部分提供了一種直觀的方式來評(píng)估和理解模型在預(yù)測全身動(dòng)作方面的性能。通過展示「play」動(dòng)作的全身骨骼形式,我們可以分析模型的預(yù)測性能。這些可視化結(jié)果可以幫助我們直觀地理解模型在預(yù)測精細(xì)動(dòng)作和粗略動(dòng)作方面的表現(xiàn)。可以清晰地看出,提出的 EAI 方法不僅在預(yù)測軀干姿態(tài)方面取得了最優(yōu)的性能,而且對(duì)于細(xì)粒度的手部動(dòng)作具有更好的預(yù)測結(jié)果。Yl628資訊網(wǎng)——每日最新資訊28at.com

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

「play」動(dòng)作下的全身關(guān)節(jié)預(yù)測結(jié)果對(duì)比Yl628資訊網(wǎng)——每日最新資訊28at.com

3.4 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)(Ablation Study)旨在評(píng)估 EAI 框架中不同組件對(duì)最終性能的貢獻(xiàn)程度。這些實(shí)驗(yàn)通過單獨(dú)移除或修改框架中的某些部分來觀察模型性能的變化。具體來說,消融實(shí)驗(yàn)包括以下幾個(gè)方面:Yl628資訊網(wǎng)——每日最新資訊28at.com

  1. 移除 XCA 和 XCI :首先,實(shí)驗(yàn)移除了跨上下文對(duì)齊(XCA)和跨上下文交互(XCI)模塊,以觀察這些核心組件對(duì)模型性能的影響。通過比較移除這些組件前后的平均預(yù)測誤差,可以評(píng)估它們?cè)谔岣哳A(yù)測準(zhǔn)確性方面的重要性。
  2. 移除 XCA 的子模塊:進(jìn)一步地,實(shí)驗(yàn)移除了 XCA 中的交叉中性化(CN)和差異約束(DC)子模塊,以單獨(dú)評(píng)估這些技術(shù)在對(duì)齊不同身體部分特征分布中的作用。
  3. 移除 XCI 的子模塊:類似地,實(shí)驗(yàn)移除了 XCI 中的語義交互(SI)和物理交互(PI)子模塊,以分析這些交互在捕捉身體部分之間相互作用中的效果。
  4.  全模型與消融模型比較:通過比較包含所有組件的全模型與經(jīng)過消融的模型,可以直觀地看到每個(gè)組件對(duì)整體性能的具體貢獻(xiàn)。

圖片Yl628資訊網(wǎng)——每日最新資訊28at.com

移除不同組件時(shí)對(duì)于算法性能影響的分析Yl628資訊網(wǎng)——每日最新資訊28at.com

四、結(jié)束

在本研究中,小紅書創(chuàng)作發(fā)布團(tuán)隊(duì)提出了一種創(chuàng)新的全身人體動(dòng)作預(yù)測框架——編碼-對(duì)齊-交互(EAI),該框架旨在同時(shí)預(yù)測身體主要關(guān)節(jié)和手部的精細(xì)動(dòng)作。我們通過引入跨上下文對(duì)齊(XCA)和跨上下文交互(XCI)機(jī)制,有效地處理了全身動(dòng)作預(yù)測中的異質(zhì)性和交互性問題。在新引入的 GRAB 數(shù)據(jù)集上的廣泛實(shí)驗(yàn)表明,EAI 框架在 3D 全身人體動(dòng)作預(yù)測方面取得了最先進(jìn)的性能(SOTA),顯著提升了預(yù)測的準(zhǔn)確性和表達(dá)性。Yl628資訊網(wǎng)——每日最新資訊28at.com

我們的工作不僅在理論上提出了新的預(yù)測框架,而且在實(shí)際應(yīng)用中也展示了其潛力,尤其是在需要精細(xì)手部動(dòng)作預(yù)測的場景中。這些技術(shù)能夠支撐小紅書媒體技術(shù)中面向細(xì)粒度人體動(dòng)作生成、分析、建模的需求。不過這項(xiàng)工作仍有待進(jìn)一步探索,例如,如何將與物體的交互納入模型,以提供更準(zhǔn)確的運(yùn)動(dòng)預(yù)測。隨著未來研究的深入,我們期待 EAI 框架將為人體運(yùn)動(dòng)預(yù)測領(lǐng)域帶來更多的創(chuàng)新和突破。Yl628資訊網(wǎng)——每日最新資訊28at.com

論文地址https://arxiv.org/pdf/2312.11972.pdfYl628資訊網(wǎng)——每日最新資訊28at.com

代碼地址https://github.com/Dingpx/EAIYl628資訊網(wǎng)——每日最新資訊28at.com

五、作者簡介

  • 丁鵬翔
    碩士畢業(yè)于北京郵電大學(xué),目前為西湖大學(xué)博士生,該工作完成于在小紅書實(shí)習(xí)期間。發(fā)表多篇期刊和會(huì)議論文,主要研究方向?yàn)槿梭w動(dòng)作分析,3D 計(jì)算機(jī)視覺。
  • 崔瓊杰
    博士畢業(yè)于南京理工大學(xué),該工作完成于在小紅書實(shí)習(xí)期間。在 CVPR、ICCV、ECCV、IJCAI、AAAI 等國際會(huì)議上發(fā)表多篇論文,擔(dān)任多個(gè)國際頂級(jí)計(jì)算機(jī)視覺,人工智能會(huì)議的審稿人。目前主要研究方向?yàn)槿梭w運(yùn)動(dòng)分析與合成。
  • 王浩帆
    小紅書創(chuàng)作發(fā)布組- AIGC 方向算法工程師,碩士畢業(yè)于卡內(nèi)基梅隆大學(xué),在 CVPR、ICCV、NeurIPS、3DV、AAAI、TPAMI 等國際會(huì)議和學(xué)術(shù)期刊上發(fā)表多篇論文。目前主要研究方向?yàn)閳D像、視頻、3D 生成。

本文鏈接:http://www.www897cc.com/showinfo-26-77833-0.html小紅書論文刷新 SOTA:人體動(dòng)作預(yù)測再升級(jí),能精準(zhǔn)到指尖

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 構(gòu)建一個(gè)通用靈活的JavaScript插件系統(tǒng)?看完你也會(huì)!

下一篇: Go語言實(shí)現(xiàn)自動(dòng)HTTPS的快速、靈活的Web服務(wù)器

標(biāo)簽:
  • 熱門焦點(diǎn)
  • 石頭自清潔掃拖機(jī)器人G10S評(píng)測:多年黑科技集大成之作 懶人終極福音

    科技圈經(jīng)常能看到一個(gè)詞叫“縫合怪”,用來形容那些把好多功能或者外觀結(jié)合在一起的產(chǎn)品,通常這樣的詞是貶義詞,但如果真的是產(chǎn)品縫合的好、縫合的實(shí)用的話,那它就成了中性詞,今
  • 6月安卓手機(jī)性價(jià)比榜:Note 12 Turbo斷層式碾壓

    6月份有一個(gè)618,雖然這是京東周年慶的日子,但別的電商也都不約而同的跟進(jìn)了,反正促銷沒壞處,廠商和用戶都能滿意。618期間一些產(chǎn)品也出現(xiàn)了歷史低價(jià),那么各個(gè)價(jià)位段的產(chǎn)品性價(jià)比
  • 5月安卓手機(jī)好評(píng)榜:魅族20 Pro奪冠

    性能榜和性價(jià)比榜之后,我們來看最后的安卓手機(jī)好評(píng)榜,數(shù)據(jù)來源安兔兔評(píng)測,收集時(shí)間2023年5月1日至5月31日,僅限國內(nèi)市場。第一名:魅族20 Pro好評(píng)率:97.50%不得不感慨魅族老品牌還
  • JavaScript學(xué)習(xí) -AES加密算法

    引言在當(dāng)今數(shù)字化時(shí)代,前端應(yīng)用程序扮演著重要角色,用戶的敏感數(shù)據(jù)經(jīng)常在前端進(jìn)行加密和解密操作。然而,這樣的操作在網(wǎng)絡(luò)傳輸和存儲(chǔ)中可能會(huì)受到惡意攻擊的威脅。為了確保數(shù)據(jù)
  • 一個(gè)注解實(shí)現(xiàn)接口冪等,這樣才優(yōu)雅!

    場景碼猿慢病云管理系統(tǒng)中其實(shí)高并發(fā)的場景不是很多,沒有必要每個(gè)接口都去考慮并發(fā)高的場景,比如添加住院患者的這個(gè)接口,具體的業(yè)務(wù)代碼就不貼了,業(yè)務(wù)偽代碼如下:圖片上述代碼有
  • 零售大模型“干中學(xué)”,攀爬數(shù)字化珠峰

    文/侯煜編輯/cc來源/華爾街科技眼對(duì)于絕大多數(shù)登山愛好者而言,攀爬珠穆朗瑪峰可謂終極目標(biāo)。攀登珠峰的商業(yè)路線有兩條,一是尼泊爾境內(nèi)的南坡路線,一是中國境內(nèi)的北坡路線。相
  • 本地生活這塊肥肉,拼多多也想吃一口

    出品/壹覽商業(yè) 作者/李彥編輯/木魚拼多多也看上本地生活這塊蛋糕了。近期,拼多多在App首頁“充值中心”入口上線了本機(jī)生活界面。壹覽商業(yè)發(fā)現(xiàn),該界面目前主要
  • SN570 NVMe SSD固態(tài)硬盤 價(jià)格與性能兼具

    SN570 NVMe SSD固態(tài)硬盤是西部數(shù)據(jù)發(fā)布的最新一代WD Blue系列的固態(tài)硬盤,不僅閃存技術(shù)更為精進(jìn),性能也得到了進(jìn)一步的躍升。WD Blue SN570 NVMe SSD的包裝外
  • 電博會(huì)上海爾智家模擬500平大平層,還原生活空間沉浸式體驗(yàn)

    電博會(huì)為了更好地讓參展觀眾真正感受到智能家居的絕妙之處,海爾智家的程傳嶺先生同樣介紹了展會(huì)上海爾智家的模擬500平大平層,還原生活空間沉浸式體驗(yàn)。程傳
Top 主站蜘蛛池模板: 华安县| 灵璧县| 兰考县| 姚安县| 新晃| 建德市| 屯留县| 和顺县| 来宾市| 宣化县| 雷山县| 武川县| 和硕县| 肇源县| 永州市| 凤翔县| 介休市| 巴楚县| 山东省| 子洲县| 顺义区| 金坛市| 和龙市| 凭祥市| 牡丹江市| 贺州市| 麟游县| 巨野县| 缙云县| 嘉荫县| 贵阳市| 周宁县| 扎赉特旗| 承德市| 禹州市| 当涂县| 吉安县| 惠水县| 通渭县| 柘荣县| 定安县|