石頭自清潔掃拖機(jī)器人G10S評(píng)測：多年黑科技集大成之作 懶人終極福音
科技圈經(jīng)常能看到一個(gè)詞叫“縫合怪”，用來形容那些把好多功能或者外觀結(jié)合在一起的產(chǎn)品，通常這樣的詞是貶義詞，但如果真的是產(chǎn)品縫合的好、縫合的實(shí)用的話，那它就成了中性詞，今
想象一下，你在玩一款 VR 游戲，準(zhǔn)備伸手拿起一個(gè)虛擬杯子喝水。
在傳統(tǒng)的交互系統(tǒng)中，這通常需要你按下控制器上的特定按鈕。但如果游戲集成了 EAI 框架，這一過程將變得無比自然。當(dāng)你的手緩緩接近虛擬杯子時(shí)，系統(tǒng)會(huì)敏銳地預(yù)測出你的未來手部動(dòng)作，無需任何操作，游戲中的“你”便會(huì)流暢地模擬出精細(xì)的手部抓取動(dòng)作，游戲引擎也會(huì)提前對(duì)你的動(dòng)作行為做出響應(yīng)。
這種無縫的交互體驗(yàn)，將會(huì)提升游戲中人-人、人- NPC 交互的實(shí)時(shí)性和準(zhǔn)確性，極大地提升游戲沉浸感。
什么是 EAI 框架？全稱是編碼-對(duì)齊-交互（Encoding-Alignment-Interaction）框架，由小紅書創(chuàng)作發(fā)布團(tuán)隊(duì)在 AAAI 2024 上創(chuàng)新提出。該框架用于預(yù)測未來全身人體動(dòng)作，尤其擅長手部細(xì)微動(dòng)作的預(yù)測。
EAI 框架的應(yīng)用遠(yuǎn)不止于此。它能夠理解并預(yù)測用戶的動(dòng)作意圖，無論是在藝術(shù)表演中同步舞者的動(dòng)作，創(chuàng)造出與音樂和視覺效果和諧融合的動(dòng)態(tài)藝術(shù)，還是在智能家居中自動(dòng)響應(yīng)你的需求，或是在醫(yī)療康復(fù)領(lǐng)域指導(dǎo)患者正確執(zhí)行運(yùn)動(dòng)，避免潛在傷害。它甚至能夠預(yù)測潛在的安全威脅，如在擁擠場所避免踩踏事件。
實(shí)驗(yàn)結(jié)果表明：EAI 框架在多個(gè)大規(guī)模基準(zhǔn)數(shù)據(jù)集上取得了最先進(jìn)的預(yù)測性能（SOTA）。它有效地處理了身體和手部動(dòng)作之間的異質(zhì)性和交互性，實(shí)現(xiàn)了全身動(dòng)作預(yù)測的高質(zhì)量輸出。這一突破性的技術(shù)，預(yù)示著未來在人機(jī)交互、虛擬現(xiàn)實(shí)以及更廣泛的智能系統(tǒng)中，將有無限的可能性等待著被探索。
人體動(dòng)作預(yù)測（Human Motion Forecasting），即預(yù)估未來一段時(shí)間內(nèi)的人類行為，正成為連接人類行為與智能系統(tǒng)的關(guān)鍵橋梁。在人機(jī)交互（HRI）、虛擬現(xiàn)實(shí)（VR）和游戲動(dòng)畫（GA）等領(lǐng)域，這一任務(wù)至關(guān)重要。然而，現(xiàn)有研究通常集中在預(yù)測人體主要關(guān)節(jié)的運(yùn)動(dòng)，卻忽略了手部精細(xì)動(dòng)作，而這些動(dòng)作在溝通和交互中至關(guān)重要。
在人機(jī)交互場景中，機(jī)器人需要準(zhǔn)確預(yù)測人類未來動(dòng)作以實(shí)現(xiàn)有效協(xié)作，但現(xiàn)有模型未能充分捕捉手部精細(xì)動(dòng)作，這直接影響了對(duì)人類意圖和行為的理解。此外，人體各部分間的協(xié)作和交付，如喝水、鼓掌等復(fù)雜交互模式，也未被現(xiàn)有預(yù)測模型充分捕捉，這限制了預(yù)測的準(zhǔn)確性和表達(dá)性。
為解決上述挑戰(zhàn)，我們首先提出了一種全新范式：全身人體動(dòng)作預(yù)測任務(wù)，即同時(shí)預(yù)測身體和手部所有關(guān)節(jié)的未來活動(dòng)。通過這種聯(lián)合預(yù)測，可以更準(zhǔn)確地捕捉人類行為的全貌，從而在人機(jī)交互等應(yīng)用中提供更自然的交互體驗(yàn)。這種全身運(yùn)動(dòng)預(yù)測不僅包括身體的主要?jiǎng)幼鳎€細(xì)致地考慮了手部的精細(xì)運(yùn)動(dòng)，以理解人類行為的意圖和情感表達(dá)。
進(jìn)一步地，為實(shí)現(xiàn)面向全身人體關(guān)節(jié)的細(xì)粒度動(dòng)作預(yù)測的目標(biāo)，我們重點(diǎn)提出了編碼-對(duì)齊-交互（Encoding-Alignment-Interaction，EAI）框架。EAI 框架主要包括以下兩個(gè)核心組成部分：
通過在新引入的大型數(shù)據(jù)集上的廣泛實(shí)驗(yàn)，EAI 框架在 3D 全身人體動(dòng)作預(yù)測方面取得了最先進(jìn)的性能，證明了其在捕捉人類動(dòng)作細(xì)微差別方面的有效性。這些實(shí)驗(yàn)結(jié)果不僅展示了 EAI 框架在預(yù)測復(fù)雜人類動(dòng)作方面的優(yōu)越性，還為未來的人機(jī)交互和虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用提供了新的視角和可能性。
EAI 算法流程圖
如圖所示，EAI 框架主要涉及以下三個(gè)核心步驟：
這種方法通過聯(lián)合預(yù)測身體和手部動(dòng)作，能夠提高預(yù)測運(yùn)動(dòng)的準(zhǔn)確性和表達(dá)性，特別是在捕捉不同人體部分動(dòng)作的細(xì)微差別方面具有較強(qiáng)的性能。
內(nèi)部上下文編碼（Intra-context Encoding）是 EAI 框架中的一個(gè)重要模塊，負(fù)責(zé)從每個(gè)身體部分（如左手、右手和主要身體）提取特征。該模塊能夠獨(dú)立地處理每個(gè)身體部分，以便捕捉每個(gè)組件內(nèi)部的時(shí)空相關(guān)性。假設(shè)下標(biāo) ， ， 分別表示左手、軀干和右手，我們將全身人體姿態(tài)劃分為三個(gè)部分：左手動(dòng)作序列 ，軀干動(dòng)作序列 ，右手動(dòng)作序列 。具體操作步驟如下：
a. DCT 編碼：在時(shí)間域，使用離散余弦變換（Discrete Cosine Transform，DCT）來捕捉動(dòng)作序列的時(shí)序平滑性，將觀察到的動(dòng)作序列轉(zhuǎn)換到軌跡空間:
b. GCN 表示學(xué)習(xí)：在空間域，利用圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks，GCNs）將骨骼表示為一個(gè)全連接圖，通過鄰接矩陣來捕捉空間關(guān)系：
其中， 表示 ReLU 激活函數(shù)， 表示鄰接矩陣， 表示輸入特征， 表示 GCN 權(quán)重矩陣， 表示輸出特征。上述是以軀干關(guān)節(jié)進(jìn)行的上下文編碼。相似地，我們也能夠得到左右手的關(guān)節(jié)表示 、 ，這些特征隨后將用于跨上下文對(duì)齊和交互，以實(shí)現(xiàn)更準(zhǔn)確的全身動(dòng)作預(yù)測。
跨上下文對(duì)齊（Cross-context Alignment，XCA） 目的是對(duì)齊不同身體部分（如身體、左手和右手）的潛在特征，以消除它們之間的異質(zhì)性，從而方便后續(xù)的跨上下文特征交互。該模塊通過以下步驟實(shí)現(xiàn)特征對(duì)齊：
通過 XCA，EAI 框架能夠有效地處理身體各部分之間的異質(zhì)性，為后續(xù)的 XCI 提供了更加一致和協(xié)調(diào)的特征表示，從而有助于提高全身動(dòng)作預(yù)測的準(zhǔn)確性和表達(dá)性。
跨上下文交互（Cross-context Interaction，XCI）是 EAI 框架中的另一個(gè)核心模塊，它專注于捕捉全身不同部分之間的交互性，包括語義和物理層面的互動(dòng)。這個(gè)模塊通過以下步驟實(shí)現(xiàn)交互：
a. 語義交互：通過交叉注意力機(jī)制，模型學(xué)習(xí)不同身體部分之間的語義依賴性。例如，對(duì)于吃飯這個(gè)動(dòng)作，手指和頭部關(guān)節(jié)之間存在強(qiáng)相關(guān)性。XCI 通過計(jì)算注意力圖來融合這些語義交互信息。
b. 物理交互：作為身體和手部之間的橋梁，手腕提供了直接的鏈?zhǔn)较嚓P(guān)性。XCI 采用“分割和融合”策略，首先獨(dú)立地復(fù)制手腕關(guān)節(jié)以包含它，然后進(jìn)行動(dòng)態(tài)特征融合，以更好地模擬身體部分之間的物理連接。
通過最小化分布差異誤差，XCI 將不同身體部分的特征融合在一起，生成表達(dá)性特征。這些特征隨后用于預(yù)測器，以回歸到預(yù)測的序列。通過 XCI，EAI 框架能夠捕捉到全身動(dòng)作中微妙的交互細(xì)節(jié)，這對(duì)于理解和預(yù)測復(fù)雜的人類行為至關(guān)重要。這種交互性的理解有助于提高預(yù)測的準(zhǔn)確性，特別是在涉及精細(xì)手部動(dòng)作的場景中。
損失函數(shù)（Training Loss）主要包含四個(gè)部分：關(guān)節(jié)損失、物理損失、骨頭長度損失和對(duì)齊損失，具體如下：
最終損失是所有損失函數(shù)的加權(quán)和，綜合了預(yù)測損失、物理損失和對(duì)齊損失。通過調(diào)整權(quán)重參數(shù)（λ1、λ2、λ3）來平衡這些損失，以確保模型在訓(xùn)練過程中能夠同時(shí)優(yōu)化預(yù)測準(zhǔn)確性和特征的一致性。
數(shù)據(jù)集：本文采用 GRAB 數(shù)據(jù)集，它一個(gè)近期發(fā)布的大規(guī)模人體運(yùn)動(dòng)分析數(shù)據(jù)集，包含超過 160 萬幀的記錄，涉及 10 位不同演員執(zhí)行的 29 種動(dòng)作。這些動(dòng)作通過高精度的運(yùn)用運(yùn)動(dòng)捕捉技術(shù)進(jìn)行捕捉。GRAB 提供了 SMPL-X 參數(shù)，從中提取了 25 個(gè)關(guān)節(jié)（3D 位置）定義為身體（ = 25），每只手則表示為 15 個(gè)關(guān)節(jié)（ = = 15），因此全身姿態(tài)總共包含 + + = 25 + 15 + 15 個(gè)關(guān)節(jié)。
評(píng)估指標(biāo)：為了評(píng)估模型的性能，我們使用了平均每個(gè)關(guān)節(jié)位置誤差 MPJPE、手腕對(duì)齊后的 MPJPE-AW。MPJPE 用于衡量預(yù)測的 3D 坐標(biāo)的準(zhǔn)確性，而MPJPE-AW 則用于評(píng)估手部動(dòng)作的精細(xì)預(yù)測，通過將手勢與手腕對(duì)齊來減少手腕運(yùn)動(dòng)對(duì)預(yù)測的影響。
實(shí)驗(yàn)設(shè)置：我們采用了兩種訓(xùn)練策略來評(píng)估不同方法的性能：
（1）分隔（D）訓(xùn)練策略，分別針對(duì)每個(gè)人體組件的訓(xùn)練基線方法，這種獨(dú)立策略缺乏組件之間的交互，可以用來說明 XCI 的有效性。
（2）聯(lián)合（U）訓(xùn)練策略，將 GCN 的節(jié)點(diǎn)數(shù)擴(kuò)展到 55（ = 25， = = 15），這種策略通過全身圖隱含地包含跨上下文交互，但不考慮不同身體部分的異質(zhì)性，用來展示 XCA 的有效性。訓(xùn)練細(xì)節(jié)包括使用 AdamW 優(yōu)化器，初始學(xué)習(xí)率為 0.001，批次大小為 64，訓(xùn)練 50 個(gè)周期，每兩個(gè)周期學(xué)習(xí)率衰減0.96。權(quán)衡參數(shù) {λ1, λ2, λ3} 設(shè)置為 {1, 0.1, 0.001}。
我們首先統(tǒng)計(jì)了 GRAB 數(shù)據(jù)集上的平均預(yù)測性能（表 1），針對(duì)每種動(dòng)作類型統(tǒng)計(jì)了預(yù)測性能（表 2）。我們分別展示了使用分割策略（標(biāo)注為 D）和聯(lián)合策略（標(biāo)注為 U）的預(yù)測結(jié)果。另外，每個(gè)表格中分別展示了身體關(guān)節(jié)的預(yù)測結(jié)果（major body）、左手關(guān)節(jié)的預(yù)測結(jié)果（left hand）、右手關(guān)節(jié)的預(yù)測結(jié)果（right hand），以及使用腕關(guān)節(jié)對(duì)齊后的左手對(duì)齊誤差（left hand AW）、右手對(duì)齊誤差（right hand AW），以及全身所有關(guān)節(jié)的預(yù)測結(jié)果（whole body）。
表1：GRAB 數(shù)據(jù)集上采用分隔（D）和聯(lián)合（U）訓(xùn)練的平均預(yù)測結(jié)果
表2：采用統(tǒng)一訓(xùn)練策略，GRAB 數(shù)據(jù)集上每一個(gè)動(dòng)作類別下的預(yù)測結(jié)果
可視化對(duì)比結(jié)果部分提供了一種直觀的方式來評(píng)估和理解模型在預(yù)測全身動(dòng)作方面的性能。通過展示「play」動(dòng)作的全身骨骼形式，我們可以分析模型的預(yù)測性能。這些可視化結(jié)果可以幫助我們直觀地理解模型在預(yù)測精細(xì)動(dòng)作和粗略動(dòng)作方面的表現(xiàn)。可以清晰地看出，提出的 EAI 方法不僅在預(yù)測軀干姿態(tài)方面取得了最優(yōu)的性能，而且對(duì)于細(xì)粒度的手部動(dòng)作具有更好的預(yù)測結(jié)果。
「play」動(dòng)作下的全身關(guān)節(jié)預(yù)測結(jié)果對(duì)比
消融實(shí)驗(yàn)（Ablation Study）旨在評(píng)估 EAI 框架中不同組件對(duì)最終性能的貢獻(xiàn)程度。這些實(shí)驗(yàn)通過單獨(dú)移除或修改框架中的某些部分來觀察模型性能的變化。具體來說，消融實(shí)驗(yàn)包括以下幾個(gè)方面：
移除不同組件時(shí)對(duì)于算法性能影響的分析
在本研究中，小紅書創(chuàng)作發(fā)布團(tuán)隊(duì)提出了一種創(chuàng)新的全身人體動(dòng)作預(yù)測框架——編碼-對(duì)齊-交互（EAI），該框架旨在同時(shí)預(yù)測身體主要關(guān)節(jié)和手部的精細(xì)動(dòng)作。我們通過引入跨上下文對(duì)齊（XCA）和跨上下文交互（XCI）機(jī)制，有效地處理了全身動(dòng)作預(yù)測中的異質(zhì)性和交互性問題。在新引入的 GRAB 數(shù)據(jù)集上的廣泛實(shí)驗(yàn)表明，EAI 框架在 3D 全身人體動(dòng)作預(yù)測方面取得了最先進(jìn)的性能（SOTA），顯著提升了預(yù)測的準(zhǔn)確性和表達(dá)性。
我們的工作不僅在理論上提出了新的預(yù)測框架，而且在實(shí)際應(yīng)用中也展示了其潛力，尤其是在需要精細(xì)手部動(dòng)作預(yù)測的場景中。這些技術(shù)能夠支撐小紅書媒體技術(shù)中面向細(xì)粒度人體動(dòng)作生成、分析、建模的需求。不過這項(xiàng)工作仍有待進(jìn)一步探索，例如，如何將與物體的交互納入模型，以提供更準(zhǔn)確的運(yùn)動(dòng)預(yù)測。隨著未來研究的深入，我們期待 EAI 框架將為人體運(yùn)動(dòng)預(yù)測領(lǐng)域帶來更多的創(chuàng)新和突破。
論文地址：https://arxiv.org/pdf/2312.11972.pdf
代碼地址：https://github.com/Dingpx/EAI
本文鏈接：http://www.www897cc.com/showinfo-26-77833-0.html小紅書論文刷新 SOTA：人體動(dòng)作預(yù)測再升級(jí)，能精準(zhǔn)到指尖
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)