容量越大越不壞？24萬塊硬盤故障率報告公布 這些產品零故障
8月5日消息，云存儲服務商Backblaze發布了最新的硬盤故障率報告，年故障率有所上升。Backblaze發布的硬盤季度統計數據，其中包括故障率等重要方面。這些結
想象一下，你在玩一款 VR 游戲，準備伸手拿起一個虛擬杯子喝水。
在傳統的交互系統中，這通常需要你按下控制器上的特定按鈕。但如果游戲集成了 EAI 框架，這一過程將變得無比自然。當你的手緩緩接近虛擬杯子時，系統會敏銳地預測出你的未來手部動作，無需任何操作，游戲中的“你”便會流暢地模擬出精細的手部抓取動作，游戲引擎也會提前對你的動作行為做出響應。
這種無縫的交互體驗，將會提升游戲中人-人、人- NPC 交互的實時性和準確性，極大地提升游戲沉浸感。
什么是 EAI 框架？全稱是編碼-對齊-交互（Encoding-Alignment-Interaction）框架，由小紅書創作發布團隊在 AAAI 2024 上創新提出。該框架用于預測未來全身人體動作，尤其擅長手部細微動作的預測。
EAI 框架的應用遠不止于此。它能夠理解并預測用戶的動作意圖，無論是在藝術表演中同步舞者的動作，創造出與音樂和視覺效果和諧融合的動態藝術，還是在智能家居中自動響應你的需求，或是在醫療康復領域指導患者正確執行運動，避免潛在傷害。它甚至能夠預測潛在的安全威脅，如在擁擠場所避免踩踏事件。
實驗結果表明：EAI 框架在多個大規模基準數據集上取得了最先進的預測性能（SOTA）。它有效地處理了身體和手部動作之間的異質性和交互性，實現了全身動作預測的高質量輸出。這一突破性的技術，預示著未來在人機交互、虛擬現實以及更廣泛的智能系統中，將有無限的可能性等待著被探索。
人體動作預測（Human Motion Forecasting），即預估未來一段時間內的人類行為，正成為連接人類行為與智能系統的關鍵橋梁。在人機交互（HRI）、虛擬現實（VR）和游戲動畫（GA）等領域，這一任務至關重要。然而，現有研究通常集中在預測人體主要關節的運動，卻忽略了手部精細動作，而這些動作在溝通和交互中至關重要。
在人機交互場景中，機器人需要準確預測人類未來動作以實現有效協作，但現有模型未能充分捕捉手部精細動作，這直接影響了對人類意圖和行為的理解。此外，人體各部分間的協作和交付，如喝水、鼓掌等復雜交互模式，也未被現有預測模型充分捕捉，這限制了預測的準確性和表達性。
為解決上述挑戰，我們首先提出了一種全新范式：全身人體動作預測任務，即同時預測身體和手部所有關節的未來活動。通過這種聯合預測，可以更準確地捕捉人類行為的全貌，從而在人機交互等應用中提供更自然的交互體驗。這種全身運動預測不僅包括身體的主要動作，還細致地考慮了手部的精細運動，以理解人類行為的意圖和情感表達。
進一步地，為實現面向全身人體關節的細粒度動作預測的目標，我們重點提出了編碼-對齊-交互（Encoding-Alignment-Interaction，EAI）框架。EAI 框架主要包括以下兩個核心組成部分：
通過在新引入的大型數據集上的廣泛實驗，EAI 框架在 3D 全身人體動作預測方面取得了最先進的性能，證明了其在捕捉人類動作細微差別方面的有效性。這些實驗結果不僅展示了 EAI 框架在預測復雜人類動作方面的優越性，還為未來的人機交互和虛擬現實等領域的應用提供了新的視角和可能性。
EAI 算法流程圖
如圖所示，EAI 框架主要涉及以下三個核心步驟：
這種方法通過聯合預測身體和手部動作，能夠提高預測運動的準確性和表達性，特別是在捕捉不同人體部分動作的細微差別方面具有較強的性能。
內部上下文編碼（Intra-context Encoding）是 EAI 框架中的一個重要模塊，負責從每個身體部分（如左手、右手和主要身體）提取特征。該模塊能夠獨立地處理每個身體部分，以便捕捉每個組件內部的時空相關性。假設下標 ， ， 分別表示左手、軀干和右手，我們將全身人體姿態劃分為三個部分：左手動作序列 ，軀干動作序列 ，右手動作序列 。具體操作步驟如下：
a. DCT 編碼：在時間域，使用離散余弦變換（Discrete Cosine Transform，DCT）來捕捉動作序列的時序平滑性，將觀察到的動作序列轉換到軌跡空間:
b. GCN 表示學習：在空間域，利用圖卷積網絡（Graph Convolutional Networks，GCNs）將骨骼表示為一個全連接圖，通過鄰接矩陣來捕捉空間關系：
其中， 表示 ReLU 激活函數， 表示鄰接矩陣， 表示輸入特征， 表示 GCN 權重矩陣， 表示輸出特征。上述是以軀干關節進行的上下文編碼。相似地，我們也能夠得到左右手的關節表示 、 ，這些特征隨后將用于跨上下文對齊和交互，以實現更準確的全身動作預測。
跨上下文對齊（Cross-context Alignment，XCA） 目的是對齊不同身體部分（如身體、左手和右手）的潛在特征，以消除它們之間的異質性，從而方便后續的跨上下文特征交互。該模塊通過以下步驟實現特征對齊：
通過 XCA，EAI 框架能夠有效地處理身體各部分之間的異質性，為后續的 XCI 提供了更加一致和協調的特征表示，從而有助于提高全身動作預測的準確性和表達性。
跨上下文交互（Cross-context Interaction，XCI）是 EAI 框架中的另一個核心模塊，它專注于捕捉全身不同部分之間的交互性，包括語義和物理層面的互動。這個模塊通過以下步驟實現交互：
a. 語義交互：通過交叉注意力機制，模型學習不同身體部分之間的語義依賴性。例如，對于吃飯這個動作，手指和頭部關節之間存在強相關性。XCI 通過計算注意力圖來融合這些語義交互信息。
b. 物理交互：作為身體和手部之間的橋梁，手腕提供了直接的鏈式相關性。XCI 采用“分割和融合”策略，首先獨立地復制手腕關節以包含它，然后進行動態特征融合，以更好地模擬身體部分之間的物理連接。
通過最小化分布差異誤差，XCI 將不同身體部分的特征融合在一起，生成表達性特征。這些特征隨后用于預測器，以回歸到預測的序列。通過 XCI，EAI 框架能夠捕捉到全身動作中微妙的交互細節，這對于理解和預測復雜的人類行為至關重要。這種交互性的理解有助于提高預測的準確性，特別是在涉及精細手部動作的場景中。
損失函數（Training Loss）主要包含四個部分：關節損失、物理損失、骨頭長度損失和對齊損失，具體如下：
最終損失是所有損失函數的加權和，綜合了預測損失、物理損失和對齊損失。通過調整權重參數（λ1、λ2、λ3）來平衡這些損失，以確保模型在訓練過程中能夠同時優化預測準確性和特征的一致性。
數據集：本文采用 GRAB 數據集，它一個近期發布的大規模人體運動分析數據集，包含超過 160 萬幀的記錄，涉及 10 位不同演員執行的 29 種動作。這些動作通過高精度的運用運動捕捉技術進行捕捉。GRAB 提供了 SMPL-X 參數，從中提取了 25 個關節（3D 位置）定義為身體（ = 25），每只手則表示為 15 個關節（ = = 15），因此全身姿態總共包含 + + = 25 + 15 + 15 個關節。
評估指標：為了評估模型的性能，我們使用了平均每個關節位置誤差 MPJPE、手腕對齊后的 MPJPE-AW。MPJPE 用于衡量預測的 3D 坐標的準確性，而MPJPE-AW 則用于評估手部動作的精細預測，通過將手勢與手腕對齊來減少手腕運動對預測的影響。
實驗設置：我們采用了兩種訓練策略來評估不同方法的性能：
（1）分隔（D）訓練策略，分別針對每個人體組件的訓練基線方法，這種獨立策略缺乏組件之間的交互，可以用來說明 XCI 的有效性。
（2）聯合（U）訓練策略，將 GCN 的節點數擴展到 55（ = 25， = = 15），這種策略通過全身圖隱含地包含跨上下文交互，但不考慮不同身體部分的異質性，用來展示 XCA 的有效性。訓練細節包括使用 AdamW 優化器，初始學習率為 0.001，批次大小為 64，訓練 50 個周期，每兩個周期學習率衰減0.96。權衡參數 {λ1, λ2, λ3} 設置為 {1, 0.1, 0.001}。
我們首先統計了 GRAB 數據集上的平均預測性能（表 1），針對每種動作類型統計了預測性能（表 2）。我們分別展示了使用分割策略（標注為 D）和聯合策略（標注為 U）的預測結果。另外，每個表格中分別展示了身體關節的預測結果（major body）、左手關節的預測結果（left hand）、右手關節的預測結果（right hand），以及使用腕關節對齊后的左手對齊誤差（left hand AW）、右手對齊誤差（right hand AW），以及全身所有關節的預測結果（whole body）。
表1：GRAB 數據集上采用分隔（D）和聯合（U）訓練的平均預測結果
表2：采用統一訓練策略，GRAB 數據集上每一個動作類別下的預測結果
可視化對比結果部分提供了一種直觀的方式來評估和理解模型在預測全身動作方面的性能。通過展示「play」動作的全身骨骼形式，我們可以分析模型的預測性能。這些可視化結果可以幫助我們直觀地理解模型在預測精細動作和粗略動作方面的表現。可以清晰地看出，提出的 EAI 方法不僅在預測軀干姿態方面取得了最優的性能，而且對于細粒度的手部動作具有更好的預測結果。
「play」動作下的全身關節預測結果對比
消融實驗（Ablation Study）旨在評估 EAI 框架中不同組件對最終性能的貢獻程度。這些實驗通過單獨移除或修改框架中的某些部分來觀察模型性能的變化。具體來說，消融實驗包括以下幾個方面：
移除不同組件時對于算法性能影響的分析
在本研究中，小紅書創作發布團隊提出了一種創新的全身人體動作預測框架——編碼-對齊-交互（EAI），該框架旨在同時預測身體主要關節和手部的精細動作。我們通過引入跨上下文對齊（XCA）和跨上下文交互（XCI）機制，有效地處理了全身動作預測中的異質性和交互性問題。在新引入的 GRAB 數據集上的廣泛實驗表明，EAI 框架在 3D 全身人體動作預測方面取得了最先進的性能（SOTA），顯著提升了預測的準確性和表達性。
我們的工作不僅在理論上提出了新的預測框架，而且在實際應用中也展示了其潛力，尤其是在需要精細手部動作預測的場景中。這些技術能夠支撐小紅書媒體技術中面向細粒度人體動作生成、分析、建模的需求。不過這項工作仍有待進一步探索，例如，如何將與物體的交互納入模型，以提供更準確的運動預測。隨著未來研究的深入，我們期待 EAI 框架將為人體運動預測領域帶來更多的創新和突破。
論文地址：https://arxiv.org/pdf/2312.11972.pdf
代碼地址：https://github.com/Dingpx/EAI
本文鏈接：http://www.www897cc.com/showinfo-26-77833-0.html小紅書論文刷新 SOTA：人體動作預測再升級，能精準到指尖
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號