Z0028資訊網(wǎng)——每日最新資訊28at.com

因精度高、功耗低、成本低，光學(xué)追蹤是目前最主流的VR手柄追蹤方式。為了保證IR燈（紅外燈）不易受遮擋，通常手柄本體上都帶有一個(gè)明顯凸起的追蹤光環(huán)。Z0028資訊網(wǎng)——每日最新資訊28at.com

但為了順應(yīng)VR設(shè)備小型化得趨勢(shì)，提升用戶(hù)攜帶的便利性，并提供更自然的交互方式，PICO取消了手柄上的追蹤光環(huán)，選擇在手柄本體有限區(qū)域內(nèi)布置少量的IR燈。Z0028資訊網(wǎng)——每日最新資訊28at.com

Centaur多模態(tài)融合算法架構(gòu)

更小的手柄、更少的IR燈，也意味著更頻繁的遮擋。如何解決遮擋情況下的手柄追蹤問(wèn)題，則是PICO研發(fā)團(tuán)隊(duì)面臨的關(guān)鍵課題。Z0028資訊網(wǎng)——每日最新資訊28at.com

基于團(tuán)隊(duì)在光學(xué)追蹤與裸手追蹤方面的技術(shù)積累，PICO創(chuàng)新性地提出了一套基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)手柄追蹤架構(gòu)，其融合了慣性測(cè)量單元（IMU）、光學(xué)傳感器和手部圖像信息。在手柄被遮擋的情況下，裸手追蹤能夠提供更加精準(zhǔn)的觀測(cè)，同時(shí)手柄又能為手部追蹤提供準(zhǔn)確預(yù)測(cè)，兩者深度融合、相互輔助。Z0028資訊網(wǎng)——每日最新資訊28at.com

裸手追蹤

由于手柄的遮擋，通常裸手視覺(jué)特征并不明顯，這也常常會(huì)引發(fā)追蹤失效。針對(duì)該難點(diǎn)，裸手算法團(tuán)隊(duì)創(chuàng)新性地提出Down-Top的端到端6DoF追蹤算法，通過(guò)有效利用多目時(shí)序的全局上下文信息，一次性準(zhǔn)確且穩(wěn)定地預(yù)測(cè)手柄位姿信息，能夠在手柄追蹤失效時(shí)，及時(shí)提供魯棒的6DoF位姿。Z0028資訊網(wǎng)——每日最新資訊28at.com

1. 模型背景

目前普遍的裸手追蹤算法是基于Top-Down結(jié)構(gòu)，即基于Detection模型檢測(cè)出手部的bounding-box框，再利用bounding-box框?qū)⑹植繐高x出來(lái)，如下圖所示：Z0028資訊網(wǎng)——每日最新資訊28at.com

Z0028資訊網(wǎng)——每日最新資訊28at.com

該結(jié)構(gòu)可以獲得更高的精度，但是在平舉、自然垂下等特殊動(dòng)作場(chǎng)景中，由于小手柄遮擋或離得較遠(yuǎn)等原因，手部放大之后模糊的地方較多，如下圖所示：Z0028資訊網(wǎng)——每日最新資訊28at.com

Z0028資訊網(wǎng)——每日最新資訊28at.com

3. 評(píng)測(cè)結(jié)果

從使用Top-Down模型結(jié)構(gòu)和Down-Top模型結(jié)構(gòu)在平舉和垂下等場(chǎng)景中的實(shí)驗(yàn)結(jié)果中，可以發(fā)現(xiàn)，使用Down-Top方案，能夠在精度相近的情況下，獲得更高的檢出率：36%->93%。Z0028資訊網(wǎng)——每日最新資訊28at.com

Top-DownZ0028資訊網(wǎng)——每日最新資訊28at.com

Down-TopZ0028資訊網(wǎng)——每日最新資訊28at.com

融合算法

1. 全新挑戰(zhàn)

傳統(tǒng)光學(xué)追蹤方案，依賴(lài)手柄上一個(gè)顯著突出的物理結(jié)構(gòu)（即追蹤光環(huán)），來(lái)確保手柄在各種各樣的握持角度和位置條件下，都有足夠的LED燈點(diǎn)可以被定位攝像頭觀測(cè)到。多個(gè)LED光點(diǎn)在圖像上的2D位置被確定后，則可以進(jìn)行PNP解算，輔以手柄內(nèi)高幀率的IMU，則可以獲得精確的手柄高頻定位結(jié)果，從而為用戶(hù)提供準(zhǔn)確、流暢的追蹤體驗(yàn)。Z0028資訊網(wǎng)——每日最新資訊28at.com

PICO 4 手柄Z0028資訊網(wǎng)——每日最新資訊28at.com

Quest 2手柄Z0028資訊網(wǎng)——每日最新資訊28at.com

但去掉光環(huán)后，追蹤算法則面臨較大挑戰(zhàn)。由于LED只能夠被稀疏的布置于手柄本體的幾個(gè)區(qū)域，且更少的數(shù)量和更易被遮擋的情況，也導(dǎo)致攝像頭經(jīng)常性地只能觀測(cè)到有限的紅外燈，甚至是零個(gè)。此時(shí)算法僅依賴(lài)IMU的慣性遞推解算，并不能長(zhǎng)時(shí)間提供穩(wěn)定可靠的定位信息。Z0028資訊網(wǎng)——每日最新資訊28at.com

PICO算法團(tuán)隊(duì)經(jīng)過(guò)多輪探索預(yù)研后，創(chuàng)新提出了融合慣性測(cè)量單元（IMU）、光學(xué)傳感器和手部圖像信息的多模態(tài)融合方案。該方案基于手勢(shì)識(shí)別和手柄光學(xué)追蹤的互補(bǔ)性，完美地解決了上述的一系列挑戰(zhàn)和難點(diǎn)。團(tuán)隊(duì)將其命名為Centaur多模態(tài)融合算法。Z0028資訊網(wǎng)——每日最新資訊28at.com

2. Centaur多模態(tài)融合算法的構(gòu)成

Centaur多模態(tài)融合算法將視覺(jué)信息和慣性信息進(jìn)行融合，進(jìn)而得到手柄位姿及速度的最優(yōu)估計(jì)，并提供給上層應(yīng)用層。融合算法構(gòu)成如下圖所示：Z0028資訊網(wǎng)——每日最新資訊28at.com

圖片Z0028資訊網(wǎng)——每日最新資訊28at.com

圖中各模塊的功能：Z0028資訊網(wǎng)——每日最新資訊28at.com

• 多個(gè)Global-Shutter IR camra布置在頭戴四周，正常曝光幀能夠采集到人手的特征，低曝光幀則能夠在抑制大部分環(huán)境光照干擾時(shí)獲取到手柄中的LED位置。
• 一個(gè)IMU模塊布置在手柄內(nèi)部，提供手柄運(yùn)動(dòng)時(shí)的加速度和角速率信息。
• 3-DOF模塊借助純IMU數(shù)據(jù)估計(jì)手部的旋轉(zhuǎn)信息。
• 基于深度學(xué)習(xí)手勢(shì)檢測(cè)及追蹤模塊（AI-based hand detection & tracking），通過(guò)有效利用多目時(shí)序的全局上下文信息，準(zhǔn)確預(yù)測(cè)手柄的位姿信息。
• 光學(xué)定位模塊（Led detection / matching & pose estimation），使用3-DOF提供的姿態(tài)和LED在手柄上的分布等先驗(yàn)信息，通過(guò)智能匹配機(jī)制確定圖像光斑和led燈的匹配關(guān)系，得到手柄位姿的單幀估計(jì)值。
• 多幀融合濾波器（Multi-State-ESKF），將得到的手部位姿、手柄IMU數(shù)據(jù)、LED光學(xué)估計(jì)位姿及LED匹配關(guān)系等信息進(jìn)行融合計(jì)算，得到高精度、高幀率的手柄位置、旋轉(zhuǎn)及速度信息，并更新給系統(tǒng)接口，供上層應(yīng)用使用。

3. 追蹤與融合

當(dāng)算法首次運(yùn)行，或處于3DOF狀態(tài)時(shí)，由于沒(méi)有連續(xù)追蹤產(chǎn)生的時(shí)序先驗(yàn)信息，因此需要Bootstrap from scratch的初始化方案。在LED及手勢(shì)兩種信息的加持下，初始化算法相比傳統(tǒng)光學(xué)定位也做了相應(yīng)的升級(jí)，并運(yùn)行LED初始化和手勢(shì)初始化兩種算法，最先解出正確初始狀態(tài)的算法將使用手柄初始位姿及速度初始化融合濾波器，從而顯著改善各種握姿下手柄初始化的速度和成功率。Z0028資訊網(wǎng)——每日最新資訊28at.com

而當(dāng)算法初始化完成并進(jìn)入追蹤狀態(tài)時(shí)，算法流程又如下圖所示：Z0028資訊網(wǎng)——每日最新資訊28at.com

圖片Z0028資訊網(wǎng)——每日最新資訊28at.com

• Step 1. 當(dāng)一個(gè)新的圖像幀到來(lái)時(shí)，基于滑窗中的歷史幀狀態(tài)，利用IMU數(shù)據(jù)進(jìn)行慣性遞推解算，得到新圖像幀的狀態(tài)預(yù)測(cè)值。
• Step 2. 基于預(yù)測(cè)的手柄位姿能在當(dāng)前幀圖像中得到手柄LED或手部特征的預(yù)測(cè)位置，下面具體分類(lèi)描述：

• 針對(duì)正常曝光幀： 采用上文所述的Down-Top的網(wǎng)絡(luò)結(jié)構(gòu)，直接得到手腕關(guān)節(jié)6DOF的位姿結(jié)果，使用“手柄-手腕”對(duì)齊關(guān)系轉(zhuǎn)換成手柄位姿，添加為一個(gè)位姿觀測(cè)，作為當(dāng)前幀的約束。
• 針對(duì)低曝光幀： 在區(qū)域中檢測(cè)得到LED光斑的2D位置。基于最近鄰匹配算法，將預(yù)測(cè)的2D點(diǎn)集與檢測(cè)得到的2D點(diǎn)集進(jìn)行匹配。使用PNP solver得到手柄位姿估計(jì)，將位姿結(jié)果和2D匹配結(jié)果都添加到觀測(cè)factor，作為當(dāng)前幀約束。

• Step 3. 最終的融合算法采用了Multi-State ESKF方案，采取了松耦合/緊耦合結(jié)合的模式，對(duì)追蹤效果有顯著改善的同時(shí)節(jié)省計(jì)算量并保證穩(wěn)定性。

4. Centuar多模態(tài)融合算法收益

• 下圖為僅有 3 顆 LED 燈時(shí)手柄靜止?fàn)顟B(tài)下的追蹤效果，多幀緊耦合比單幀松耦合的結(jié)果更加精確，追蹤更加穩(wěn)定，波動(dòng)顯著減小：

• 光學(xué)觀測(cè)的抖動(dòng)非常明顯，±3sigma范圍約為「x軸16mm，y軸4mm，z軸25mm」。實(shí)際動(dòng)作是放在頭戴正前下方，露出三顆紅外燈并保持靜止，因此深度方向上（xz）誤差顯著大于與深度正交方向（y）上的誤差。
• 松耦合eskf對(duì)光學(xué)觀測(cè)抖動(dòng)有抑制作用，三軸向抖動(dòng)范圍壓到「x軸6mm，y軸2.5mm，z軸9mm左右」，但速度估計(jì)波動(dòng)仍有10mm/s。
• 多幀緊耦合的結(jié)果是最好的，軌跡明顯更平滑，抖動(dòng)范圍約「x軸2mm，y軸1mm，z軸3mm左右」，速度抖動(dòng)范圍3mm/s左右，相比原Filter各項(xiàng)誤差指標(biāo)大約有3倍收益。

圖片Z0028資訊網(wǎng)——每日最新資訊28at.com

• 當(dāng)做翻手動(dòng)作，徹底遮擋所有LED時(shí)，算法融合手勢(shì)定位信息與IMU信息，能夠保持手柄的追蹤狀態(tài)與追蹤精度，在各種場(chǎng)景下均能切換自如，絲滑操作。
• 為了驗(yàn)證追蹤效果，PICO團(tuán)隊(duì)還進(jìn)行了極客玩家的極限測(cè)試，在運(yùn)動(dòng)健身、音游等需要快速甩動(dòng)手柄的場(chǎng)景下，PICO多模態(tài)融合算法，都能準(zhǔn)確且穩(wěn)定地追蹤手部和手柄的位置、姿態(tài)。

PICO 無(wú)燈環(huán)小手柄Z0028資訊網(wǎng)——每日最新資訊28at.com

自研同步多相機(jī)系統(tǒng)

數(shù)據(jù)采集與自動(dòng)標(biāo)注

PICO數(shù)據(jù)實(shí)驗(yàn)室構(gòu)建了多模態(tài)的同步相機(jī)系統(tǒng)，不僅能獲得大量且高精度的數(shù)據(jù)信息，也為技術(shù)和產(chǎn)品的研發(fā)奠定了堅(jiān)實(shí)基礎(chǔ)。該系統(tǒng)硬件方面包括工業(yè) RGB 相機(jī)陣列，結(jié)構(gòu)光掃描儀，光學(xué)動(dòng)捕相機(jī)系統(tǒng)，以及 VR 頭戴，軟件方面包括點(diǎn)云注冊(cè)、時(shí)空間標(biāo)定、手勢(shì)手柄自動(dòng)標(biāo)注等，數(shù)據(jù)采集與自動(dòng)標(biāo)注流程包含采集前的準(zhǔn)備和數(shù)據(jù)采集作業(yè)，其中數(shù)據(jù)采集作業(yè)又分為兩個(gè)階段。Z0028資訊網(wǎng)——每日最新資訊28at.com

Z0028資訊網(wǎng)——每日最新資訊28at.com

• 采集前的準(zhǔn)備

我們采用結(jié)構(gòu)光掃描儀獲取手柄和 IR 光球表面的密集點(diǎn)云獲得了光球到手柄模型的轉(zhuǎn)換關(guān)系。我們還將光球綁定到了 tag 標(biāo)定板上，通過(guò)觀測(cè)標(biāo)定板獲得了包括 VR 頭戴在內(nèi)的傳感器參數(shù)；對(duì)于各個(gè)傳感器的時(shí)間線，我們采用兩種方式來(lái)對(duì)齊：一是侵入式地共用外部時(shí)鐘信號(hào)，二是通過(guò)快速舞動(dòng)頭戴設(shè)備，從而獲得 VR 頭戴軌跡和與其綁定的光球軌跡來(lái)進(jìn)行時(shí)、空間對(duì)齊。Z0028資訊網(wǎng)——每日最新資訊28at.com

Z0028資訊網(wǎng)——每日最新資訊28at.com

Z0028資訊網(wǎng)——每日最新資訊28at.com

• 數(shù)據(jù)采集作業(yè)

• 第一步，以多視角的圖像作為輸入，使用自研的手部姿態(tài)標(biāo)注算法獲得關(guān)鍵點(diǎn)位置。在這一環(huán)節(jié)中，為保持?jǐn)?shù)據(jù)的高精度，我們提出了基于解耦表示的手勢(shì)姿態(tài)估計(jì)算法。我們構(gòu)建了 2D 視覺(jué)空間和 3D 節(jié)點(diǎn)空間，并通過(guò)迭代的方式不斷優(yōu)化手部姿態(tài)。同時(shí)，為了解決數(shù)據(jù)標(biāo)注冷啟動(dòng)時(shí)訓(xùn)練數(shù)據(jù)來(lái)源的問(wèn)題，我們還設(shè)計(jì)了多視角自監(jiān)督的框架。相關(guān)算法已發(fā)表于 ICCV2023 會(huì)議中。
• 第二步，在獲得不同視角觀測(cè)的手部姿態(tài)后，我們?nèi)诤隙嘁暯切畔ⅰＭㄟ^(guò)使用三角化方法，通過(guò) RANSAC 獲取多視角融合后的 3D 手部姿態(tài)。在此基礎(chǔ)上，再結(jié)合每個(gè)手部關(guān)鍵點(diǎn)的置信度進(jìn)行微調(diào)優(yōu)化。
• 第三步，以上一步獲得的 3D 手部關(guān)鍵點(diǎn)為目標(biāo)，綜合考慮骨骼位置、運(yùn)動(dòng)速度、手部關(guān)節(jié)的旋轉(zhuǎn)、手勢(shì)和手柄之間的碰撞關(guān)系等多種約束，對(duì)前序的結(jié)果進(jìn)行優(yōu)化。至此，我們獲得了手的關(guān)鍵點(diǎn)以及手和手柄的相對(duì)位置關(guān)系。
• 第一階段：相機(jī)系統(tǒng)同步采集工業(yè)相機(jī)和 VR 頭戴相機(jī)的圖像，并同時(shí)采集光學(xué)動(dòng)捕相機(jī)捕捉的標(biāo)志點(diǎn)坐標(biāo)。

• 第二階段，被采集者保持手相對(duì)手柄姿勢(shì)不變，在不同場(chǎng)景中揮動(dòng)手柄獲得其軌跡。

通過(guò)光球與手柄之間、階段一獲得的手和手柄之間的空間關(guān)系，以及階段二采集的光球軌跡，就能獲得手勢(shì)、手柄在采集空間中的軌跡。另一方面，通過(guò)光球與頭戴之間的空間關(guān)系與階段二跟蹤獲得的光球軌跡，就能將手勢(shì)、手柄投影到頭戴相機(jī)中獲得數(shù)據(jù)標(biāo)簽了。Z0028資訊網(wǎng)——每日最新資訊28at.com

總結(jié)

PICO研發(fā)團(tuán)隊(duì)始終致力于為全球用戶(hù)創(chuàng)造優(yōu)質(zhì)的XR技術(shù)和產(chǎn)品體驗(yàn)。手柄小型化設(shè)計(jì)是XR交互方案設(shè)計(jì)中的創(chuàng)新性和突破性進(jìn)展，而PICO自研的Centaur多模態(tài)追蹤算法，不僅讓「手柄小型化」完成了技術(shù)突破并成功落地，也為后續(xù)的人機(jī)交互設(shè)計(jì)提供了新的思路和可能性。Z0028資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-12679-0.html自研多模態(tài)追蹤算法 PICO 為「手柄小型化」找到新思路

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： OOM內(nèi)存泄露速查備忘錄

下一篇： 通過(guò)Java Record提升代碼質(zhì)量：簡(jiǎn)潔而健壯的數(shù)據(jù)對(duì)象