小米官宣：2023年上半年出貨量中國第一！
今日早間，小米電視官方微博帶來消息，稱2023年小米電視上半年出貨量達到了中國第一，同時還表示小米電視的巨屏風暴即將開始。“公布一個好消息2023年#小米電視上半年出貨量中國
人形機器人跳舞復刻杰克遜，竟一點不遜色？？
這究竟是怎么回事？
原來啊，阿里又整出新活兒——
MotionShop，能將視頻中的人物角色替換成3D形象，同時又不改變其他場景和人物。
看到這有人已經迫不及待了。目前已在ModelScope社區開放試玩。
還有人建議說在HuggingFace也安排一下，不然不懂中文的人怎么辦啊~
不過確實承認，近阿里的花活好多。
可免費試玩
目前MotionShop可以免費試玩，只需三步即可完成：
上傳視頻——確定目標對象——選擇要替換的虛擬對象。
不過實測的時候發現，需要注意幾點。
首先上傳這個視頻，不能超過15秒，好保證人物完整，而且也不能是剪輯而成。
換句話說，需要一鏡到底，切換鏡頭就不行。
隨后選擇替換人物時，它會自動選擇一個對象，然后看是否符合你的目標對象。
目前可替換的虛擬形象只有四個。
后就是比較漫長的排隊等待時間……試用的人太多了吧。
如何實現？
來自阿里的研究團隊提出了用3D人物替換視頻中角色的框架。
整個框架由兩部分組成：
1、用于提取修復背景視頻序列的視頻處理管線；
2、用于生成3D人物視頻的序列的姿態估計和渲染管線。
通過并行兩條管線并使用高性能的光線追蹤渲染器TIDE，整個過程能在
具體分為七個步驟。
第一步，角色檢測。使用基于Transformer融合文本信息與現有封閉集檢測器，實現零樣本對象檢測。通過優勢選擇方法確定終目標區域。
第二步，分割與追蹤。成功檢測到目標后，通過視頻對象分割跟蹤方法來像素級跟蹤目標區域，這一方法是基于SAM模型的細化升級。
第三步，修補。視頻剩下區域進行修補繪制。包括采用了遞歸流完成法來恢復損壞的流場，在圖像域和特征域都采用了雙域傳播法來增強全局和局部的時間一致性。
第四步，姿態估計。采用姿態估計方法 CVFFS 來估計穩定的人體姿態。使用 SMPL 人體模型來表示三維人體。
第五步，3D人物生成。將估算出的形狀和姿勢重新映射到選定的三維模型上。
第六步，為了更自然真實的視覺效果，做進一步光線處理和渲染，讓3D模型與原視頻更融入。比如使用TIDE引擎來渲染新的 3D 模型。它與精確的材質系統相結合，并輔以運動模糊、時間抗鋸齒和時間去噪等算法。
后，將渲染圖像與原始視頻合成，生成終視頻。
本文鏈接：http://www.www897cc.com/showinfo-17-63997-0.html杰克遜跳舞秒變3D機器人！阿里又出新活兒 視頻任何人可替換
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號