日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 網絡

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換

來源: 責編: 時間:2024-01-18 09:37:45 237觀看
導讀 人形機器人跳舞復刻杰克遜,竟一點不遜色??這究竟是怎么回事?原來啊,阿里又整出新活兒——MotionShop,能將視頻中的人物角色替換成3D形象,同時又不改變其他場景和人物。看到這有人已經迫不及待了。目前已

人形機器人跳舞復刻杰克遜,竟一點不遜色??UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

這究竟是怎么回事?UeL28資訊網——每日最新資訊28at.com

原來啊,阿里又整出新活兒——UeL28資訊網——每日最新資訊28at.com

MotionShop,能將視頻中的人物角色替換成3D形象,同時又不改變其他場景和人物。UeL28資訊網——每日最新資訊28at.com

看到這有人已經迫不及待了。目前已在ModelScope社區開放試玩。UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

還有人建議說在HuggingFace也安排一下,不然不懂中文的人怎么辦啊~UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

不過確實承認,近阿里的花活好多。UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

可免費試玩UeL28資訊網——每日最新資訊28at.com

目前MotionShop可以免費試玩,只需三步即可完成:UeL28資訊網——每日最新資訊28at.com

上傳視頻——確定目標對象——選擇要替換的虛擬對象。UeL28資訊網——每日最新資訊28at.com

不過實測的時候發現,需要注意幾點。UeL28資訊網——每日最新資訊28at.com

首先上傳這個視頻,不能超過15秒,好保證人物完整,而且也不能是剪輯而成。UeL28資訊網——每日最新資訊28at.com

換句話說,需要一鏡到底,切換鏡頭就不行。UeL28資訊網——每日最新資訊28at.com

隨后選擇替換人物時,它會自動選擇一個對象,然后看是否符合你的目標對象。UeL28資訊網——每日最新資訊28at.com

目前可替換的虛擬形象只有四個。UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

后就是比較漫長的排隊等待時間……試用的人太多了吧。UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

如何實現?UeL28資訊網——每日最新資訊28at.com

來自阿里的研究團隊提出了用3D人物替換視頻中角色的框架。UeL28資訊網——每日最新資訊28at.com

整個框架由兩部分組成:UeL28資訊網——每日最新資訊28at.com

1、用于提取修復背景視頻序列的視頻處理管線;UeL28資訊網——每日最新資訊28at.com

2、用于生成3D人物視頻的序列的姿態估計和渲染管線。UeL28資訊網——每日最新資訊28at.com

通過并行兩條管線并使用高性能的光線追蹤渲染器TIDE,整個過程能在UeL28資訊網——每日最新資訊28at.com

杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換UeL28資訊網——每日最新資訊28at.com

具體分為七個步驟。UeL28資訊網——每日最新資訊28at.com

第一步,角色檢測。使用基于Transformer融合文本信息與現有封閉集檢測器,實現零樣本對象檢測。通過優勢選擇方法確定終目標區域。UeL28資訊網——每日最新資訊28at.com

第二步,分割與追蹤。成功檢測到目標后,通過視頻對象分割跟蹤方法來像素級跟蹤目標區域,這一方法是基于SAM模型的細化升級。UeL28資訊網——每日最新資訊28at.com

第三步,修補。視頻剩下區域進行修補繪制。包括采用了遞歸流完成法來恢復損壞的流場,在圖像域和特征域都采用了雙域傳播法來增強全局和局部的時間一致性。UeL28資訊網——每日最新資訊28at.com

第四步,姿態估計。采用姿態估計方法 CVFFS 來估計穩定的人體姿態。使用 SMPL 人體模型來表示三維人體。UeL28資訊網——每日最新資訊28at.com

第五步,3D人物生成。將估算出的形狀和姿勢重新映射到選定的三維模型上。UeL28資訊網——每日最新資訊28at.com

第六步,為了更自然真實的視覺效果,做進一步光線處理和渲染,讓3D模型與原視頻更融入。比如使用TIDE引擎來渲染新的 3D 模型。它與精確的材質系統相結合,并輔以運動模糊、時間抗鋸齒和時間去噪等算法。UeL28資訊網——每日最新資訊28at.com

后,將渲染圖像與原始視頻合成,生成終視頻。UeL28資訊網——每日最新資訊28at.com


文章出處:量子位

本文鏈接:http://www.www897cc.com/showinfo-17-63997-0.html杰克遜跳舞秒變3D機器人!阿里又出新活兒 視頻任何人可替換

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 日本去年破產企業超8000家 增幅為31年來新高:造假公司越來越多...

下一篇: 唯品會:沒錢做百億補貼 居然沒被卷死 還挺滋潤

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 大埔县| 新邵县| 吴川市| 延川县| 常熟市| 天津市| 商洛市| 文登市| 渭南市| 霍城县| 大埔区| 上林县| 博白县| 高雄县| 汽车| 秦皇岛市| 阿尔山市| 中江县| 恩施市| 开远市| 驻马店市| 沈阳市| 什邡市| 贡觉县| 武强县| 密山市| 双流县| 乌苏市| 黔东| 汨罗市| 荔浦县| 会东县| 安顺市| 迭部县| 长海县| 镇江市| 万全县| 江达县| 株洲县| 安福县| 永兴县|