日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 知識百科

只需2張照片就能2D變3D,這個AI能自己腦補蠟燭吹滅過程,一作二作均為華人

來源: 責編: 時間:2023-08-07 16:30:16 235觀看
導讀 2張廢片啪地一合!錯過的精彩瞬間立刻重現,還能從2D升到3D效果。看,小男孩可愛的笑容馬上躍然浮現:吹滅生日蛋糕蠟燭的瞬間也被還原了出來:咧嘴笑起來的過程看著也太治愈了吧~咱

2張廢片啪地一合!fGG28資訊網——每日最新資訊28at.com

錯過的精彩瞬間立刻重現,還能從2D升到3D效果。fGG28資訊網——每日最新資訊28at.com

看,小男孩可愛的笑容馬上躍然浮現:fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

吹滅生日蛋糕蠟燭的瞬間也被還原了出來:fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

咧嘴笑起來的過程看著也太治愈了吧~fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

咱就是說,這回相機里熊孩子/毛孩子的廢片終于有救了!fGG28資訊網——每日最新資訊28at.com

而且完全看不出是后期合成的效果,仿佛是原生拍攝的一般。fGG28資訊網——每日最新資訊28at.com

這就是谷歌、康奈爾大學、華盛頓大學最近聯合推出的成果,能只用2張相近的照片還原出3D瞬間,目前已被CVPR 2022收錄。fGG28資訊網——每日最新資訊28at.com

論文作者一作、二作均為華人,一作小姐姐本科畢業(yè)于浙江大學。fGG28資訊網——每日最新資訊28at.com

用2張照片正反向預測中間場景fGG28資訊網——每日最新資訊28at.com

這種方法適用于兩張非常相似的照片,比如連拍時產生的一系列照片。fGG28資訊網——每日最新資訊28at.com

方法的關鍵在于將2張圖片轉換為一對基于特征的分層深度圖像 (LDI),并通過場景流進行增強。fGG28資訊網——每日最新資訊28at.com

整個過程可以把兩張照片分別看做是“起點”和“終點”,然后在這二者之間逐步預測出每一刻的變化。fGG28資訊網——每日最新資訊28at.com

具體來看,過程如下:fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

首先,將兩張照片用單應矩陣(homegraphy)對齊,分別預測兩張照片的稠密深度圖。fGG28資訊網——每日最新資訊28at.com

然后將每個RGBD圖像轉換為彩色的LDI,通過深度感知修復背景中被遮擋的部分。fGG28資訊網——每日最新資訊28at.com

其中,RGB圖像即為普通RGB圖像+深度圖像。fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

之后用二維特征提取器修復LDI的每個顏色層,以獲取特征層,從而生成兩份特征圖層。fGG28資訊網——每日最新資訊28at.com

下一步就到了模擬場景運動部分。fGG28資訊網——每日最新資訊28at.com

通過預測兩個輸入圖像之間的深度和光流,就能計算出LDI中每個像素的場景流。fGG28資訊網——每日最新資訊28at.com

而如果想要兩張圖之間渲染出一個新的視圖、并提升到3D,在此需要將兩組帶特征值的LDI提升到一對3D點云中,還要沿著場景流雙向移動到中間的時間點。fGG28資訊網——每日最新資訊28at.com

然后再將三維的特征點投影展開,形成正向、反向的二維特征圖及對應深度圖。fGG28資訊網——每日最新資訊28at.com

最后將這些映射與時間線中對應時間點的權重線性混合,將結果傳給圖像合成網絡,就能得到最后的效果了。fGG28資訊網——每日最新資訊28at.com

實驗結果fGG28資訊網——每日最新資訊28at.com

從數據方面來看,該方法在所有誤差指標上,均高于基線水平。fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

在UCSD數據集上,這一方法可以保留畫面中的更多細節(jié),如(d)所示。fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

在NVIDIA數據集上進行消融實驗表明,該方法在提高渲染質量上表現也很nice。fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

不過也存在一些問題:當兩張圖像之間的改變比較大時,會出現物體錯位的現象。fGG28資訊網——每日最新資訊28at.com

比如下圖中酒瓶的瓶嘴移動了,不該發(fā)生變化的酒杯也搖晃了起來。fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

還有照片如果沒有拍全的地方,在合成的時候難免會出現“截肢”的情況,比如下圖中喂考拉的手。fGG28資訊網——每日最新資訊28at.com

fGG28資訊網——每日最新資訊28at.com

論文地址:fGG28資訊網——每日最新資訊28at.com

https://3d-moments.github.io/fGG28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-119-2324-0.html只需2張照片就能2D變3D,這個AI能自己腦補蠟燭吹滅過程,一作二作均為華人

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 如何確保有狀態(tài) Kubernetes 的穩(wěn)定性

下一篇: 云計算核心技術Docker教程:注冊服務器開放外部訪問

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 石门县| 合山市| 邓州市| 康定县| 静宁县| 民丰县| 博爱县| 惠州市| 米易县| 晋江市| 专栏| 兰州市| 河南省| 米泉市| 洪雅县| 元江| 铁力市| 册亨县| 鄂伦春自治旗| 溧阳市| 湘阴县| 荣昌县| 杭锦后旗| 天台县| 吉水县| 华容县| 缙云县| 麦盖提县| 鄂托克前旗| 抚松县| 敖汉旗| 南宫市| 古浪县| 轮台县| 张家界市| 安丘市| 库尔勒市| 防城港市| 文化| 沈阳市| 河津市|