日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

AI 逆向繪畫:一鍵重繪梵高《羅納河上的星夜》,來自華盛頓大學

來源: 責編: 時間:2024-10-13 14:11:11 90觀看
導讀 梵高名作也能被 AI 逆向破解了?!直接喂一張原圖,AI 就能化身梵高?本高一點點重繪整張圖畫(原圖可任意)。▲梵高《羅納河上的星夜》仔細對照兩邊,AI 幾乎實現了 1:1 復刻,還為我們這些繪畫小白清晰展示了整幅圖的構

梵高名作也能被 AI 逆向破解了?!vEm28資訊網——每日最新資訊28at.com

直接喂一張原圖,AI 就能化身梵高?本高一點點重繪整張圖畫(原圖可任意)。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

▲梵高《羅納河上的星夜》

仔細對照兩邊,AI 幾乎實現了 1:1 復刻,還為我們這些繪畫小白清晰展示了整幅圖的構建過程。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

這項魔法來自華盛頓大學,項目名為 Inverse Painting,相關論文已入選 SIGGRAPH Asia 2024,其中兩位作者還是東北大學(Bowei Chen )和上海科技大學(Yifan Wang)的校友。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

項目一經發布后即在 Reddit 引起熱議,最高贊更是為藝術家群體操起了心(doge)。vEm28資訊網——每日最新資訊28at.com

藝術家可能會對此感到憤怒vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

不過也有人表示,這對于人們學習如何繪畫非常有幫助。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

甚至可以用來“破解”一些大師遺作,提取隱藏或失傳的技術。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

基于擴散模型

從原圖 → 繪畫過程延時視頻,Inverse Painting 采用基于擴散的逆繪畫方法。vEm28資訊網——每日最新資訊28at.com

通過學習真實藝術家的繪畫視頻,結合文本和區域理解來定義繪畫“指令”,并使用基于擴散的渲染器更新畫布,從而生成類似于人類藝術家繪畫過程的視頻。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

進一步拆解,這一過程主要包括以下步驟:vEm28資訊網——每日最新資訊28at.com

學習藝術家的繪畫過程。收集了 294 個丙烯酸風景畫繪畫過程視頻(平均時長 9 分鐘),并進行視頻幀分割、裁剪和篩選等預處理操作,讓模型學習繪畫過程;vEm28資訊網——每日最新資訊28at.com

定義繪畫指令。基于對畫作不同元素(比如天空、樹木、人物等)以及元素相互關系的理解,模型會生成一組“繪畫指令”,告訴模型應該先畫什么,后畫什么;vEm28資訊網——每日最新資訊28at.com

使用擴散模型。用擴散模型生成逼真圖像,并逐步在畫布上添加細節,就像藝術家繪畫時一樣;vEm28資訊網——每日最新資訊28at.com

文本和區域理解。模型還會生成文本指令和區域掩碼,前者告訴模型要繪制的內容,后者用來指定內容的確切位置;vEm28資訊網——每日最新資訊28at.com

逐步渲染。從一個空白畫布開始,逐步生成完整繪畫過程;vEm28資訊網——每日最新資訊28at.com

時間控制。為了模擬真實世界中藝術家的繪畫速度,模型還會考慮每步之間的時間間隔;vEm28資訊網——每日最新資訊28at.com

這些步驟整體可歸為兩階段訓練 + 測試,如下所示:vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

第一階段:指令生成(Instruction Generation)

這個階段主要生成兩個關鍵指令集,文本指令生成器(Text Instruction Generator)和區域掩碼生成器(Mask Instruction Generator)。vEm28資訊網——每日最新資訊28at.com

前者通過比較目標畫作和當前畫布的狀態,生成一個簡短的文本指令,比如“畫天空”或“加花朵”,以此決定下一步應該添加哪些元素。vEm28資訊網——每日最新資訊28at.com

后者是一個二進制圖像,指明了畫布上應該更新哪些部分。vEm28資訊網——每日最新資訊28at.com

兩者一結合,確保模型只在畫布上合適的區域進行繪制。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

▲生成的文本指令第二階段:畫布渲染(Canvas Rendering)

接下來使用第一階段生成的指令來更新畫布。vEm28資訊網——每日最新資訊28at.com

利用文本指令和區域掩碼,以及當前畫布的圖像和目標畫作,一個基于擴散的渲染器被用來更新畫布。vEm28資訊網——每日最新資訊28at.com

這個渲染器采用了一種叫做“去噪擴散概率模型”的技術,它逐步從噪聲圖像中去除噪音,以生成連續的圖像幀。vEm28資訊網——每日最新資訊28at.com

總之,渲染器在更新畫布時會考慮多種條件信號,包括文本指令、區域掩碼、時間間隔,以及目標畫作和當前畫作的特征。vEm28資訊網——每日最新資訊28at.com

這些條件信號幫助渲染器更準確地模擬人類藝術家的繪畫風格和過程。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

測試(Test-Time Generation)

在測試階段,模型使用訓練好的管道從頭開始生成一幅畫作。vEm28資訊網——每日最新資訊28at.com

這里主要有兩個關鍵:vEm28資訊網——每日最新資訊28at.com

自回歸過程。每一步都依賴于前一步生成的結果,以此生成一個連貫的繪畫過程;vEm28資訊網——每日最新資訊28at.com

固定時間間隔。在每一步之間采用固定時間來更新畫布,模擬真實繪畫過程中的時間流逝;vEm28資訊網——每日最新資訊28at.com

最終,與三個基線方法(Timecraft、Paint Transformer、Stable Video Diffusion)相比,其生成結果明顯更優。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

同時,相關變體也取得了 SOTA 結果。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

其中兩位作者為華人

簡單介紹下項目作者,一共 5 位,其中兩位是華人。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

Bowei Chen (陳柏維),本科就讀于國內東北大學軟件工程專業(2016 年入學),后分別在卡內基梅隆大學機器人研究所和華盛頓大學攻讀碩博。vEm28資訊網——每日最新資訊28at.com

研究興趣為計算機視覺和圖形學的交叉點,重點是圖像和視頻生成。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

Yifan Wang,本科就讀于上海科技大學計算機專業,今年剛獲得華盛頓大學 CS 博士學位。vEm28資訊網——每日最新資訊28at.com

個人主頁顯示了多段工作經歷(含字節、谷歌、Adobe 等),目前是 Meta Reality Labs Research 的一名研究科學家。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

實際上,這個團隊進行的 AI 逆向繪畫之前也有,網友們還提到了 Paints Undo 這個項目。vEm28資訊網——每日最新資訊28at.com

當時主要應用于動漫領域,短短 3 個月已在 GitHub 攬星 3.3K。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

對于這事兒,人們一直褒貶不一,最大爭議在于人們擔心有人會利用 AI 謊稱作者。vEm28資訊網——每日最新資訊28at.com

畢竟通過講解藝術思路是作者證明作品原創性的手段之一。vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

甚至對于它能教人們學繪畫這事兒,也有網友以自身經歷出來反駁:vEm28資訊網——每日最新資訊28at.com

目前不太符合真實繪畫過程vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

vEm28資訊網——每日最新資訊28at.com

所以,有了解繪畫的童鞋來說說看嗎?vEm28資訊網——每日最新資訊28at.com

參考鏈接:vEm28資訊網——每日最新資訊28at.com

[1]https://inversepainting.github.io/vEm28資訊網——每日最新資訊28at.com

[2]https://www.reddit.com/r/singularity/comments/1fybddi/inverse_painting_can_generate_timelapse_videos_of/vEm28資訊網——每日最新資訊28at.com

本文來自微信公眾號:量子位(ID:QbitAI),作者:一水,原標題《AI 逆向繪畫火了!一鍵重繪梵高《星空》,來自華盛頓大學》vEm28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-8796-0.htmlAI 逆向繪畫:一鍵重繪梵高《羅納河上的星夜》,來自華盛頓大學

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 首個開源 AI 候選版定義稿發布:四大要求,訓練數據上有妥協

下一篇: 微軟助推醫療行業 AI 變革:新增智能體服務、擴充 Azure 大模型

標簽:
  • 熱門焦點
  • 元宇宙終究沒火過兩年

    來源:傳播體操在ChatGPT快速破圈的同時,元宇宙的熱度卻一瀉千里。雖然互聯網大廠們都沒有否認元宇宙的長期想象力,但在行動上卻都紛紛表示了對元宇宙短期前景的悲觀。號稱改變
  • 文心一言排名墊底,卻成為百度業績增長杠桿

    文/侯煜編輯/羅卿知識增強大預言模式文心一言發布后,百度公司熱度大幅提升,文心一言到底能為百度的業績帶來多大的增益成為業內關注焦點。近日,百度(NASDAQ:BIDU/09888.HK)公布了
  • 在數字世界再造世界杯,元宇宙體育正變得越來越豐滿

    撰文/ 蔥鮪魚本屆世界杯可能不是最精彩的一屆,卻絕對是看點十足的一屆:后疫情時代的首屆世界杯、耗資2200億美元打造的“史上最貴”世界杯、足壇黃金
  • 【申萬宏源】必然的碎片化AI落地,哪種路徑可能勝出? | 元宇宙Meta洞見

    大規模預訓GPT(Generative PreTraining)是OpenAI在2018年提出的模型,大規模預訓練模型(大模型)漸漸成為了AI算法領域的熱點。AI產業鏈:從算力到應用工作流程視角?
  • 冰墩墩還能火多久?

    作者:田巧云題圖源自北京2022年冬奧會官方微博如果要問2022年的開年明星是誰,冰墩墩當仁不讓。幾乎所有人都被那個抖雪的動作實力圈粉。在社交媒體的助推,以及日
  • 影響元宇宙土地價格的五個因素

    參考來源 | cryptonews編譯 | Ciel@iNFTnews.com元宇宙中的房地產價格主要取決于使用它的人數,以及為所有者創造收益的能力。專注于數字資產的投資公司LedgerPr
  • 王老吉啟動元宇宙“吉空間”,HTC發布元宇宙應用VIVERSE

    今日《元宇宙新鮮事》有:王老吉啟動元宇宙“吉空間”;HTC發布元宇宙應用VIVERSE;Meta將在馬德里構建一個元宇宙創新中心;央視網《新聞+》推出系列視頻《聊聊元宇宙
  • 元宇宙+劇本殺:“在異世界里當演員”

    你玩過劇本殺嗎?體驗過“元宇宙+劇本殺”嗎?2月,恒信東方推出了一款次時代劇本殺原創作品——《失落的王朝》。其劇本和線索以數字化資產打造,通過VR技術塑造了與
  • 我們離元宇宙的實現只差一副眼鏡?

    近日的蘋果春季新品發布會,想必許多人都守在了屏幕前,就為等待傳說中的首款AR Glass。在發布會之前,蘋果全球營銷主管Greg Joswiak曾在Twitter上分享了一段短視頻
Top 主站蜘蛛池模板: 西城区| 北流市| 简阳市| 内乡县| 长宁区| 连云港市| 公主岭市| 鸡东县| 阳曲县| 东乌珠穆沁旗| 句容市| 洛川县| 磐石市| 抚宁县| 东至县| 威信县| 普安县| 肃宁县| 新巴尔虎右旗| 兰坪| 盖州市| 敦化市| 宜城市| 加查县| 绥德县| 新兴县| 壤塘县| 普陀区| 裕民县| 新乡县| 桂阳县| 秭归县| 沛县| 辛集市| 左贡县| 隆安县| 梁河县| 巨野县| 北川| 瑞昌市| 交城县|