不得不說,現(xiàn)在拍寫真真是“簡單到放肆”了。
真人不用出鏡,不用費心凹姿勢、搞發(fā)型,只需一張本人圖像,等待幾秒鐘,就能獲得 7 種完全不同風(fēng)格:
仔細(xì)看,造型 / pose 全都給你整得明明白白,并且原圖直出修也不用修了。
這擱以前,不得在寫真館耗上至少整整一天,把咱和攝影師、化妝師都累個半死不活。
以上,便是一個叫做 InstantIDAI 的厲害之處。
除了現(xiàn)實寫真,它還能整點“非人類的”:
比如貓頭貓身,但仔細(xì)看又有你的臉部特征。
各種虛擬風(fēng)格就更不用說了:
像 style 2,真人直接變石像。
當(dāng)然,輸入石像也能直接變:
對了,還能進(jìn)行倆人臉融合的高能操作,看看 20% 的楊冪 + 80% 的泰勒長什么樣:
一張圖無限高質(zhì)量變身,可是叫它玩明白了。所以,這是怎么做到的?
基于擴(kuò)散模型,可與 SD 無縫集成作者介紹,目前的圖像風(fēng)格化技術(shù)已經(jīng)可以做到只需一次前向推理即可完成任務(wù)(即基于 ID embedding)。
但這種技術(shù)也有問題:要么需要對眾多模型參數(shù)進(jìn)行廣泛微調(diào),要么與社區(qū)開發(fā)的預(yù)訓(xùn)練模型缺乏兼容性,要么無法保持高保真度的面部特征。
為了解決這些挑戰(zhàn),他們開發(fā)了 InstantID。
InstantID 基于擴(kuò)散模型打造,其即插即用(plug-and-play)模塊僅靠單張面部圖像即可熟練地處理各種風(fēng)格化變身,同時確實高保真度。
最值得一提的是,它可與時下流行的文本到圖像預(yù)訓(xùn)練擴(kuò)散模型無縫集成(例如 SD1.5、SDXL),作為插件使用。
具體來看,InstantID 由三個關(guān)鍵組成部分:
(1)捕獲語義人臉信息的 ID embedding;
(2)具有解耦交叉注意力的輕量級適配模塊,方便圖像作為視覺提示;
(3)IdentityNet 網(wǎng)絡(luò),它通過額外的空間控制對參考圖像的詳細(xì)特征進(jìn)行編碼,最終完成圖像生成。
而相比業(yè)內(nèi)此前的工作,InstantID 有幾點不同:
一是不用訓(xùn)練 UNet,因此可以保留原始文本到圖像模型的生成能力,并兼容社區(qū)中現(xiàn)有的預(yù)訓(xùn)練模型和 ControlNet。
二是不需要 test-time 調(diào)整,因此對于特定風(fēng)格,不需要收集多張圖像進(jìn)行微調(diào),只需要對單個圖像進(jìn)行一次推斷即可。
三是除了實現(xiàn)更好的面部保真度,也保留了文本可編輯性。如下圖所示,只需幾個字,即可讓形象變性別、換套裝、改發(fā)型以及發(fā)色。
再次強(qiáng)調(diào),以上所有效果只需 1 張參考圖像在幾秒內(nèi)即可完成。如下圖實驗證明,多來幾張參考圖的作用基本不大,1 張就能做得很好。
下面是一些具體對比。
比較對象是現(xiàn)有的免調(diào)優(yōu) SOTA 方法:IP-Adapter (IPA)、IP-Adapter-FaceID 以及前兩天騰訊剛剛出品的 PhotoMaker。
可以看到,大家都挺“卷”的,效果都不賴 —— 但仔細(xì)對比的話,PhotoMaker 和 IP-Adapter-FaceID 保真度都不錯,但文本控制能力明顯差一點。
相比之下,InstantID 的面孔和樣式能更好地融合,在實現(xiàn)了更好保真度的同時,還保留了良好的文本可編輯性。
除此之外,還有與 InsightFace Swapper 模型的比較,你覺得哪個效果更好呢?
本文一共 5 位作者,來自神秘的 InstantX 團(tuán)隊(網(wǎng)上沒有搜到太多信息)。不過一作是來自小紅書的 Qixun Wang。
通訊作者王浩帆也是小紅書的工程師,從事可控和條件內(nèi)容生成(AIGC)方面的研究,是 CMU'20 屆校友。
參考鏈接:
https://instantid.github.io/
本文來自微信公眾號:量子位 (ID:QbitAI),作者:豐色
本文鏈接:http://www.www897cc.com/showinfo-45-3254-0.html20% 的楊冪 + 80% 的泰勒長什么樣?小紅書風(fēng)格化 AI 來了,可兼容 SD 和 ControlNet
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com