不同于傳統數字經濟，元宇宙賦予商業生態更多數字資產價值！
作者：中科基大數據元宇宙是一個去中心化的開放平臺，而為了維護這樣的平臺，需要建立一個公平的游戲規則，確保每個元宇宙的參與者通過這個規則都可以掙到錢，他們的利益都可以得到保
不得不說，現在拍寫真真是“簡單到放肆”了。
真人不用出鏡，不用費心凹姿勢、搞發型，只需一張本人圖像，等待幾秒鐘，就能獲得 7 種完全不同風格：
仔細看，造型 / pose 全都給你整得明明白白，并且原圖直出修也不用修了。
這擱以前，不得在寫真館耗上至少整整一天，把咱和攝影師、化妝師都累個半死不活。
以上，便是一個叫做 InstantIDAI 的厲害之處。
除了現實寫真，它還能整點“非人類的”：
比如貓頭貓身，但仔細看又有你的臉部特征。
各種虛擬風格就更不用說了：
像 style 2，真人直接變石像。
當然，輸入石像也能直接變：
對了，還能進行倆人臉融合的高能操作，看看 20% 的楊冪 + 80% 的泰勒長什么樣：
一張圖無限高質量變身，可是叫它玩明白了。所以，這是怎么做到的？
基于擴散模型，可與 SD 無縫集成作者介紹，目前的圖像風格化技術已經可以做到只需一次前向推理即可完成任務（即基于 ID embedding）。
但這種技術也有問題：要么需要對眾多模型參數進行廣泛微調，要么與社區開發的預訓練模型缺乏兼容性，要么無法保持高保真度的面部特征。
為了解決這些挑戰，他們開發了 InstantID。
InstantID 基于擴散模型打造，其即插即用（plug-and-play）模塊僅靠單張面部圖像即可熟練地處理各種風格化變身，同時確實高保真度。
最值得一提的是，它可與時下流行的文本到圖像預訓練擴散模型無縫集成（例如 SD1.5、SDXL），作為插件使用。
具體來看，InstantID 由三個關鍵組成部分：
（1）捕獲語義人臉信息的 ID embedding；
（2）具有解耦交叉注意力的輕量級適配模塊，方便圖像作為視覺提示；
（3）IdentityNet 網絡，它通過額外的空間控制對參考圖像的詳細特征進行編碼，最終完成圖像生成。
而相比業內此前的工作，InstantID 有幾點不同：
一是不用訓練 UNet，因此可以保留原始文本到圖像模型的生成能力，并兼容社區中現有的預訓練模型和 ControlNet。
二是不需要 test-time 調整，因此對于特定風格，不需要收集多張圖像進行微調，只需要對單個圖像進行一次推斷即可。
三是除了實現更好的面部保真度，也保留了文本可編輯性。如下圖所示，只需幾個字，即可讓形象變性別、換套裝、改發型以及發色。
再次強調，以上所有效果只需 1 張參考圖像在幾秒內即可完成。如下圖實驗證明，多來幾張參考圖的作用基本不大，1 張就能做得很好。
下面是一些具體對比。
比較對象是現有的免調優 SOTA 方法：IP-Adapter (IPA)、IP-Adapter-FaceID 以及前兩天騰訊剛剛出品的 PhotoMaker。
可以看到，大家都挺“卷”的，效果都不賴 —— 但仔細對比的話，PhotoMaker 和 IP-Adapter-FaceID 保真度都不錯，但文本控制能力明顯差一點。
相比之下，InstantID 的面孔和樣式能更好地融合，在實現了更好保真度的同時，還保留了良好的文本可編輯性。
除此之外，還有與 InsightFace Swapper 模型的比較，你覺得哪個效果更好呢？
本文一共 5 位作者，來自神秘的 InstantX 團隊（網上沒有搜到太多信息）。不過一作是來自小紅書的 Qixun Wang。
通訊作者王浩帆也是小紅書的工程師，從事可控和條件內容生成（AIGC）方面的研究，是 CMU'20 屆校友。
參考鏈接：
https://instantid.github.io/
本文來自微信公眾號：量子位 （ID：QbitAI），作者：豐色
本文鏈接：http://www.www897cc.com/showinfo-45-3254-0.html20% 的楊冪 + 80% 的泰勒長什么樣？小紅書風格化 AI 來了，可兼容 SD 和 ControlNet
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號