日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 網絡

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTA

來源: 責編: 時間:2024-05-22 17:07:38 199觀看
導讀 只需上傳一張照片,就能瞬間變換身份,獲得高精度個人寫真!或是科幻電影中的超級英雄,或是穿越時空的復古角色……李飛飛在家做飯的樣子有了,還有讓斯嘉麗一鍵帶圣誕帽。除此之外,楊冪+小蘭兩位人臉融

只需上傳一張照片,就能瞬間變換身份,獲得高精度個人寫真!Uzw28資訊網——每日最新資訊28at.com

或是科幻電影中的超級英雄,或是穿越時空的復古角色……Uzw28資訊網——每日最新資訊28at.com

李飛飛在家做飯的樣子有了,還有讓斯嘉麗一鍵帶圣誕帽。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

除此之外,楊冪+小蘭兩位人臉融合在一起會是什么樣子?Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

中山大學、聯想的研究團隊推出了ConsistentID,可在細粒度多模態面部提示下,僅利用單張參考圖像生成多樣的肖像,且保持五官的一致性。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

終在人臉個性化任務處理上,相比騰訊的photomaker和小紅書的instantID,在五官一致性保持上更具優勢Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

只需單張照片就可快速保留五官細節Uzw28資訊網——每日最新資訊28at.com

ConsistentID框架包括兩個關鍵模塊:多模態面部 ID 生成器和ID保存網絡。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

多模態面部提示生成器由兩個基本組件組成:細粒度多模態特征提取器,專注于捕獲詳細的面部信息,以及用來學習面部ID特征的提取器。Uzw28資訊網——每日最新資訊28at.com

另一方面,ID保存網絡同時利用面部文本和視覺提示,通過面部注意力定位策略防止來自不同面部區域的 ID 信息混合。Uzw28資訊網——每日最新資訊28at.com

這種方法確保了面部區域ID一致性的保存。Uzw28資訊網——每日最新資訊28at.com

多模態面部提示生成器Uzw28資訊網——每日最新資訊28at.com

首先在細粒度多模態特征提取器這一模塊中,使用了包括文本嵌入、面部嵌入和面部編碼器這三個關鍵組件。需要獨立學習細粒度的面部視覺和文本嵌入,并將它們輸入到設計的輕量級面部編碼器中,以生成細粒度的多模態面部特征。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTA△用于生成細粒度多模態面部特征的面部編碼器框架。Uzw28資訊網——每日最新資訊28at.com

面部ID特征提取器。Uzw28資訊網——每日最新資訊28at.com

除了細粒度面部特征的輸入條件外,我們還將字符的整體 ID 信息注入到我們的 ConsistentID 中作為視覺提示。具體來說,將完整的人臉圖像同時輸入到兩個編碼器中進行視覺特征提取。在這兩個編碼器之后,使用由 IPA-FaceID-Plus 初始化的參數的輕量級投影模塊來生成整個圖像的人臉嵌入。Uzw28資訊網——每日最新資訊28at.com

ID保存網絡。Uzw28資訊網——每日最新資訊28at.com

通過引導面部特征的注意力與相應的面部區域對齊來保持局部 ID 特征的一致性。這種優化策略源于觀察到傳統的交叉注意力圖傾向于同時關注整個圖像,這對在面部區域生成期間保持 ID 特征提出了挑戰。為了解決這個問題,我們在訓練期間引入了面部分割掩碼,以從面部區域的增強文本交叉注意模塊中學習到的注意力分數。Uzw28資訊網——每日最新資訊28at.com

除此之外,研究團隊還引入了測量細粒度面部生成數據集 FGID,解決了現有數據集中用于捕獲不同身份保留面部細節的局限性。Uzw28資訊網——每日最新資訊28at.com

該數據集包括面部區域和整個面部的面部特征和描述,輔以一種新穎的細粒度身份一致性度量,建立了細粒度面部生成性能的綜合評估框架。Uzw28資訊網——每日最新資訊28at.com

具體效果Uzw28資訊網——每日最新資訊28at.com

在面部特征比較上,該方法生成的圖像在眼睛、鼻子和嘴巴等面部特征中表現出很強的一致性。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

在定性評估中,研究團隊對目前先進方法,包括Fastcomposer,IP-Adapter、Photomaker和InstantID進行來比較分析,對每種方法使用默認參數,并將推理限制為單個參考圖像。Uzw28資訊網——每日最新資訊28at.com

除此之外,還與Photomaker方法對齊,使用 Mystyle數據集進行定量評估,并結合超過10個身份數據集進行可視化。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTAUzw28資訊網——每日最新資訊28at.com

終可以看到,ConsistentID在高質量生成、靈活的可編輯性和強大的身份保真度方面表現出更強大的能力。Uzw28資訊網——每日最新資訊28at.com

而在定量評估中,在大多數評估指標中,ConsistentID始終優于其他方法,并且在生成效率方面超過了其他基于IP-Adapter的方法。Uzw28資訊網——每日最新資訊28at.com

楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTA△在風格化和動作指令兩個特殊任務上的定性比較Uzw28資訊網——每日最新資訊28at.com

試玩鏈接:http://consistentid.natapp1.cc/Uzw28資訊網——每日最新資訊28at.com

項目鏈接:Uzw28資訊網——每日最新資訊28at.com

[1]https://github.com/JackAILab/ConsistentIDUzw28資訊網——每日最新資訊28at.com

[2]https://ssugarwh.github.io/consistentid.github.io/Uzw28資訊網——每日最新資訊28at.com


文章出處:量子位

本文鏈接:http://www.www897cc.com/showinfo-17-89942-0.html楊冪+小蘭會是什么樣 中山大學新AI成果:人臉個性化SOTA

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 數字化衰退:過去十年有1/4的網頁已徹底消失

下一篇: 網紅王紅權星被各社交平臺封禁 網友一致叫好:專家稱炫富不得人心

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 奉化市| 本溪| 黄冈市| 岳阳市| 松桃| 和政县| 辉南县| 东丽区| 丽水市| 廊坊市| 汽车| 陇川县| 彭泽县| 丽江市| 南靖县| 合肥市| 台湾省| 蚌埠市| 纳雍县| 虎林市| 桓台县| 延川县| 新闻| 新巴尔虎右旗| 鸡东县| 青冈县| 登封市| 汉寿县| 镇平县| 武胜县| 岑巩县| 隆子县| 海原县| 晴隆县| 濮阳市| 四平市| 盈江县| 济宁市| 富阳市| 禄劝| 资兴市|