5月iOS設(shè)備性能榜：M1 M2依舊是榜單前五
和上個月一樣，沒有新品發(fā)布的iOS設(shè)備性能榜的上榜設(shè)備并沒有什么更替，僅僅只有跑分變化而產(chǎn)生的排名變動，剛剛開始的蘋果WWDC2023，推出的產(chǎn)品也依舊是新款Mac Pro、新款Mac Stu
離大譜??！不看視頻完整版誰知道里面的美少女竟是一位大叔。
好嘛，原來這是用了快手可靈團隊的可控人像視頻生成框架——LivePortrait。
LivePortrait開源即爆火，短短時間已在GitHub狂攬7.5K星標(biāo)。
還引來HuggingFace首席戰(zhàn)略官Thomas Wolf親自體驗：
甚至目前仍在HuggingFace全部應(yīng)用里排在趨勢第一：
所以，為啥LivePortrait能夠瘋狂引人關(guān)注?
還得從它讓人眼前一亮的表現(xiàn)說起……
讓表情“移花接木”
LivePortrait由快手可靈大模型團隊開源，只需1張原圖就能生成動態(tài)視頻。
先來看一組官方輸出。
從簡單的開始，丟一張靜態(tài)圖像，LivePortrait可以讓肖像眨眼、微笑或轉(zhuǎn)頭。
還可以施展“移花接木”，也就是將表情、動態(tài)等復(fù)制到其他人身上，還是不限風(fēng)格（寫實、油畫、雕塑、3D渲染）和尺寸那種~
當(dāng)然了，這種“魔法”不限于單人，搞個全家福也不是不行。[doge]
除了從靜態(tài)圖→視頻，我們還可以讓一個或多個視頻實現(xiàn)“笑容增加術(shù)”。
比如提供一段寶寶沒有表情的視頻（右側(cè)），我們可以讓寶寶按照參照視頻wink或微笑。
對了，不僅限于人物肖像，小貓小狗也能開始撒嬌賣萌了。
總之，LivePortrait可以實現(xiàn)人物表情精確控制，比如嘴角上揚的弧度，雙眼放大程度都能開啟自選。
舉個栗子，下面這兩個是不同參數(shù)設(shè)置下，人物眼睛大小的變化：
看來小說里的“三分涼薄,三分譏笑,四分漫不經(jīng)心”也不是不能實現(xiàn)。[doge]
看完這些不知道你有沒有心動，反正網(wǎng)友們整活兒的心是擋不住了。
比如配個燈光花式扮鬼臉，有恐怖片那味兒了:
再比如實時化身二刺猿：
看完這些例子，接下來我們挖一挖背后的技術(shù)原理。
爆火開源框架
和當(dāng)前主流基于擴散模型的方法不同，LivePortrait探索和擴展了基于隱式關(guān)鍵點的框架的潛力。
具體而言，LivePortrait不依賴于圖像中明確可見的標(biāo)記或特征點，而是通過學(xué)習(xí)數(shù)據(jù)集中的模式來隱式地推斷出關(guān)鍵點的位置。
在此基礎(chǔ)上，LivePortrait通過兩個階段從頭開始訓(xùn)練模型。
先說第一階段，LivePortrait對基于隱式點的框架（如Face Vid2vid），做了一系列改進。
這些改進包括高質(zhì)量數(shù)據(jù)整理、混合圖像和視頻訓(xùn)練、升級網(wǎng)絡(luò)架構(gòu)、可擴展運動變換、地標(biāo)引導(dǎo)的隱式關(guān)鍵點優(yōu)化以及級聯(lián)損失項的應(yīng)用等。
有了這些，模型的泛化能力、表達(dá)能力和紋理質(zhì)量都能進一步提升。
再說第二階段，通過貼合模塊和重定向模塊的訓(xùn)練，模型能夠更精確地處理面部表情的細(xì)節(jié)。
貼合模塊通過跨身份動作訓(xùn)練增強泛化性，估計表情變化并優(yōu)化關(guān)鍵點。
眼部和嘴部重定向模塊則分別處理眼部和嘴部的變形變化，通過獨立的目標(biāo)函數(shù)計算像素一致性和正則損失，提升模型在復(fù)雜表情處理上的靈活性和精確度。
那么，LivePortrait具體表現(xiàn)如何呢？
研究顯示，在同身份驅(qū)動對比結(jié)果中，與已有方法相比，LivePortrait具有較好的生成質(zhì)量和驅(qū)動精確度，可以捕捉驅(qū)動幀的眼部和嘴部細(xì)微表情，同時保有參考圖片的紋理和身份。
且在跨身份驅(qū)動對比結(jié)果中同樣表現(xiàn)較好，雖然在生成質(zhì)量上略弱于基于擴散模型的方法AniPortrait。但與后者相比，LivePortrait具有極快的推理效率且需要較少的FLOPs。
總之，在RTX 4090 GPU上，LivePortrait的生成速度達(dá)到了每幀12.8毫秒，顯著高于現(xiàn)有的擴散模型方法。
One More Thing
補一條官方新預(yù)告：可靈AI即將在全球范圍內(nèi)推出其服務(wù)。
Sora還沒來，可靈這回倒是先走出去了~
本文鏈接：http://www.www897cc.com/showinfo-17-103103-0.html快手可靈團隊新開源項目火了：大叔實時變身少女 GitHub狂攬7.5K星
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 宗馥莉憑什么回宮 滿手籌碼、一點軟肋
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號