見過用 GAN 來 P 圖，見過用 GAN P 視頻嗎。瞧，原本一直在面無表情地講話的人，全程露出了微笑，原本得 4，50 歲的人，直接變 20 幾歲了:

另一邊，正在微笑唱歌的赫敏一下子憤怒起來，還能換上一張幾歲小孩的臉:

美國前總統(tǒng)也如此，4 種版本的面部狀態(tài)信手拈來，甚至連性別都給 P 成女的了:

不管人臉表情和狀態(tài)如何變化，這些視頻都沒有給人任何違和感，全程如此的絲滑～哦對(duì)，除了真人，動(dòng)漫視頻里的臉也可以 P:

有點(diǎn)厲害了。

這個(gè)模型出自以色列特拉維夫大學(xué)。Collins等人的方法沒有準(zhǔn)確地轉(zhuǎn)移細(xì)節(jié)屬性，Suzuki等人在姿勢(shì)不匹配時(shí)產(chǎn)生的圖像不夠真實(shí)。

1，輸入視頻首先被分割成幀，每幀中的人臉都被裁剪下來并對(duì)齊，

2，使用預(yù)訓(xùn)練的 e4e 編碼器，將每張已裁剪的人臉反演到預(yù)訓(xùn)練的 StyleGAN2 的潛空間中，

3，在所有并行幀中使用 PTI對(duì)生成器進(jìn)行微調(diào)，糾正初始反演中的錯(cuò)誤，恢復(fù)全局一致性，

6，反轉(zhuǎn)對(duì)齊步驟，并將修改后的人臉粘貼回視頻中。

注意頸部曾產(chǎn)生了大量瑕疵，在最后一步完全修復(fù)好

和 SOTA 模型對(duì)比

這個(gè)模型效果到底有多好，來個(gè)對(duì)比就知道:

第一個(gè)是變年輕，第二，三個(gè)都是變老可以明顯看到目前的 SOTA 模型和 PTI 模型中的人臉會(huì)抽巴，并出現(xiàn)一些偽影，而這個(gè)新模型就避開了這些問題

此外，研究人員還進(jìn)行了時(shí)間一致性測(cè)試。指標(biāo)包含兩個(gè):

局部時(shí)間一致性，通過現(xiàn)成的一致性檢測(cè)網(wǎng)絡(luò)來評(píng)估相鄰兩幀之間的一致性TL—ID 分?jǐn)?shù)越高，表明該方法產(chǎn)生的效果越平滑，沒有明顯的局部抖動(dòng)

全局時(shí)間一致性，同樣使用一致性檢測(cè)網(wǎng)絡(luò)來評(píng)估所有可能的幀之間的相似性得分為 1 表示該方法成功保持了和原視頻的時(shí)間一致性

結(jié)果如下:

可以看到，這個(gè)新模型在兩項(xiàng)指標(biāo)中都略勝一籌。。

最后，代碼將于 2 月 14 號(hào)發(fā)布，感興趣的朋友可以蹲一蹲了～

論文地址:

項(xiàng)目主頁:

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，與本網(wǎng)無關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。