抖音 AI 特效紅遍全網,真人秒變漫畫形象!

0
1018
圖片來源:Tommy Huang from Pexels

最近抖音出了一款可以讓自己變身成漫畫人物的特效,究竟做出這個效果需要什麼關鍵技術呢?除了漫畫風以外,還有人研發出能將自己變成油畫中的人物的技術,甚至跟漫畫角色一起跳舞也行得通。

這兩天,抖音上一款特效——「變身漫畫」,簡直紅到不行。從明星到路人,堪稱全民參與,來看下效果吧!首先登場的是張藝興和戚薇。

圖片來源:抖音

可以看到,這個特效基於人物的面容,很好的轉換成了二次元漫畫風格。尤其是眼睛的處理,把張藝興慵懶的眼神、戚薇水汪汪的大眼睛,詮釋的淋漓盡致。當然髮型也都是「滿分轉換」,分叉、造型等細節可以說是絲毫不差了。

抖音網友們直呼:「終於看到這個特效啦!早就想看偶像的漫畫風,圓夢了!」

當然,看了眾多影片之後,你會發現這個特效並不是適合所有人,建議以下兩類人慎用此特效。

第一類是顏值過高,這裡的高是指本來長相就像「從漫畫裡走出來」的人,例如吳亦凡。本來吳亦凡是濃眉大眼、五官立體,轉換後卻顯得「單薄」了不少。

圖片來源:抖音

第二類是彪形大漢……話不多說,來感受一下這個畫風……嗯……原來的味道,全沒了……引得網友直呼:「你為什麽要拉過來?」「發我男朋友看一下,讓他認清社會的現實。」

圖片來源:抖音

突破「次元壁」的關鍵技術

那麽如此有趣的特效,是怎麽做到的呢?雖然目前並沒有看到專門對應此特效的研究,但是有關「風格遷移」的研究,並不是新鮮的事物了。而在眾多研究中,打破二次元和三次元的關鍵技術,就是 GAN(對抗生成網路)。(老照片拉皮術!這 4 款工具,讓你珍藏的圖片重獲新生

用 GAN 實現漫畫風

早在去年,港中文、哈工大和騰訊優圖的一篇最新研究,可以將人臉照片轉化成如同手繪版的卡通圖,甚至還能反向轉換,將二次元的卡通圖像,轉換成現實中可能的樣子。

這項研究利用到的技術叫作 Landmark Assisted CycleGAN,它利用臉部標誌特徵來定義一致性損失,指導在 CycleGAN 中訓練局部鑒別器。整體結構如下:

圖片來源:量子位

整體來說,這個轉換過程分為 3 步。

  • 首先,生成器先根據 CycleGAN 生成一張粗糙的卡通人臉。
  • 隨後,模型根據第一步生成的圖像,生成一個預訓練回歸量(regressor),來預測臉部 landmark,對臉部的關鍵點進行標記。
  • 最後,透過局部和全局兩種鑒別器,研究人員細化在卡通圖和對應真實圖像中的人臉特徵。在這個階段,強調了 landmark 的一致性,因此最後的生成結果逼真且有辨識度。

用 GAN 實現油畫風

例如 MIT 和 IBM 沃森聯合實驗室,發布的名為 AI Portraits Ars 的工具,只要給定一張圖像,就能秒變「文藝復興款」的油畫風。值得一提的是,這不是風格遷移,而是 GAN 自己畫出來的。

圖片來源:量子位

這項技術裡 GAN 的生成器就像是個畫師,而判別器就充當鑒賞家角色,負責識破生成器的畫不是人類作品。生成器裡有個潛在空間,裡面有千千萬萬的 AI 畫像,都是從人類畫作裡,用不同的向量修改而成。然後,要按著照片生成畫像,就把一個向量 (Latent Vector) ,映射到千萬 AI 畫像裡和照片最接近的一幅。

團隊還設計了一個 Inverter,可以從照片裡近似出一個向量,用來找到潛在空間裡最合適的那個向量。

用 GAN 讓紙片人活起來

除此之外,GAN 甚至還可以讓 2D 形象變成 3D「活物」。例如來自華盛頓大學的照片喚醒(Photo Wake-Up)技術,可以讓你體驗到麻瓜的神奇魔法。

它可以讓你最愛的體育明星從照片裡跑出來、賦予二次元角色新力量,還可以藉此把角色們 AR/VR化,只要動動手指,它們就能出現在你身邊的世界:

這項研究整個操作過程,其實只用了 3 步:

圖片來源:University of Washington
  • 第一步是分割紙片人:利用現成的圖像分割算法,將畫中人的軀幹、四肢分割,再用人體姿態估計,提取畫中人的 2D 骨骼關鍵點,忽略厚重的衣服,擬合出一種半裸的可塑 3D 模型,稱為 SMPL 模型。
  • 第二步是是細化紙片人 3D 模型:先將 SMPL 模型映射到 2D 世界對準輪廓,調好再次轉換成 3D 模型確保精確度。
  • 最後一步中,研究人員用 CMU 的 Mo-cap 人體動作數據集喂給模型。

讓二次元走進現實

除了抖音最近超紅的「變身漫畫」特效外,一項「3D 姿態追蹤」也紅了。可以讓漫畫人物跟隨著你的動作,一起翩翩起舞,仿佛二次元人物走進了現實。並且這項技術可在線體驗哦。

圖片來源:ThreeDPoseTracker

這樣一來,和你心儀的二次元對象,在現實中共舞便不再是夢!若是把明星作為模型輸入的一部分,是不是也可以跟偶像共舞了?咦?好像可以預見娛樂平台的下一個爆款特效了。(IBM 退出人臉辨識市場!這項 AI 應用跟種族議題有什麼關係?

資料來源:微信(1)微信(2)微信(3)

文:十三