主持人飯碗難保?全球首個 3D 版 AI 合成主播亮相

0
735
圖片來源:新華社

「新小微」是全球第一個 3D 版 AI 主播,因為其 3D 的特性,使她能在不同場景中更好地呈現新聞,讓網友們紛紛感嘆可能要失業了。

「大家好,我是 AI 合成主播家族新成員——新小微。」整潔的頭髮,藍色的正裝,「新小微」坐在新聞台前正經地發話。

AI 合成主播已不稀奇,但能走動、做手勢、換裝的 3D 版 AI 主播,「新小微」是全球第一個。

剛一上崗,「新小微」就被安排參與今年全國兩會期間進行新聞資訊播報。

「新小微」上崗

「新小微」是新聞界首個由 AI 驅動,3D 技術呈現的 AI 合成主播,其原型為新華社記者趙琬微。

與以前的 AI 合成主播相比,「新小微」最大的不同在於其 3D 特性,豐富了播報形態,可以從不同角度進行全方位的呈現。

全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
傳統單一景深
圖片來源:新華社
全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
「新小微」进入虚拟演播室
圖片來源:新華社

可以看出,此前的 AI 合成主播大多是坐在特定位置上進行新聞播報,而「新小微」則能夠進行走動、轉身等肢體動作。

不僅如此,「新小微」在表情方面也變得多樣;不再只有「職業假笑」,多了一些微表情。

全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
圖片來源:新華社

不得不說,AI 合成主播越來越有「人樣」了。

除了增強了立體感和層次感,在智能性方面,「新小微」也有了新的提升。「新小微」的項目負責人表示,在人工智能的實時驅動下,3D 版 AI 合成主播可實現功能持續自我更叠。

比如說,在「變妝/裝」上,「新小微」可以說比以前的 AI 主播「愛美」多了,她的髮型、妝容可以根據不同場景、不同新聞報道需要而進行變換。

全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
圖片來源:新華社

更為甚者,「新小微」的妝容還細緻到看得見毛孔。

前面提到,「新小微」在兩會期間將正式上崗,進行可量化生產新聞播報影片。

據新華社介紹,只要在機器上輸入相應文本內容,「新小微」就能進行新聞播報,並根據不同的語義生成表情信息和肢體動作。

隨著「新小微」越來越智慧化,經過不斷的叠代,「新小微」的舞台不僅僅在於演播廳。相關負責人表示:

隨著 3D 虛擬場景不斷拓展,「新小微」將走出演播室,在不同場景中更好地滿足新聞呈現的多樣化需求。

如此看來,只要實力夠,走出演播廳不是夢。

難怪網友們紛紛感嘆,可能要失業了。

AI 主播進入 3D 時代

從表現來看,無論在表情信息、肢體動作、妝容變化,或是在播報新聞的專業能力方面,「新小微」都優於前者。

問題來了,「新小微」作為 AI 合成主播的「後浪」,是借以什麽技術將「前浪」拍在沙灘上的呢?

在數字人模型方面,「新小微」采用了掃描還原、面部肌肉驅動、表情肢體捕捉等技術,使其還原出逼真的頭髮和皮膚效果。

全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
圖片來源:新華社

在肢體動作方面,其采集工作就涉及到海量數據,「新小微」的原型趙琬微需要帶著數據采集頭盔,有數百個攝像頭對其身體部位進行 360° 全方位「打點」掃描。

不僅如此,攝像頭的數據采集工作還包含了表情掃描,無論什麽形態都能夠細致地捕捉,作為「新小微」誕生的基礎。

另外,基於搜狗分身的端到端多模態建模技術,「新小微」的建模訓練能夠聯合語音、圖像、文本、3D 肌肉運動數據等多模態信息完成。

再加以 AI 算法的驅動,「新小微」的專業能力得到了進一步提升,其表情變化、唇動、肢體表達都能夠跟隨語音文本改變。

而對於「新小微」妝容、服裝上的改變,則是基於其「微模塊化」的特性。項目負責人進一步解釋稱:

就像拼樂高一樣,我們對新小微的各個部位和表情進行了模塊化處理,然後重新組裝。

AI 合成主播家族

隨著「新小微」的上崗,這意味著新華社的 AI 合成主播家族又添了新成員。

早在 2018 年 11 月 7 日,新華社就迎來了全球首個全仿真智能 AI 主持人「新小浩」,以主持人邱浩為原型。

全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
圖片來源:新華社

據官方統計數據,首位 AI 合成主播「新小浩」已在新華社客戶端上持續為觀眾服務 500 多天,先後產出 13000 多條新聞報道,累計時長超過 35000 分鐘。

搜狗 CEO 王小川介紹到,該智能 AI 主持人基於「搜狗分身」技術,將真人主播的聲音、唇形、表情動作等特征進行提取,然後再通過語音合成、唇形合成、表情合成以及深度學習等技術進行克隆。在播報新聞時,只需提供文字,AI 合成主播就能進行仿真播報。(人資長的幫手:AI 面試官!不帶偏見更客觀,錄取率提升了 4 成

不過,雖然第一代 AI 合成主播十分驚艷,但仍存在一些缺憾,如 AI 合成主播此前原型只有男性,沒有女性;合成主播只有面部表情,沒有肢體動作等。

2019 年 2 月-3 月,AI 合成主播進行了兩次版本叠代,由此迎來了全球首位 AI 合成女主播「新小萌」。

全球首个 3D 版 AI 合成主播亮相,还将参与两会报道,网友:主持人要失业了
圖片來源:新華社

相對於初代 AI 合成主播,「新小萌」進一步增強了用戶的新聞視聽體驗,不再侷限於坐著播新聞,還增加了一些肢體動作。

並且在版本叠代的同時,AI 合成主播的定製周期也在不斷縮減。由於早期技術尚不成熟,需要用到大量的數據。通過叠代之後,錄製時長縮短,且錄取的數據也在減少,幾個小時的影音資料就可以形成一個逼真形象。

從「新小浩」到「新小萌」,再到「新小微」,每一次 AI 合成主播的現身都會伴隨著兩種不同的話語聲音,在讚嘆科技進步之餘,也有指出不足的發聲。

以最新推出的「新小微」為例,有網友指出,「新小微」在讀到「AI」時的發音有些別扭;這也從側面說明了「新小微」還不夠自然,還沒能夠完全像人一樣。(AI 造臉技術又蒙上陰影!這間公司的 4 名工程師是「人造人」

但是,技術的發展是需要一點點的量變累積,在不斷的叠代升級中完善,而從這一層面來看,「新小微」是有所進步的。

資料來源:新華社搜狗

文:肖漫