繼在2019網(wǎng)絡(luò)春晚中出現(xiàn)的與撒貝寧十分相似的虛擬主持人“小小撒”之后，近期播出的《2019主持人大賽》也引入了一項(xiàng)虛擬形象生成技術(shù)——“在線大眾評審”。大賽主持人撒貝寧說，這個節(jié)目最大亮點(diǎn)是智能大眾評委席，通過個性化人工智能(Personal AI)，每位智能大眾評委身后都是一個真實(shí)的自己，即這些在線評審的虛擬形象均根據(jù)真人評審生成、在線完成評審。

個性化人工智能技術(shù)是如何實(shí)現(xiàn)的?科技日報(bào)記者近日采訪到獨(dú)家支持這項(xiàng)“黑科技”的相關(guān)負(fù)責(zé)人。

通過自拍圖片幾秒生成虛擬形象

在節(jié)目現(xiàn)場，400名在線大眾評審?fù)ㄟ^手機(jī)客戶端自拍，即能獲得屬于自己的三維虛擬形象，當(dāng)大眾評審在線收看節(jié)目并對選手打分時，三維虛擬形象可代表其出現(xiàn)在千里之外的演播室大廳的虛擬觀眾席上，“觀看”時還會像真人一樣富有表情且輕微搖擺身體……

“目前我們可以實(shí)現(xiàn)通過一個人的單張自拍圖片，幾秒鐘即可生成三維虛擬人形象。”美國南加州大學(xué)博士、偶邦智能首席科學(xué)家王睿哲說。

據(jù)介紹，一般傳統(tǒng)算法試圖使用一個光學(xué)成像模型來反推可以解釋當(dāng)前自拍的最佳人臉形狀，這種方法的弊端是：假設(shè)的光學(xué)成像模型過于簡單，無法真正模擬現(xiàn)實(shí)中人臉與光影交互的復(fù)雜情況;缺乏大量的三維人臉數(shù)據(jù)模型，很難有效訓(xùn)練一個深度學(xué)習(xí)模型。

針對這種情況，“在算法上可以采用視覺特效技術(shù)，從一個較小的三維人臉數(shù)據(jù)庫，合成大量高精度的人臉自拍圖片用于訓(xùn)練深度學(xué)習(xí)模型，然后利用遷移學(xué)習(xí)技術(shù)，把在數(shù)百萬張圖片上訓(xùn)練的人臉識別網(wǎng)絡(luò)進(jìn)一步精化訓(xùn)練，接著利用基于對抗神經(jīng)網(wǎng)絡(luò)的圖片風(fēng)格遷移技術(shù)，對自拍照去光影。”王睿哲說。

在效果上，這種單張自拍虛擬人生成技術(shù)可實(shí)現(xiàn)高相似度低面數(shù)的人臉幾何形狀，有效通過手機(jī)端形成高分辨率且去光影的人臉貼圖，可以在各種不同光影下進(jìn)行融入場景的逼真渲染。

形成在線大眾評審的虛擬人像，除了建立及維護(hù)每位在線大眾評審的形象模型之外，技術(shù)團(tuán)隊(duì)還利用了實(shí)時面部追蹤技術(shù)和面部識別技術(shù)保證評審的連線效果，并對現(xiàn)場形象各異的大眾評審3D形象進(jìn)行實(shí)時渲染。

那么，如何做到讓虛擬人臉部如真人一樣富有生動表情和動作呢?王睿哲表示，可以通過面部動作捕捉技術(shù)實(shí)現(xiàn)。首先利用隨機(jī)森林算法實(shí)時在人臉定位特征點(diǎn)，即臉部輪廓，五官如眉毛、眼睛、鼻子和嘴角等，然后算法利用這些特征點(diǎn)進(jìn)而逆向推導(dǎo)出一個通用面部肌肉運(yùn)動模型參數(shù)，用于驅(qū)動用戶的虛擬人模型，實(shí)現(xiàn)虛擬人與真實(shí)人面部動作同步的效果。

催生新型互動生活消費(fèi)模式

據(jù)介紹，為了實(shí)現(xiàn)數(shù)百個虛擬人的實(shí)時渲染效果，團(tuán)隊(duì)對每個模型的服裝，頭發(fā)等進(jìn)行大量減面數(shù)的優(yōu)化處理。還采用了陰影預(yù)處理技術(shù)減少實(shí)時渲染的負(fù)荷，不同細(xì)節(jié)技術(shù)即近景采用高細(xì)節(jié)渲染，遠(yuǎn)景采用低細(xì)節(jié)渲染，以節(jié)省渲染運(yùn)算成本。

“世界將因?yàn)槿斯ぶ悄芗夹g(shù)變得更近更平。我們正在嘗試實(shí)現(xiàn)每個人都能擁有個人專屬的智能虛擬形象，仿佛在平行世界里擁有另一個智能化的自己。通過智能虛擬觀眾席的系統(tǒng)，即使是在世界各地的人，都可以出現(xiàn)在任何一個國家的電視、互聯(lián)網(wǎng)屏幕上，與當(dāng)?shù)赜^眾進(jìn)行沉浸式互動。不僅如此，那個虛擬數(shù)字形象的他(她)長得像用戶本人，還能在一定時間內(nèi)自我完善和進(jìn)化，如在聲音特征上學(xué)習(xí)用戶，最終達(dá)到逼真的狀態(tài)。”偶邦智能CEO鄭毅表示。

據(jù)介紹，在電視節(jié)目中，除虛擬形象設(shè)計(jì)以外，人工智能在大眾娛樂行業(yè)的應(yīng)用還包括內(nèi)容制作階段的選角、策劃、拍攝、剪輯，觀眾觀看階段的算法推送、面部識別、機(jī)器學(xué)習(xí)以及將影視娛樂產(chǎn)品變現(xiàn)階段的算法推送及分析等。

鄭毅說，智能虛擬人技術(shù)不僅可以通過AI技術(shù)驅(qū)動虛擬人的表情和動作，降低視頻內(nèi)容的制作成本，而且通過推出有人設(shè)的智能虛擬人，像虛擬主持人、虛擬主播、專屬的企業(yè)虛擬代言人等，可以延展工作時長，提高產(chǎn)能，創(chuàng)造新的數(shù)字經(jīng)濟(jì)價值。

比如，有相關(guān)證券機(jī)構(gòu)已經(jīng)定制專屬的虛擬代言人，通過快速制作互動短視頻，為投資者提供投資者教育等服務(wù)。在5G和AI構(gòu)建的數(shù)字經(jīng)濟(jì)里，智能虛擬人不但可以降低成本，更令人關(guān)注的是其正在催生新型互動生活消費(fèi)模式的出現(xiàn)。

鄭毅表示，人機(jī)共生時代新互動生態(tài)體系的構(gòu)建，讓生活變得更高效、有趣，為用戶帶來前所未有的虛擬社交體驗(yàn)。AI虛擬形象不僅是用戶的高智能分身，可以幫忙打理各種事情，甚至在不久的將來，虛擬人或許能夠有助人們在人間留住已故親人或摯愛的生動形象，從某種意義上講，讓人類獲得“永生”。(華 凌)