深工| xR虛擬制片、數(shù)字人與動(dòng)捕技術(shù)的融合革新
來(lái)源:深工 編輯:ZZZ 2024-10-22 15:58:19 加入收藏
在數(shù)字化浪潮的推動(dòng)下,xR虛擬制片、數(shù)字人和動(dòng)作捕捉技術(shù)正引領(lǐng)一場(chǎng)內(nèi)容創(chuàng)作的革新。“通過xR虛擬制片,創(chuàng)作者將創(chuàng)意實(shí)現(xiàn)的時(shí)間縮短了80%。”一位資深電影制片人表示。xR虛擬制片不僅為創(chuàng)作提供了超越現(xiàn)實(shí)的創(chuàng)作空間,還大幅提高了影視行業(yè)的生產(chǎn)效率。
在直播領(lǐng)域,數(shù)字人打破了主播的時(shí)空限制,能夠與觀眾實(shí)時(shí)互動(dòng),極大地增強(qiáng)了靈活性和參與感。而動(dòng)捕技術(shù)為數(shù)字人賦予了更真實(shí)的表現(xiàn)力。xR虛擬制片、數(shù)字人和動(dòng)捕技術(shù)的深度融合,不僅拓展了創(chuàng)作的邊界,還成為驅(qū)動(dòng)行業(yè)發(fā)展的新引擎,重塑了影視、教育、游戲和直播等多個(gè)行業(yè)。
市場(chǎng)預(yù)測(cè)顯示,到2025年,全球xR市場(chǎng)規(guī)模將突破千億美金。隨著這些技術(shù)的應(yīng)用,影視、教育、游戲和直播等多領(lǐng)域的創(chuàng)作流程更加高效、經(jīng)濟(jì),也為觀眾帶來(lái)了前所未有的沉浸式體驗(yàn)。
通過整合xR虛擬制片、數(shù)字人和動(dòng)作捕捉技術(shù),深工為品牌和創(chuàng)作者提供了更為靈活的創(chuàng)作工具,使他們能夠在虛擬環(huán)境中實(shí)現(xiàn)更具表現(xiàn)力和互動(dòng)性的內(nèi)容, 成功實(shí)現(xiàn)了虛擬與現(xiàn)實(shí)的深度融合。同時(shí),這種技術(shù)解決方案不僅能滿足影視、游戲和直播等領(lǐng)域的多樣需求,還為商業(yè)展示和品牌營(yíng)銷帶來(lái)了新的創(chuàng)新模式和無(wú)限可能性。
技術(shù)核心:虛擬制片與數(shù)字人結(jié)合
用戶采用基于UE5引擎的xR虛擬制片技術(shù),通過將虛擬場(chǎng)景與數(shù)字人結(jié)合,創(chuàng)造出更加逼真、互動(dòng)的沉浸式體驗(yàn)。數(shù)字人(Metahuman)技術(shù)由UE5官方早在UE4階段開發(fā),允許創(chuàng)作者打造高度真實(shí)的虛擬人類角色。用戶在此基礎(chǔ)上進(jìn)行深度定制與優(yōu)化,增加了和數(shù)字人互動(dòng)的可能性,實(shí)現(xiàn)了與虛擬制片的完美融合。
UE5提供了一套在線的數(shù)字人創(chuàng)建工具(Metahuman Creator)。通過注冊(cè)Epic賬號(hào)并申請(qǐng)使用即可立刻開始體驗(yàn)。這套工具允許用戶從預(yù)設(shè)角色中進(jìn)行選擇并直接創(chuàng)建,不僅支持調(diào)節(jié)特定部位的尺寸、位置或種類,還可以創(chuàng)建或修改毛發(fā)、體型、膚色以及簡(jiǎn)單的服飾。所有通過這個(gè)工具創(chuàng)建的角色都將擁有統(tǒng)一的拓?fù)浣Y(jié)構(gòu)、多重LOD以及對(duì)應(yīng)的綁定資產(chǎn)。用戶可以在UE5中通過Quixel Bridge快速地從用戶的賬號(hào)中下載用戶所創(chuàng)建好的數(shù)字人角色,隨后就可以在場(chǎng)景中對(duì)它進(jìn)行使用。
然而,這套工具目前對(duì)亞洲人物的支持有限。這意味著如果用戶要使用UE5官方提供的這套工具去創(chuàng)建一個(gè)亞洲人的臉型和體型是十分困難的。由此,用戶在創(chuàng)建過程中開發(fā)了多種解決方案:
1.基于照片生成數(shù)字人
通過Metahuman進(jìn)行快速特征點(diǎn)追蹤,可以基于角色的正臉照片生成數(shù)字人模型,但由于側(cè)臉深度和遮擋物的限制,如果面部有遮擋,效果會(huì)進(jìn)一步降級(jí)。因此,這種方法只適用于簡(jiǎn)單的角色創(chuàng)建。此外,該方法需要手動(dòng)指定或創(chuàng)建角色的膚色材質(zhì)貼圖。
2. 基于Iphone深度攝像頭的數(shù)字人創(chuàng)建
使用Live Link Face軟件錄制包含人物面部深度信息的視頻,再生成精確的角色模型。該方法要求在布光良好的環(huán)境中進(jìn)行。面部不能有任何過曝、大型陰影或局部曝光。同時(shí)在錄制過程中,不能將面部移開取景框。用戶一般會(huì)錄制包含正臉、左側(cè)臉、右側(cè)臉以及齜牙的視頻。通過這個(gè)視頻,可以生成準(zhǔn)確包含角色面部特征以及精確到牙齒特征的模型。該方法除了不能直接創(chuàng)建材質(zhì)貼圖外,是在兼具速度的情況下,最準(zhǔn)確的一種角色模型生成方式。
3. 基于模型進(jìn)行數(shù)字人的創(chuàng)建
如果用戶已有外置的模型或通過一組照片生成的模型,也可以將其轉(zhuǎn)化為數(shù)字人。該方法創(chuàng)建的模型是通過外部包裹拓?fù)湟约疤卣鼽c(diǎn)的追蹤進(jìn)行生成。只要拓?fù)浣Y(jié)構(gòu)一致,也可以將現(xiàn)有的模型直接轉(zhuǎn)化為Metahuman可以使用的狀態(tài)。
生成數(shù)字人模型后,用戶還需要檢查動(dòng)畫的正確性。例如,Metahuman在動(dòng)畫中經(jīng)常會(huì)出現(xiàn)諸如眼睛無(wú)法閉合等細(xì)微的問題,這需要對(duì)它的blendshape進(jìn)行手動(dòng)修改。用戶可以使用數(shù)字人創(chuàng)建工具進(jìn)行數(shù)字人DNA的創(chuàng)建。
DNA是UE5提供的一種數(shù)字人頭部數(shù)據(jù)存儲(chǔ)的類型,包含了多種LOD、頭部形狀以及綁定的細(xì)節(jié)。用戶可以在Maya中通過DNA viewer和DNA Calib修改DNA。
DNA Viewer界面
DNA viewer允許用戶讀取對(duì)應(yīng)的DNA所包含的數(shù)據(jù)。用戶對(duì)其修改后,可以通過DNA Calib重新注入DNA文件中,再導(dǎo)入U(xiǎn)E5中創(chuàng)建一個(gè)擁有正確動(dòng)畫的數(shù)字人。
而在數(shù)字人皮膚的創(chuàng)建中,除去官方可用的皮膚,用戶可以自己購(gòu)買或制作高精度的皮膚紋理貼圖,在SP中對(duì)其進(jìn)行修改即可。Metahuman的褶皺也有對(duì)應(yīng)的貼圖去控制產(chǎn)生的效果以及對(duì)應(yīng)的渲染材質(zhì),這也是需要用戶手動(dòng)去進(jìn)行修改調(diào)試。
用戶可以在傳統(tǒng)的建模軟件中利用插件快速地生成毛發(fā)。然而,用戶無(wú)法使用數(shù)字人創(chuàng)建工具生成用戶想要的準(zhǔn)確的毛發(fā),它只能提供預(yù)設(shè)的毛發(fā)以供用戶參考。并且,只有手動(dòng)創(chuàng)建的毛發(fā)才能更好的貼合數(shù)字人。
數(shù)字人的服裝既可以使用例如Style3d,Marvelous designer進(jìn)行制作,也可以使用傳統(tǒng)的雕刻軟件進(jìn)行制作。制作完成后需要和數(shù)字人的權(quán)重進(jìn)行刷取,保證運(yùn)動(dòng)的一致性,或使用UE5自帶的布料模擬或者其他布料模擬插件進(jìn)行解算,以模擬真實(shí)布料的質(zhì)感和運(yùn)動(dòng)邏輯。
到此為止,數(shù)字人的調(diào)試基本完成。
動(dòng)捕技術(shù)的突破應(yīng)用
接下來(lái)便進(jìn)入動(dòng)捕的環(huán)節(jié)。
數(shù)字人的動(dòng)捕分為面捕和肢體捕捉。用戶將使用IPhone的Live link face完成面捕,其使用方式分為L(zhǎng)ive link(ARKit)以及Metahuman Animator。前者使用Iphone提供的ARKit框架在設(shè)備上捕捉動(dòng)畫,通過本地網(wǎng)絡(luò)實(shí)時(shí)傳輸?shù)経E5,適合直播環(huán)境使用。后者使用Iphone捕捉的原始視頻、深度和音頻數(shù)據(jù),在傳輸?shù)奖镜睾筮M(jìn)行解算,適合傳統(tǒng)制片的流程使用。當(dāng)錄制解算的精度的準(zhǔn)確性遠(yuǎn)超實(shí)時(shí)傳輸?shù)木?,并且臉型越貼近數(shù)字人,其解算效果會(huì)越好。如果需要無(wú)人直播的效果,可以考慮后者。
在肢體捕捉中,用戶使用HTC Tracker配合OpenXR將數(shù)據(jù)傳遞給UE5。通過對(duì)使用者T pose的讀取和校準(zhǔn),用戶可以在不同體型的數(shù)字人上使用同一位動(dòng)捕演員。用戶通過對(duì)手臂和腿進(jìn)行IK綁定,因此僅需要6個(gè)Tracker即可實(shí)現(xiàn)最基本,最簡(jiǎn)單的動(dòng)捕效果。
動(dòng)捕效果(左)現(xiàn)場(chǎng)人員(右)
xR虛擬制片與動(dòng)捕的結(jié)合
數(shù)字人在和xR虛擬制片的結(jié)合有離線和實(shí)時(shí)的兩種方向。
1.離線
用戶可以將預(yù)錄的動(dòng)畫傳遞給數(shù)字人進(jìn)行使用。這個(gè)模式對(duì)服務(wù)器性能的壓力最小,適合在有劇本,有預(yù)演的前提下使用。同時(shí),此方式能表現(xiàn)的精度也是最高的。
離線計(jì)算下和本人匹配的面部數(shù)據(jù)
捕捉完畢的數(shù)據(jù)替換在其他角色上
2.實(shí)時(shí)
用戶可以通過Live Link進(jìn)行實(shí)時(shí)動(dòng)畫數(shù)據(jù)的傳遞,該模式對(duì)服務(wù)器性能會(huì)產(chǎn)生額外壓力。因此,需要對(duì)場(chǎng)景進(jìn)行額外的優(yōu)化以支持?jǐn)?shù)字人的運(yùn)行。
用戶還可以使用AR前景將數(shù)字人作為前景融合到場(chǎng)景中。該方案需要使用單獨(dú)的服務(wù)器進(jìn)行解算,從而最大程度上分離場(chǎng)景渲染和數(shù)字人運(yùn)行的壓力。同時(shí),該方案也可以單獨(dú)用在真實(shí)場(chǎng)景中和現(xiàn)實(shí)人物進(jìn)行互動(dòng)。
作為行業(yè)的創(chuàng)新者,深工一直致力于將最前沿的技術(shù)轉(zhuǎn)化為實(shí)際的商業(yè)價(jià)值,將xR虛擬制片、數(shù)字人和動(dòng)捕技術(shù)融合創(chuàng)新,推動(dòng)商業(yè)顯示和傳媒行業(yè)的發(fā)展。未來(lái),我們將繼續(xù)投身于這些前沿技術(shù),進(jìn)一步提升創(chuàng)作效率和互動(dòng)體驗(yàn),賦能更多行業(yè)場(chǎng)景。
隨著技術(shù)的不斷進(jìn)化,數(shù)字化內(nèi)容創(chuàng)作將迎來(lái)更多顛覆性的變化。深工愿與更多合作伙伴一起,共同探索和開拓?cái)?shù)字內(nèi)容創(chuàng)作的新天地。
評(píng)論comment