閱兵直播采用的增強現實技術是如何實現的

　　隨著虛擬現實技術的演進，現在已經有越來越多的場景我們可以看到虛擬現實技術的出現。電視行業就是其中之一：去年的世界杯，今年的春晚我們都可以看到虛擬演播室在直播節目中的出現。

　　這次閱兵，我們同樣可以看到北京電視臺也采用了虛擬演播室技術：觀眾可以看到，主持人一邊解說，虛擬的武器裝備就會在他身邊出現，生動形象的向觀眾展示了我軍裝備的威武雄壯，而不是干巴巴的文字或者圖片描述。

　　虛擬演播室技術實際上可以說就是增強現實技術的一個子集。它同樣涉及到增強現實中如何將虛擬的元素和真實的場景疊加在一起的問題。不過，增強現實是要讓最后的畫面呈現在用戶的眼睛里，而虛擬演播室則是將畫面呈現在電視的屏幕上。

　　所以，它的技術重點和增強現實是一樣的：

　　第一是如何能夠精確地定位真實的場景;

　　第二是如何能夠渲染出虛擬的元素;

　　第三是如何實時地將虛擬的元素疊加在真實的場景上，然后返回到視頻流中。

　　在這里，最難的是如何將虛擬元素和真實的元素進行疊加。

　　攝像機一旦運動，真實的場景和虛擬的元素都必須同步配合這個運動。電視攝像的幀率是50FPS，也就是說，引擎需要每20ms就渲染出一幀，這是一個相當高的要求。所以，系統內就應該要包括攝像頭的工作狀態，包括位置和視角等等，虛擬引擎才能夠渲染出相對應的畫面。

(虛擬演播室)

　　于是，這里可以得到一個虛擬演播室的系統流程：

　　第一步的工作是采集攝像機的工作狀態信息，最重要的是攝像機的位置和它與真實場景的相對關系;然后將這些信息傳送給圖形工作站。

　　第二步則是依此得到前景物體與攝像機之間的距離和相對位置，從而計算出虛擬元素的大小、位置，并渲染生成虛擬元素。

　　如果虛擬元素涉及到虛擬人物(比如世界杯節目里的虛擬球員，或者春晚上的陽陽)，則往往還要涉及到動作捕捉系統：用真人的動作實時的驅動虛擬角色的動作，然后呈現出來。

　　第三步，虛擬演播室系統會將主持人的實時畫面地與計算機產生的虛擬元素集成在一起，構成一個現實中不存在的場景，并且實時向觀眾進行廣播。

　　一般而言，這里會采用我們在電影花絮中常見的綠幕來遮蓋一切我們不想讓它出現在最后畫面中的場景元素，在專業中，這叫做“色鍵”。然后計算機會將相應的顏色全部摳掉，將虛擬場景集合上去，最后就呈現出我們這次會在閱兵直播中看到的，威武雄壯的導彈發射車出現在主持人的旁邊。

　　虛擬演播室可以說是增強現實技術在商業上的應用，而且已經能夠在商業直播中成熟運用了。

　　不過增強現實本身，還有很長一段路要走——因為消費者意義上的增強現實眼鏡要解決很多虛擬演播室所沒有的困難：

　　第一，虛擬演播室會是在一個有控制的場景中應用。

　　有專門的設備采集攝像機的位置和場景本身的位置，而增強現實眼鏡則需要在大范圍內應用，這就需要時下計算機視覺中非?；馃岬募夹g領域SLAM(Simultaneously Localization And Mapping，實時場景測量與建模)來幫助增強現實眼鏡“看到”并且“理解”周圍的環境。Google的Project Tango正是為了解決這個問題而開發的項目。

(谷歌的Project Tango項目)

　　第二，移動的VR眼鏡所可能具備的計算能力要遠遠小于虛擬演播室技術中的商業級別工作站。

　　所以其在高幀率下渲染虛擬元素的能力必然遠遠不如虛擬演播室，增強現實眼鏡的虛擬畫面必然不會像虛擬演播室那樣豐富和逼真。

　　第三點是，增強現實眼鏡的畫面最終是要投射到用戶的視網膜中。

　　所以想要符合人體的視覺系統特質，顯示裝置要具備的能力會大大不同于普通的屏幕：讓人感覺到虛擬與現實的融合，顯示屏需要與人眼球的焦點匹配顯示虛擬元素的能力，目前只有微軟的HoloLens讓人信服地展示了這一種能力，而他們使用的是全息顯示屏。

　　有趣的地方在于，在今年E3微軟的發布會上，微軟使用了虛擬演播室的技術展示了HoloLens最終可以達到的效果——可能這個發布會上也是虛擬演播室能達到的最好效果。微軟同樣使用了復雜的攝像機追蹤技術，讓觀眾信服的展示了HoloLens的增強現實。

(微軟的HoloLens)

　　所以，未來的增強現實下的閱兵會是怎樣的?按照慣例，我國下一次大閱兵將在2019年舉辦。我想，那時的閱兵就會有增強現實的參與了——觀眾將能夠實時的使用自己的增強現實眼鏡，或者在屏幕上看到威武雄壯的部隊，伴隨對其武器裝備的介紹，細節放大，甚至拆解……我們看閱兵也將不限于現場或者電視機前這僅有的兩種姿勢，而也可能能夠使用虛擬現實的方式身臨其境。技術的演進讓我們拭目以待。