一．虛擬現(xiàn)實(shí)的發(fā)展歷程

虛擬現(xiàn)實(shí)是一種存在于計(jì)算機(jī)和互聯(lián)網(wǎng)環(huán)境中人工制造的虛擬環(huán)境，人們能夠以接近自然的方式與這個(gè)虛擬環(huán)境進(jìn)行交互，從而產(chǎn)生身臨其境的沉浸感。由于虛擬現(xiàn)實(shí)有著傳統(tǒng)人機(jī)交互無(wú)法比擬的真實(shí)感，使人們能夠如同感知真實(shí)世界一般接觸虛擬空間，為人類(lèi)文化的傳承和發(fā)展創(chuàng)造了新的可能，對(duì)教育培訓(xùn)、文化旅游、社交活動(dòng)、電子商務(wù)、生物醫(yī)學(xué)等領(lǐng)域都有深遠(yuǎn)的意義。
光場(chǎng)虛擬現(xiàn)實(shí)技術(shù)在傳統(tǒng)虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，結(jié)合計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)攝影學(xué)中涌現(xiàn)的最新成果，不僅能讓人無(wú)法區(qū)分虛擬和現(xiàn)實(shí)，還能實(shí)現(xiàn)人與虛擬環(huán)境的自然互動(dòng)，進(jìn)一步增強(qiáng)用戶(hù)的真實(shí)體驗(yàn)。

“小孔成像”的發(fā)現(xiàn)

自從墨子發(fā)現(xiàn)了“小孔成像”現(xiàn)象以來(lái)，人們逐漸掌握了用光學(xué)成像技術(shù)觀(guān)察和記錄世界的能力。

照相機(jī)的發(fā)明

1826年，法國(guó)人約瑟夫·尼塞福爾·尼埃普斯發(fā)明了世界上第一臺(tái)照相機(jī)，并在巴黎拍攝了現(xiàn)存最早的一張照片。

各式光學(xué)儀器的出現(xiàn)

此后，各式各樣的光學(xué)儀器如雨后春筍般紛紛出現(xiàn)。其中，雙目立體鏡的出現(xiàn)標(biāo)志著虛擬現(xiàn)實(shí)雛形的誕生。人們能夠通過(guò)雙目立體鏡觀(guān)看三維圖像，相比平面照片而言真實(shí)感更為強(qiáng)烈，

現(xiàn)代虛擬現(xiàn)實(shí)技術(shù)的起源

真正意義上的現(xiàn)代虛擬現(xiàn)實(shí)技術(shù)起源于1965年，被譽(yù)為“計(jì)算機(jī)圖形學(xué)之父”的美國(guó)人伊萬(wàn)·薩瑟蘭發(fā)明了一臺(tái)名為“達(dá)摩克利斯之劍”的機(jī)器，能夠向雙眼顯示不同視角的圖像，實(shí)現(xiàn)立體顯示，同時(shí)對(duì)頭部能夠進(jìn)行位置跟蹤，實(shí)現(xiàn)人與虛擬環(huán)境的簡(jiǎn)單互動(dòng)。

互動(dòng)多媒體系統(tǒng)

虛擬現(xiàn)實(shí)走進(jìn)大眾視野

進(jìn)入21世紀(jì)以來(lái)，伴隨著可穿戴設(shè)備等移動(dòng)終端的爆發(fā)式增長(zhǎng)，個(gè)人設(shè)備的計(jì)算能力越來(lái)越強(qiáng)大，虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備得以迅速興起，虛擬現(xiàn)實(shí)從科學(xué)家的實(shí)驗(yàn)室一躍進(jìn)入萬(wàn)千大眾的視野。經(jīng)過(guò)近兩年的快速發(fā)展，虛擬現(xiàn)實(shí)技術(shù)相關(guān)的產(chǎn)業(yè)生態(tài)鏈逐步形成，Oculus Rift、HTC Vive、PlayStation VR等硬件產(chǎn)品相繼走入市場(chǎng)，各種應(yīng)用也隨之產(chǎn)生并推廣。

二．虛擬現(xiàn)實(shí)的三大難題

虛擬現(xiàn)實(shí)之所以矚目，在于其能創(chuàng)造出一種全新的虛擬場(chǎng)景，使人們能夠產(chǎn)生身臨其境的體驗(yàn)。這就要求虛擬的場(chǎng)景必須是立體的全景式圖像或視頻，能夠適應(yīng)人類(lèi)頭部的運(yùn)動(dòng)，同時(shí)提供深度信息和聚焦變化，使大腦能夠判別近、遠(yuǎn)景。

虛擬現(xiàn)實(shí)所需要滿(mǎn)足的生理要求

制作優(yōu)秀的虛擬現(xiàn)實(shí)內(nèi)容并不簡(jiǎn)單，必須滿(mǎn)足人類(lèi)在自然狀態(tài)下觀(guān)看外部世界的條件。人的眼睛是獲取外界信息最主要的渠道，經(jīng)過(guò)長(zhǎng)時(shí)間的生理進(jìn)化和日常訓(xùn)練，形成了感知外部世界的一種本能，且非常挑剔。其中很重要的一點(diǎn)就是感知深度信息，這包括雙目視差、運(yùn)動(dòng)視差、遮擋和聚散等幾種方式。
當(dāng)人在自然狀態(tài)下觀(guān)察目標(biāo)時(shí)，眼睛在不斷地變焦，并且通過(guò)前庭眼反射消除畫(huà)面切換時(shí)的抖動(dòng)和模糊。這是因?yàn)樵谌搜鄣闹車(chē)袩o(wú)數(shù)的光線(xiàn)，眼睛通過(guò)改變焦距，采集來(lái)自不同方向和位置的光線(xiàn)，聚焦在不同的平面。加上頭部的運(yùn)動(dòng)，人可以在很大的范圍內(nèi)聚焦在所關(guān)心的物體上。
在佩戴頭盔的情況下，人眼實(shí)際是聚焦在頭盔的屏幕上，而虛擬現(xiàn)實(shí)技術(shù)則試圖“欺騙”挑剔的人眼和大腦，仿佛雙眼是聚焦在不同的距離。一旦顯示的內(nèi)容稍有差錯(cuò)或延遲，人眼就會(huì)敏感地察覺(jué)到，并造成相應(yīng)的神經(jīng)系統(tǒng)功能紊亂，引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。

虛擬現(xiàn)實(shí)的三大難題

傳統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)目前還遠(yuǎn)遠(yuǎn)不能達(dá)到這些要求。人工合成的360°全景圖像或視頻無(wú)法產(chǎn)生立體視覺(jué)效果，即便采用立體相機(jī)拍攝三維空間信息，取得雙目立體視差，也仍然缺乏運(yùn)動(dòng)視差，不能形成進(jìn)入走出的沉浸感。還需要加入聚焦變化，即人眼對(duì)焦在不同深度時(shí)，由于雙眼的聚散程度不同，對(duì)焦所在的平面是清晰的，而其他平面則是模糊的。真實(shí)世界的景物是一個(gè)高維度的復(fù)雜數(shù)據(jù)，只有完全記錄其中的所有信息，并且進(jìn)行不失真的重現(xiàn)，虛擬環(huán)境才能淋漓盡致地表現(xiàn)出來(lái)。
因此，虛擬現(xiàn)實(shí)要取得成功，就必須解決立體視覺(jué)、運(yùn)動(dòng)視覺(jué)和動(dòng)態(tài)對(duì)焦這三大問(wèn)題。

三．光場(chǎng)虛擬現(xiàn)實(shí)的最新成果

為了創(chuàng)造出人眼難以分辨的虛擬現(xiàn)實(shí)，人們需要運(yùn)用光場(chǎng)技術(shù)，并結(jié)合計(jì)算機(jī)視覺(jué)的方法，來(lái)實(shí)現(xiàn)這一目標(biāo)。而光場(chǎng)技術(shù)是計(jì)算成像/攝影領(lǐng)域發(fā)展起來(lái)的最新技術(shù)。
光場(chǎng)的概念早在1936年就被提出，是指光通過(guò)空間中某一點(diǎn)時(shí)在給定方向上的輻亮度。如圖1所示，人眼在觀(guān)察世界時(shí)無(wú)時(shí)無(wú)刻不在收集周?chē)墓鈭?chǎng)信息。我們可以用全光函數(shù)的概念來(lái)描述光場(chǎng)（圖2），其包括3D的空間變量和2D的方向變量，即全光函數(shù)是一個(gè)5D函數(shù)。在自由空間傳播時(shí)，光的輻亮度沿光線(xiàn)傳播方向保持不變，用光線(xiàn)在兩個(gè)任意平面上的交點(diǎn)坐標(biāo)表示，可以將光場(chǎng)簡(jiǎn)化成一個(gè)4D函數(shù)。
光場(chǎng)記錄了光線(xiàn)的所有空間信息和方向信息，因此可以很容易地通過(guò)光場(chǎng)重建不同對(duì)焦平面的圖像，或渲染不同視角下的圖像，甚至合成一個(gè)不存在的虛擬圖像。
在虛擬現(xiàn)實(shí)中，相比傳統(tǒng)的雙目視覺(jué)法，通過(guò)光場(chǎng)構(gòu)建的立體圖像效果更加真切。這是因?yàn)橥ㄟ^(guò)雙目視覺(jué)合成的立體圖像本質(zhì)上還是平面的，而通過(guò)光場(chǎng)合成的立體圖像則真正是立體的。
光場(chǎng)技術(shù)的發(fā)展給虛擬現(xiàn)實(shí)領(lǐng)域帶來(lái)了巨大的變革，它幾乎滿(mǎn)足了人們對(duì)于虛擬現(xiàn)實(shí)的所有要求：
立體視差可以帶來(lái)最真實(shí)的感受；
運(yùn)動(dòng)視差讓進(jìn)入走出更加自然；
重對(duì)焦使人們更加愜意地體驗(yàn)而不至于引起任何身體的不適。
但是光場(chǎng)虛擬現(xiàn)實(shí)任需要解決三個(gè)方面的關(guān)鍵技術(shù)問(wèn)題：光場(chǎng)的拍攝；光場(chǎng)的渲染；光場(chǎng)的顯示。
光場(chǎng)的拍攝

光場(chǎng)虛擬現(xiàn)實(shí)技術(shù)的核心目標(biāo)就是記錄光場(chǎng)，并且把光場(chǎng)無(wú)損地再現(xiàn)給人眼。光場(chǎng)的拍攝主要通過(guò)兩種方式實(shí)現(xiàn)：一是采用相機(jī)陣列拍攝，二是采用光場(chǎng)相機(jī)拍攝。
相機(jī)陣列拍攝：采用相機(jī)陣列的方式，可以捕獲來(lái)自不同視角的高分辨率圖像，每一幅圖像相當(dāng)于4D光場(chǎng)的一個(gè)2D切片，如果采集足夠多的不同2D切片，就可以重建完整的4D光場(chǎng)。上?？萍即髮W(xué)和疊境數(shù)字科技（上海）有限公司合作搭建了一種向內(nèi)環(huán)視的光場(chǎng)拍攝系統(tǒng)，能夠?qū)π⌒臀奈镞M(jìn)行拍攝和建模，可用于精細(xì)展示（圖4）。該系統(tǒng)采用80個(gè)單反相機(jī)同步觸發(fā)，拍攝處于中心區(qū)域的目標(biāo)，再利用光場(chǎng)重建技術(shù)對(duì)目標(biāo)進(jìn)行處理和建模，得到被拍攝物的3D模型。
光場(chǎng)相機(jī)拍攝：另一種獲得光場(chǎng)信息的方法是采用基于微透鏡陣列的光場(chǎng)相機(jī)。光場(chǎng)相機(jī)是一種全新的相機(jī)，可以實(shí)現(xiàn)先拍照后對(duì)焦的全新成像模式。單鏡頭的光場(chǎng)相機(jī)通過(guò)微透鏡陣列來(lái)采樣角度信息。每個(gè)微透鏡覆蓋一定數(shù)量的像素，對(duì)應(yīng)來(lái)自主透鏡一個(gè)子孔徑的光錐，經(jīng)過(guò)每個(gè)微透鏡成像在探測(cè)器的不同位置，這種位置的變化就記錄了光線(xiàn)的方向以此類(lèi)推，將主透鏡的孔徑劃分為若干采樣單元，每個(gè)微透鏡本身便記錄了光場(chǎng)的位置信息，從而實(shí)現(xiàn)四維光場(chǎng)的記錄。
光場(chǎng)相機(jī)能夠通過(guò)對(duì)光線(xiàn)的重新排布實(shí)現(xiàn)對(duì)任意平面的重對(duì)焦。光場(chǎng)相機(jī)記錄了光場(chǎng)的位置信息和角度信息，采用兩平面光場(chǎng)表示法，根據(jù)幾何關(guān)系，計(jì)算并渲染出一個(gè)虛擬的重對(duì)焦平面上的圖像（圖6）。計(jì)算時(shí)，指定重對(duì)焦平面上的一點(diǎn)，可以找到在透鏡平面和探測(cè)器平面的坐標(biāo)位置，從光場(chǎng)中取出這些對(duì)應(yīng)的光線(xiàn)進(jìn)行積分，就能得到在該平面上的圖像。這個(gè)虛擬的重對(duì)焦平面可以任意指定，因此便實(shí)現(xiàn)了一定景深范圍內(nèi)任意平面的重對(duì)焦功能。事實(shí)上，這些光場(chǎng)拍攝系統(tǒng)也能應(yīng)用在博物館行業(yè)。例如，谷歌公司的360°全景攝像裝置Google Jump采用16個(gè)GoPro相機(jī)，形成了一個(gè)向外觀(guān)看的環(huán)形相機(jī)陣列，能夠?qū)崿F(xiàn)3D全景高清視頻的拍攝，可以展示整個(gè)展廳甚至整個(gè)博物館的全貌，提升虛擬博物館的體驗(yàn)。

互動(dòng)多媒體系統(tǒng)

首先，通過(guò)相機(jī)陣列或光場(chǎng)相機(jī)得到同一物體或場(chǎng)景在不同視角下的一系列圖像，再通過(guò)多視角幾何關(guān)系估計(jì)出場(chǎng)景中的深度，獲得粗略的幾何信息。同時(shí)，光場(chǎng)相機(jī)通過(guò)重新排布光線(xiàn)，實(shí)現(xiàn)先拍照后對(duì)焦，在一系列的焦平面位置進(jìn)行圖像渲染，獲得圖像中的深度信息。
其次，在光學(xué)成像系統(tǒng)中，焦平面附近的發(fā)光強(qiáng)度分布具有對(duì)稱(chēng)性。利用這個(gè)性質(zhì)，通過(guò)檢測(cè)不同對(duì)焦圖像附近的光強(qiáng)分布，計(jì)算出不同物點(diǎn)的深度信息。比較而言，這種方法在圖像噪聲 和采樣欠缺的情況下具有更強(qiáng)的抗變換性。

另外，可以利用場(chǎng)景中的遮擋性進(jìn)行深度估計(jì)。在無(wú)遮擋的情況下，場(chǎng)景中的物體顏色分布是均勻的，而有遮擋的部分則會(huì)出現(xiàn)顏色混合。在光場(chǎng)相機(jī)中，從不同視角下渲染出的圖像具有不同的統(tǒng)計(jì)特性，根據(jù)表面統(tǒng)計(jì)數(shù)據(jù)檢測(cè)遮擋情況，作為評(píng)判一致性的指標(biāo)，可以計(jì)算出深度信息。

所有這些檢測(cè)圖像中幾何信息的方法，綜合起來(lái)就可以幫助我們獲得完整的幾何信息來(lái)輔助光場(chǎng)渲染，得到逼真的圖像。采用這種方法對(duì)博物館進(jìn)行建模和處理，所產(chǎn)生的渲染圖像可以方便地顯示在虛擬現(xiàn)實(shí)頭盔的屏幕上，為觀(guān)眾呈現(xiàn)藏品的全部光場(chǎng)信息，從各個(gè)角度自然地觀(guān)看藏品的虛擬模型，再配合手柄等操作設(shè)備，就能產(chǎn)生進(jìn)入走出的運(yùn)動(dòng)視覺(jué)，提高互動(dòng)感受。

光場(chǎng)的顯示

由于光線(xiàn)可逆，光場(chǎng)顯示過(guò)程與光場(chǎng)成像過(guò)程互為對(duì)偶關(guān)系，因此將捕獲的光場(chǎng)信息通過(guò)光場(chǎng)顯示器件表現(xiàn)出來(lái)后，人眼即可看到“真實(shí)”的虛擬世界。

微透鏡陣列和光場(chǎng)渲染技術(shù)：美國(guó)英偉達(dá)公司最近發(fā)明了一種近眼光場(chǎng)頭盔。該頭盔采用微透鏡陣列和光場(chǎng)渲染技術(shù)，使人們能夠自由調(diào)節(jié)對(duì)焦，觀(guān)察到正確的聚散程度、雙目視差和深度信息。其基本原理是在有機(jī)發(fā)光二極管顯示器上覆蓋一層微透鏡陣列，在人眼的調(diào)節(jié)距離內(nèi)快速合成虛擬的3D景物。由于此類(lèi)顯示設(shè)備的尺寸小、佩戴輕便，為下一代光場(chǎng)顯示和虛擬現(xiàn)實(shí)設(shè)備的開(kāi)發(fā)提供了新的思路。盡管這種光場(chǎng)頭盔的分辨率較低，還不足以實(shí)現(xiàn)商業(yè)化用途，但隨著硬件器材和計(jì)算機(jī)算法的不斷完善，未來(lái)將有巨大的發(fā)展?jié)摿Α?br />
壓縮光場(chǎng)顯示：另一種光場(chǎng)顯示技術(shù)稱(chēng)為壓縮光場(chǎng)顯示，也是光場(chǎng)顯示方向頗具潛力的解決方案之一。例如，麻省理工學(xué)院開(kāi)發(fā)的多層壓縮光場(chǎng)顯示裝置采用若干層掩膜和透明間隔實(shí)現(xiàn)光場(chǎng)顯示，通過(guò)張量分解的方法優(yōu)化每層掩膜板的透過(guò)率，將二維圖像投射到三維空間。