虛擬實境公司Jaunt首席音訊工程師Adam Somers表示,視覺其實僅佔VR技術50%,另外50%就是聽覺;因此,觀看畫面固然重要,假使聽覺未能滿足,就永遠無法趨近現實,3D音訊發展決定VR世界是否實際來臨。
救護車就是最好例子,人類能夠判斷靠近方向,就是音波到達耳朵時間有些微差異,讓大腦分析聲音來源,數據化稱為HRTF ( head-related transfer function ),然而每個人對聲音判斷都會有差異,經驗、耳括大小形狀、聽力等都會影響。
目前電影院使用環繞音效技術,最知名兩家公司DTS與Dolby,利用布置多個揚聲器,創造仿真環境音場,但這樣仍只能觀看電影固定畫面,VR技術必須讓聲音隨著頭部轉動,讓聲音跟著轉換,才能真正達到臨場感。
不同公司針對VR或3D音效開發,目前有不同模擬,Localization是將聲音定位,在平面360度角都能有較好測試效果,上下360度則較難模擬;Propagation是利用回音模擬,讓使用者感覺處於虛擬環境中。
Occlusion模擬音波傳輸碰到障礙物時,可能產生影響,模擬出VR音效;但目前技術較為領先則是Ambisonic,在空間裡放置許多揚聲器,判斷音波對氣球作用力,還原HRTF,推算出音效場景。