在VR和AR系統(tǒng)中，預(yù)測(cè)追蹤涉及對(duì)一個(gè)物體或用戶身體的一部分的方向和位置變化的預(yù)測(cè)過(guò)程。舉例來(lái)說(shuō)，Oculus開(kāi)發(fā)的異步空間扭曲（ASW）就涉及對(duì)用戶頭部位置變化的預(yù)測(cè)。

預(yù)測(cè)追蹤的重要性

預(yù)測(cè)追蹤最常見(jiàn)的VR應(yīng)用之一就是用來(lái)降低VR頭顯的運(yùn)動(dòng)畫面延遲，因?yàn)橐话銇?lái)說(shuō)，如果頭顯傳感器檢測(cè)人的運(yùn)動(dòng)到最終顯示屏顯示出對(duì)應(yīng)畫面的時(shí)間間隔大于20ms，人們就會(huì)感覺(jué)到畫面的滯后，從而導(dǎo)致頭暈。很明顯，從傳感器檢測(cè)數(shù)據(jù)傳輸?shù)接?jì)算機(jī)進(jìn)行處理然后進(jìn)行顯示總需要一定時(shí)間，我們不可能完全消除這段時(shí)間差，但人的很多動(dòng)作過(guò)程存在連續(xù)性，軟件可以預(yù)測(cè)運(yùn)動(dòng)軌跡，提前生成對(duì)應(yīng)的畫面，這樣我們就能夠減少明顯可被感知的延遲了。

據(jù)VR箘的了解，現(xiàn)在有很多虛擬現(xiàn)實(shí)應(yīng)用已經(jīng)應(yīng)用了預(yù)測(cè)追蹤技術(shù)，不過(guò)實(shí)際上它在增強(qiáng)現(xiàn)實(shí)領(lǐng)域也非常重要，因?yàn)橛泻芏嘤脩粼诳焖僖苿?dòng)中仍然會(huì)同時(shí)看到現(xiàn)實(shí)場(chǎng)景和虛擬畫面疊加層并進(jìn)行對(duì)比。想象一下，如果我們?cè)贏R頭顯中觀看一個(gè)投影到顯示物體表面的虛擬圖像，這個(gè)圖像即使在我們轉(zhuǎn)頭時(shí)仍然應(yīng)該在視覺(jué)上與現(xiàn)實(shí)物體保持相對(duì)靜止，這樣才會(huì)讓我們感到它的確是這個(gè)物體的一部分。

增強(qiáng)現(xiàn)實(shí)一般使用Inside-Out進(jìn)行定位，頭顯上的攝像頭需要對(duì)物體進(jìn)行識(shí)別，不過(guò)攝像頭拍攝圖像，并使用處理器識(shí)別物體在圖像中的位置，然后在對(duì)應(yīng)位置渲染虛擬畫面都需要時(shí)間。當(dāng)我們應(yīng)用預(yù)測(cè)追蹤，就可以提前開(kāi)始渲染，緩解處理器的壓力。

預(yù)測(cè)追蹤的原理

先從理想化的條件開(kāi)始說(shuō)起，如果我們看到一輛勻速運(yùn)動(dòng)的汽車，想要預(yù)測(cè)它在1s后的位置，估計(jì)我們很容易就能得到相當(dāng)正確的結(jié)果。我們知道汽車當(dāng)前的位置，然后估計(jì)一個(gè)比較接近的速度，然后就能獲得短時(shí)間之后汽車的位置。

當(dāng)然，一般來(lái)說(shuō)我們的預(yù)測(cè)值與汽車在1s后的真實(shí)位置不可能總是100%相同：畢竟真實(shí)情況中汽車可能會(huì)在那段時(shí)間改變方向或者速度?；镜囊?guī)律是，你想要預(yù)測(cè)的時(shí)間越遠(yuǎn)，你的預(yù)測(cè)準(zhǔn)確度就會(huì)急速下降：預(yù)測(cè)1s后汽車的位置變化很明顯比預(yù)測(cè)1分鐘后汽車的位置變化要準(zhǔn)確很多。

另一點(diǎn)則在于采集的數(shù)據(jù)，你對(duì)汽車了解的越多，你的預(yù)測(cè)就越準(zhǔn)確。例如，如果你不僅知道汽車的速度，還知道它的加速度，那么1s后的位置變化就更精準(zhǔn)了。

因此，如果我們能夠采集到追蹤物體更多運(yùn)動(dòng)信息，預(yù)測(cè)追蹤的準(zhǔn)確度也更精確。在追蹤用戶頭部運(yùn)動(dòng)時(shí)，如果我們知道人類頭部正常和極限的旋轉(zhuǎn)速度，就可以建立一個(gè)更精確的追蹤數(shù)據(jù)模型。同樣的，如果我們還要進(jìn)行眼球追蹤，我們可以使用眼球追蹤數(shù)據(jù)增強(qiáng)頭部追蹤預(yù)測(cè)的可靠性。

造成延遲的原因

前面已經(jīng)說(shuō)過(guò)，預(yù)測(cè)追蹤的原因在于真實(shí)頭部運(yùn)動(dòng)到與這個(gè)運(yùn)動(dòng)對(duì)應(yīng)的畫面顯示在VR屏幕中存在時(shí)間差。這個(gè)時(shí)間差的來(lái)源有很多，例如：

傳感器本身的延遲。傳感器（最常見(jiàn)的就是陀螺儀）受限于帶寬和本身數(shù)據(jù)采集的頻率，并沒(méi)有及時(shí)上傳運(yùn)動(dòng)數(shù)據(jù)。而光學(xué)感應(yīng)元件也因?yàn)楫嬅嫠⑿碌葐?wèn)題沒(méi)有在接收來(lái)自追蹤物體的光的同時(shí)向處理器發(fā)送圖像。

處理器延遲。來(lái)自傳感器的數(shù)據(jù)通常會(huì)使用一些傳感器融合算法進(jìn)行整合，當(dāng)處理器接收這些數(shù)據(jù)之后，由于需要運(yùn)行算法會(huì)產(chǎn)生一定延遲。

數(shù)據(jù)降噪延遲。傳感器的數(shù)據(jù)不可避免存在一些噪聲信號(hào)，為了避免錯(cuò)誤數(shù)據(jù)影響體驗(yàn)，我們需要使用軟件端或硬件端低通算法對(duì)其進(jìn)行處理。

數(shù)據(jù)傳輸延遲。這一點(diǎn)當(dāng)然也很好理解，數(shù)據(jù)以電信號(hào)作為傳輸載體，而無(wú)論采取什么手段，電信號(hào)的傳輸肯定存在一些延遲。

渲染延遲。渲染畫面，尤其是復(fù)雜場(chǎng)景，GPU需要花費(fèi)一段時(shí)間才能完成工作，它們需要在將畫面幀傳輸?shù)狡聊恢按_定每個(gè)像素點(diǎn)的正確位置。

幀率延遲。如果一個(gè)顯示屏刷新率為100Hz，那么它顯示第一幀到第二幀之間必定存在10ms延遲。問(wèn)題是GPU傳送的畫面幀在時(shí)間上并沒(méi)有與顯示屏刷新進(jìn)行同步，有時(shí)候即使畫面幀已經(jīng)傳送到顯示屏仍然需要等待一段時(shí)間才能顯示。

這里面大部分延遲都非常小，然而它們疊加起來(lái)就不容忽視了。而預(yù)測(cè)追蹤和其他技術(shù)，例如異步時(shí)間扭曲（ATW）能夠有效減少那些比較明顯的延遲。

預(yù)測(cè)的范圍有多遠(yuǎn)？

關(guān)于這一點(diǎn)，VR箘只能表示看情況。由于VR系統(tǒng)存在多個(gè)追蹤物體，我們需要將不同物體作為單獨(dú)的預(yù)測(cè)起點(diǎn)，然后優(yōu)化到理想的狀態(tài)。

為了保證穩(wěn)定性，也許我們需要一直預(yù)測(cè)物體多個(gè)時(shí)間點(diǎn)的運(yùn)動(dòng)狀態(tài)，下面來(lái)解釋為什么這是必要的：

?現(xiàn)在系統(tǒng)中不同追蹤物體的延遲并不相同。例如基于相機(jī)的手勢(shì)追蹤與頭部追蹤的延遲不同，但它們出現(xiàn)在同一個(gè)場(chǎng)景中，需要進(jìn)行同步繪制，這時(shí)候就需要用到多個(gè)時(shí)間點(diǎn)的預(yù)測(cè)追蹤結(jié)果。

?VR顯示屏有兩種形式，一種采用兩塊獨(dú)立屏幕，另一種則使用單一屏幕。后者，例如手機(jī)VR中，單一屏幕需要同時(shí)顯示兩只眼睛的圖像，然而屏幕是逐次顯示圖像，因此一只眼睛的圖像總是比另一只眼睛慢半幀（大約為8ms）。這樣的話，我們最好利用預(yù)測(cè)追蹤給另一只眼顯示8ms之后的圖像。

常見(jiàn)的預(yù)測(cè)算法：

下面是一些常見(jiàn)預(yù)測(cè)追蹤算法的例子：

航位推算法：這是一個(gè)比較簡(jiǎn)單的算法，如果我們知道給定時(shí)間的位置和速度（或者角位置和角速度），假定最后測(cè)得的移動(dòng)距離和方向沒(méi)有誤差，我們就可以推算出一定時(shí)間之后的位置。舉例來(lái)說(shuō)，方向固定，已知最后的位置是100單位而最后測(cè)得的速度是10單位每秒，那么10ms之后的位置就是100.1單位。這是一個(gè)非常簡(jiǎn)化的計(jì)算方法，因?yàn)樗僭O(shè)最后測(cè)得數(shù)據(jù)都是準(zhǔn)確的，并且物體速度不變，而實(shí)際情況往往不是如此。

卡爾曼濾波：著名的卡爾曼濾波器一般用于去除傳感器噪聲，一般都有專門的數(shù)學(xué)模型，卡爾曼濾波的具體講解在英文維基百科上能夠找到。

ABG預(yù)測(cè)：ABG指的是阿爾法-貝塔-伽馬，它與卡爾曼預(yù)測(cè)關(guān)系也十分緊密，但通用性相對(duì)較差，而涉及到的數(shù)學(xué)也比較簡(jiǎn)單。ABG通過(guò)連續(xù)不斷地估計(jì)速度和加速度參數(shù)進(jìn)行預(yù)測(cè)。由于估算值會(huì)參考實(shí)際數(shù)據(jù)，因此它們可以測(cè)量部分噪聲點(diǎn)。配置參數(shù)（阿爾法-貝塔-伽馬）更注重響應(yīng)能力，而非降噪。

如果我們想要減少那些明顯的延遲，預(yù)測(cè)追蹤是一個(gè)有效并且挺常用的技術(shù)。其實(shí)現(xiàn)手段有簡(jiǎn)單的也有復(fù)雜的，需要進(jìn)行一些數(shù)據(jù)分析，不過(guò)相信它對(duì)現(xiàn)在和未來(lái)的VR/AR系統(tǒng)延遲問(wèn)題有很多幫助。