結合TOF相機和立體相機的3D立體成像系統(tǒng)研究.pdf

1、3D立體成像是當前3D立體視覺領域研究中最為基礎的一個環(huán)節(jié)。在3D立體成像過程中，如何獲取場景的真實深度信息是關鍵。基于所獲得的場景深度信息，結合該場景的彩色圖像，經過恰當?shù)?D轉3D方法進行圖像處理就能得到可以被人眼通過相應的觀看方式感知到3D立體效果的圖像。當前研究領域對場景深度信息的獲取主要有兩種方法：一種是使用立體相機或多視角相機群獲取到場景的多角度彩色圖像，再采取立體匹配算法進行不同視圖的視差圖估計，得到的視差圖間接地反映了深

2、度信息；另一種是利用深度相機獲取場景的深度圖像，得到的深度圖直接地反映深度信息。然而就獲得的深度圖像質量而言，目前應用較為廣泛的深度相機和立體相機有著各自的優(yōu)缺點：深度相機得到的深度圖精確度相對較高但分辨率較小，立體相機獲得的彩色圖像組經立體匹配算法估計得到的視差圖分辨率相對較高但誤匹配率較大。因此，如何獲取場景的真實深度信息并同時保證其質量和分辨率便于其他研究算法的應用，成為相機成像系統(tǒng)的主要研究目標。
　　本研究主要內容包括：

3、⑴結合深度相機Time-of-Flight(TOF)和三目相機，搭建相機軟硬件平臺。啟動相機并分別對各個相機進行相機坐標系與世界坐標系之間的單獨標定，以及TOF相機與三目相機之間的立體標定，實現(xiàn)將兩個相機的成像投影到同一個圖像平面。⑵搭建一個基于快速WMF算法的S3D成像系統(tǒng)。在相機標定的基礎上，為了匹配立體相機獲取的高分辨率彩色圖像 R，首先對TOF獲取的低分辨率深度圖像D進行雙三次內插法上采樣得到Du，其次對存在一定噪聲和由相機標定

4、參數(shù)誤差引起的無深度值區(qū)域的Du進行合理截圖得到Dcrop，然后將Dcrop結合R進行快速加權中值濾波得到分辨率較高且質量較好的Dref，最后將濾波后的Dref與彩色圖像R作為輸入，經過DIBR算法渲染可在幾秒的時間內生成當前場景的S3D紅藍視圖。由于TOF相機性能特點，系統(tǒng)獲取到的Dref依然存在些許細微噪聲以及某些特殊場景下的反光平面、超出TOF相機測量區(qū)域的深度值存在斑狀不平滑的情況，因此設想利用三目相機得到該場景的視差圖，再將其

5、與深度圖進行合理的圖像融合以得到更高質量的深度圖，進而得到能帶來更好3D體驗的立體3D圖像。⑶提出一種利用確定性區(qū)域檢測和自適應視差調整的保護邊緣的立體匹配方法，此方法主要貢獻是針對誤匹配的區(qū)域進行確定性檢測和視差調整，以得到高質量的視差圖。首先對左右視圖進行采用均值漂移算法進行分割圖像，其次參照圖像的分割信息分別估計左右視圖的視差值，然后對左右視差圖進行區(qū)域確定性檢測并標記，最后利用每個像素的顏色相似度、空間距離和所在區(qū)域所標記的確定