多視點(diǎn)視頻編解碼和虛擬視點(diǎn)合成技術(shù)的研究.pdf

1、多視點(diǎn)視頻是當(dāng)前多媒體領(lǐng)域的研究熱點(diǎn)，它是一種具有立體感和交互功能的視頻序列，用戶在觀看時(shí)可以任意改變視點(diǎn)或者視角，以實(shí)現(xiàn)對(duì)同一場(chǎng)景進(jìn)行多方位體驗(yàn)。本論文面向多視點(diǎn)視頻的交互式應(yīng)用，對(duì)影響視點(diǎn)交互時(shí)延的編解碼技術(shù)以及虛擬視點(diǎn)合成技術(shù)進(jìn)行了研究。
　　 論文首先對(duì)多視點(diǎn)視頻的時(shí)間相關(guān)性和視點(diǎn)間相關(guān)性進(jìn)行測(cè)試統(tǒng)計(jì)，結(jié)果表明：對(duì)于大多數(shù)視頻序列，時(shí)間相關(guān)性占主導(dǎo)地位。并由此提出了一種具有低時(shí)延隨機(jī)訪問(wèn)性能的多視點(diǎn)視頻編碼結(jié)構(gòu)。該編碼結(jié)

2、構(gòu)確定中間視點(diǎn)為基本視點(diǎn)，并將視差補(bǔ)償預(yù)測(cè)用于關(guān)鍵幀，而對(duì)非關(guān)鍵幀僅進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼。
　　 其次，論文針對(duì)非關(guān)鍵幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼，根據(jù)相鄰視點(diǎn)間運(yùn)動(dòng)信息具有高度相關(guān)性的原理，提出一種基于自適應(yīng)運(yùn)動(dòng)矢量精細(xì)的Motion skip模式，該模式可得到當(dāng)前編碼宏塊更為精細(xì)的運(yùn)動(dòng)信息，從而提高了編碼效率。
　　 第三，在解碼端，基于Motion Skip模式的特點(diǎn)，論文提出了一種單循環(huán)解碼技術(shù)，即對(duì)參考視點(diǎn)中的關(guān)鍵幀進(jìn)

3、行完全解碼，而對(duì)非關(guān)鍵幀只需進(jìn)行解析得到運(yùn)動(dòng)信息用于解碼當(dāng)前幀，使參考視點(diǎn)中的所有非關(guān)鍵幀都不需要進(jìn)行運(yùn)動(dòng)補(bǔ)償，從而降低了視點(diǎn)切換時(shí)的時(shí)延。
　　 最后，論文在JMVM模型的基礎(chǔ)上添加一個(gè)虛擬視點(diǎn)合成模塊，使用戶交互請(qǐng)求時(shí)不需要增加輔助的視頻流，直接使用聯(lián)合編碼后的碼流進(jìn)行虛擬視點(diǎn)合；將該虛擬視點(diǎn)合成模塊與上述提出的編解碼方案相結(jié)合，虛擬視點(diǎn)序列同樣以GOP為單位，對(duì)其中的關(guān)鍵幀和非關(guān)鍵幀運(yùn)用不同的合成技術(shù)，對(duì)關(guān)鍵幀采用基于深度