層次化視頻語義標注與檢索.pdf

1、隨著多媒體、計算機和網絡的發(fā)展，視頻數據飛速增長。為了對這些海量視頻數據進行存儲、管理、和索引，需要研究高效的基于內容的方法對視頻數據進行檢索，而視頻標注是視頻索引和視頻搜索的基礎。本文研究如何利用機器學習和視頻的特征，對視頻進行多層次的、基于內容的標注。 視頻在結構上共分四個層次：視頻(video)、場景(Scene)、鏡頭(shot)、圖象幀(frame)。通常視頻標注主要在其中的視頻層和鏡頭層中進行。視頻層的標注是對整段視

2、頻標注其類型屬性。鏡頭層的標注主要是依據從該鏡頭中提取的關鍵幀，標注其對應的語義概念。根據所標注的語義概念對應的是圖象幀層次還是物體層次的，鏡頭層標注又可進一步分為圖象幀層標注和物體層標注。本文研究在視頻層、圖象幀層、和物體層上進行視頻標注時的關鍵問題，主要工作和創(chuàng)新之處歸納為以下幾點： 1.目前視頻類型層標注的研究工作通常僅僅標注了幾種簡單的類型，或者是局限在電影、體育運動等某個特定的類型內標注其子類型，而且使用的分類器也過于

3、簡單。本文定義了一個相對完備的視頻類型分層表示，分析并提取一系列與類型相關的時空域特征，并提出使用局部和全局優(yōu)化的多類SVM二叉樹提高分類精度。實驗結果表明，本文提出的局部和全局優(yōu)化的SVM二叉樹與另外兩種典型的SVM多類分類算法、以及現(xiàn)有的視頻分類工作中使用的分類器相比，能夠獲得更高的精確度。 2.當蘸盼視頻類型層標注工作都是采用被動監(jiān)督學習的方法，需要大量的訓練數據和費時費力的手工標注。本文將主動學習引入視頻類型層標注，并提

4、出使用后驗概率來計算分類器對未標注樣本的置信度，然后依據此置信度選擇分類器最不確定的樣本，也即最“有用”的樣本提供給用戶進行標注，從而用更少的訓練樣本獲得和大量訓練樣本近似的分類效果，減輕用戶標注訓練數據的負擔。實驗結果表明，本文提出的基于后驗概率的主動學習樣本選擇策略要略好于現(xiàn)有的基于變型空間的主動學習樣本選擇策略、以及被動學習的樣本選擇策略。 3.對于圖象幀層視頻標注，本文考慮一種經常遇到的實際應用：僅擁有一小部分相關的正例，如俺學

5、習該目標概念的模型。此時進行視頻標注主要存在下面兩個問題：第一，對于僅有正例的訓練數據，傳統(tǒng)的區(qū)分型分類器如SVM等無法直接使用；第二，區(qū)分各種語義概念的底層特征有很大的不同，使用統(tǒng)一的特征無法適應各種語義概念的變化。本文提出一個基于流形排序的關鍵幀圖象層視頻標注框。對第一個問題，用流行排序解決僅有正例的不足，同時可以利用未標注數據的分布信息。對第二個問題，定義一個特征選擇準則，引入特征選擇為不同的語義概念選擇不同的特征。此關鍵幀圖象層

6、視頻標注框架支持新定義的目標概念和新特征的引入。 4.在物體層視頻標注中，傳統(tǒng)的多實例學習表達忽略了各種語義概念之間的語義相關性。因此本文提出existence-based多實例表達來描述這種概念間的語義相關性，并根據existence-based表達設計一種新的多實例學習算法MI-AdaBoost。算法首先對訓練數據中的每個包進行特征映射，轉換成包級特征空間的一個特征矢量，從麗將多實例學習轉換為傳統(tǒng)的監(jiān)督學習。這種特征映射會為

7、每個包建立一個包含大量噪聲的高維特征矢量，可以用AdaBoost進行特征選擇并構建分類器。 5。不同的語義概念對應的底層特征有很大的不同，因此特征選擇對視頻標注是非常關鍵的一個問題。以前的研究工作在將多實例學習應用于視頻標注時，都忽略了如何在多實例學習情況下做特征選擇的問題。由于傳統(tǒng)的單實例學習下的特征選擇算法通常都無法在多實例學習中直接應用，本文提如了一種多實例學習下的特征選擇算法EBMIL，能夠在選擇映射后的包級特征的同時，