基于多特征融合及詞匯相關(guān)性和多樣性的圖像標注方法研究.pdf

1、隨著計算機軟硬件、人工智能技術(shù)的不斷發(fā)展，以及各種智能電子設(shè)備和社交網(wǎng)站的流行與普及，人們在工作、生活、學習、社交和娛樂中產(chǎn)生了海量的數(shù)字圖像，如何能夠在互聯(lián)網(wǎng)環(huán)境下實現(xiàn)快速、有效的圖像檢索方法變成了目前人工智能領(lǐng)域的熱點研究問題。基于內(nèi)容的圖像檢索由于處理速度慢、效果不理想等缺點，對圖像的語義進行標注是一種主流的解決方案，其主要方法有手工標注、半自動標注和自動標注。由于圖像的高層語義是抽象的概念，同一個語義對應的圖像底層特征千差萬別，

2、自動標注需要解決二者之間存在的“語義鴻溝”。最近幾十年，盡管各種圖像自動標注的方法層出不盡，但圖像自動標注依然面臨樣本稀疏、光照敏感、尺度不一等諸多挑戰(zhàn)性的問題。論文正是針對上述問題進行研究，嘗試提出新的解決方案，來提高圖像語義標注的準確性，同時增加標注詞匯的多樣性。
　　論文的基本思路如下:提出合適的模型來解決高層語義的表述問題和標注詞匯的同義問題。前一個問題主要是指針對標注詞所對應的圖像底層特征差別巨大，嘗試找到表達能力更強的

3、概率模型來表述標注詞的視覺內(nèi)涵;后一個問題主要是指不同詞匯的高層語義一致、只是表達方式不一樣的問題，嘗試在標注詞匯數(shù)量受限的情況下，找到語義差別大、同時又能準確描述圖像的詞匯集合?；谏鲜鲅芯克悸罚撐牡闹饕獌?nèi)容如下:
　　(1)論文第三章主要研究利用混合概率模型從不同的角度來表達詞匯的高層語義，繼而完成圖像的自動標注。具體地，首先提取圖像顏色、形狀和紋理等方面的特征，然后利用每個標注詞匯對應的樣本集合在顏色、形狀和紋理三個子空間

4、分別訓練一個高斯模型，我們稱這些高斯模型為標注詞分描述子。由于三個特征子空間是對同一事物不同側(cè)面的描述，對圖像的高層語義識別能力不一樣，因此需要融合這些高斯模型來增強標注詞匯的表達能力。三個高斯模型采用加權(quán)的方式一起構(gòu)成了標注詞描述子，并且采用機器學習的方法（論文采用遺傳算法）來學習這些權(quán)重。每一個標注詞訓練好后，針對未知圖像的標注過程如下:對圖像進行分割，對分割后的區(qū)域提取顏色、形狀和紋理特征，并計算其屬于每個詞匯的概率，然后為該區(qū)域

5、選擇標注詞。論文利用Corel1k數(shù)據(jù)集對上述方法進行測試，實驗的結(jié)果表明論文提出的標注詞描述子可以有效地建立圖像高層語義與底層視覺特征之間的關(guān)系，且標注的準確率在平均查全率、平均查準率和平均F1測度值幾個方面優(yōu)于CMRM等主流的標注算法。
　　(2)為了進一步提高高斯混合模型標注的實用性，論文第四章進一步研究了融合標注詞之間相關(guān)性以及增強標注詞多樣性的圖像標注方法。標注詞的相關(guān)性是指圖像標注詞之間的伴生現(xiàn)象，一些標注詞之間往往不

6、是相互獨立的，而是伴生出現(xiàn)在共同的場景中，利用其相關(guān)性會增加標注的準確率。標注詞多樣性是指詞匯的同義詞或近義詞，它們的存在使得標注標簽集出現(xiàn)冗余問題，尤其是標注數(shù)量受限的情況下，該問題更加突出。論文考慮標注詞之間的相關(guān)性和多樣性，為圖像選擇那些信息量最多、可能性最高、并且不同義的標注詞，進一步改善圖像標注的性能。實現(xiàn)的方法如下:首先利用詞匯共生關(guān)系和語義伴生關(guān)系來表達詞匯之間的相關(guān)性，并且利用第三章提出的高斯混合模型來計算不同詞匯語義之

7、間的多樣性，然后利用高斯混合模型描述子、詞匯間相關(guān)性和多樣性來對給定的未標注圖像進行標注。其中，第一標注詞的選取采用第三章的模型，選取所有區(qū)域?qū)母怕首畲蟮脑~匯作為第一標注詞，并且選取出圖像的標注詞候選。隨后的標注詞的選取是計算與前面標注詞相關(guān)并能從更多角度描述圖像的詞匯。為了驗證該方法的有效性，論文選取Corel5k數(shù)據(jù)集進行實驗驗證，實驗結(jié)果表明此方法標注的效果不亞于第三章提出的圖像標注方法，并且增加了標注詞匯的多樣性。