基于特征融合的語音情感識別方法的研究.pdf

1、情感識別是情感計算的重要組成部分，近年來關于情感識別的研究越來越受到重視，而語音作為人類日常生活中最重要的交流方式之一，其中蘊含著豐富的情感信息，因此有關語音情感識別的研究意義重大。語音情感識別技術有助于改善計算機的人機交互能力，具有極為廣闊的應用前景。本文主要研究了基于特征融合的語音情感識別方法，提取了譜特征、韻律特征、音質特征等，對其情感識別能力進行了分析，并提取了近似最優(yōu)特征子集用于后續(xù)研究。特征融合指的是將譜特征、韻律特征、音質

2、特征等不同特征類型進行結合。傳統(tǒng)特征融合方式只是特征降維后的簡單組合，未能對各特征類型在分類能力上的差異進行深入探索與利用，本文借鑒數(shù)據融合的相關概念，分別從判決層融合與特征層融合兩個角度出發(fā)提升了特征融合系統(tǒng)的識別效率。其中判決層融合使用了改進核函數(shù)的SVM-KNN模型與自適應權值算法，特征層融合使用了深信度網絡(DBN)，這些方法的應用成功提高了語音情感識別系統(tǒng)的識別率。
　　本論文的主要研究內容和創(chuàng)新點如下:
　　(1

3、)闡述了語音情感識別的研究背景和意義，并總結了情感描述模型、情感數(shù)據庫、情感特征參數(shù)、特征降維及情感分類算法等方面的國內外研究現(xiàn)狀。
　　(2)設計并錄制了包含高興、憤怒、悲傷、害怕、平靜五種情感語音的語音數(shù)據庫，并對其中數(shù)據進行了檢驗與聽辨測試，保證數(shù)據的有效性。對語音信號進行了預處理，從中提取了261維特征用于實驗研究。
　　(3)基于Fisher相關算法、最大相關最小冗余算法進行了特征比較與傳統(tǒng)特征融合。本文利用Fis

4、her相關準則J1對所提取的譜特征、韻律特征、音質特征的情感識別能力進行了分析比較，并采用LDA變換后的散點圖與KNN兩種方法對其進行了進一步分析;利用最大相關最小冗余(MRMR)算法獲得了特征降維后的融合特征集，實現(xiàn)了傳統(tǒng)特征融合。
　　(4)研究了基于核函數(shù)改進的SVM-KNN自適應權值判決層融合方法。本文首先構建了SVM-KNN分類器，然后基于組合核函數(shù)與量子群尋優(yōu)算法改進了SVM的核函數(shù)，提升了SVM-KNN的判決性能，最

5、后使用自適應權值算法對分類器結果進行融合即判決層融合，提高了系統(tǒng)的語音情感識別率。
　　(5)研究了一種基于深信度網絡(DBN)的特征層融合方法，設計了DBN21與DBN22兩種特征層融合模型。本章中使用設計的DBN21對傳統(tǒng)特征進行特征層融合，并與未使用特征層融合的基準模型進行比較，證明了特征層融合對提高系統(tǒng)識別率的作用;此外，本文還基于視覺注意機制提取了新的語譜圖特征，并基于深信度網絡對其進行了深入研究。本文首先利用STB/I