基于概念詞的文本特征提取及應(yīng)用研究.pdf

1、基于概念詞的文本特征提取及應(yīng)用研究重慶大學(xué)碩士學(xué)位論文學(xué)生姓名：何杰指導(dǎo)老師：朱征宇教授專(zhuān)業(yè)：計(jì)算機(jī)軟件與理論學(xué)科門(mén)類(lèi)：工學(xué)重慶大學(xué)計(jì)算機(jī)學(xué)院二O一一年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要當(dāng)前，海量文本大部分都采用向量空間模型來(lái)描述。向量空間模型假定代表各分量的詞條間不存在語(yǔ)義關(guān)聯(lián)。同時(shí)，由于文本向量的高維性、稀疏性等問(wèn)題，降維處理已經(jīng)成為文本特征提取中一個(gè)重要的環(huán)節(jié)。本文在知網(wǎng)語(yǔ)義庫(kù)的基礎(chǔ)上，提出新的詞語(yǔ)概念聚合方法，將語(yǔ)義距離較近

2、的的詞聚合成概念詞，并把概念詞作為和其他獨(dú)立的詞條一樣的單位進(jìn)行處理。既滿(mǎn)足了向量空間模型的基本假設(shè)，又達(dá)到降維的目的。文章主要包含三塊內(nèi)容：1.概念詞識(shí)別的研究。首先，提出概念詞的定義。概念詞是指兩兩之間相似度大于閾值的詞語(yǔ)的集合。其次，引入圖論中的完全子圖來(lái)生成概念詞。將詞和相似關(guān)系轉(zhuǎn)化為頂點(diǎn)和邊的集合，從而將概念詞識(shí)別的問(wèn)題轉(zhuǎn)化為完全子圖的識(shí)別問(wèn)題。實(shí)驗(yàn)發(fā)現(xiàn)，直接采用完全子圖識(shí)別的效果不理想。針對(duì)該問(wèn)題提出“擴(kuò)展假定”原則，從簡(jiǎn)化

3、識(shí)別和合并概念詞兩個(gè)方面改進(jìn)了概念詞識(shí)別算法。2.基于概念詞的文本特征提取。文本經(jīng)過(guò)預(yù)處理后，文本被表示為以詞語(yǔ)為特征的向量。將詞語(yǔ)替換為概念詞的過(guò)程中，文章提出了簡(jiǎn)單替換策略。但該方案存在特征描述不準(zhǔn)確的問(wèn)題。從而引入概念詞的消歧研究，以解決一個(gè)概念詞中的詞在不同的文檔中出現(xiàn)而不能被準(zhǔn)確替換為同一個(gè)概念詞的問(wèn)題。文章采用LibSVM文本分類(lèi)器對(duì)同一語(yǔ)料采用與不采用概念詞兩種方案的聚類(lèi)結(jié)果進(jìn)行對(duì)比。實(shí)驗(yàn)表明，在降維比例達(dá)到25.8%時(shí)，