短文本分類方法研究.pdf

1、隨著互連網(wǎng)的飛速發(fā)展和信息傳播手段的不斷進(jìn)步,各種短文本數(shù)據(jù)已經(jīng)源源不斷地大量涌現(xiàn),如文章摘要、電子郵件、網(wǎng)上即時(shí)消息等。為了更好的應(yīng)用它們,己有不少統(tǒng)計(jì)分類法和機(jī)器學(xué)習(xí)方法被應(yīng)用到文本分類中,且都取得了相當(dāng)好的效果,這其中包括:向量空間模型、最近K鄰居方法、決策樹模型、樸素貝葉斯、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等。這些方法自動(dòng)化程度高、性能穩(wěn)定、適應(yīng)性強(qiáng),并且相對(duì)于人工文本分類更加高效。本文在此基礎(chǔ)上,對(duì)文本分類技術(shù)做了深入研究,重點(diǎn)針對(duì)短文本

2、數(shù)據(jù)提出有效分類算法。主要工作和特色如下:
　　 1、對(duì)目前國(guó)內(nèi)外在文本分類技術(shù)上的研究工作做了簡(jiǎn)單回顧和總結(jié),并對(duì)其相關(guān)技術(shù)做了描述分析;
　　 2、對(duì)常用各種分類算法做重點(diǎn)分析研究,并通過實(shí)驗(yàn)比較它們的分類性能,最后表明SVM在針對(duì)短文本數(shù)據(jù)綜合性能最好;
　　 3、對(duì)支持向量機(jī)做詳細(xì)分析研究,為更好地進(jìn)行多值分類,提出一種基于類別層次結(jié)構(gòu)的SVM多值分類算法,并用實(shí)驗(yàn)證明其在搜索引擎應(yīng)用的良好性能;