支持向量機的理論與算法研究

1、北京郵電大學(xué)博士學(xué)位論文支持向量機的理論與算法研究姓名：王國勝申請學(xué)位級別：博士專業(yè)：信號與信息處理指導(dǎo)教師：鐘義信20070601北京郵電大學(xué)博上論文 摘要基于規(guī)則的方法?；谝?guī)則的方法，優(yōu)點是簡單、效率高，而且發(fā)現(xiàn)新規(guī)則后可以方便地加入。但規(guī)則總會有例外，規(guī)則過多以后，需要權(quán)衡這些規(guī)則，保持其一致性，這是很困難的。另外，基于規(guī)則的方法對領(lǐng)域的依賴性強，可移植性差?；诮y(tǒng)計的方法需要有合適的方法產(chǎn)生大量廉價的訓(xùn)練數(shù)據(jù)，計算復(fù)雜度高，但

2、它與應(yīng)用領(lǐng)域無關(guān)，可移植性好。2 0 世紀6 0 年代中期至8 0 年代中期，由于人工智能的研究重點是符號系統(tǒng)和基于知識的方法，機器學(xué)習(xí)以基于規(guī)則的方法為主。2 0 世紀8 0年代后期，隨著神經(jīng)網(wǎng)絡(luò)研究重新崛起及其成功應(yīng)用，基于統(tǒng)計的學(xué)習(xí)方法迅速發(fā)展。特別是最近十幾年，互聯(lián)網(wǎng)的普及和計算機在各個領(lǐng)域的應(yīng)用，大量數(shù)據(jù)潮水般涌來，如何從中發(fā)現(xiàn)隱含的知識，對機器學(xué)習(xí)提出了重大挑戰(zhàn)，也給基于統(tǒng)計的學(xué)習(xí)方法帶來新的發(fā)展機遇。在眾多基于統(tǒng)計的學(xué)習(xí)方

3、法中，支持向量機( S u p p o r t V e c t o r M a c h i n e ，簡稱S V M )是個新秀，但因其深厚的理論背景和出色的實際表現(xiàn)備受人們青睞。支持向量機是2 0 世紀9 0 年代中期出現(xiàn)的機器學(xué)習(xí)技術(shù)，是近年來機器學(xué)習(xí)領(lǐng)域的研究熱點。這項技術(shù)從提出到現(xiàn)在不過十年時間，但其研究進展非常之快、之大。它有堅實的理論基礎(chǔ)，應(yīng)用上也是有口皆碑，在手寫體數(shù)字識別、文本分類等具體問題上創(chuàng)造和保持著目前的最好記錄。

4、這項既經(jīng)得起理論推敲又經(jīng)得起實踐檢驗的技術(shù)，是傳統(tǒng)機器學(xué)習(xí)技術(shù)不能比的，它的發(fā)展?jié)摿κ橇钊斯奈璧摹；谶@樣的認識，我選擇了這一研究領(lǐng)域。支持向量機的理論基礎(chǔ)是統(tǒng)計學(xué)習(xí)理論，該理論的研究始于2 0 世紀6 0 年代末。此后近2 0 年時間里，前蘇聯(lián)學(xué)者V a p n i k 做了大量開創(chuàng)性、奠基性的工作，提出了“結(jié)構(gòu)風(fēng)險最小化“ 原理。這個時期的工作主要是純理論性的，沒有引起人們重視。1 9 9 5 年，C o r t s & V