基于SVM算法的web分類研究與實現(xiàn).pdf

1、隨著全球互聯(lián)網的普及，世界已經進入到一個高速信息化時代。在互聯(lián)網上，web信息每天以幾何級數(shù)增長，通過網絡，人們可以很方便地瀏覽和共享巨大網絡資源，然而與此同時網絡上消極、不健康內容迅猛增長，影響國家安定團結，人們希望通過對網頁進行內容識別和分類過濾，實現(xiàn)用戶上網行為控制，營造和諧潔凈的網絡環(huán)境。隨著文本分類研究及應用的逐步深入，Web分類成為數(shù)據(jù)挖掘一個重要的研究方向。本文主要研究Web分類算法，并對SVM算法進行了改進，應用在基于安

2、全網絡網關（SIG）和統(tǒng)一威脅管理（UTM）的電信項目中的URL過濾，具體內容有以下幾個方面：
　　 （1）對Web分類模型的研究。本文研究的Web分類是對HTML頁面的數(shù)據(jù)挖掘，通過研究分析web數(shù)據(jù)挖掘的來源、頁面預處理、常用分詞算法、文本特征詞的提取與訓練以及分類器的訓練，來從整體流程上把握Web分類的模型。
　　 （2）研究包括決策樹、K—最近鄰、樸素貝葉斯的Web分類算法。介紹了決策樹算法中較為典型的二叉樹分類

3、器的生成和修剪，同時研究基于概率論模型的樸實貝葉斯分類算法和數(shù)據(jù)挖掘領域中小樣本分類應用較多的K—最近鄰分類算法。
　　 （3）重點研究基于統(tǒng)計學理論，適用于空間維度較高的支持向量機分類算法?？紤]到Web分類涉及種類繁多，并且近些年SVM多分類算法已得到廣泛驗證，本文對SVM多分類算法進行了比較，對其增量學習算法進行了初步探討。
　　 （4）對于分類器的訓練本文在強大統(tǒng)計理論支撐的SVM多分類器基礎上不斷修改核函數(shù)，得到