基于網格劃分的高維大數據集離群點檢測算法研究.pdf

1、近些年來，隨著科學技術與計算機技術的飛速發(fā)展，數據挖掘技術得到了快速的發(fā)展并運用于各個領域。聚類分析與離群點檢測技術是數據挖掘技術中最重要的兩個方面。離群點檢測是數據挖掘知識發(fā)現中一項重要研究領域，如電子商務中的欺詐行為監(jiān)測，網絡攻擊異常檢測等。所謂離群點，即數據集中偏離正常行為的點對象，離群點檢測過程即在原始數據集中尋找“異常模式”的過程。離群點檢測技術最早運用于統(tǒng)計領域，即基于統(tǒng)計分布的離群點檢測。隨后專家學者們提出了基于距離的方法

2、，基于密度的方法，基于偏差的方法等多種經典的離群點檢測方法，這些方法在一定程度上能檢測出適用本身算法的離群點，但均存在著一定的缺陷與不足，如依賴于用戶預先設置的參數，檢測效率與檢測精度低等。高維空間與大數據集中離群點檢測是離群點發(fā)現領域中非常重要的一個領域，近來受到了廣泛關注。但由于高維空間中數據集存在數據分布稀疏，屬性維度高等特性，導致傳統(tǒng)離群點檢測方法不再有效。如何尋找適用高維空間與大數據集中離群點發(fā)現方法是當前高維空間離群點檢測領

3、域面臨的一大難題。針對以上問題，本文主要對高維空間與大數據集中離群點檢測方法進行了研究。
　　 本文首先對離群點檢測方法進行了分析與研究，重點闡述了基于統(tǒng)計的，基于距離的，基于密度的與基于偏差的四種傳統(tǒng)離群點檢測方法，并對各自算法存在的問題進行了分析與比較；接著對高維空間與大數據集特性進行了分析與研究，重點闡述了高維空間與大數據集上數據挖掘的方法與特點；針對傳統(tǒng)離群點檢測方法在高維空間大數據集離群點發(fā)現存在的問題，本文提出了一種