基于復雜網(wǎng)絡的數(shù)據(jù)挖掘分類問題研究與應用.pdf

1、隨著信息技術的快速發(fā)展，特別是計算機技術的不斷普及，“數(shù)據(jù)豐富而信息貧乏”這一矛盾顯得日益突出，數(shù)據(jù)挖掘技術正是迎合了這一需求，同時結合數(shù)理統(tǒng)計、人工智能、神經(jīng)網(wǎng)絡和信息技術等學科出現(xiàn)的一項新技術，并得到了迅速發(fā)展。數(shù)據(jù)挖掘的主要目的是從數(shù)據(jù)集中發(fā)現(xiàn)隱含的、事先未知的和用戶感興趣的知識。作為一種有效的數(shù)據(jù)分析技術，近年來分類(Classification)已成為數(shù)據(jù)挖掘領域中的一項重要研究內(nèi)容，并廣泛應用于商業(yè)、電子商務、基因工程和醫(yī)學

2、等諸多領域。
　　 復雜網(wǎng)絡作為一門新興學科，在不同的領域(如生態(tài)、人口、經(jīng)濟、社會、地理、軍事、醫(yī)學)中有著很強的應用背景，倍受廣大學者的青睞和關注，已成為一個充滿生命力的交叉研究領域。一切事物都是相互作用的表現(xiàn)，大多可以通過復雜網(wǎng)絡來表現(xiàn)，如物理學研究物體間最基本的相互作用；化學研究分子間的相互作用；生物學研究基因、蛋白質(zhì)以及生物體之間的相互作用；社會科學研究人和各種人類組之間的相互作用；分類問題研究數(shù)據(jù)點之間的相互作用。因

3、此，事物作為系統(tǒng)，其結構可以抽象為網(wǎng)絡，各類作用體抽象為網(wǎng)絡節(jié)點，各種相互作用抽象為節(jié)點之間的連接線或邊?；谶@種思想，本文將數(shù)據(jù)集按照某種度量抽象成為復雜網(wǎng)絡，結合復雜網(wǎng)絡的理論、成果和已有的某些分類、聚類方法對數(shù)據(jù)挖掘分類問題進行了相關研究，提高了對大型數(shù)據(jù)庫中的數(shù)據(jù)進行分類的能力，具有一定的研究價值。
　　 復雜網(wǎng)絡的社團探測與數(shù)據(jù)挖掘中分類、聚類問題在本質(zhì)上是一樣的，因而社團探測的研究和分類問題的研究在某種角度上是一脈相

4、承的。
　　 本文在復雜網(wǎng)絡的基礎上，對分類問題做了以下三個方面的工作：
　　 提出了一種基于K-means聚類算法的復雜網(wǎng)絡社團結構劃分方法，豐富和發(fā)展了復雜網(wǎng)絡社團探測理論和方法。算法基于Fortunato等人提出的邊的信息中心度，定義了節(jié)點的關聯(lián)度，并通過節(jié)點關聯(lián)度矩陣來進行聚類中心的選擇和節(jié)點聚類，從而將復雜網(wǎng)絡劃分成K個社團，然后通過模塊度來確定網(wǎng)絡理想的社團結構。該算法時間復雜度為線性的，適合大型網(wǎng)絡的社團發(fā)

5、現(xiàn)。通過Zachary Karate Club和CollegePootball Network兩個經(jīng)典模型驗證了該算法的可行性。
　　 遺傳算法作為一個成熟的理論，在分類方面有著很大優(yōu)勢，結合復雜網(wǎng)絡的部分新理論和遺傳算法的思想，提出了一種新的分類方法。該方法將數(shù)據(jù)集按給定的相似度公式構造出具有社團結構的網(wǎng)絡，在此網(wǎng)絡的基礎上用遺傳算法的思想進行分類。算法引進社團模塊度作為適應度函數(shù)，并且提出了節(jié)點歸類錯誤率(NCM)對每次迭代

6、產(chǎn)生的解進行糾錯，提高了分類質(zhì)量和速度。實驗證明該方法在分類精度和分類速度方面都非常理想，并可實現(xiàn)并行性，將遺傳算法的優(yōu)點發(fā)揮到極致。
　　 醫(yī)學圖像分類對實現(xiàn)智能化診斷系統(tǒng)有著重要的實際意義，是典型的分類挖掘問題之一，同時也是一個熱點的應用研究課題。為了建立高效的腫瘤自動診斷系統(tǒng)，克服因醫(yī)學MIR圖像的復雜性帶來的直接從圖像中看出腫瘤及良、惡性質(zhì)的困難，結合復雜網(wǎng)絡的部分理論成果和K-means聚類算法的思想，提出了基于加權復