基于web日志挖掘的用戶會話聚類算法的研究與應用.pdf

1、隨著萬維網(wǎng)的不斷發(fā)展，用戶從海量數(shù)據(jù)中提取有效信息變得越來越困難。聚類分析作為web數(shù)據(jù)挖掘的重要方法，對降低數(shù)據(jù)規(guī)模，過濾無效信息起著至關重要的重用。本文以基于web日志挖掘技術的用戶會話聚類算法為研究對象，詳細剖析了聚類分析技術的原理和應用。 本文首先探討了web日志挖掘的日志預處理技術的流程和實現(xiàn)方法，它是用戶會話聚類重要基礎步驟。本文對日志采集，日志清洗，用戶識別，路徑補充，會話識別和事務識別各個日志處理階段的任務和實現(xiàn)

2、算法進行了細致的分析，并通過實驗模擬和演示了日志預處理的整個過程，并給出了每一階段的預處理算法運行的結果，實驗結果表明了日志預處理算法的有效性和噪聲去除能力。 然后，本文深入地研究了聚類分析技術的理論基礎，對聚類分析處理的數(shù)據(jù)類型，所使用的數(shù)據(jù)結構和分類方法進行了總結和闡述。本文的重點部分放在對典型層次聚類算法ROCK的改進上，ROCK聚類算法利用共享鄰居數(shù)，即連接的概念，來建立新的相似度量方法，以處理一些高維稀疏數(shù)據(jù)，但算法具

3、有較高的時間復雜度和空間復雜度，以及過多的參的缺點。QROCK算法是已有的對ROCK算法的改進版，它利用連通子圖的概念來改進ROCK算法，提高了執(zhí)行效率，消除了參數(shù)期望聚類數(shù)。QROCK算法雖然一定程度了提高了算法效率，但依然有O(n2)的時間復雜度，對此，本文提出了一種適用于大規(guī)模用戶會話聚類的算法-HROCK，算法以原子簇聚類為第一聚類階段，進一步降低了聚類規(guī)模，第二聚類階段在原子簇的基礎上運行傳統(tǒng)的ROCK聚類算法，這種兩階段混合

4、聚類算法，具有近似線性的時間復雜度和很好的聚類效果，而且，HROCK算法通過引入圖的孤立點的概念消除了算法對聚類數(shù)目參數(shù)的依賴。 其次，本文給出了一個基于本文所提出的大規(guī)模用戶會話聚類算法HROCK的網(wǎng)頁推薦系統(tǒng)原型設計，系統(tǒng)基于B/S架構，符合J2EE規(guī)范，由日志解析模塊，日志預處理模塊，用戶會話聚類模塊和網(wǎng)頁推薦模塊這幾個重要模塊構成，整體上分為離線聚類部分和在線推薦部分。 最后，本文總結了所做的工作，給出了聚類算法