基于hadoop大數據框架的個性化推薦系統研究與實現.pdf

1、信息過載問題在當今世界越來越突出，目前有三種比較成熟的處理方法，即網站導航、搜索引擎以及推薦系統。網站導航通過收錄著名網站并分門別類的方式解決信息過載問題。而搜索引擎通過為海量網頁建立索引的方式解決信息過載問題。但是當用戶不能明確表述自己的需求時，前兩者就略顯無力了，而推薦系統就可以解決此類問題。推薦系統通過分析用戶歷史行為記錄，主動為用戶推薦其潛在感興趣的內容。但是隨著互聯網的高速發(fā)展，信息量也呈幾何倍數增加，傳統的推薦系統在海量數據

2、下容易遭遇計算瓶頸。此外傳統推薦系統未充分考慮用戶興趣多變且呈現一定的離散性的問題。
　　針對以上問題，本文參考以往推薦系統設計方案，以搜索引擎下圖書的個性化推薦系統為目標，研究并實現一種基于潛在語義分析和分片聚類的混合推薦系統方案。并使用hadoop大數據處理框架解決推薦系統海量數據處理問題。本文首先研究搜索引擎下用戶行為數據采集方法。分析搜索引擎下用戶行為類型及其特性，針對各數據類型及其特性使用不同的數據采集方式以及標準化方法

3、，從而完成用戶行為數據采集工作。其次，針對搜索引擎下用戶行為獨特性和用戶興趣多變問題，提出潛在語義分析模型和分片聚類模型分別挖掘用戶行為大數據下的長久興趣和即時興趣。其中，潛在語義分析推薦模型以內容進行推薦，可以緩解用戶和圖書冷啟動問題，并提升系統推薦的覆蓋率。而基于分片聚類的協同過濾推薦模型中的將用戶行為按屬性和內容分片，可以抽取出用戶不同時期的興趣，從而進一步提升推薦性能，且推薦結果具有一定的新穎性。此外，針對分片聚類過程中搜索引擎

4、下用戶相似度計算問題，提出一種基于用戶檢索詞的改進混合類型數據相似度計算方法。最后，基于Hadoop大數據處理框架研究用戶行為預處理以及推薦算法的并行化方法，完成搜索引擎下圖書的個性化推薦系統的設計與實現。
　　通過引入Hadoop大數據處理平臺，設計并行化的推薦算法，系統處理海量數據的能力有很大提升。通過基于潛在語義分析的推薦模型和分片聚類的推薦模型協同作用，搜索引擎下圖書的個性化推薦精準度和覆蓋率也有一定改善。最后，通過系統測