基于大數(shù)據(jù)的推薦算法研究.pdf

1、隨著信息技術和互聯(lián)網(wǎng)的迅猛發(fā)展，人們進入了信息超載的時代。推薦系統(tǒng)是一個解決信息超載問題的有效工具，它根據(jù)用戶的歷史行為等記錄，對用戶的興趣進行建模，然后利用創(chuàng)建的用戶興趣模型進行個性化推薦，把用戶感興趣的信息、產(chǎn)品等推薦給用戶。協(xié)同過濾是推薦系統(tǒng)中采用最為廣泛也是最為成功的推薦技術。針對協(xié)同過濾技術效果依賴于一個精確的相似度測度方法且其可伸縮性較差，不能處理大數(shù)據(jù)的問題，本文提出基于項目層次結構的推薦算法，并結合Hadoop技術實現(xiàn)矩

2、陣分解算法。主要工作如下:
　　1)改進衡量相似度的余弦距離和皮爾遜相關系數(shù)的計算公式，避免計算目標用戶與所有用戶的相似度，從而避免了在整個用戶空間中搜索最相近的K個用戶。本文引入倒排索引數(shù)據(jù)結構，使查找目標用戶最近鄰的計算復雜度大大降低。實驗表明，在確保與改進前最近鄰結果一致的情況下，改進后的相似度計算公式能大大縮減查找目標用戶最近鄰的時間，大大提高推薦算法處理大數(shù)據(jù)的能力。
　　2)提出了一種基于項目層次相似度的協(xié)同過濾

3、算法。利用用戶給部分項目標注的標簽和項目類別進行自動擴展，建立所有項目的層次結構，然后利用建立的項目標簽層次結構計算項目之間的相似性。實驗表明，與傳統(tǒng)的協(xié)同過濾算法比較，本文提出的基于項目層次相似度的協(xié)同過濾算法能夠顯著提高推薦系統(tǒng)處理大數(shù)據(jù)的能力，并且可以獲得更優(yōu)的RMSE效果。
　　3)結合矩陣分解梯度下降算法的近似算法和MapReduce分布式計算框架，設計實現(xiàn)了一種基于MapReduce的矩陣分解推薦算法。實現(xiàn)矩陣分解算法