基于Web個性化電影推薦系統(tǒng)的研究與實現(xiàn).pdf

1、當(dāng)前處在一個網(wǎng)絡(luò)信息大爆炸的時代，網(wǎng)絡(luò)信息超載已經(jīng)成為一個急需解決的問題，推薦系統(tǒng)是一種解決信息超載的有效手段，通過推薦系統(tǒng)可以幫助用戶快速發(fā)掘出潛在有價值的內(nèi)容。傳統(tǒng)的推薦模式是在單機上部署運行推薦系統(tǒng)，但是由于目前網(wǎng)絡(luò)用戶數(shù)量和待推薦內(nèi)容的數(shù)據(jù)量十分巨大，已經(jīng)超出了傳統(tǒng)推薦系統(tǒng)的處理能力，因此有必要研究基于分布式平臺Hadoop的推薦系統(tǒng)。
　　通過采用基于Hadoop平臺的推薦系統(tǒng)能夠解決傳統(tǒng)推薦系統(tǒng)目前存在的問題，但同時基

2、于Hadoop推薦系統(tǒng)通常存在數(shù)據(jù)稀疏性、冷啟動、推薦結(jié)果缺乏新穎性等問題。本文分析了這些問題產(chǎn)生的原因，將設(shè)計高效可擴展的分層混合推薦模型作為研究的重點。結(jié)合分布式文件系統(tǒng)HDFS以及MapReduce編程模型，設(shè)計了基于 MapReduce編程模型分層混合推薦算法的分布式并行化實現(xiàn)，并在此基礎(chǔ)上實現(xiàn)了一個基于Hadoop平臺的推薦系統(tǒng)原型。本文的主要工作內(nèi)容如下：
　　1.研究了基于內(nèi)容推薦和協(xié)同過濾推薦（這兩種技術(shù)的）具體算

3、法流程，分析這兩種推薦技術(shù)的優(yōu)缺點，并對這兩種算法作了自適應(yīng)的改進。針對協(xié)同過濾推薦產(chǎn)生數(shù)據(jù)稀疏性、冷啟動，以及基于內(nèi)容推薦缺乏新穎性的問題，研究并設(shè)計了基于這兩種改進推薦算法的分層混合推薦系統(tǒng)，來解決目前推薦系統(tǒng)存在的這些問題。
　　2.研究了Hadoop運行機制，分析分布式文件系統(tǒng)HDFS和MapReduce編程模型的具體作業(yè)流程。結(jié)合混合推薦算法來設(shè)計實現(xiàn)混合推薦算法的MapReduce分布式并行化方案，并且對混合推薦算法的

4、 MapReduce作業(yè)流程優(yōu)化處理。在此基礎(chǔ)上實現(xiàn)一個基于Hadoop的推薦系統(tǒng)原型，系統(tǒng)能夠通過一些基本的功能測試，并且能夠穩(wěn)定運行。
　　3.結(jié)合協(xié)同過濾推薦和基于內(nèi)容推薦，提出了一種分層混合的推薦模型來提高推薦系統(tǒng)的推薦質(zhì)量。并在此基礎(chǔ)上設(shè)計實現(xiàn)了推薦系統(tǒng)原型，原型系統(tǒng)設(shè)計階段重點設(shè)計了基于用戶的協(xié)同過濾和基于物品的協(xié)同過濾算法的 MapReduce實現(xiàn)。
　　4.研究了Hadoop、mahout等開源軟件，結(jié)合ma