基于Hadoop和Django的大數(shù)據(jù)可視化分析Web系統(tǒng).pdf

1、互聯(lián)網(wǎng)的發(fā)展讓數(shù)據(jù)量呈現(xiàn)指數(shù)增長，當今世界，人類已經(jīng)進入大數(shù)據(jù)的時代，如何從海量的數(shù)據(jù)里發(fā)掘有價值的信息變的至關重要。將抽象和結(jié)構(gòu)復雜的數(shù)據(jù)變成易于人類理解的信息是數(shù)據(jù)可視化技術研究的主要內(nèi)容。數(shù)據(jù)可視化技術是大數(shù)據(jù)領域的研究熱點之一,有著巨大的研究價值和應用價值。本文結(jié)合實際的大數(shù)據(jù)可視化項目，探究了如何使用開源的Django Web框架構(gòu)建基于Hadoop計算平臺的大數(shù)據(jù)可視化分析Web系統(tǒng)，詳細介紹了系統(tǒng)的設計方案，并分模塊介紹了

2、設計內(nèi)容。針對系統(tǒng)內(nèi)測階段暴露出的問題，從多個方面進行了優(yōu)化和改進，包括前端性能優(yōu)化、Django應用層優(yōu)化、PostgreSQL數(shù)據(jù)庫優(yōu)化等，總結(jié)出了大量的Web系統(tǒng)優(yōu)化經(jīng)驗,具有一定的借鑒意義。
　　項目中Web系統(tǒng)的數(shù)據(jù)源來自于Hadoop計算平臺。Hadoop計算平臺對成千上萬的數(shù)據(jù)處理任務進行調(diào)度，調(diào)度算法的好壞直接影響數(shù)據(jù)處理的效率。本文研究了Hadoop平臺作業(yè)調(diào)度算法。首先深入分析了Hadoop計算平臺三種常用的作

3、業(yè)調(diào)度算法先進先出調(diào)度算法、公平份額調(diào)度算法、計算能力調(diào)度算法的算法原理和各自的優(yōu)缺點，隨后分析了包含“移動計算”思想的延遲調(diào)度算法比三種常用調(diào)度算法的優(yōu)秀之處和自身的不足，在延遲調(diào)度算法的基礎上提出了一種考慮節(jié)點負載情況的改進型延遲調(diào)度算法，給出了算法分析和仿真結(jié)果，證明改進型延遲調(diào)度算法帶來更高的作業(yè)調(diào)度效率，具有一定的實用價值。
　　最后，對項目的架構(gòu)相關問題進行了分析，這些問題包括前后端存在職責不清晰的現(xiàn)象，前后端代碼之間