基于分布式的電力云存儲(chǔ)系統(tǒng)的研究與應(yīng)用.pdf

1、隨著國(guó)家電網(wǎng)公司業(yè)務(wù)的拓展,辦公文件的數(shù)量也就隨之劇增,從而導(dǎo)致存儲(chǔ)效率低等問題的出現(xiàn),使得文件管理變得異常繁瑣,因此對(duì)電力云存儲(chǔ)系統(tǒng)的研究具有很高的應(yīng)用價(jià)值,云存儲(chǔ)系統(tǒng)是在當(dāng)前廣泛討論的云計(jì)算概念上延伸和發(fā)展出來的,具有高可用性、高擴(kuò)展性、高可靠性等特點(diǎn),可以將各種類型的存儲(chǔ)介質(zhì)整合在一起來提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問的功能。HDFS是開源云框架 Hadoop的底層文件系統(tǒng)的實(shí)現(xiàn),具有高容錯(cuò)性和高傳輸率等特點(diǎn),可以以流的形式寫入或者讀取文件

2、系統(tǒng)中的數(shù)據(jù),從而解決了文件存儲(chǔ)和訪問速度的問題,并且實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和管理。在云存儲(chǔ)理論的研究和分析的基礎(chǔ)上,將實(shí)現(xiàn)一個(gè)基于分布式的電力云存儲(chǔ)系統(tǒng),并使得該系統(tǒng)逐步成為國(guó)網(wǎng)公司重要的數(shù)據(jù)存儲(chǔ)平臺(tái)。
　　首先,分析和研究了當(dāng)前廣泛討論的云存儲(chǔ)模型以及其關(guān)鍵技術(shù)。詳細(xì)描述了開源云計(jì)算框架Hadoop的底層文件系統(tǒng)HDFS。
　　其次,在研究現(xiàn)有HDFS的基礎(chǔ)上,針對(duì)其在負(fù)載均衡機(jī)制和小文件處理上的弊端進(jìn)行了深入的探討和研究,

3、從而提出了新的負(fù)載均衡優(yōu)化策略和小文件存儲(chǔ)優(yōu)化策略,設(shè)計(jì)的加權(quán)負(fù)載均衡算法在系統(tǒng)資源分配過程中,綜合考慮各節(jié)點(diǎn)的性能指標(biāo)因素,從而讓集群中各個(gè)節(jié)點(diǎn)充分的發(fā)揮作用,實(shí)現(xiàn)負(fù)載均衡。在傳統(tǒng)小文件處理方案的基礎(chǔ)上,從小文件的存儲(chǔ)結(jié)構(gòu)和索引結(jié)構(gòu)上進(jìn)行優(yōu)化設(shè)計(jì),大大提高了小文件在HDFS上的存儲(chǔ)和檢索效率。
　　最后,本課題在原有HDFS架構(gòu)的基礎(chǔ)上,并融合了第三章和第四章的優(yōu)化策略,實(shí)現(xiàn)了基于分布式的電力云存儲(chǔ)系統(tǒng),該系統(tǒng)主要實(shí)現(xiàn)的功能有文