面向云存儲的重復數據刪除技術研究與應用.pdf

1、隨著信息技術的不斷向前發(fā)展，以及IT技術與傳統(tǒng)行業(yè)互相碰撞與融合，促使當今的數據量出現爆發(fā)式增長，使得數據存儲規(guī)模遠遠超過物理存儲硬件的發(fā)展，給存儲服務中心帶來了巨大的壓力。根據存儲數據研究表明，海量的存儲數據中存在很大比率的重復數據。由于重復數據刪除技術能夠通過比對指紋進行查重，使得存儲容量縮減到原有的幾十分之一，物理存儲設備的利用率和存儲系統(tǒng)的數據存儲效率獲得極大的提升，這對于當前嚴重的數據存儲瓶頸來說，是一種非常有效的解決辦法。但

2、是海量的存儲數據使得其相應生成的指紋索引也同樣龐大，如果存儲系統(tǒng)通過全索引方法進行去重，其所花費的代價遠遠高于去重帶來的優(yōu)勢，從而影響存儲系統(tǒng)的服務性能。因此指紋數據的快速索引成為影響重復數據刪除技術運用與發(fā)展的關鍵因素。
　　本文以構建適用于集群環(huán)境的重復數據刪除技術為主要應用目標，通過詳細研究和分析目前重復數據刪除的關鍵技術，針對重復數據刪除引發(fā)系統(tǒng)索引性能瓶頸的現狀，提出一種基于文件相似度的抽樣重刪索引算法(Sampling

3、 De-duplication Based on Similarity，SDBS)。SDBS算法著眼于云存儲環(huán)境，從提高系統(tǒng)整體性能的目標出發(fā)，在充分保證一定重刪率的基礎上，通過基于文件級別的抽樣來減少抽樣范圍，從而降低指紋索引查找比對的范圍和次數。針對基于抽樣機制的重復數據刪除可能降低系統(tǒng)的重刪率以及主節(jié)點負載過重的問題，SDBS算法在達到相應文件相似度的閾值時，通過深度重刪來維持系統(tǒng)較好的重刪率，同時將深度數據查重的任務分配給集群各