面向糾刪碼存儲集群的離線歸檔優(yōu)化研究.pdf

1、糾刪碼具有低存儲開銷高容錯特點，可以將（k+r，k）糾刪碼用于歸檔訪問頻率低的數(shù)據(jù)副本，既可以保證數(shù)據(jù)的可用性，又可以提高存儲空間的利用率。根據(jù)待歸檔數(shù)據(jù)塊的存放規(guī)則，數(shù)據(jù)歸檔可分為固定布局數(shù)據(jù)歸檔和隨機布局數(shù)據(jù)歸檔。
　　在固定布局數(shù)據(jù)歸檔中，傳統(tǒng)的同步編碼方案因為編碼任務集中，存在磁盤讀寫競爭，網(wǎng)絡帶寬限制歸檔性能等問題。為了克服這些缺點，提出流水線的編碼處理方式加速存儲集群的數(shù)據(jù)歸檔性能。首先，在鏡像RAID-5和三副本集群

2、中應用鏈式分散機制提出了兩種新的數(shù)據(jù)布局([D+P]cd和[3X]cd)。其次，基于兩種數(shù)據(jù)布局，設計了兩種歸檔方案（DP和3X），其表現(xiàn)出以下三個顯著特點：（ⅰ）利用數(shù)據(jù)局部性，編碼過程中的相關節(jié)點都讀取兩到三個本地數(shù)據(jù)塊；（ⅱ）分散計算負載，編碼操作被分散到 k個節(jié)點；和（ⅲ）并行歸檔，兩到三條編碼流水線同時部署，產(chǎn)生奇偶校驗塊。在真實的存儲集群中實現(xiàn)兩種歸檔方案（DP和3X），以及三種現(xiàn)有的解決方案（即SynE，DE和RapidR

3、AID）。實驗結果表明，本文的歸檔方案在9節(jié)點存儲集群中的歸檔時間優(yōu)于其它三種歸檔方案至少3.41倍。
　　在隨機布局歸檔中，傳統(tǒng)的歸檔方案將大數(shù)據(jù)塊劃分為小數(shù)據(jù)分塊進行處理，并沿用分布式集群中的數(shù)據(jù)局部性，存在隨機讀和歸檔任務分配不均等弊端。本文利用預取技術，對原有的隨機布局歸檔方案（CArch、DArch和 BArch）進行改進，提出預取歸檔方案（PCArch、PDArch和PBArch）。在真實的存儲集群中實現(xiàn)以上六種隨機布