面向分布式文件系統(tǒng)的基準(zhǔn)測(cè)試框架研究與設(shè)計(jì).pdf

1、隨著云計(jì)算技術(shù)的不斷發(fā)展，需要存儲(chǔ)的數(shù)據(jù)正在以指數(shù)型增長(zhǎng)，云平臺(tái)環(huán)境變得更加復(fù)雜和多樣化，人們對(duì)數(shù)據(jù)存儲(chǔ)性能的需求也日益上升和不斷改變。作為云平臺(tái)的基礎(chǔ)組件，分布式文件系統(tǒng)為整個(gè)云平臺(tái)提供了高效可靠的海量數(shù)據(jù)存儲(chǔ)能力，成為當(dāng)前流行的數(shù)據(jù)存儲(chǔ)解決方案，因此分布式文件系統(tǒng)性能的優(yōu)化和提高對(duì)整個(gè)云平臺(tái)性能的提升至關(guān)重要。然而，當(dāng)前并沒(méi)有針對(duì)分布式文件系統(tǒng)的通用評(píng)測(cè)框架，通過(guò)統(tǒng)計(jì)模擬的方式對(duì)復(fù)雜的云環(huán)境I/O負(fù)載進(jìn)行真實(shí)地模擬。而且云環(huán)境I/O

2、負(fù)載的異質(zhì)性以及分布式文件系統(tǒng)自身的復(fù)雜性使得其性能評(píng)測(cè)困難重重，如何對(duì)其進(jìn)行真實(shí)高效地測(cè)試并使得測(cè)試報(bào)告能夠?qū)ο到y(tǒng)的性能優(yōu)化、容量規(guī)劃等提供指導(dǎo)意義，已經(jīng)成為當(dāng)前的熱點(diǎn)研究問(wèn)題。
　　在對(duì)分布式文件系統(tǒng)的評(píng)測(cè)過(guò)程中，本文其影響因素分為兩類，第一類是預(yù)設(shè)數(shù)據(jù)集，即如何預(yù)先生成文件、目錄等以對(duì)其進(jìn)行I/O操作。在分布式文件系統(tǒng)中，元數(shù)據(jù)服務(wù)器對(duì)文件的元數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)的特征會(huì)影響其I/O操作的性能。因此，實(shí)驗(yàn)數(shù)據(jù)集是非常重要的評(píng)測(cè)

3、因素。本文從文件副本數(shù)、目錄深度、文件數(shù)量、文件大小、文件類型等方面對(duì)其進(jìn)行研究并驗(yàn)證。
　　第二類是I/O請(qǐng)求到達(dá)模式。這也是非常重要的負(fù)載因素，然而許多的評(píng)測(cè)框架都把這些指標(biāo)給簡(jiǎn)化了，通常以固定速率或者泊松過(guò)程代替，這在云環(huán)境中是不合適的。為了解決這個(gè)問(wèn)題，本文深入研究了云環(huán)境I/O請(qǐng)求特征，將其分成了四個(gè)部分：（1）I/O請(qǐng)求到達(dá)速率；（2）I/O請(qǐng)求到達(dá)時(shí)間間隔；（3）周期性；（4）I/O請(qǐng)求數(shù)據(jù)。這四個(gè)特征共同作用生成真