分布式鍵值存儲引擎的研究與實現(xiàn).pdf

1、隨著云計算和大數(shù)據技術的興起，各種海量數(shù)據級規(guī)模的應用不斷涌現(xiàn)，這些新的應用對數(shù)據存儲提出了越來越高的要求。然而，傳統(tǒng)的關系型數(shù)據庫，如 Oracle、MySQL等已經越來越難滿足云計算環(huán)境下對數(shù)據存儲的需求。分布式非關系型數(shù)據庫充分結合分布式系統(tǒng)抗單點故障能力和 NoSQL的天然橫向擴展性的特點，能夠從容應對海量數(shù)據存儲的挑戰(zhàn)。為此，本文設計并實現(xiàn)了一個分布式鍵值存儲引擎MiniKVDB，并基于對分布式事務和存儲性能擴展的研究展開了如

2、下工作：
　?。?）以現(xiàn)有的分布式理論為基礎，研究了分布式存儲的相關技術，介紹了分布式NoSQL數(shù)據庫的概念、特點以及相關基礎理論，并分析了目前應用廣泛的鍵值存儲系統(tǒng)的架構與優(yōu)缺點。在此基礎之上，設計了一個分布式鍵值存儲引擎MiniKVDB的模型。
　?。?）在討論分布式事務處理模型和提交協(xié)議的基礎上，設計了 MiniKVDB的分布式事務處理方案。在日志同步的模塊，深度剖析了 Raft一致性協(xié)議中的代碼結構，采用基于TCP協(xié)

3、議中的長肥管道和滑動窗口機制，并在復制狀態(tài)機中的日志模塊中增加了內存緩沖數(shù)據區(qū)域，對Raft協(xié)議提出改進，實驗結果表明，改進后的Raft一致性協(xié)議能減少通信負載，降低磁盤讀寫頻率，從而使分布式系統(tǒng)具有高可用性及一致性。
　?。?）研究基于 Raft一致性協(xié)議來構建彈性伸縮的機制和數(shù)據的分片策略，在集群中添加了 ShardMaster管理模塊來存儲元信息，并根據調度算法和各存儲單元的負載性能，在各節(jié)點之間轉移數(shù)據分片。
　?。?/p>