分布式持久化緩存系統的研究與實現.pdf

1、隨著信息技術的發(fā)展，應用程序對后臺性能的要求越來越高，數據量也越來越大，傳統的關系數據庫已經無法滿足當今的海量數據規(guī)模應用。而在大數據時代，人們總希望存在一個Key-value存儲機制，像HashMap一樣在內存中處理大量的Key-value對，以便提高數據的查找、修改速度，為此NoSQL技術得到了長足發(fā)展。
　　目前，NoSQL主要有兩方面的應用，一是將數據按列存儲作為數據庫存儲服務器，另一個是將數據全部存儲在內存中作為關系數據

2、庫的前端緩存以提高動態(tài)Web應用的訪問速度。通過緩存系統就能減少數據庫的訪問次數，因為它能將數據庫的查詢結果緩存到內存中。但是傳統的緩存系統為了追求更高的性能大都是基于內存存儲的，數據的持久化功能并不完善，因而系統會受到內存容量的限制，并且在系統宕機時會導致數據全部丟失，無法恢復。為此本文提出了緩存持久化存儲的思想。
　　本文首先對現有的緩存系統進行了分析和比較，指出了其中的缺點和不足，針對緩存數據的持久化運用了LSM-Tree理

3、論進行改進，以犧牲隨機讀換取順序寫來實現數據的高效持久化存儲；然后對分布式系統的擴展性及相關的關鍵技術進行了研究分析，如分布式系統中的數據一致性、數據同步機制、數據切分規(guī)則等，并參考Google的單機持久化存儲系統LevelDB和Amazon的高可用、高可擴展的Dynamo分布式架構實現了一個分布式的Key-Value持久化緩存系統SSDB(Sorted Set DB)；最后運用了布隆過濾器等思想對SSDB進行了一系列優(yōu)化，并對SSDB