基于云存儲的重復數(shù)據(jù)刪除文件系統(tǒng)設計與實現(xiàn).pdf

1、隨著在線存儲需求量的增長,各大云存儲公司開始計費模式的探索,只有付費才能獲得更好的服務,免費的云存儲空間已經(jīng)不能滿足用戶的需求,云存儲的成本問題已經(jīng)開始影響用戶的工作生活。針對上述問題,提出了一種基于云存儲的重復數(shù)據(jù)刪除文件系統(tǒng)。
　　該系統(tǒng)是一個具有云存儲增量同步的用戶端文件系統(tǒng),采用重復數(shù)據(jù)刪除技術,自動將用戶的本地數(shù)據(jù)無冗余上傳到云端。系統(tǒng)由六個模塊構成,用戶接口模塊接收從Fuse內核空間傳遞過來的系統(tǒng)請求,調用相關模塊完成

2、響應。云端同步模塊利用云存儲開放接口,配合系統(tǒng)各模塊進行本地與云端數(shù)據(jù)同步。文件管理模塊從云端獲取文件列表,建立文件索引節(jié)點,對文件進行組織管理。文件操作模塊處理系統(tǒng)讀寫請求。數(shù)據(jù)重刪模塊在源端進行重復數(shù)據(jù)刪除,該模塊采用基于內容的變長切分算法,使用一個長度固定的滑動窗口對文件數(shù)據(jù)計算指紋,如果指紋模一個特定的整數(shù)等于預定的數(shù)值,就把窗口位置作為塊的邊界,若出現(xiàn)指紋相同的塊則認為重復。將去重后的文件和記錄數(shù)據(jù)塊信息的元數(shù)據(jù)表上傳到云端。