基于數據消冗技術的大數據加密算法研究.pdf

1、分類號：UDC：密級：單位代碼：!QQZ璺華北水利水電大學碩士學位論文基于數據消冗技術的大數據加密算法研究BIGDATAENCRYPTIONALGORITHMBASEDONDATADEDUPLICATIONTECHNOLOGY2013年5月摘要基于數據消冗技術的大數據加密算法研究摘要大數據具有大量(Volume)、多樣化(Variety)、快速化(Velocity)和價值高、密度低(HighValueandLowDensity)的基本特

2、征，通常指使用傳統流程或工具無法進行高效處理和分析的數據。近年來，云計算、物聯網及社交網絡等技術的快速發(fā)展，推助網絡承載的數據量急劇增加，傳統的加密存儲技術和管理方式己很難滿足大數據在速度、容量、存儲效率和安全性等方面的要求。大數據環(huán)境下，用戶的數據安全與隱私保護面臨著巨大的沖擊與挑戰(zhàn)，引起了工業(yè)界和學術界的高度關注。針對大數據加密方案中目前存在的速度慢、實時性差、效率低等問題，探索了一種基于數據消冗技術的大數據加密算法，論文的主要研究

3、內容和創(chuàng)新點包括：1大數據通用加密模型及加密技術原理研究。在對大數據基本特征及通用加密模型進行系統研究的基礎上，深入剖析了基于現代密碼體制、基于生物工程、基于屬性基和基于并行計算四類大數據加密方案的技術原理和優(yōu)缺點。2提出了一種基于Bloomfilter技術的大數據消冗算法。根據大數據信息海量、數據量增長快、數據類型多樣化、密度低和冗余度高等基本特征，深入研究了完全文件、固定長度塊、變長分塊和滑動窗口4種消冗方案的匹配精度、時問開銷和空

4、問開銷等性能。采用Bloomfilter技術對大數據進行降維處理，在集合完全文件檢測技術計算速度快、Bloomfilter空問和查詢效率高效和變長分塊檢測方案額外開銷少優(yōu)點的基礎上，設計并實現了一種適用于大數據的重復數據檢測及刪除算法。實驗結果表明，新算法在時間開銷、空問開銷和匹配精度方面具有良好的性能，在保證檢測重復率的同時，速度也達到了令人滿意的效果。3提出了一種基于數據消冗技術的大數據加密算法。在對大數據進行消冗處理的基礎上，結合