基于Hadoop的證據(jù)保全系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網和移動互聯(lián)網的飛速發(fā)展,數(shù)據(jù)已經呈現(xiàn)出指數(shù)級增長的態(tài)勢。面對海量數(shù)據(jù)帶來的挑戰(zhàn),國內外各大互聯(lián)網公司紛紛將云計算的概念應用到商業(yè)服務中,并推出了各自的云服務。云服務是將各種計算資源和商業(yè)應用程序以互聯(lián)網為基礎提供給用戶的服務,這些服務將數(shù)據(jù)的處理過程從個人計算機或服務器轉移到互聯(lián)網的數(shù)據(jù)中心,從而減少用戶在硬件、軟件和專業(yè)技能方面的投資。目前云服務已經被廣泛應用到各個商業(yè)場景中,并發(fā)展成為一個非常成熟的商業(yè)服務模式。
　

2、　本文基于Hadoop,主要完成以下工作:
　　1,設計并實現(xiàn)針對于云服務的證據(jù)保全系統(tǒng)。證據(jù)保全系統(tǒng)主要實現(xiàn)以下功能:首先在云服務商與用戶之間架設網關服務器,根據(jù)云服務商指定的過濾條件獲取所有用戶對于指定的云服務API的HTTP請求,并提取出用戶特征信息。用戶特征信息主要包括:用戶名稱、用戶發(fā)起請求的時間、用戶所在地域、用戶請求的云服務API以及云服務API的參數(shù)。然后網關將用戶特征信息導入到數(shù)據(jù)分析系統(tǒng),數(shù)據(jù)分析系統(tǒng)將按照云服

3、務商指定的數(shù)據(jù)分析條件對用戶特征信息進行分析,分析結果將以報表的形式展示給云服務商,最后數(shù)據(jù)分析系統(tǒng)將根據(jù)云服務商指定的歸檔條件將用戶特征信息歸檔到存儲系統(tǒng)以永久保存。考慮到云服務商的用戶基數(shù)巨大,證據(jù)保全系統(tǒng)所要處理的數(shù)據(jù)量預計將維持在PB級別,因此證據(jù)保全系統(tǒng)將采用云計算平臺 Hadoop作為數(shù)據(jù)分析系統(tǒng)和存儲系統(tǒng)的底層實現(xiàn)。
　　2,證據(jù)保全系統(tǒng)定期根據(jù)多種歸檔條件將用戶特征信息歸檔存儲在 HDFS(Hadoop分布式文件系