大數(shù)據(jù)關鍵技術

1、大數(shù)據(jù)關鍵技術大數(shù)據(jù)關鍵技術大數(shù)據(jù)技術，就是從各種類型的數(shù)據(jù)中快速獲得有價值信息的技術。大數(shù)據(jù)領域已經(jīng)涌現(xiàn)出了大量新的技術，它們成為大數(shù)據(jù)采集、存儲、處理和呈現(xiàn)的有力武器。大數(shù)據(jù)處理關鍵技術一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應用、大數(shù)據(jù)安全等）。一、大數(shù)據(jù)采集技術數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各

2、種類型的結(jié)構化、半結(jié)構化（或稱之為弱結(jié)構化）及非結(jié)構化的海量數(shù)據(jù)，是大數(shù)據(jù)知識服務模型的根本。重點要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術；突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術；設計質(zhì)量評估模型，開發(fā)數(shù)據(jù)質(zhì)量技術。布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲、計算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術；突破分布式非關系型大數(shù)據(jù)管理與處理技術，異構數(shù)據(jù)的數(shù)據(jù)融合技術，數(shù)據(jù)組織技術，研究大數(shù)據(jù)建模

3、技術；突破大數(shù)據(jù)索引技術；突破大數(shù)據(jù)移動、備份、復制等技術；開發(fā)大數(shù)據(jù)可視化技術。開發(fā)新型數(shù)據(jù)庫技術，數(shù)據(jù)庫分為關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫以及數(shù)據(jù)庫緩存系統(tǒng)。其中，非關系型數(shù)據(jù)庫主要指的是NoSQL數(shù)據(jù)庫，分為：鍵值數(shù)據(jù)庫、列存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫等類型。關系型數(shù)據(jù)庫包含了傳統(tǒng)關系數(shù)據(jù)庫系統(tǒng)以及NewSQL數(shù)據(jù)庫。開發(fā)大數(shù)據(jù)安全技術。改進數(shù)據(jù)銷毀、透明加解密、分布式訪問控制、數(shù)據(jù)審計等技術；突破隱私保護和推理控制、數(shù)據(jù)真?zhèn)?/p>