大數據環(huán)境下的數據質量管理策略

1、大數據環(huán)境下的數據質量管理策略 大數據環(huán)境下的數據質量管理策略信息時代，數據已經慢慢成為一種資產，數據質量成為決定資產優(yōu)劣的一個重要方面。隨著大數據 大數據的發(fā)展，越來越豐富的數據給數據質量的提升帶來了新的挑戰(zhàn)和困難。提出一種數據質量策略，從建立數據質量評價體系、落實質量信息的采集分析與監(jiān)控、建立持續(xù)改進的工作機制和完善元數據管理４個方面，多方位優(yōu)化改進，最終形成一套完善的 質量 質量管理 管理體系，為信息系統提供高質量的數據支持。１

2、信息系統數據質量 信息系統數據質量信息由數據構成，數據是信息的基礎，數據已經成為一種重要資源。對于企業(yè)而言，進行市場情報調研、客戶關系維護、財務報表展現、戰(zhàn)略決策支持等，都需要信息系統進行數據的搜集、分析、知識發(fā)現，為決策者提供充足且準確的情報和資料。對于政府而言，進行社會管理和公共服務，影響面更為寬廣和深遠，政策和服務能否滿足社會需要，是否高效地使用了公共資源，都需要數據提供支持和保障，因而對數據的需求顯得更為迫切，對數據質量的要求也

3、更為苛刻。作為信息系統的重要構成部分，數據質量問題是影響信息系統運行的關鍵因素，直接關系到信息系統建設的成敗。根據“垃圾進，垃圾出（ｇａｒｂａｇｅｉｎ，ｇａｒｂａｇｅ ｏｕｔ）”的原理，為了使信息系統建設取得預期效果，達到數據決策的目標，就要求信息系統提供的數據是可靠的，能夠準確反應客觀事實。如果數據質量得不到保證，即使數據分析工具再先進，模型再合理，算法再優(yōu)良，在充滿“垃圾”的數據環(huán)境中也只能（１）在數據收集方面，大數據的多樣性決定了

4、數據來源的復雜性。來源眾多、結構各異、大量不同的數據源之間存在著沖突、不一致或相互矛盾的現象。在數據獲取階段保證數據定義的完整性、數據質量的可靠性尤為必要。（２）由于規(guī)模大，大數據獲取、存儲、傳輸和計算過程中可能產生更多錯誤。采用傳統數據的人工錯誤檢測與修復或簡單的程序匹配處理，遠遠處理不了大數據環(huán)境下的數據問題。（３）由于高速性，數據的大量更新會導致過時數據迅速產生，也更易產生不一致數據。（４）由于發(fā)展迅速，市場龐大，廠商眾多，直接產

5、生的數據或者產品產生的數據標準不完善，使得數據有更大的可能產生不一致和沖突。（５）由于數據生產源頭激增，產生的數據來源眾多，結構各異，以及系統更新升級加快和應用技術更新換代頻繁，使得不同的數據源之間、相同的數據源之間都可能存在著沖突、不一致或相互矛盾的現象，再加上數據收集與集成往往由多個團隊協作完成，期間增大了數據處理過程中產生問題數據的概率。３ 數據質量管理策略 數據質量管理策略為了改進和提高數據質量，必須從產生數據的源頭開始抓起，從