基于NoSQL的時(shí)空數(shù)據(jù)模型構(gòu)建和存儲(chǔ)方案研究.pdf

1、隨著人類社會(huì)不斷信息化、數(shù)字化和智能化，時(shí)空數(shù)據(jù)在國(guó)民經(jīng)濟(jì)與日常生活中發(fā)揮著日益重要的作用，不斷被應(yīng)用于各個(gè)領(lǐng)域，如事件預(yù)測(cè)、環(huán)境監(jiān)測(cè)、城市演化、交通管理、地震救援、全球或區(qū)域氣候、物流配送、實(shí)時(shí)GIS、面向大數(shù)據(jù)的時(shí)空數(shù)據(jù)挖掘與分析等。時(shí)空數(shù)據(jù)系統(tǒng)是一種對(duì)數(shù)據(jù)進(jìn)行采集、儲(chǔ)存、分析處理和可視化的信息系統(tǒng)，既是對(duì)現(xiàn)實(shí)世界的模擬和進(jìn)行空間數(shù)據(jù)分析處理的手段，也是一門對(duì)時(shí)空數(shù)據(jù)信息處理分析的科學(xué)技術(shù)。怎樣在大數(shù)據(jù)環(huán)境下解決時(shí)空數(shù)據(jù)的存儲(chǔ)和分析

2、計(jì)算是業(yè)界的研究熱點(diǎn)。
　　時(shí)空數(shù)據(jù)庫(kù)作為時(shí)空數(shù)據(jù)系統(tǒng)的核心，是時(shí)空數(shù)據(jù)系統(tǒng)進(jìn)行存儲(chǔ)和計(jì)算的基礎(chǔ)，由于傳統(tǒng)時(shí)空數(shù)據(jù)模型基于關(guān)系型數(shù)據(jù)庫(kù)構(gòu)建和存儲(chǔ)，所以必須將問題領(lǐng)域模型轉(zhuǎn)換成關(guān)系結(jié)構(gòu)，轉(zhuǎn)換代價(jià)較高，存儲(chǔ)時(shí)將空間信息和時(shí)間信息割裂開來，同時(shí)關(guān)系型數(shù)據(jù)庫(kù)受范式限制難于擴(kuò)展、靈活性差、對(duì)于較為復(fù)雜的查詢涉及大量連接操作，導(dǎo)致效率急劇下降。因此需要尋找能夠?qū)r(shí)空數(shù)據(jù)統(tǒng)一建模和存儲(chǔ)的解決方案。
　　NoSQL是大數(shù)據(jù)環(huán)境下發(fā)展起來的非

3、關(guān)系型、可水平擴(kuò)展的、分布式的數(shù)據(jù)庫(kù)，能夠處理半結(jié)構(gòu)化、結(jié)構(gòu)化的數(shù)據(jù)，支持高并發(fā)的讀寫，存儲(chǔ)模型包含鍵值、列族、文檔、圖等。NoSQL擺脫了關(guān)系型數(shù)據(jù)庫(kù)范式限制和ACID約束，沒有固定表結(jié)構(gòu)和低效的連接操作，基于CAP理論、BASE并發(fā)事務(wù)模型和最終一致性，因此具有更好的伸縮性和靈活性。NoSQL為海量數(shù)據(jù)的存儲(chǔ)和云計(jì)算環(huán)境下的數(shù)據(jù)分析與計(jì)算提供了堅(jiān)實(shí)的基礎(chǔ)，能夠有效存儲(chǔ)格式多樣、數(shù)據(jù)量大、關(guān)系復(fù)雜的時(shí)空數(shù)據(jù)。
　　本文首先對(duì)主流

4、的時(shí)空數(shù)據(jù)模型和存儲(chǔ)方案進(jìn)行了系統(tǒng)的分析，介紹了國(guó)內(nèi)外研究現(xiàn)狀；然后詳細(xì)介紹了時(shí)空數(shù)據(jù)特點(diǎn)和代表性數(shù)據(jù)模型，闡述了NoSQL數(shù)據(jù)庫(kù)的理論、數(shù)據(jù)模型以及相對(duì)于關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)勢(shì)；提出了基于NoSQL的時(shí)空數(shù)據(jù)模型和存儲(chǔ)的總體架構(gòu)，分析了Hadoop結(jié)合MongoDB的時(shí)空數(shù)據(jù)模型構(gòu)建與存儲(chǔ)，針對(duì)柵格數(shù)據(jù)與矢量數(shù)據(jù)特征結(jié)合MongoDB基于文檔存儲(chǔ)模型，設(shè)計(jì)了相應(yīng)的數(shù)據(jù)轉(zhuǎn)換模塊和柵格數(shù)據(jù)、矢量數(shù)據(jù)存儲(chǔ)模型，結(jié)合Hadoop對(duì)大數(shù)據(jù)的處理能力

5、，介紹了基于MongoDB存儲(chǔ)和Hadoop分析、計(jì)算的典型應(yīng)用；利用Neo4j對(duì)具有復(fù)雜關(guān)系的時(shí)空數(shù)據(jù)進(jìn)行建模和存儲(chǔ)，提出了基于圖數(shù)據(jù)庫(kù)的時(shí)空數(shù)據(jù)時(shí)間表達(dá)和空間表達(dá)方法，應(yīng)用實(shí)例說明了該模型的可行性，并且介紹了Neo4jSpatial庫(kù)在時(shí)空數(shù)據(jù)處理方面的高效性和Neo4j集群架構(gòu)；最后,基于曙光的XDATA-HADOOP平臺(tái)搭建了MongoDB與Neo4j，對(duì)論文提出的架構(gòu)搭建了原型系統(tǒng)，在原型系統(tǒng)上進(jìn)行了測(cè)試，測(cè)試結(jié)果分析表明了論