基于NoSQL數(shù)據(jù)庫的空間大數(shù)據(jù)

新技術(shù)的發(fā)展給空間數(shù)據(jù)存儲與管理又提出了新的挑戰(zhàn)。物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和云計算技術(shù)及應(yīng)用的蓬勃發(fā)展，使得空間數(shù)據(jù)在數(shù)據(jù)量和應(yīng)用模式上發(fā)生了轉(zhuǎn)變；此外，傳感器技術(shù)的發(fā)展，使采集數(shù)據(jù)的空間分辨率和時間分辨率顯著提高，導(dǎo)致所獲取的數(shù)據(jù)規(guī)模成指數(shù)級快速上升，面對動輒以 TB（trillionbyte ），甚至PB（petabyte）計的數(shù)據(jù)，也給空間數(shù)據(jù)存儲和處理帶來巨大的壓力。

傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫的空間數(shù)據(jù)存儲與管理已經(jīng)無法滿足大數(shù)據(jù)存儲和處理的實際應(yīng)用要求，隨著互聯(lián)網(wǎng)領(lǐng)域云技術(shù)、非關(guān)系型數(shù)據(jù)庫技術(shù)的迅速發(fā)展，各種分布式 GIS技術(shù)的研究成為研究熱點。本文主要著眼于空間大數(shù)據(jù)的存儲與管理，首先分析了傳統(tǒng)集中存儲模式在大數(shù)據(jù)存儲方面的局限性；然后，針對互聯(lián)網(wǎng)領(lǐng)域大數(shù)據(jù)的成功解決方案，研究當(dāng)前主流 NoSQL數(shù)據(jù)庫的特點，分析其在處理空間數(shù)據(jù)時的優(yōu)勢與不足；最后，針對這些需求和存在的問題，本文提出空間大數(shù)據(jù)分布式存儲與處理策略，并在原型系統(tǒng)中進(jìn)行試驗驗證。

1　空間數(shù)據(jù)存儲技術(shù)現(xiàn)狀

基于成熟的關(guān)系型數(shù)據(jù)庫設(shè)計空間數(shù)據(jù)引擎，集中存儲和管理空間數(shù)據(jù)是當(dāng)前應(yīng)用的主流模式。

1.1　空間數(shù)據(jù)集中存儲模式及其局限性

從空間數(shù)據(jù)引擎和關(guān)系數(shù)據(jù)庫與應(yīng)用程序結(jié)合的緊密程度來看，可以將空間數(shù)據(jù)引擎的體系結(jié)構(gòu)分為內(nèi)置模式、三層結(jié)構(gòu)模式和兩層結(jié)構(gòu)模式，這些集中存儲模式很好地解決了海量空間數(shù)據(jù)存儲和管理的問題。

目前，各種地理空間信息獲取手段多樣、數(shù)據(jù)規(guī)模巨大、更新頻率快、數(shù)據(jù)應(yīng)用現(xiàn)勢性強(qiáng)。傳統(tǒng)的空間數(shù)據(jù)集中，單一的存儲方式不能滿足大數(shù)據(jù)高并發(fā)甚至高時效的應(yīng)用要求，空間數(shù)據(jù)從海量特征轉(zhuǎn)變?yōu)榇髷?shù)據(jù)特征對存儲技術(shù)的要求主要表現(xiàn)如下

• 1）存儲對象的變化。關(guān)系型數(shù)據(jù)庫不擅長處理大量位置相關(guān)的視頻、音頻、圖片等數(shù)據(jù)。
• 2）存儲能力的擴(kuò)展。在容量上，傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以維護(hù)動輒千萬級別的二維表，且存儲能力的橫向擴(kuò)展也非常困難。在性能上，由于需要維護(hù)數(shù)據(jù)的完整性、一致性，數(shù)據(jù)存儲的性能受到很大影響。
• 3）并發(fā)訪問能力。關(guān)系型數(shù)據(jù)庫區(qū)別傳統(tǒng)文件的最大優(yōu)勢在于其對數(shù)據(jù)的多用戶并發(fā)訪問能力，但在云服務(wù)、互聯(lián)網(wǎng)等應(yīng)用領(lǐng)域，用戶的并發(fā)量要求是關(guān)系型數(shù)據(jù)庫無法滿足的。

1.2　基于 NoSQL的空間數(shù)據(jù)單一存儲模式優(yōu)勢與不足

在互聯(lián)網(wǎng)領(lǐng)域，基于非關(guān)系型數(shù)據(jù)庫的NoSQL數(shù)據(jù)庫技術(shù)已經(jīng)得到成功應(yīng)用。從數(shù)據(jù)存儲的角度來說，NoSQL數(shù)據(jù)庫非常適合空間大數(shù)據(jù)的存儲，但互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用模式與 GIS領(lǐng)域存在一定差異，由此產(chǎn)生的局限性主要包括如下方面

• 1）數(shù)據(jù)操作方式的局限性。在空間數(shù)據(jù)庫中對數(shù)據(jù)的修改是常用操作，但 NoSQL數(shù)據(jù)庫一般不建議對數(shù)據(jù)進(jìn)行修改，不慎重的修改操作甚至?xí)驗橐鹣嚓P(guān)存儲數(shù)據(jù)的大量遷移而導(dǎo)致性能急劇下降。
• 2）數(shù)據(jù)查詢方式的局限性?；诳臻g數(shù)據(jù)的各種專題圖展示能力以數(shù)據(jù)庫的查詢能力為重要基礎(chǔ)，需要按圖層的屬性信息提取數(shù)據(jù)，因此基于數(shù)據(jù)庫的按字段查詢、排序、統(tǒng)計等功能是重要基礎(chǔ)。NoSQL數(shù)據(jù)庫提供的查詢能力非常有限，MongoDB也不能滿足 GIS常用查詢的需要。
• 3）單一空間索引算法或技術(shù)的局限。類似關(guān)系型數(shù)據(jù)庫，空間數(shù)據(jù)的索引技術(shù)是空間數(shù)據(jù)存儲技術(shù)的重要研究內(nèi)容，但有一定局限性。在大數(shù)據(jù)應(yīng)用環(huán)境下，應(yīng)該考慮把空間索引技術(shù)從算法層面提升到方法策略層面，才能解決空間數(shù)據(jù)的高效檢索問題。

本文綜合 NoSQL數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫各自的優(yōu)勢，提出一種混合的空間大數(shù)據(jù)分布式存儲策略，既滿足大數(shù)據(jù)存儲的需要，又能滿足傳統(tǒng)GIS應(yīng)用的需求。

更多內(nèi)容請點擊下方的PDF下載