傳統的(de)(de)(de)(de)數據(ju)存儲和管理(li)以結(jie)構化數據(ju)為主，因此(ci)關系數據(ju)庫系統（RDBMS）可以一統天下(xia)滿足各類應用需(xu)求。但是試驗(yan)和考核實(shi)際所涉及的(de)(de)(de)(de)數據(ju)可能包(bao)含(han)文(wen)本、日(ri)志、圖片、視頻、矢量地圖等來自(zi)不(bu)同數據(ju)采集源(yuan)的(de)(de)(de)(de)、不(bu)同種類的(de)(de)(de)(de)數據(ju)。這些數據(ju)的(de)(de)(de)(de)格式通常都(dou)不(bu)是固定的(de)(de)(de)(de)，如果采用結(jie)構化的(de)(de)(de)(de)存儲模式將很難應對實(shi)際的(de)(de)(de)(de)需(xu)求。因此(ci)需(xu)要(yao)按(an)照數據(ju)類型的(de)(de)(de)(de)不(bu)同，對數據(ju)的(de)(de)(de)(de)存儲和管理(li)采用不(bu)同的(de)(de)(de)(de)技術路線。
采用(yong)新(xin)型數據庫集(ji)群，通過列存(cun)(cun)儲(chu)和(he)(he)行列混合(he)存(cun)(cun)儲(chu)以(yi)及粗粒(li)度(du)索引等技術，結(jie)(jie)(jie)合(he)MPP（MassiveParallelProcessing）架構(gou)高(gao)效的(de)(de)分布式計算(suan)模式，實(shi)現對(dui)(dui)大數據的(de)(de)存(cun)(cun)儲(chu)和(he)(he)管(guan)(guan)(guan)理，具有高(gao)性(xing)能和(he)(he)高(gao)擴展性(xing)特點；針對(dui)(dui)本(ben)項目中半結(jie)(jie)(jie)構(gou)化和(he)(he)非結(jie)(jie)(jie)構(gou)化數據，采用(yong)基于Hadoop開源(yuan)體系(xi)的(de)(de)底層(ceng)，通過對(dui)(dui)Hadoop生態體系(xi)的(de)(de)技術擴展和(he)(he)封裝(zhuang)，實(shi)現對(dui)(dui)半結(jie)(jie)(jie)構(gou)化和(he)(he)非結(jie)(jie)(jie)構(gou)化數據的(de)(de)存(cun)(cun)儲(chu)和(he)(he)管(guan)(guan)(guan)理。一(yi)(yi)方(fang)面(mian)用(yong)MPP來管(guan)(guan)(guan)理計算(suan)高(gao)質量的(de)(de)結(jie)(jie)(jie)構(gou)化數據，提供強大的(de)(de)SQL和(he)(he)OLTP型服務；另一(yi)(yi)方(fang)面(mian)，用(yong)Hadoop實(shi)現對(dui)(dui)半結(jie)(jie)(jie)構(gou)化和(he)(he)非結(jie)(jie)(jie)構(gou)化數據的(de)(de)處理，以(yi)支(zhi)持內容檢索、深度(du)挖掘與綜合(he)分析等新(xin)型應用(yong)。
大數據應用系統集成
大數據查詢統計分析示意圖