傳(chuan)統(tong)的(de)(de)數(shu)(shu)據(ju)(ju)存(cun)儲和(he)管(guan)理(li)以(yi)結(jie)構(gou)化數(shu)(shu)據(ju)(ju)為(wei)主，因此(ci)關系(xi)數(shu)(shu)據(ju)(ju)庫(ku)系(xi)統(tong)（RDBMS）可以(yi)一(yi)統(tong)天下滿足各類應(ying)用(yong)需求。但是(shi)試(shi)驗和(he)考核實(shi)際所涉及的(de)(de)數(shu)(shu)據(ju)(ju)可能包含文本、日志、圖(tu)片、視頻、矢(shi)量(liang)地圖(tu)等來(lai)自不(bu)同數(shu)(shu)據(ju)(ju)采集源的(de)(de)、不(bu)同種類的(de)(de)數(shu)(shu)據(ju)(ju)。這些數(shu)(shu)據(ju)(ju)的(de)(de)格式(shi)通常都不(bu)是(shi)固(gu)定(ding)的(de)(de)，如(ru)果采用(yong)結(jie)構(gou)化的(de)(de)存(cun)儲模式(shi)將(jiang)很難應(ying)對(dui)實(shi)際的(de)(de)需求。因此(ci)需要(yao)按照數(shu)(shu)據(ju)(ju)類型的(de)(de)不(bu)同，對(dui)數(shu)(shu)據(ju)(ju)的(de)(de)存(cun)儲和(he)管(guan)理(li)采用(yong)不(bu)同的(de)(de)技術路線。
采用新(xin)型(xing)數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)集群，通(tong)過列(lie)存(cun)儲和(he)行列(lie)混合(he)存(cun)儲以(yi)及粗粒度(du)(du)索(suo)引等技術(shu)，結(jie)合(he)MPP（MassiveParallelProcessing）架構高(gao)效的分布(bu)式(shi)計(ji)算(suan)模式(shi)，實現(xian)(xian)對(dui)大(da)數(shu)(shu)(shu)(shu)據(ju)(ju)的存(cun)儲和(he)管理(li)(li)(li)(li)，具有高(gao)性能和(he)高(gao)擴(kuo)(kuo)展性特點；針(zhen)對(dui)本項目(mu)中半結(jie)構化(hua)(hua)和(he)非(fei)(fei)結(jie)構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)(ju)，采用基(ji)于Hadoop開源體(ti)系(xi)的底層，通(tong)過對(dui)Hadoop生態體(ti)系(xi)的技術(shu)擴(kuo)(kuo)展和(he)封裝，實現(xian)(xian)對(dui)半結(jie)構化(hua)(hua)和(he)非(fei)(fei)結(jie)構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)(ju)的存(cun)儲和(he)管理(li)(li)(li)(li)。一(yi)方(fang)面用MPP來(lai)管理(li)(li)(li)(li)計(ji)算(suan)高(gao)質量的結(jie)構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)(ju)，提供強大(da)的SQL和(he)OLTP型(xing)服務；另一(yi)方(fang)面，用Hadoop實現(xian)(xian)對(dui)半結(jie)構化(hua)(hua)和(he)非(fei)(fei)結(jie)構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)(ju)的處理(li)(li)(li)(li)，以(yi)支持內(nei)容檢索(suo)、深度(du)(du)挖掘與(yu)綜合(he)分析等新(xin)型(xing)應用。
大數據應用系統集成
大數據查詢統計分析示意圖