成果信息
由此提出海量高頻數(shù)據(jù)存儲(chǔ)管理技術(shù),,采用了多并發(fā),、多緩沖的數(shù)據(jù)入庫(kù)機(jī)制和大數(shù)據(jù)集分區(qū)的數(shù)據(jù)查詢手段,設(shè)計(jì)了體系化的數(shù)據(jù)存儲(chǔ)管理方案,,突破了傳統(tǒng)數(shù)據(jù)存儲(chǔ)管理系統(tǒng)的技術(shù)瓶頸,,完成了主控站管控系統(tǒng)數(shù)據(jù)存儲(chǔ)軟件的實(shí)現(xiàn),,解決了上述難題,取得了良好的應(yīng)用效果,。由于結(jié)構(gòu)化數(shù)據(jù)類型非常多(500~1000類),,數(shù)據(jù)字段更多,考慮到數(shù)據(jù)包結(jié)構(gòu)異常復(fù)雜,,嵌套層級(jí)較多,,設(shè)計(jì)了數(shù)據(jù)實(shí)體的冗余結(jié)構(gòu),在保證存儲(chǔ)效率同時(shí)兼顧使用效率,。針對(duì)各類數(shù)據(jù)應(yīng)用服務(wù)需求,,提供了快速訪問能力和多種訪問手段,包括服務(wù),、API(C++,、Java)、Web Service,、Web查詢界面,、數(shù)據(jù)提取界面,為滿足各種需求提供最大的靈活度,。)
背景介紹
與一般海量數(shù)據(jù)管理系統(tǒng)不同的是,,大多數(shù)海量數(shù)據(jù)都是非結(jié)構(gòu)化的文件類數(shù)據(jù),如測(cè)繪圖像,、視頻資料,、文檔資料等,,而對(duì)本系統(tǒng),,所有的數(shù)據(jù)均為結(jié)構(gòu)化數(shù)據(jù),并且所有數(shù)據(jù)均為二進(jìn)制編碼打包,,經(jīng)由UDP協(xié)議傳輸?shù)街骺卣敬鎯?chǔ)軟件形成高頻海量數(shù)據(jù)流,,除了要實(shí)時(shí)收取這些高頻數(shù)據(jù)流,還需及時(shí)對(duì)他們進(jìn)行解碼處理,,形成結(jié)構(gòu)化數(shù)據(jù)進(jìn)行入庫(kù)保存,,并提供快速檢索、全文檢索,、數(shù)據(jù)服務(wù),、數(shù)據(jù)轉(zhuǎn)儲(chǔ)、數(shù)據(jù)輸出,、長(zhǎng)期歸檔備份等能力,。)
應(yīng)用前景
待添加)