基于HBase的气象结构化数据查询优化

doi:10.3778/j.issn.1002-8331.1601-0040

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (9): 80-84.DOI: 10.3778/j.issn.1002-8331.1601-0040

基于HBase的气象结构化数据查询优化

徐熙超1，2，杨铮1，马廷淮1，2

1.南京信息工程大学计算机与软件学院，南京 210044
2.南京信息工程大学江苏省网络监控中心，南京 210044

出版日期:2017-05-01 发布日期:2017-05-15

Optimization of meteorological structured data based on HBase

XU Xichao1，2, YANG Zheng1, MA Tinghuai1，2

1.College of Computer and Software, Nanjing University of Information Science and Technology, Nanjing 210044, China
2.Jiangsu Engineering Center of Network Monitoring, Nanjing University of Information Science and Technology, Nanjing 210044, China

Online:2017-05-01 Published:2017-05-15

摘要/Abstract

摘要： 海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上，提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先，根据HBase存储特性设计表结构；然后，利用协处理器建立和维护辅助索引，将字段查询转化为对索引表的行键查询，使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明，HBase4M的性能可以基本满足气象服务的业务需要。

关键词: 气象数据, HBase, 辅助索引, 分布式存储

Abstract: Massive meteorological observations data is the key of the improvement of public weather services’ refinement, precision and personalized level. The increased meteorological data can reach to 1 TB every day. The timeless requirements of large scale meteorological data for its storage, retrieval, transfer and share is a challenge to traditional meteorological information system while based on IOE（IBM, Oracle and EMC）framework. Based on HBase, this paper proposes a structural query optimization using index, named as Hbase4M（HBase for Meteorology）. Firstly, the table structure is designed according to the HBase storage property. Secondly, the secondary indexes are established and maintained by HBase coprocessors. It will convert the field query to rowkey search in index table. It also facilitates HBase4M directly to inherit HBase’s scalability and low latency and support the flexibility of structure meteorological data query. Experimental results show that the performance of HBase4M can satisfy the demands of meteorological business services.

徐熙超1，2，杨铮1，马廷淮1，2. 基于HBase的气象结构化数据查询优化[J]. 计算机工程与应用, 2017, 53(9): 80-84.

XU Xichao1，2, YANG Zheng1, MA Tinghuai1，2. Optimization of meteorological structured data based on HBase[J]. Computer Engineering and Applications, 2017, 53(9): 80-84.

[1]	程振京，程耀东，陈刚，汪璐，李海波，胡庆宝. 基于随机森林的高能物理数据放置策略[J]. 计算机工程与应用, 2020, 56(21): 60-64.
[2]	朱松杰，娄渊胜，叶枫，李凌，陈勇. 基于协处理器的HBase内存索引机制的研究[J]. 计算机工程与应用, 2020, 56(1): 98-105.
[3]	郭红，周健倩，张瑛瑛，郭昆. 基于协处理器的HBase二级索引方法[J]. 计算机工程与应用, 2019, 55(21): 87-92.
[4]	马振，哈力旦·阿布都热依木，李希彤. 海量样本数据集中小文件的存取优化研究[J]. 计算机工程与应用, 2018, 54(22): 80-84.
[5]	张志强，杨和平，杨笛，姜筱玮，陈楠. 气象数据在线融合分析原型系统的实现[J]. 计算机工程与应用, 2018, 54(15): 229-234.
[6]	蒋林，崔朋飞，山蕊，武鑫，田汝佳. 视频阵列处理器多层次分布式存储结构设计[J]. 计算机工程与应用, 2018, 54(12): 57-62.
[7]	郝琨，信俊昌，黄达，王国仁. 去中心化的分布式存储模型[J]. 计算机工程与应用, 2017, 53(24): 1-7.
[8]	贾贺1，艾中良1，2，贾高峰2，刘忠麟1，2，陈伯雄2. 基于Solr的司法大数据检索模型研究与实现[J]. 计算机工程与应用, 2017, 53(20): 249-253.
[9]	杨和平1，陈瑜2，3，张志强1. 网站简约本体垂直搜索系统的设计与实现[J]. 计算机工程与应用, 2017, 53(19): 257-264.
[10]	陈亚楠，朱习军. 基于Hadoop的中医哮喘用药组合关联分析[J]. 计算机工程与应用, 2017, 53(13): 95-98.
[11]	丁强龙，王津，张学杰. 基于子模式的关系数据到图数据ETL方法研究[J]. 计算机工程与应用, 2017, 53(12): 76-84.
[12]	褚龙现1，3，李晓英2，3，陈旭3，楚纯洁4. 一种支持高效并行处理的矢量数据索引方法[J]. 计算机工程与应用, 2017, 53(11): 79-84.
[13]	王剑1，黄朝光2，王健1，刘少坤2，柴进2. 面向农业科学数据的分布式存储方法研究[J]. 计算机工程与应用, 2016, 52(11): 248-253.
[14]	吴焕萍1，吕终亮2，张华平3，罗兵2，高健3，李笑侃3，何国豪2，王永超4. 气象落区文本自动生成研究[J]. 计算机工程与应用, 2014, 50(13): 247-251.
[15]	黄秋兰，程耀东，陈刚. 分布式存储系统的哈希算法研究[J]. 计算机工程与应用, 2014, 50(1): 1-4.

基于HBase的气象结构化数据查询优化

Optimization of meteorological structured data based on HBase

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics