基于开源Hadoop的矢量空间数据分布式处理研究

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (16): 25-29.

基于开源Hadoop的矢量空间数据分布式处理研究

尹芳1，冯敏2，诸云强2，刘睿3

1.长安大学地球科学与资源学院，西安 710054
2.中国科学院地理科学与资源研究所，北京 100101
3.重庆师范大学地理科学学院，重庆 400047

出版日期:2013-08-15 发布日期:2013-08-15

Research on vector spatial data distributed computing using Hadoop projects

YIN Fang1, FENG Min2, ZHU Yunqiang2, LIU Rui3

1.College of Earth Science and Resources，Chang’an University，Xi’an 710054，China
2.Institute of Geographic Sciences and Natural Resources Research，Chinese Academy of Sciences，Beijing 100101，China
3.College of Geographical Science，Chongqing Normal University，Chongqing 400047，China

Online:2013-08-15 Published:2013-08-15

摘要/Abstract

摘要： 为实现大规模矢量数据的高性能处理，在开源项目Hadoop基础上，设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点，通过分析Key/Value数据模型及GeoJSON地理数据编码格式，构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式；探讨矢量数据的MapReduce计算过程，对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述；基于上述技术，建立了矢量数据分布式计算原型系统，详细介绍系统组成，并将其应用于处理关中地区1∶10万土地利用矢量空间数据，取得较好效果。

关键词: 矢量空间数据, Key/Value, GeoJSON, Apache Hadoop, MapReduce, 分布式处理

Abstract: The paper designs a vector spatial data distributed computing system based on Open Source Hadoop Projects, in order to satisfy the needs of massive vector data. According to the characteristics of the vector spatial data, Key/Value data model and GeoJSON data format, the paper brings forward a distributed Key/Value storage method for vector spatial data based on HDFS. The key techniques on how to computing large-scale vector spatial data based on MapReduce are elaborated in detail, including data partitioning and parallel processing mechanism of Map step, results merging of Reduce step. A vector spatial data distributed computing prototype system is developed using Open Source Hadoop projects and applied to deal with the 1∶100, 000 land use data of Guanzhong area in China. The evaluation result indicates that the Hadoop MapReduce can significantly leverage the performance of vector spatial data analysis, especially when more computing nodes are used.

Key words: vector spatial data, Key/Value, GeoJSON, Apache Hadoop, MapReduce, distributed computing

尹芳1，冯敏2，诸云强2，刘睿3. 基于开源Hadoop的矢量空间数据分布式处理研究[J]. 计算机工程与应用, 2013, 49(16): 25-29.

YIN Fang1, FENG Min2, ZHU Yunqiang2, LIU Rui3. Research on vector spatial data distributed computing using Hadoop projects[J]. Computer Engineering and Applications, 2013, 49(16): 25-29.

[1]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[2]	胡阳，胡学钢，李培培. 基于Spark的快速短文本数据流分类方法[J]. 计算机工程与应用, 2020, 56(14): 138-147.
[3]	滕增德，廖祝华. 面向命名数据网络的数据查询区分服务机制[J]. 计算机工程与应用, 2019, 55(9): 17-25.
[4]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[5]	季长清1，2，肖鹏3，刘畅4，汪祖民2，西方2，邵寅博1，李泽宇2. 基于空间近邻查询的移动医疗呼叫算法[J]. 计算机工程与应用, 2019, 55(2): 206-212.
[6]	李瑾，顾旻皓，李飞，朱科军. 高能物理分布式数据获取架构的设计与实现[J]. 计算机工程与应用, 2019, 55(19): 228-234.
[7]	王德政1，张益农1，杨帆2. 基于MapReduce的并行PLS过程监控算法实现[J]. 计算机工程与应用, 2018, 54(24): 61-65.
[8]	陈旺虎，俞茂义，马生俊. 基于输入分片扰乱的BP神经网络MapReduce训练方法[J]. 计算机工程与应用, 2018, 54(2): 137-143.
[9]	夏晓云，张仁斌，谢瑞，王聪. 基于MapReduce的液晶屏缺陷检测方法[J]. 计算机工程与应用, 2017, 53(5): 202-206.
[10]	王永贵1，张燕1，杨东东2. 基于MapReduce的无线城市社团发现算法研究[J]. 计算机工程与应用, 2017, 53(4): 106-112.
[11]	罗俊，李劲华. LSHBMRPK-means算法及其应用[J]. 计算机工程与应用, 2017, 53(21): 62-67.
[12]	陈亚楠，朱习军. 基于Hadoop的中医哮喘用药组合关联分析[J]. 计算机工程与应用, 2017, 53(13): 95-98.
[13]	李三淼，李龙澍. Hadoop中处理小文件的四种方法的性能分析[J]. 计算机工程与应用, 2016, 52(9): 44-49.
[14]	熊政1，2，王金明2，郑海雁1，2，李昆明1，徐立臻2，崇志宏2. 一种基于可排序视图的RDF模式匹配算法[J]. 计算机工程与应用, 2016, 52(8): 62-69.
[15]	王永贵，武超，戴伟. 基于MapReduce的随机抽样K-means算法[J]. 计算机工程与应用, 2016, 52(8): 74-79.