Hadoop海量数据迁移系统开发及应用

doi:10.3778/j.issn.1002-8331.1803-0095

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (13): 66-71.DOI: 10.3778/j.issn.1002-8331.1803-0095

Hadoop海量数据迁移系统开发及应用

尹乔1，2，魏占辰1，2，黄秋兰1，孙功星1，石京燕1

1.中国科学院高能物理研究所，北京 100049
2.中国科学院大学，北京 100049

出版日期:2019-07-01 发布日期:2019-07-01

Development and Application of Hadoop Massive Data Migration System

YIN Qiao1，2, WEI Zhanchen1，2, HUANG Qiulan1, SUN Gongxing1, SHI Jingyan1

1.Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
2.University of Chinese Academy of Sciences, Beijing 100049, China

Online:2019-07-01 Published:2019-07-01

摘要/Abstract

摘要： 当前高能物理实验产生的数据量越来越大，利用大数据处理平台Hadoop进行高能物理数据处理时，面临数据迁移的实际需求，而现有迁移工具不支持HDFS与其他文件系统间的数据传输，性能存在明显缺陷。从高能物理数据同步、归档等需求出发，设计和实现了一个通用的海量数据迁移系统，通过扩展HDFS数据访问方式，使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外，系统设计实现了动态优先级调度模型，进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站（LHAASO）宇宙线等物理实验中的数据迁移，实际运行结果表明系统性能良好，能够满足各个实验的数据迁移需求。

关键词: 高能物理, 数据迁移, GridFTP协议, 动态优先级调度, 多属性决策, Hadoop系统

Abstract: With more and more data generated by High Energy Physics（HEP） experiments, Hadoop has been a solution for HEP data analysis while facing with the demand of data migration. However, existing data migration tools do not support data transmission between HDFS and other file systems, and have obvious performance deficiency. Based on the requirements of high-energy physical data synchronization and archiving, this paper designs and implements a universal mass data migration system, which uses MapReduce to directly move data between HDFS and other storage systems or media by extending the HDFS data access methods. In addition, dynamic priority scheduling model is proposed to do multi-tasks dynamic priority assignment and selection. The system has been applied to the data migration in LHAASO experiment, and the actual operation results indicate that the system achieves good performance and meets the data migration requirements of various experiments.

Key words: High Energy Physics（HEP）, data migration, GridFTP protocol, dynamic priority scheduling algorithm, multiple attribute decision-making, Hadoop system

尹乔1，2，魏占辰1，2，黄秋兰1，孙功星1，石京燕1. Hadoop海量数据迁移系统开发及应用[J]. 计算机工程与应用, 2019, 55(13): 66-71.

YIN Qiao1，2, WEI Zhanchen1，2, HUANG Qiulan1, SUN Gongxing1, SHI Jingyan1. Development and Application of Hadoop Massive Data Migration System[J]. Computer Engineering and Applications, 2019, 55(13): 66-71.

[1]	伍京华，耿翠阳，韩佳丽. 基于Agent的多属性决策模型及其在高校实验教学中的应用[J]. 计算机工程与应用, 2021, 57(8): 238-243.
[2]	钟磊，王应明. 考虑心理行为的区间二元语义动态群决策方法[J]. 计算机工程与应用, 2021, 57(2): 127-133.
[3]	张俊，廖雪花，余旭玲，雷蒙. 关系型数据库内存化存储模型研究[J]. 计算机工程与应用, 2021, 57(19): 123-128.
[4]	包顺，周礼刚. 加型Pythagorean模糊偏好关系的多属性决策方法[J]. 计算机工程与应用, 2021, 57(17): 61-67.
[5]	黄林，袁修久. 改进的犹豫模糊语言熵的一般公式与生成算法[J]. 计算机工程与应用, 2021, 57(16): 97-107.
[6]	张俊芳，周礼刚，张春芳，徐鑫，肖箭. 区间Pythagorean犹豫模糊连续熵及灰色关联度的应用[J]. 计算机工程与应用, 2021, 57(15): 207-214.
[7]	朱永明，邱文静. 概率多值中智集的关联系数及其应用[J]. 计算机工程与应用, 2021, 57(15): 186-192.
[8]	陈杰，程胜，徐梦，史豪斌. 面向医疗辅助诊断的可视化多属性决策方法[J]. 计算机工程与应用, 2020, 56(8): 249-255.
[9]	宋娟. 考虑融合算法与交叉熵的毕达哥拉斯决策模型[J]. 计算机工程与应用, 2020, 56(5): 74-79.
[10]	包顺，徐鑫，肖箭，周礼刚. Pythagorean犹豫模糊灰色关联前景多属性决策方法[J]. 计算机工程与应用, 2020, 56(18): 119-123.
[11]	骆丹丹，曾守桢. Pythagorean模糊幂Bonferroni集成算子及其决策应用[J]. 计算机工程与应用, 2020, 56(15): 58-65.
[12]	张迪，成央金，杨柳. 区间犹豫梯形模糊Bonferroni Mean算子及其应用[J]. 计算机工程与应用, 2020, 56(1): 53-62.
[13]	王宁，朱峰. 概率不确定语言熵及其多属性群决策[J]. 计算机工程与应用, 2020, 56(1): 142-149.
[14]	徐琪1，2，王聪1，2，程耀东1，陈刚1. 分布式站点间的跨域文件系统[J]. 计算机工程与应用, 2019, 55(8): 1-8.
[15]	彭定洪，杨扬. 毕达哥拉斯模糊优先集成算子及其决策应用[J]. 计算机工程与应用, 2019, 55(18): 218-222.

Hadoop海量数据迁移系统开发及应用

Development and Application of Hadoop Massive Data Migration System

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics