同构Hadoop环境作业执行时间计算方法

计算机工程与应用 ›› 2014, Vol. 50 ›› Issue (10): 249-252.

同构Hadoop环境作业执行时间计算方法

张霄宏1，2，海林鹏2，贾宗璞2，沈记全3，赵文涛2

1.中国科学院深圳先进技术研究院，广东深圳 518055
2.河南理工大学计算机科学与技术学院，河南焦作 454003
3.河南理工大学现代教育中心，河南焦作 454003

出版日期:2014-05-15 发布日期:2014-05-14

Method for computing execution time of jobs in homogeneous hadoop environments

ZHANG Xiaohong1，2, HAI Linpeng2, JIA Zongpu2, SHEN Jiquan3, ZHAO Wentao2

1.Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, Guangdong 518055, China
2.School of Computer Science and Technology, Henan Polytechnic University, Jiaozuo, Henan 454003, China
3.Center of Modern Education, Henan Polytechnic University, Jiaozuo, Henan 454003, China

Online:2014-05-15 Published:2014-05-14

摘要/Abstract

摘要： 执行时间是作业调度的重要参考因素之一。通过分析Hadoop MapReduce环境作业的执行特征，提出了以map任务和reduce任务执行时间为输入，估算作业执行时间的方法。该方法在一定假设条件下，借助作业预执行来获取map任务和reduce任务的执行时间。实验结果表明，该方法估算作业执行时间的误差率小于7%。

关键词: Hadoop MapReduce, 作业执行时间, 调度

Abstract: Execution time is very important for job scheduling. In this paper, the execution characters of Hadoop MapReduce jobs are analyzed, and then a new method is proposed to compute the execution times of these jobs. The method takes the execution times of map task and reduce task as input data. It captures these execution times by pre-executing under an assumption. The method has been evaluated in a Linux cluster, the experiment results show that the method computed the execution times of jobs with the error rate no more than 7%.

Key words: Hadoop MapReduce, execution time, scheduling

张霄宏1，2，海林鹏2，贾宗璞2，沈记全3，赵文涛2. 同构Hadoop环境作业执行时间计算方法[J]. 计算机工程与应用, 2014, 50(10): 249-252.

ZHANG Xiaohong1，2, HAI Linpeng2, JIA Zongpu2, SHEN Jiquan3, ZHAO Wentao2. Method for computing execution time of jobs in homogeneous hadoop environments[J]. Computer Engineering and Applications, 2014, 50(10): 249-252.

[1]	谢锐强，张惠珍. 求解柔性作业车间调度问题的两段式狼群算法[J]. 计算机工程与应用, 2021, 57(7): 251-256.
[2]	张驰，王宇新，冯振，郭禾. 双层虚拟化云架构下任务调度能耗优化算法[J]. 计算机工程与应用, 2021, 57(3): 103-111.
[3]	许德刚，李凡，王露，郭奕欣，邢奎杰，梁腾翔. 优化烟花算法在医疗物资应急调度中的应用[J]. 计算机工程与应用, 2021, 57(24): 249-258.
[4]	李宝帅，叶春明. 深度强化学习算法求解作业车间调度问题[J]. 计算机工程与应用, 2021, 57(23): 248-254.
[5]	曹立佳，刘洋. 制造车间自动导引车调度新进展[J]. 计算机工程与应用, 2021, 57(21): 59-67.
[6]	田倬璟，黄震春，张益农. 云计算环境任务调度方法研究综述[J]. 计算机工程与应用, 2021, 57(2): 1-11.
[7]	周亚民，杨勇生，仲美稣，王宇生，许学谦. 自动化码头堆场穿越式双ASC调度[J]. 计算机工程与应用, 2021, 57(2): 251-256.
[8]	石宇强，田永政，张雨琦，石小秋. 运用含复杂网络结构的多种群遗传算法求解FJSP[J]. 计算机工程与应用, 2021, 57(2): 257-266.
[9]	代江涛，韩晓龙. 考虑作业状态能耗的集装箱码头设备协调调度[J]. 计算机工程与应用, 2021, 57(19): 290-298.
[10]	李荣，贺兴时，杨新社. 基于差分进化的飞蛾算法在电力调度中的应用[J]. 计算机工程与应用, 2021, 57(13): 258-268.
[11]	郭佳丽，王秋萍，王晓峰. 融合学习策略和邻域搜索的飞蛾火焰算法[J]. 计算机工程与应用, 2021, 57(12): 170-179.
[12]	李雨鑫，李悦悦. 面向JIT采购的多目标车辆调度[J]. 计算机工程与应用, 2021, 57(12): 263-272.
[13]	梁承姬，黄帅. 考虑时间窗的集装箱港口场桥全局调度优化[J]. 计算机工程与应用, 2020, 56(8): 226-232.
[14]	杨雅洁，苌道方，余芳. 考虑AGV避碰的自动化码头多资源协同调度[J]. 计算机工程与应用, 2020, 56(6): 246-253.
[15]	秦琴，梁承姬. 自动化码头考虑缓冲区的设备协调调度优化[J]. 计算机工程与应用, 2020, 56(6): 262-270.