异构Hadoop环境下的实时作业调度算法

计算机工程与应用 ›› 2016, Vol. 52 ›› Issue (16): 100-104.

异构Hadoop环境下的实时作业调度算法

何曦，张向利，张红梅

桂林电子科技大学广西高校云计算与复杂系统重点实验室，广西桂林 541004

出版日期:2016-08-15 发布日期:2016-08-12

Real-time job scheduling algorithm in Hadoop heterogeneous environments

HE Xi, ZHANG Xiangli, ZHANG Hongmei

Guangxi Colleges and Universities Key Laboratory of Cloud Computing and Complex Systems, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China

Online:2016-08-15 Published:2016-08-12

摘要/Abstract

摘要： 为提升Hadoop集群在异构环境下处理硬实时作业的性能，提出一种基于历史进度自动调整作业优先级的调度算法（HAPS）。该算法实时监控作业进度信息，对作业进度率进行指数平滑预测，计算作业剩余执行时间，动态估算作业空闲时间。并据此实时更新作业队列中作业的优先级顺序，优先调度空闲时间小的作业。实验结果表明，HAPS有效地提高了异构环境下硬实时作业的执行成功率。

关键词: 调度, 实时作业, 指数平滑, 异构环境, MapReduce

Abstract: A History-based Auto-tuning Priority Scheduler（HAPS） is proposed to improve the performance of dealing with hard real-time jobs in Hadoop heterogeneous environments. The algorithm can monitor the real-time progress of jobs, predict the job progress rate by exponential smoothing prediction, calculate the remaining execution time of the job, and estimate the spare time of the job dynamically. According to the spare time, HAPS can update the job priority of job queue in real-time and prefer scheduling the less spare time job. Experimental results show that HAPS can effectively improve the success ratio of dealing with hard real-time jobs in heterogeneous environments.

Key words: scheduling, real-time jobs, exponential smoothing, heterogeneous environments, MapReduce

何曦，张向利，张红梅. 异构Hadoop环境下的实时作业调度算法[J]. 计算机工程与应用, 2016, 52(16): 100-104.

HE Xi, ZHANG Xiangli, ZHANG Hongmei. Real-time job scheduling algorithm in Hadoop heterogeneous environments[J]. Computer Engineering and Applications, 2016, 52(16): 100-104.

[1]	谢锐强，张惠珍. 求解柔性作业车间调度问题的两段式狼群算法[J]. 计算机工程与应用, 2021, 57(7): 251-256.
[2]	张驰，王宇新，冯振，郭禾. 双层虚拟化云架构下任务调度能耗优化算法[J]. 计算机工程与应用, 2021, 57(3): 103-111.
[3]	许德刚，李凡，王露，郭奕欣，邢奎杰，梁腾翔. 优化烟花算法在医疗物资应急调度中的应用[J]. 计算机工程与应用, 2021, 57(24): 249-258.
[4]	李宝帅，叶春明. 深度强化学习算法求解作业车间调度问题[J]. 计算机工程与应用, 2021, 57(23): 248-254.
[5]	曹立佳，刘洋. 制造车间自动导引车调度新进展[J]. 计算机工程与应用, 2021, 57(21): 59-67.
[6]	田倬璟，黄震春，张益农. 云计算环境任务调度方法研究综述[J]. 计算机工程与应用, 2021, 57(2): 1-11.
[7]	周亚民，杨勇生，仲美稣，王宇生，许学谦. 自动化码头堆场穿越式双ASC调度[J]. 计算机工程与应用, 2021, 57(2): 251-256.
[8]	石宇强，田永政，张雨琦，石小秋. 运用含复杂网络结构的多种群遗传算法求解FJSP[J]. 计算机工程与应用, 2021, 57(2): 257-266.
[9]	代江涛，韩晓龙. 考虑作业状态能耗的集装箱码头设备协调调度[J]. 计算机工程与应用, 2021, 57(19): 290-298.
[10]	李荣，贺兴时，杨新社. 基于差分进化的飞蛾算法在电力调度中的应用[J]. 计算机工程与应用, 2021, 57(13): 258-268.
[11]	李雨鑫，李悦悦. 面向JIT采购的多目标车辆调度[J]. 计算机工程与应用, 2021, 57(12): 263-272.
[12]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[13]	郭佳丽，王秋萍，王晓峰. 融合学习策略和邻域搜索的飞蛾火焰算法[J]. 计算机工程与应用, 2021, 57(12): 170-179.
[14]	梁承姬，黄帅. 考虑时间窗的集装箱港口场桥全局调度优化[J]. 计算机工程与应用, 2020, 56(8): 226-232.
[15]	杨雅洁，苌道方，余芳. 考虑AGV避碰的自动化码头多资源协同调度[J]. 计算机工程与应用, 2020, 56(6): 246-253.