粒子群算法在分布式ETL任务调度中的应用

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (9): 150-155.

• 数据库、数据挖掘、机器学习 • 上一篇下一篇

粒子群算法在分布式ETL任务调度中的应用

王春阳，赵书良，王长宾

河北师范大学数学与信息科学学院河北省计算数学与应用重点实验室，石家庄 050024

出版日期:2013-05-01 发布日期:2016-03-28

Application for particle swarm algorithm in distributed ETL job scheduling

WANG Chunyang, ZHAO Shuliang, WANG Changbin

Hebei Province Key Laboratory of Computational Mathematics and Applications, College of Mathematics and Information Science, Hebei Normal University, Shijiazhuang 050024, China

Online:2013-05-01 Published:2016-03-28

摘要/Abstract

摘要： 随着分布式数据环境越来越复杂，ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上，主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开，给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。

关键词: 分布式抽取-转换-加载（ETL）, 任务调度, 基于置换的离散型粒子群算法

Abstract: With the increasing complexity of distributed data environment, ETL tools face the challenge of many data sources, geographic distribution, massive data and other factors. The original centralized ETL workflow optimization theory can not meet the demands of the environment of the complex data. This paper presents how the discrete particle swarm optimization based on replacement is used in task scheduling of the distributed ETL. The main contents include the abstraction of the ETL task scheduling model, design of the algorithm coding, selection of objective function and so on. The realization and pseudocode of distributed ETL job scheduling strategy are also mentioned. The theory and experiment prove it to be feasible and efficient.

Key words: distributed Extration-Transformation-Loading（ETL）, task scheduling, discrete particle swarm optimization based on replacement algorithm

王春阳，赵书良，王长宾. 粒子群算法在分布式ETL任务调度中的应用[J]. 计算机工程与应用, 2013, 49(9): 150-155.

WANG Chunyang, ZHAO Shuliang, WANG Changbin. Application for particle swarm algorithm in distributed ETL job scheduling[J]. Computer Engineering and Applications, 2013, 49(9): 150-155.

[1]	张驰，王宇新，冯振，郭禾. 双层虚拟化云架构下任务调度能耗优化算法[J]. 计算机工程与应用, 2021, 57(3): 103-111.
[2]	田倬璟，黄震春，张益农. 云计算环境任务调度方法研究综述[J]. 计算机工程与应用, 2021, 57(2): 1-11.
[3]	向敏，戴柯宇，周恩，刘榆，雷儒杰. 面向物联网终端的任务相关性调度策略[J]. 计算机工程与应用, 2020, 56(23): 95-102.
[4]	于巧玉，吴耀华，王艳艳. 跨层穿梭车双提升机系统料箱拣选任务调度[J]. 计算机工程与应用, 2020, 56(20): 270-278.
[5]	吴波，许道强，邹云峰，王甜甜，李鑫. 阶段感知的跨域数据分析作业保障机制[J]. 计算机工程与应用, 2019, 55(23): 78-85.
[6]	朱永超，周川，郭健，吴益飞，崔玉伟. 异构分布式系统中一种新型主副版本调度算法[J]. 计算机工程与应用, 2019, 55(21): 93-98.
[7]	汤琳煜，蒋加伏，谷科. 基于雾计算的计算资源分配方案[J]. 计算机工程与应用, 2019, 55(19): 96-104.
[8]	贾丽云，张向利，张红梅. 分布式系统下的启发式任务调度算法[J]. 计算机工程与应用, 2017, 53(12): 63-69.
[9]	王向华1，陈特放1，张必明2，颜剑1. 基于时间序列和任务调度的Web数据聚类算法[J]. 计算机工程与应用, 2016, 52(9): 159-163.
[10]	林若男，李强. 云计算环境下基于模板的任务调度策略与算法[J]. 计算机工程与应用, 2016, 52(19): 48-52.
[11]	李岩，崔浩鑫，杜永斌. μC/OS-II二级调度算法的硬件实现[J]. 计算机工程与应用, 2016, 52(12): 1-4.
[12]	王波，张晓磊. 基于粒子群遗传算法的云计算任务调度研究[J]. 计算机工程与应用, 2015, 51(6): 84-88.
[13]	孙凌宇1，冷明1，2，朱平1，李金忠1. 基于赋权有向超图的云计算依赖任务调度研究[J]. 计算机工程与应用, 2015, 51(24): 34-39.
[14]	王振超. 融合DEA和田口方法的云计算多任务调度方案[J]. 计算机工程与应用, 2015, 51(2): 140-145.
[15]	李静梅，张大虎，吴艳霞. 基于异构CMP的改进蚁群优化任务调度策略[J]. 计算机工程与应用, 2015, 51(18): 47-51.

粒子群算法在分布式ETL任务调度中的应用

Application for particle swarm algorithm in distributed ETL job scheduling

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics