基于粒子群优化的全比较计算数据分发策略

doi:10.3778/j.issn.1002-8331.2006-0332

计算机工程与应用 ›› 2021, Vol. 57 ›› Issue (15): 109-117.DOI: 10.3778/j.issn.1002-8331.2006-0332

基于粒子群优化的全比较计算数据分发策略

李雷孝，邓丹，李杰，王永生

1.内蒙古工业大学数据科学与应用学院，呼和浩特 010080
2.内蒙古自治区基于大数据的软件服务工程技术研究中心，呼和浩特 010080

出版日期:2021-08-01 发布日期:2021-07-26

All-to-All Comparison Computing Data Distribution Strategy Based on Particle Swarm Optimization

LI Leixiao, DENG Dan, LI Jie, WANG Yongsheng

1.College of Data Science and Application, Inner Mongolia University of Technology, Hohhot 010080, China
2.Inner Mongolia Autonomous Region Software Service Engineering Technology Research Center Based on Big Data, Hohhot 010080, China

Online:2021-08-01 Published:2021-07-26

摘要/Abstract

摘要：

全比较计算数据分发策略是提高分布式集群系统整体计算性能的关键。针对现有数据分发策略存在的计算负载不均衡、数据不能完全本地化、存储空间浪费和计算速度慢等弊端，在满足数据完全本地化的前提下以负载均衡、最优化存储作为优化目标，结合优化的粒子群算法提出了数据分发模型（Data Distribution Based on Particle Swarm Optimization，DDBPSO）。DDBPSO模型分别以任务扰动、交换任务的方式对粒子进化规则进行了优化，有效避免了算法陷入局部最优。通过计算负载、存储占用和数据本地化等实验，结果表明，与开源框架Hadoop的数据分发策略相比，提出的DDBPSO模型与算法具有计算负载均衡、完全的数据本地化、存储空间占用小、计算速度快等优势。

关键词: 全比较计算, 数据分发, DDBPSO模型, 粒子群优化, Hadoop

Abstract:

Data distribution strategy is the key to improve the overall computing performance of distributed cluster system in all-to-all comparison problems. To address the disadvantages of existing data distribution strategies, such as unbalanced computing load, incomplete localization of data, waste of storage space and slow computing speed, etc., on the premise of satisfying the requirement of data localization, a Data Distribution model Based on Particle Swarm Optimization（DDBPSO） is proposed with load balancing and optimal storage as the optimization objectives. DDBPSO model optimizes the particle evolution rules by task disturbance and task exchange, which makes the algorithm robust against local optima. The results in the numerial experiment show that the DDBPSO model has the advantages of computing load balancing, complete data localization, small storage space occupation and fast computing speed compared with the data distribution strategy in Hadoop.

Key words: all-to-all comparison, data distribution, Data Distribution Based on Particle Swarm Optimization（DDBPSO）, particle swarm optimization, Hadoop

李雷孝，邓丹，李杰，王永生. 基于粒子群优化的全比较计算数据分发策略[J]. 计算机工程与应用, 2021, 57(15): 109-117.

LI Leixiao, DENG Dan, LI Jie, WANG Yongsheng. All-to-All Comparison Computing Data Distribution Strategy Based on Particle Swarm Optimization[J]. Computer Engineering and Applications, 2021, 57(15): 109-117.

[1]	孙泽宇，徐琛，苏艳超，李传锋，聂雅琳. 雾计算中跨层感知分簇路由协议[J]. 计算机工程与应用, 2021, 57(9): 109-117.
[2]	胡晓敏，王明丰，张首荣，李敏. 用于文本聚类的新型差分进化粒子群算法[J]. 计算机工程与应用, 2021, 57(4): 61-67.
[3]	陈万芬，王宇嘉，林炜星. 异构集成代理辅助多目标粒子群优化算法[J]. 计算机工程与应用, 2021, 57(23): 71-80.
[4]	杜守信，毋涛. 双种群混合遗传算法的裁剪分床应用研究[J]. 计算机工程与应用, 2021, 57(22): 182-189.
[5]	吴东阳，窦建平，李俊. 四旋翼飞行器的数字孪生系统设计[J]. 计算机工程与应用, 2021, 57(16): 237-244.
[6]	廖玮霖，程杉，尚冬冬，魏昭彬. 多策略融合的粒子群优化算法[J]. 计算机工程与应用, 2021, 57(1): 69-76.
[7]	陈秋菊，徐建国. 优化正交匹配追踪和短时谱估计用于声音识别[J]. 计算机工程与应用, 2020, 56(7): 162-169.
[8]	张水平，李殷俊，高栋，梁文. 带有动态爆炸半径的增强型烟花算法[J]. 计算机工程与应用, 2020, 56(18): 50-57.
[9]	黄建琼，郭文龙. 混合粒子群和改进细菌觅食的不平衡数据分类[J]. 计算机工程与应用, 2020, 56(10): 171-178.
[10]	张鑫1，邹德旋1，肖鹏1，喻秋2. 自适应简化粒子群优化算法及其应用[J]. 计算机工程与应用, 2019, 55(8): 250-263.
[11]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[12]	郑朝鑫1，2，董晨1，3，贺国荣1，3，陈荣忠1，3，熊子奇1，3. 基于改进粒子群算法的动态3D实时建模技术[J]. 计算机工程与应用, 2019, 55(5): 65-71.
[13]	王静宇，栾俊清，谭跃生. 基于数据敏感性的大数据访问控制模型研究[J]. 计算机工程与应用, 2019, 55(23): 70-77.
[14]	马炫，刘栋，胡家鑫. 求解必经点k条最优路径问题的粒子群优化算法[J]. 计算机工程与应用, 2019, 55(20): 89-94.
[15]	史佳雯，汪洋，张庚，王亚男. 面向电力通信网的分布式仿真系统[J]. 计算机工程与应用, 2019, 55(19): 246-252.

基于粒子群优化的全比较计算数据分发策略

All-to-All Comparison Computing Data Distribution Strategy Based on Particle Swarm Optimization

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics