消息代理机制下的MapReduce数据流优化

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (5): 120-122.

• 数据库、数据挖掘、机器学习 • 上一篇下一篇

消息代理机制下的MapReduce数据流优化

葛君伟1，蒋仙2，方义秋2

1.重庆邮电大学图书馆，重庆 400065
2.重庆邮电大学计算机科学与技术学院，重庆 400065

出版日期:2013-03-01 发布日期:2013-03-14

Optimization of MapReduce data flow with message broker mechanism

GE Junwei1, JIANG Xian2, FANG Yiqiu2

1.Department of Library, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
2.College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China

Online:2013-03-01 Published:2013-03-14

摘要/Abstract

摘要： 摘要：MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算，集群节点间的数据传输依赖性较强，造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型，优化数据流。经实验数据表明，基于消息代理机制的MapReduce框架能提高数据密集型应用上的负载均衡。

关键词: 消息代理, MapReduce, 数据密集型计算, 数据流

Abstract: MapReduce programming model is a kind of parallel computing framework which is distributed under the environment of mass data processing system. Currently, the MapReduce applications are widely used for commercial data intensive computing, the data transmission between the nodes on cluster has a large extent dependence. It causes that the load of message handling between the nodes is heavy. This paper puts forward an improved model of MapReduce based on message broker mechanism, to optimize the MapReduce data flow. The experimental data indicates that based on message broker mechanism the MapReduce framework can improve the load balance in data intensive applications.

Key words: message broker, MapReduce, data intensive computing, data flow

葛君伟1，蒋仙2，方义秋2. 消息代理机制下的MapReduce数据流优化[J]. 计算机工程与应用, 2013, 49(5): 120-122.

GE Junwei1, JIANG Xian2, FANG Yiqiu2. Optimization of MapReduce data flow with message broker mechanism[J]. Computer Engineering and Applications, 2013, 49(5): 120-122.

[1]	王俊红，郭亚慧. 面向动态数据块的非平衡数据流分类算法[J]. 计算机工程与应用, 2021, 57(13): 124-129.
[2]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[3]	周玉，朱文豪，房倩，白磊. 基于聚类的离群点检测方法研究综述[J]. 计算机工程与应用, 2021, 57(12): 37-45.
[4]	徐清妍，何丽，朱泓西. 改进Hoeffding不等式的概念漂移检测方法[J]. 计算机工程与应用, 2020, 56(19): 55-61.
[5]	胡阳，胡学钢，李培培. 基于Spark的快速短文本数据流分类方法[J]. 计算机工程与应用, 2020, 56(14): 138-147.
[6]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[7]	季长清1，2，肖鹏3，刘畅4，汪祖民2，西方2，邵寅博1，李泽宇2. 基于空间近邻查询的移动医疗呼叫算法[J]. 计算机工程与应用, 2019, 55(2): 206-212.
[8]	宋峣1，2，3，孙小涓1，2，3，胡玉新1，2，3，雷斌1，2，3，卢晓军4. 基于流式计算的遥感卫星数据快视处理方法[J]. 计算机工程与应用, 2019, 55(10): 77-82.
[9]	郑逢斌1，朱青1，2，臧文乾2. 一种XML驱动的遥感产品生产并发数据流模型[J]. 计算机工程与应用, 2018, 54(24): 266-270.
[10]	王德政1，张益农1，杨帆2. 基于MapReduce的并行PLS过程监控算法实现[J]. 计算机工程与应用, 2018, 54(24): 61-65.
[11]	杨融泽，柳毅. 面向异常数据流的多分类器选择集成方法[J]. 计算机工程与应用, 2018, 54(2): 107-113.
[12]	陈旺虎，俞茂义，马生俊. 基于输入分片扰乱的BP神经网络MapReduce训练方法[J]. 计算机工程与应用, 2018, 54(2): 137-143.
[13]	魏子衿1，2，3，肖丽2，3. 改进顶点聚类方法的并行核外模型简化算法[J]. 计算机工程与应用, 2018, 54(13): 181-190.
[14]	夏晓云，张仁斌，谢瑞，王聪. 基于MapReduce的液晶屏缺陷检测方法[J]. 计算机工程与应用, 2017, 53(5): 202-206.
[15]	刘骁，刘辉平，金澈清. 面向不确定数据流的近似ER-Topk查询处理[J]. 计算机工程与应用, 2017, 53(4): 98-105.

消息代理机制下的MapReduce数据流优化

Optimization of MapReduce data flow with message broker mechanism

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics