Hadoop云平台MapReduce模型优化研究

计算机工程与应用 ›› 2016, Vol. 52 ›› Issue (22): 22-25.

Hadoop云平台MapReduce模型优化研究

张红1，2，王晓明1，曹洁2，马彦宏3，郭义戎1，王慜1

1.兰州理工大学电气与信息工程学院，兰州 730050
2.兰州理工大学计算机与通信学院，兰州 730050
3.国网甘肃省电力公司，兰州 730030

出版日期:2016-11-15 发布日期:2016-12-02

Research on optimized MapReduce model of Hadoop cloud platform

ZHANG Hong1，2, WANG Xiaoming1, CAO Jie2, MA Yanhong3, GUO Yirong1, WANG Min1

1.College of Electrical & Information Engineering, Lanzhou University of Technology, Lanzhou 730050, China
2.College of Computer & Communication, Lanzhou University of Technology, Lanzhou 730050, China
3.State Grid Gansu Electric Company, Lanzhou 730030, China

Online:2016-11-15 Published:2016-12-02

摘要/Abstract

摘要： 针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题，从提高平台中每个执行节点的细粒度并行数据处理角度出发，结合Java共享内存多线程编程技术，对该模型进行了优化，提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理，验证该模型的性能和效率，实验结果证明MapReduce+OpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率，是对Hadoop平台大数据分析处理模型有效的完善和优化。

关键词: Hadoop, MapReduce, OpenMP, 分布式, 并行

Abstract: Sequential control of running mechanism of MapReduce model on Hadoop platform can lead to waste of computing resources. From the perspective of the fine-grained parallel data processing of each node, combined with multi-threads technique of Java shared memory, this paper optimizes MapReduce model and puts forward a MapReduce+OpenMP framework. This model is a distributed and parallel computing architecture based on Hadoop cloud platform, which combines computing resources of coarse and fine granularity. After programming and realizing on the GPS trajectory data of the taxi in the Hadoop distributed cluster environment, the results show that this distributed parallel computing model can really improve the computing efficiency of processing big data set, and it is an effective optimization and improvement to the MapReduce model of big data processing.

Key words: Hadoop, MapReduce, OpenMP, distributed, parallel

张红1，2，王晓明1，曹洁2，马彦宏3，郭义戎1，王慜1. Hadoop云平台MapReduce模型优化研究[J]. 计算机工程与应用, 2016, 52(22): 22-25.

ZHANG Hong1，2, WANG Xiaoming1, CAO Jie2, MA Yanhong3, GUO Yirong1, WANG Min1. Research on optimized MapReduce model of Hadoop cloud platform[J]. Computer Engineering and Applications, 2016, 52(22): 22-25.

[1]	李俊丽. Spark平台下类别数据互信息计算的并行化[J]. 计算机工程与应用, 2021, 57(7): 95-100.
[2]	石杰元，袁志勇，廖祥云，赵俭辉. 面向磁悬浮视触觉交互的多速率系统框架[J]. 计算机工程与应用, 2021, 57(5): 197-203.
[3]	唐蕊，焦继业，徐华昊. 面向嵌入式的卷积神经网络硬件加速器设计[J]. 计算机工程与应用, 2021, 57(4): 252-257.
[4]	杨鲁月，张树美，赵俊莉. 基于并行Gan的有遮挡动态表情识别[J]. 计算机工程与应用, 2021, 57(24): 168-178.
[5]	朱梦，闵卫东，张煜，段静雯. 基于HardSoftmax的并行选择核注意力[J]. 计算机工程与应用, 2021, 57(21): 95-101.
[6]	江魁，丘远东，郑浩城. 基于信息熵与LSTM的ICMPv6 DDoS攻击检测方法[J]. 计算机工程与应用, 2021, 57(21): 148-154.
[7]	王海瑞，鲜于建川. 改进麻雀搜索算法在分布式电源配置中的应用[J]. 计算机工程与应用, 2021, 57(20): 245-252.
[8]	田阳，陈智罡，宋新霞，李天明. 区块链在供应链管理中的应用综述[J]. 计算机工程与应用, 2021, 57(19): 70-83.
[9]	张俊，廖雪花，余旭玲，雷蒙. 关系型数据库内存化存储模型研究[J]. 计算机工程与应用, 2021, 57(19): 123-128.
[10]	冯凯，李婧. k元n方体网络的子网络可靠性[J]. 计算机工程与应用, 2021, 57(16): 83-89.
[11]	吴东阳，窦建平，李俊. 四旋翼飞行器的数字孪生系统设计[J]. 计算机工程与应用, 2021, 57(16): 237-244.
[12]	李雷孝，邓丹，李杰，王永生. 基于粒子群优化的全比较计算数据分发策略[J]. 计算机工程与应用, 2021, 57(15): 109-117.
[13]	李健，张大伟，姜晓明，向立云. 并行化洪水演进模拟研究综述[J]. 计算机工程与应用, 2021, 57(13): 1-7.
[14]	孙明，陈昕. 面向卷积神经网络的硬件加速器设计方法[J]. 计算机工程与应用, 2021, 57(13): 77-84.
[15]	王文涛，李树梅，汤婕，吕伟龙. 结合概率图模型与DNN的DDoS攻击检测方法[J]. 计算机工程与应用, 2021, 57(13): 108-115.