迭代式MapReduce研究进展

计算机工程与应用 ›› 2015, Vol. 51 ›› Issue (12): 123-132.

• 数据库、数据挖掘、机器学习 • 上一篇下一篇

迭代式MapReduce研究进展

李金忠，汤鹏杰，夏洁武，谭云兰

井冈山大学计算机科学与技术系，江西吉安 343009

出版日期:2015-06-15 发布日期:2015-06-30

Advances in iterative MapReduce

LI Jinzhong, TANG Pengjie, XIA Jiewu, TAN Yunlan

Department of Computer Science and Technology, Jinggangshan University, Ji’an, Jiangxi 343009, China

Online:2015-06-15 Published:2015-06-30

摘要/Abstract

摘要： 迭代计算普遍存在于大数据处理中，而传统的MapReduce不能显式地支持迭代计算。近几年，研究者扩展和改进原始MapReduce，已开发了若干迭代式MapReduce以更好地为大数据处理而支持迭代计算。对迭代式MapReduce编程框架进行综合评述，较详细地阐述了这些研究成果，给出了它们各自的基本思想，并分析了它们各自的特点、优势和不足，且对比了它们所采用的一些技术。对迭代式MapReduce未来的发展趋势进行了展望。

关键词: MapReduce, 迭代计算, 迭代式MapReduce, 并行编程模型, 大数据处理

Abstract: Iterative computations are pervasive among big data processing, but the traditional MapReduce cannot explicitly support iterative computation. In recent years, researchers have extended and improved the original MapReduce, and have developed a number of iterative MapReduce to better support iterative computation for big data processing. A comprehensive review of iterative MapReduce programming framework is provided. These research achievements are described in detail. Their basic ideas are given. Their characteristics, advantages and disadvantages are analyzed for each framework, and some technologies that have been adopted in these frameworks are compared. Some promising development trends for future research of iterative MapReduce are pointed out.

Key words: MapReduce, iterative computation, iterative MapReduce, parallel programming model, big data processing

李金忠，汤鹏杰，夏洁武，谭云兰. 迭代式MapReduce研究进展[J]. 计算机工程与应用, 2015, 51(12): 123-132.

LI Jinzhong, TANG Pengjie, XIA Jiewu, TAN Yunlan. Advances in iterative MapReduce[J]. Computer Engineering and Applications, 2015, 51(12): 123-132.

[1]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[2]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[3]	季长清1，2，肖鹏3，刘畅4，汪祖民2，西方2，邵寅博1，李泽宇2. 基于空间近邻查询的移动医疗呼叫算法[J]. 计算机工程与应用, 2019, 55(2): 206-212.
[4]	王德政1，张益农1，杨帆2. 基于MapReduce的并行PLS过程监控算法实现[J]. 计算机工程与应用, 2018, 54(24): 61-65.
[5]	陈旺虎，俞茂义，马生俊. 基于输入分片扰乱的BP神经网络MapReduce训练方法[J]. 计算机工程与应用, 2018, 54(2): 137-143.
[6]	夏晓云，张仁斌，谢瑞，王聪. 基于MapReduce的液晶屏缺陷检测方法[J]. 计算机工程与应用, 2017, 53(5): 202-206.
[7]	王永贵1，张燕1，杨东东2. 基于MapReduce的无线城市社团发现算法研究[J]. 计算机工程与应用, 2017, 53(4): 106-112.
[8]	罗俊，李劲华. LSHBMRPK-means算法及其应用[J]. 计算机工程与应用, 2017, 53(21): 62-67.
[9]	陈亚楠，朱习军. 基于Hadoop的中医哮喘用药组合关联分析[J]. 计算机工程与应用, 2017, 53(13): 95-98.
[10]	李三淼，李龙澍. Hadoop中处理小文件的四种方法的性能分析[J]. 计算机工程与应用, 2016, 52(9): 44-49.
[11]	熊政1，2，王金明2，郑海雁1，2，李昆明1，徐立臻2，崇志宏2. 一种基于可排序视图的RDF模式匹配算法[J]. 计算机工程与应用, 2016, 52(8): 62-69.
[12]	王永贵，武超，戴伟. 基于MapReduce的随机抽样K-means算法[J]. 计算机工程与应用, 2016, 52(8): 74-79.
[13]	阚文枭1，2，3，伍文静1，Andrei Tsaregorodtsev3，陈刚1. 支持多应用的桌面网格关键技术研究[J]. 计算机工程与应用, 2016, 52(23): 25-34.
[14]	张红1，2，王晓明1，曹洁2，马彦宏3，郭义戎1，王慜1. Hadoop云平台MapReduce模型优化研究[J]. 计算机工程与应用, 2016, 52(22): 22-25.
[15]	束晓伟，杨庚，那海洋. 并行密文倒排索引研究[J]. 计算机工程与应用, 2016, 52(20): 14-19.

迭代式MapReduce研究进展

Advances in iterative MapReduce

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics