基于MapReduce的Canopy-Kmeans改进算法

计算机工程与应用 ›› 2012, Vol. 48 ›› Issue (27): 22-26.

基于MapReduce的Canopy-Kmeans改进算法

毛典辉

北京工商大学计算机与信息工程学院，北京 100048

出版日期:2012-09-21 发布日期:2012-09-24

Improved Canopy-Kmeans algorithm based on MapReduce

MAO Dianhui

School of Computer and Information Engineering, Beijing Technology and Business University, Beijing 100048, China

Online:2012-09-21 Published:2012-09-24

摘要/Abstract

摘要： 针对分布式Canopy-Kmeans算法中Canopy选取的随机性问题，采用“最小最大原则”对该算法进行了改进，避免了Cannopy选取的盲目性；采用MapReduce并行计算框架对算法进行了并行扩展，使之能够充分利用集群的计算和存储能力，从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景，对改进后的算法进行了实验分析。实验结果表明：该方法较随机挑选Canopy策略在分类准确率以及抗噪能力上都明显提高，而且在处理海量数据时表现出较大的性能优势。

关键词: Canopy-Kmeans算法, MapReduce, 分布式聚类

Abstract: In order to solve the problem that how to void random Canopy selection of Canopy-Kmeans algorithm, this paper introduces an improved algorithm based on the minimum and maximum principle and realizes processing massive data based on MapReduce framework. Meanwhile, the algorithm is carried out in massive Internet news aggregation. The experiments show that the strategy of Canopy selection based on the minimum and maximum principle has higher classification accuracy and noise immunity compared to random strategy.

Key words: Canopy-Kmeans, MapReduce, distributed aggregation

毛典辉. 基于MapReduce的Canopy-Kmeans改进算法[J]. 计算机工程与应用, 2012, 48(27): 22-26.

MAO Dianhui. Improved Canopy-Kmeans algorithm based on MapReduce[J]. Computer Engineering and Applications, 2012, 48(27): 22-26.

[1]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[2]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[3]	季长清1，2，肖鹏3，刘畅4，汪祖民2，西方2，邵寅博1，李泽宇2. 基于空间近邻查询的移动医疗呼叫算法[J]. 计算机工程与应用, 2019, 55(2): 206-212.
[4]	王德政1，张益农1，杨帆2. 基于MapReduce的并行PLS过程监控算法实现[J]. 计算机工程与应用, 2018, 54(24): 61-65.
[5]	陈旺虎，俞茂义，马生俊. 基于输入分片扰乱的BP神经网络MapReduce训练方法[J]. 计算机工程与应用, 2018, 54(2): 137-143.
[6]	夏晓云，张仁斌，谢瑞，王聪. 基于MapReduce的液晶屏缺陷检测方法[J]. 计算机工程与应用, 2017, 53(5): 202-206.
[7]	王永贵1，张燕1，杨东东2. 基于MapReduce的无线城市社团发现算法研究[J]. 计算机工程与应用, 2017, 53(4): 106-112.
[8]	罗俊，李劲华. LSHBMRPK-means算法及其应用[J]. 计算机工程与应用, 2017, 53(21): 62-67.
[9]	陈亚楠，朱习军. 基于Hadoop的中医哮喘用药组合关联分析[J]. 计算机工程与应用, 2017, 53(13): 95-98.
[10]	李三淼，李龙澍. Hadoop中处理小文件的四种方法的性能分析[J]. 计算机工程与应用, 2016, 52(9): 44-49.
[11]	熊政1，2，王金明2，郑海雁1，2，李昆明1，徐立臻2，崇志宏2. 一种基于可排序视图的RDF模式匹配算法[J]. 计算机工程与应用, 2016, 52(8): 62-69.
[12]	王永贵，武超，戴伟. 基于MapReduce的随机抽样K-means算法[J]. 计算机工程与应用, 2016, 52(8): 74-79.
[13]	张红1，2，王晓明1，曹洁2，马彦宏3，郭义戎1，王慜1. Hadoop云平台MapReduce模型优化研究[J]. 计算机工程与应用, 2016, 52(22): 22-25.
[14]	束晓伟，杨庚，那海洋. 并行密文倒排索引研究[J]. 计算机工程与应用, 2016, 52(20): 14-19.
[15]	周国军. 基于Hadoop的多关键字排序方法研究[J]. 计算机工程与应用, 2016, 52(17): 79-83.