数据划分优化的并行k-means算法

doi:10.3778/j.issn.1002-8331.2010.15.038

计算机工程与应用 ›› 2010, Vol. 46 ›› Issue (15): 127-131.DOI: 10.3778/j.issn.1002-8331.2010.15.038

• 数据库、信号与信息处理 • 上一篇下一篇

数据划分优化的并行k-means算法

尹建君¹，王乐²

1.成都医学院人文信息管理学院，成都 610083
2.国防科技大学计算机学院，长沙 410073

收稿日期:2008-11-18 修回日期:2009-02-23 出版日期:2010-05-21 发布日期:2010-05-21
通讯作者: 尹建君

Parallel k-means optimized by vertical dataset division

YIN Jian-jun¹，WANG Le²

1.School of Humanity and Information Management，Chengdu Medical College，Chengdu 610083，China
2.College of Computer，National University of Defense Technology，Changsha 410073，China

Received:2008-11-18 Revised:2009-02-23 Online:2010-05-21 Published:2010-05-21
Contact: YIN Jian-jun

摘要/Abstract

摘要： 针对大规模文本聚类中对聚类算法执行效率的要求，提出了一个内容相关的纵向数据划分策略FTDV，并基于该策略提出了数据划分优化的并行DVP k-means算法，提高了常规并行k-means算法的并行化程度，达到了优化算法执行效率的目的。在实验中，与常规并行k-means算法和基于关键方向分解的PDDP k-means算法进行比较，DVP k-means具有更好的并行性和对数据规模的适应性，且可以生成更高质量的聚簇。

关键词: 数据划分, 并行聚类算法, 频繁词集, k-means算法

Abstract: For the requirement of high efficiency in large volume of document clustering，this paper proposes a vertical content-related data partition politic，FTVD.A parallel clustering algorithm，called DVP k-means，is proposed based on above FTVD in order to optimize the parallel degree of traditional parallel k-means.Experimental results on two public datasets indicate that DVP k-means performs better than other two parallel algorithms，traditional parallel k-means and PDDP k-means，both on parallelism and feasibility.

Key words: data partition, parallel clustering algorithm, frequent term set, k-means

中图分类号:

TP311

尹建君¹，王乐²

. 数据划分优化的并行k-means算法[J]. 计算机工程与应用, 2010, 46(15): 127-131.

YIN Jian-jun¹，WANG Le². Parallel k-means optimized by vertical dataset division[J]. Computer Engineering and Applications, 2010, 46(15): 127-131.

[1]	潘成胜，张斌，吕亚娜，杜秀丽，邱少明. 改进灰狼优化算法的K-Means文本聚类[J]. 计算机工程与应用, 2021, 57(1): 188-193.
[2]	王子龙，李进，宋亚飞. 基于距离和权重改进的K-means算法[J]. 计算机工程与应用, 2020, 56(23): 87-94.
[3]	张震，李浩方，李孟州. YOLO算法在安检异常图像中的研究[J]. 计算机工程与应用, 2020, 56(21): 187-193.
[4]	李峰，李明祥，张宇敬. 局部迭代的快速K-means聚类算法[J]. 计算机工程与应用, 2020, 56(13): 63-71.
[5]	马菁1，2，李力3. RDD上扩展索引层优化的分布式K-means算法[J]. 计算机工程与应用, 2019, 55(1): 161-167.
[6]	向程谕，王冬丽，周彦，李雅芳. 基于RGB-D融合特征的图像分类[J]. 计算机工程与应用, 2018, 54(8): 178-182.
[7]	陈庆虎，周小丹，鄢煜尘. 基于字符图像分割的打印文件识别方法[J]. 计算机工程与应用, 2018, 54(7): 170-175.
[8]	王彬宇1，刘文芬2，胡学先1，魏江宏1. 基于余弦距离选取初始簇中心的文本聚类研究[J]. 计算机工程与应用, 2018, 54(10): 11-18.
[9]	周志阳，冯百明，杨朋霖，温向慧. 基于Storm的流数据KNN分类算法的研究与实现[J]. 计算机工程与应用, 2017, 53(19): 71-75.
[10]	白树仁1，2，陈龙2. 自适应K值的粒子群聚类算法[J]. 计算机工程与应用, 2017, 53(16): 116-120.
[11]	邱云飞，赵彬，林明明，王伟. 结合语义改进的K-means短文本聚类算法[J]. 计算机工程与应用, 2016, 52(19): 78-83.
[12]	欧慧，夏卓群，武志伟. 基于改进流形距离的粗糙集k-means聚类算法[J]. 计算机工程与应用, 2016, 52(14): 84-89.
[13]	何云斌1，刘雪娇1，王知强2，万静1，李松1. 基于全局中心的高密度不唯一的K-means算法研究[J]. 计算机工程与应用, 2016, 52(1): 48-54.
[14]	党小超1，2，毛鹏鑫1，郝占军1，2. 基于快速求解高斯混合模型的流量聚类算法[J]. 计算机工程与应用, 2015, 51(8): 96-101.
[15]	陈强业1，2，李际军1. 基于方向约束的对称距离聚类算法[J]. 计算机工程与应用, 2015, 51(20): 120-125.

数据划分优化的并行k-means算法

Parallel k-means optimized by vertical dataset division

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics