结合LDA和谱聚类的多文档摘要

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (16): 142-145.

• 数据库、数据挖掘、机器学习 • 上一篇下一篇

结合LDA和谱聚类的多文档摘要

付玲，张晖

西南科技大学计算机科学与技术学院，四川绵阳 621000

出版日期:2013-08-15 发布日期:2013-08-15

Multi-document summary using LDA and spectral clustering

FU Ling, ZHANG Hui

School of Computer Science and Technology, Southwest University of Science and Technology, Mianyang, Sichuan 621000, China

Online:2013-08-15 Published:2013-08-15

摘要/Abstract

摘要： 自动文摘技术的目标是致力于将冗长的文档内容压缩成较为简短的几段话，将信息全面、简洁地呈现给用户，提高用户获取信息的效率和准确率。所提出的方法在LDA（Latent Dirichlet Allocation）的基础上，使用Gibbs抽样估计主题在单词上的概率分布和句子在主题上的概率分布，结合LDA参数和谱聚类算法提取多文档摘要。该方法使用线性公式来整合句子权重，提取出字数为400字的多文档摘要。使用ROUGE自动摘要评测工具包对DUC2002数据集评测摘要质量，结果表明，该方法能有效地提高摘要的质量。

关键词: Latent Dirichlet Allocation（LDA）, Gibbs抽样, 谱聚类, 多文档摘要

Abstract: Automatic summarization aims to compress lengthy document into a few short paragraphs, offers comprehensive and concise information to the users and improves the efficiency and accuracy of the information. A summarization method based on Latent Dirichlet Allocation（LDA） is proposed, using Gibbs sampling to estimate the word probability on topics and topic probability on sentences, combing with the LDA parameters and spectral clustering algorithm to extract multi-document summarization. The proposed approach uses a linear formula to integrate the sentence weights, extracting 400-words multi-document summarization. The experimental results show that the proposed method can improve the quality of summary effectively with the automatic summarization evaluation toolkit ROUGE on DUC2002.

Key words: Latent Dirichlet Allocation（LDA）, Gibbs sampling, spectral clustering, multi-document summary

付玲，张晖. 结合LDA和谱聚类的多文档摘要[J]. 计算机工程与应用, 2013, 49(16): 142-145.

FU Ling, ZHANG Hui. Multi-document summary using LDA and spectral clustering[J]. Computer Engineering and Applications, 2013, 49(16): 142-145.

[1]	赵凡，张琳，闻治泉，杨林林，蔺广逢. 一种直接高效的自然场景汉字逼近定位方法[J]. 计算机工程与应用, 2021, 57(6): 159-167.
[2]	白璐，赵鑫，孔钰婷，张正航，邵金鑫，钱育蓉. 谱聚类算法研究综述[J]. 计算机工程与应用, 2021, 57(14): 15-26.
[3]	王雨思，路德杨，李海洋. 基于分式函数约束的稀疏子空间聚类方法[J]. 计算机工程与应用, 2020, 56(7): 39-47.
[4]	朱丹，陈晓红，吴卿源，李舜酩. 自适应图学习诱导的子空间聚类[J]. 计算机工程与应用, 2020, 56(21): 30-37.
[5]	杨静雅，孙林夫，吴奇石. 基于半监督谱聚类集成的售后客户细分[J]. 计算机工程与应用, 2020, 56(2): 266-271.
[6]	杨露，宋焕生，张朝阳. 基于轨迹稀疏聚类的高速公路车辆检测[J]. 计算机工程与应用, 2020, 56(15): 251-258.
[7]	蒋忆睿，裴洋，陈磊，王文乐，代江艳，易玉根. 多局部约束自表示的谱聚类算法[J]. 计算机工程与应用, 2020, 56(11): 172-178.
[8]	王小玉1，丁世飞1，2. 基于共享近邻的成对约束谱聚类算法[J]. 计算机工程与应用, 2019, 55(2): 142-147.
[9]	周晓宇，张龙波，王雷，李鑫翔. 结合谱聚类与改进RSF模型的医学图像分割[J]. 计算机工程与应用, 2019, 55(15): 193-197.
[10]	杜婷婷，文国秋，吴林，童涛，谭马龙. 基于局部协方差矩阵的谱聚类算法[J]. 计算机工程与应用, 2019, 55(14): 148-154.
[11]	肖文强，姚世军，吴善明. 基于用户谱聚类的Top-N协同过滤推荐算法[J]. 计算机工程与应用, 2018, 54(7): 138-143.
[12]	刘汉强，赵静. 基于半监督的超像素谱聚类彩色图像分割算法[J]. 计算机工程与应用, 2018, 54(14): 186-190.
[13]	张涛1，2，葛洪伟1，2，苏辉1，2，张欢庆2. 基于局部密度和测地距离的谱聚类[J]. 计算机工程与应用, 2017, 53(7): 141-146.
[14]	邹旭华1，叶晓东2，谭治英2，陆凯2. 基于改进的相似度度量的谱聚类图像分割方法[J]. 计算机工程与应用, 2017, 53(13): 16-20.
[15]	许洪玮，曹江中，何家峰，戴青云. 基于密度与路径的稳健谱聚类[J]. 计算机工程与应用, 2015, 51(2): 165-170.

结合LDA和谱聚类的多文档摘要

Multi-document summary using LDA and spectral clustering

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics