基于图模型的多文档摘要生成算法

doi:10.3778/j.issn.1002-8331.1905-0456

计算机工程与应用 ›› 2020, Vol. 56 ›› Issue (16): 124-131.DOI: 10.3778/j.issn.1002-8331.1905-0456

基于图模型的多文档摘要生成算法

张云纯，张琨，徐济铭，袁卫平，蔡颖，高雅

1.南京理工大学计算机科学与工程学院，南京 210094
2.国家计算机网络与信息安全管理中心江苏分中心互联网信息处，南京 210019

出版日期:2020-08-15 发布日期:2020-08-11

Multi-document Summary Generation Algorithm Based on Graph Model

ZHANG Yunchun, ZHANG Kun, XU Jiming, YUAN Weiping, CAI Ying, GAO Ya

1.School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China
2.Department of Internet Information, Jiangsu Branch of National Computer Network and Information Security Management Center, Nanjing 210019, China

Online:2020-08-15 Published:2020-08-11

摘要/Abstract

摘要：

提出一种基于图模型的多文档摘要生成算法，对海外大量新闻文档进行主题划分，并提取每个主题的摘要。利用传统的基于图模型方法得到的摘要，其冗余度较高，亦不能够充分考虑新闻文本时效性强、主题明确的特征。在文本特征向量化方面，引入了热度系数，改进了传统的TF-IDF算法。在主题的划分方面，采用基于密度的两阶段聚类方法，改进了传统的基于[K]-Means进行聚类的方法的不足，同时对文本进行更明确、更具层次性的主题划分。在摘要抽取方面，为句子设计了符合新闻文本特征的重要度计算公式。实验结果表明，基于图模型的自动文本摘要生成算法的效果优于传统算法。

关键词: 文本聚类, 自动摘要, 图模型, 多特征融合

Abstract:

A multi-document text summarization algorithm based on graph model is proposed to divide a large number of overseas news documents into themes and extract the abstracts of each theme. Abstract generated by the traditional method of abstract generation based on graph model has high redundancy and fails to fully consider the timeliness and clear theme of news text. In the aspect of text feature vectorization, exponential attenuation coefficient is introduced to improve the traditional TF-IDF algorithm. In terms of theme classification, the density-based fast clustering method is adopted, which improves the shortcomings of the traditional [K]-Means clustering method. At the same time, the two-stage text clustering is used to divide the text into more explicit and hierarchical themes. In the aspect of abstract extraction, this algorithm designs a formula for sentence significance which conforms to the characteristics of news text. Experimental results show that the improved algorithm is superior to the traditional algorithm.

Key words: text clustering, automatic summary, graph model, multi-feature fusion

张云纯，张琨，徐济铭，袁卫平，蔡颖，高雅. 基于图模型的多文档摘要生成算法[J]. 计算机工程与应用, 2020, 56(16): 124-131.

ZHANG Yunchun, ZHANG Kun, XU Jiming, YUAN Weiping, CAI Ying, GAO Ya. Multi-document Summary Generation Algorithm Based on Graph Model[J]. Computer Engineering and Applications, 2020, 56(16): 124-131.

[1]	霍光煜，张勇，孙艳丰，尹宝才. 基于语义的档案数据智能分类方法研究[J]. 计算机工程与应用, 2021, 57(6): 247-253.
[2]	胡晓敏，王明丰，张首荣，李敏. 用于文本聚类的新型差分进化粒子群算法[J]. 计算机工程与应用, 2021, 57(4): 61-67.
[3]	畅雅雯，赵冬青，单彦虎. 多特征融合和自适应聚合的立体匹配算法研究[J]. 计算机工程与应用, 2021, 57(23): 219-225.
[4]	张晓晓，牛福，毛健平，安居白，郭浩. 基于多特征融合与ResNet的海面溢油区识别研究[J]. 计算机工程与应用, 2021, 57(14): 267-274.
[5]	潘成胜，张斌，吕亚娜，杜秀丽，邱少明. 改进灰狼优化算法的K-Means文本聚类[J]. 计算机工程与应用, 2021, 57(1): 188-193.
[6]	王思奎，刘云鹏，亓琳，张钟毓，林智远. 基于背景约束与卷积特征的目标跟踪方法[J]. 计算机工程与应用, 2020, 56(8): 205-214.
[7]	张卫卫，胡亚琦，翟广宇，刘志鹏. 基于LDA模型和Doc2vec的学术摘要聚类方法[J]. 计算机工程与应用, 2020, 56(6): 180-185.
[8]	赵京霞，钱育蓉，南方哲，张晗，行艳妮. CNN多层特征融合与ELM的乳腺疾病诊断方法[J]. 计算机工程与应用, 2020, 56(4): 122-127.
[9]	刘晓栋，尚振宏，黄欢. 有效块的多特征融合的目标跟踪方法[J]. 计算机工程与应用, 2020, 56(3): 201-206.
[10]	李昕昕，杨林. 面向复杂道路场景小尺度行人的实时检测算法[J]. 计算机工程与应用, 2020, 56(22): 124-131.
[11]	陈雨婷，刘旭红，刘秀磊. 面向招投标领域的远程监督实体关系抽取研究[J]. 计算机工程与应用, 2020, 56(17): 243-250.
[12]	武庆圆1，冯佳纯2，罗茂权2，何凌南3. 用户级情感预测主题模型的构建与研究[J]. 计算机工程与应用, 2018, 54(6): 123-127.
[13]	黄丽雯，杨欢欢，王勃. 非对称方向性局部二值模式人脸表情识别[J]. 计算机工程与应用, 2018, 54(23): 183-188.
[14]	张锦，程良伦. 一种分布式CPS异常检测的无监督图模型[J]. 计算机工程与应用, 2018, 54(12): 110-115.
[15]	王彬宇1，刘文芬2，胡学先1，魏江宏1. 基于余弦距离选取初始簇中心的文本聚类研究[J]. 计算机工程与应用, 2018, 54(10): 11-18.

基于图模型的多文档摘要生成算法

Multi-document Summary Generation Algorithm Based on Graph Model

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics