基于MapReduce的多文档自动文摘的设计与实现

计算机工程与应用 ›› 2011, Vol. 47 ›› Issue (35): 67-70.

基于MapReduce的多文档自动文摘的设计与实现

胡琪，邹细勇

中国计量学院光学与电子科技学院，杭州 310018

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2011-12-11 发布日期:2011-12-11

Design and implementation of multi-document automatic summarization using MapReduce

HU Qi，ZOU Xiyong

College of Optical and Electronic Technology，China Jiliang University，Hangzhou 310018，China

Received:1900-01-01 Revised:1900-01-01 Online:2011-12-11 Published:2011-12-11

摘要/Abstract

摘要： 多文档文摘是将同一主题下的多个文本描述的主要的信息按压缩比提炼为一个文本的自然语言处理技术，它可以从全局的角度对网络信息进行挖掘。在面对飞速增长的网络资源时，如何准确、高效地从海量数据源内进行自动文摘处理，是多文档自动文摘面临的主要难题之一。MapReduce是Google提出的一种分布式并行计算方法，它可以部署在任意一个普通商用计算机组成的集群上，能够有效地协调集群内各计算机的计算任务，充分利用计算机集群的处理能力，能够对海量数据进行有效的分析处理。提出了一个有效的实验模型，将MapReduce分布式并行框架应用在多文档自动文摘技术中。实验结果表明，MapReduce在保证文摘质量的前提下，能够有效地提高文摘抽取过程的处理性能。

关键词: 多文档自动文摘, MapReduce, 并行计算

Abstract: Multi-document summarization is a technology of natural languages processing，which extracts important information from multiple texts about same topic according to ratio of compression.It can execute data mining of Internet information from the global perspective.In the face of rapid growth of network resources，how to process automatic text summarization accurately and efficiently from mass data source is a main challenge in multi-document summarization.MapReduce is a distributed and parallel?computing method recommend by Google which can be deployed in cluster of any ordinary commercial computers.It can coordinate compute tasks of each computer in cluster，take full advantage of the processing power of computer cluster and analyze mass data efficiently.This paper presents an effective experimental model，which implements multi-document automatic summarization technology with MapReduce，which is a distributed and parallel framework.The results show that MapReduce can effectively improve the performance in the processing of extracting abstracts in the premise of the quality of summarization.

Key words: multi-document automatic summarization, MapReduce, parallel?computing

胡琪，邹细勇. 基于MapReduce的多文档自动文摘的设计与实现[J]. 计算机工程与应用, 2011, 47(35): 67-70.

HU Qi，ZOU Xiyong. Design and implementation of multi-document automatic summarization using MapReduce[J]. Computer Engineering and Applications, 2011, 47(35): 67-70.

[1]	冯凯，李婧. k元n方体网络的子网络可靠性[J]. 计算机工程与应用, 2021, 57(16): 83-89.
[2]	李健，张大伟，姜晓明，向立云. 并行化洪水演进模拟研究综述[J]. 计算机工程与应用, 2021, 57(13): 1-7.
[3]	孙明，陈昕. 面向卷积神经网络的硬件加速器设计方法[J]. 计算机工程与应用, 2021, 57(13): 77-84.
[4]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[5]	叶颖诗，魏福义，蔡贤资. 基于并行计算的快速Dijkstra算法研究[J]. 计算机工程与应用, 2020, 56(6): 58-65.
[6]	杜伟，傅游. 基于GPU的最小二乘蒙特卡罗算法期权定价[J]. 计算机工程与应用, 2020, 56(4): 225-229.
[7]	金之雁，杨磊，林隽民，王哲. 广义共轭余差法的通信避免算法[J]. 计算机工程与应用, 2020, 56(3): 74-79.
[8]	刘家华，陈靖宇. 多核并行脉冲神经网络模拟器的设计[J]. 计算机工程与应用, 2020, 56(22): 244-250.
[9]	邬阳阳，汤建国. 大数据背景下粗糙集属性约简研究进展[J]. 计算机工程与应用, 2019, 55(6): 31-38.
[10]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[11]	季长清1，2，肖鹏3，刘畅4，汪祖民2，西方2，邵寅博1，李泽宇2. 基于空间近邻查询的移动医疗呼叫算法[J]. 计算机工程与应用, 2019, 55(2): 206-212.
[12]	刘洋，陈经纬，冯勇，吴文渊. 并行LLL算法研究综述[J]. 计算机工程与应用, 2019, 55(16): 36-41.
[13]	曾有灵，陈耿铎，熊威，李喆. 基于Spark的CT图像FBP重建算法程序并行设计[J]. 计算机工程与应用, 2019, 55(10): 218-224.
[14]	姜悦宁1，2，3，贾宏光1，3，厉明1，3. 基于多核并行计算的无人机CFD数值模拟[J]. 计算机工程与应用, 2018, 54(7): 221-225.
[15]	魏子衿1，2，3，肖丽2，3. 基于区域分解的并行动态LOD构建算法[J]. 计算机工程与应用, 2018, 54(6): 168-177.