计算机工程与应用 ›› 2015, Vol. 51 ›› Issue (14): 127-130.

• 数据库、数据挖掘、机器学习 • 上一篇    下一篇

一种基于维基百科的文本表示方法

黄浩军1,王胜清2   

  1. 1.北京大学 软件与微电子学院,北京 100871
    2.北京大学 现代教育技术中心,北京 100871
  • 出版日期:2015-07-15 发布日期:2015-08-03

New text represent method based on Wikipedia

HUANG Haojun1, WANG Shengqing2   

  1. 1.School of Software & Microelectronics, Peking University, Beijing 100871, China
    2.Center for Education Technology, Peking University, Beijing 100871, China
  • Online:2015-07-15 Published:2015-08-03

摘要: 文本表示是自然语言处理中的基础任务,通常的文本表示模型都是基于训练数据充分的情况下进行。而在训练数据缺乏时,无法完成自然语言处理任务。提出了一种基于维基百科的文本表示方法,引入维基百科词条之间的关系,通过PageRank传播模型,能够一定程度上解决训练数据缺乏时文本表示的问题。通过实验论证了基于维基百科的文本表示能够增强分类方法的准确率、召回率和F1-测度。

关键词: 维基百科, 隐含狄利克雷分布, 文本表示, 文本分类

Abstract: Text representation is the basic task in natural language processing. In general, text representation model can build with sufficient text data. While with insufficient data, it can not complete the task in natural language processing. So, it comes up with a new text represent method to overcome the dilemma. It builds the semantic relationship between words using the link in Wikipedia, and enriches the representation with page rank model diffusing the message to other wiki-items. It verifies that this enrichment can raise the precision, recall and F1-measure of the text classification method.

Key words: Wikipedia, Latent Dirichlet Allocation(LDA), text representation, text classification