计算机工程与应用 ›› 2007, Vol. 43 ›› Issue (1): 24-24.

• 博士论坛 • 上一篇    下一篇

使用概念基元特征进行自动文本分类

贾宁   

  1. 中国科学院声学研究所
  • 收稿日期:2006-07-19 修回日期:1900-01-01 出版日期:2007-01-01 发布日期:2007-01-01
  • 通讯作者: 贾宁 gnin_aij gnin_aij

Using Concept Primitive Feature for Text Classification

Ning Jia   

  1. 中国科学院声学研究所
  • Received:2006-07-19 Revised:1900-01-01 Online:2007-01-01 Published:2007-01-01
  • Contact: Ning Jia

摘要: 自动文本分类技术是大规模文档数据处理的关键技术,在文本分类过程中通常先进行文本表示,即把文本转化为特征向量,这其中常用的特征有特征词、词频、N-gram等等。本文研究了一种新的特征,即词语的HNC概念符号。词语的HNC概念符号来自于HNC(概念层次网络Hierarchical Network of Concepts)建立的语义网络,以符号表达式的方式表示了词语的语义信息。因此使用HNC概念符号作为特征实际上是以文本中蕴含的语义信息作为特征,和词频等使用文本表层信息的特征有本质的不同。本文采用最大熵模型的方法建立分类器,以分词和HNC概念符号作为特征进行了研究,并对分类结果进行了比较。结果表明,HNC特征优于分词特征。

关键词: HNC, 特征, 文本分类

Abstract: This paper presents a new kind of feature for text classification. The new features are based on HNC (Hierarchical Network of Concepts) concept primitive. HNC concept primitive are elements of HNC semantic network. They express word’s semantic meaning with symbol expressions. We found the system with Maximum Entropy Model, and test word feature and HNC concept primitive feature respectively. The result shows that HNC concept primitive feature is better than word feature

Key words: HNC, feature, text classification