结合优化的文档频和LSA的特征选择方法

doi:10.3778/j.issn.1002-8331.2009.34.037

计算机工程与应用 ›› 2009, Vol. 45 ›› Issue (34): 121-123.DOI: 10.3778/j.issn.1002-8331.2009.34.037

• 数据库、信号与信息处理 • 上一篇下一篇

结合优化的文档频和LSA的特征选择方法

朱颢东^1，2，钟勇^1，2

1.中国科学院成都计算机应用研究所，成都 610041
2.中国科学院研究生院，北京 100039

收稿日期:2008-12-09 修回日期:2009-02-27 出版日期:2009-12-01 发布日期:2009-12-01
通讯作者: 朱颢东

Feature selection method combined on optimized document frequency with LSA

ZHU Hao-dong^1，2，ZHONG Yong^1，2

1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu 610041，China
2.Graduate University of Chinese Academy of Sciences，Beijing 100039，China

Received:2008-12-09 Revised:2009-02-27 Online:2009-12-01 Published:2009-12-01
Contact: ZHU Hao-dong

摘要/Abstract

摘要： 为了提高文本分类算法的效率和精度，必须使用特征选择算法来降低特征空间的维数。然而许多常用特征选择算法在选择属性时，只是利用特征的权重而并没有考虑特征之间的隐含关系，使得得到的特征集存在一定的冗余，并不具备较好的代表性。首先给出了一个基于最小词频的文档频方法，并用它过滤掉一些词条以降低文本矩阵的稀疏性，然后使用LSA进行词语间的语义分析，消除同义词和多义词的影响，提高了文本分类的速度与精确度。实验结果表明此种特征选择方法效果良好。

关键词: 文本分类, 词频, 文档频, 潜在语义分析

Abstract: In order to improve efficiency and accuracy of text categorization algorithms，feature selection algorithm must be used.However，a number of feature selection algorithms selected features by means of weights and do not take into consideration features of hidden relationship，so selected feature subset has some redundancy and is not better representative.This paper presents document frequency method based on minimum word frequency and uses this method to filter out some terms to reduce the sparsity of text matrix，then LSA method is used to analyze semanteme among words and to eliminate the influence of synonyms and polysemous words．The combined method raises the speed and accuracy of text categorization．The experimental results show that the combined method is promising.

Key words: text categorization, word frequency, document frequency, Latent Semantic Analysis（LSA）

中图分类号:

TP301

朱颢东^1，2，钟勇^1，2. 结合优化的文档频和LSA的特征选择方法[J]. 计算机工程与应用, 2009, 45(34): 121-123.

ZHU Hao-dong^1，2，ZHONG Yong^1，2. Feature selection method combined on optimized document frequency with LSA[J]. Computer Engineering and Applications, 2009, 45(34): 121-123.

[1]	黄金杰，蔺江全，何勇军，何瑾洁，王雅君. 局部语义与上下文关系的中文短文本分类算法[J]. 计算机工程与应用, 2021, 57(6): 94-100.
[2]	霍光煜，张勇，孙艳丰，尹宝才. 基于语义的档案数据智能分类方法研究[J]. 计算机工程与应用, 2021, 57(6): 247-253.
[3]	郑诚，董春阳，黄夏炎. 基于BTM图卷积网络的短文本分类方法[J]. 计算机工程与应用, 2021, 57(4): 155-160.
[4]	贺文亮，朱敏玲. 胶囊神经网络研究现状与未来的浅析[J]. 计算机工程与应用, 2021, 57(3): 33-43.
[5]	滕金保，孔韦韦，田乔鑫，王照乾，李龙. 基于CNN和LSTM的多通道注意力机制文本分类模型[J]. 计算机工程与应用, 2021, 57(23): 154-162.
[6]	武书钊，李功权，卜明伟. 基于知识图谱的自杀倾向检测问答系统构建[J]. 计算机工程与应用, 2021, 57(22): 304-312.
[7]	李铁飞，生龙，吴迪. BERT-TECNN模型的文本分类方法研究[J]. 计算机工程与应用, 2021, 57(18): 186-193.
[8]	丁勇，程家桥，蒋翠清，王钊. 基于主题和关键词特征的比较文本分类方法[J]. 计算机工程与应用, 2021, 57(17): 196-202.
[9]	滕金保，孔韦韦，田乔鑫，王照乾. 基于LSTM-Attention与CNN混合模型的文本分类方法[J]. 计算机工程与应用, 2021, 57(14): 126-133.
[10]	翟一鸣，王斌君，周枝凝，仝鑫. 面向文本分类的多头注意力池化RCNN模型[J]. 计算机工程与应用, 2021, 57(12): 155-160.
[11]	姚佳奇，徐正国，燕继坤，王科人. GCN-PU:基于图卷积网络的PU文本分类算法[J]. 计算机工程与应用, 2021, 57(11): 162-167.
[12]	申艳光，贾耀清. 基于词共现与图卷积的文本分类方法[J]. 计算机工程与应用, 2021, 57(11): 173-178.
[13]	郝超，裘杭萍，孙毅，张超然. 多标签文本分类研究进展[J]. 计算机工程与应用, 2021, 57(10): 48-56.
[14]	张曼，夏战国，刘兵，周勇. 全卷积神经网络的字符级文本分类方法[J]. 计算机工程与应用, 2020, 56(5): 166-172.
[15]	唐庄，王志舒，周爱，冯美姗，屈雯，鲁明羽. 面向文本分类的transformer-capsule集成模型[J]. 计算机工程与应用, 2020, 56(24): 151-156.

结合优化的文档频和LSA的特征选择方法

Feature selection method combined on optimized document frequency with LSA

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics