基于信息增益的特征词权重调整算法研究

计算机工程与应用 ›› 2007, Vol. 43 ›› Issue (35): 159-161.

基于信息增益的特征词权重调整算法研究

张玉芳,陈小莉,熊忠阳

重庆大学计算机学院，重庆 400030

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2007-12-11 发布日期:2007-12-11
通讯作者: 张玉芳

Improved approach to weighting terms using information gain

ZHANG Yu-fang,CHEN Xiao-li,XIONG Zhong-yang

College of Computer，Chongqing University，Chongqing 400030，China

Received:1900-01-01 Revised:1900-01-01 Online:2007-12-11 Published:2007-12-11
Contact: ZHANG Yu-fang

摘要/Abstract

摘要： 传统权重公式TFIDF忽略了词语在集合中的分布比例，针对TFIDF的这个缺点，把信息增益公式引入文本集合中并提出IF*IDF*IG，取得了较好的效果。在分析中发现单纯把信息增益引入文本集合并不能完全解决词语分布对词语权重的影响。从文档类别层次上考虑，把信息论中信息增益应用到文本集合的类别层次上，提出了一种改进的权重公式tf*idf*IGc，用改进的权重公式来衡量词语在文本集合的各个类别中分布比例上的差异，进一步弥补传统公式的不足。实验对比了改进的公式tf*idf*IGc和IF*IDF*IG的实验效果，实验证明tf*idf*IGc权重公式在表现词语权重时更有效。

关键词: 信息增益, 信息熵, 词语分布比例, 文本分类

Abstract: This paper applies the information gain to remedy the defect of TFIDF neglecting the proportion of distribution of terms in categories of the text collection.The information gain of terms as one factor for term-weighting can effectively weight the proportion of distribution of terms.

Key words: information gain, shannon entropy, distribution of terms, text classification

张玉芳,陈小莉,熊忠阳. 基于信息增益的特征词权重调整算法研究[J]. 计算机工程与应用, 2007, 43(35): 159-161.

ZHANG Yu-fang,CHEN Xiao-li,XIONG Zhong-yang. Improved approach to weighting terms using information gain[J]. Computer Engineering and Applications, 2007, 43(35): 159-161.

[1]	霍光煜，张勇，孙艳丰，尹宝才. 基于语义的档案数据智能分类方法研究[J]. 计算机工程与应用, 2021, 57(6): 247-253.
[2]	黄金杰，蔺江全，何勇军，何瑾洁，王雅君. 局部语义与上下文关系的中文短文本分类算法[J]. 计算机工程与应用, 2021, 57(6): 94-100.
[3]	王鹏，叶学义，王涛，钱丁炜. 双偏差双空间局部方向模式的人脸识别[J]. 计算机工程与应用, 2021, 57(4): 91-99.
[4]	郑诚，董春阳，黄夏炎. 基于BTM图卷积网络的短文本分类方法[J]. 计算机工程与应用, 2021, 57(4): 155-160.
[5]	贺文亮，朱敏玲. 胶囊神经网络研究现状与未来的浅析[J]. 计算机工程与应用, 2021, 57(3): 33-43.
[6]	滕金保，孔韦韦，田乔鑫，王照乾，李龙. 基于CNN和LSTM的多通道注意力机制文本分类模型[J]. 计算机工程与应用, 2021, 57(23): 154-162.
[7]	武书钊，李功权，卜明伟. 基于知识图谱的自杀倾向检测问答系统构建[J]. 计算机工程与应用, 2021, 57(22): 304-312.
[8]	江魁，丘远东，郑浩城. 基于信息熵与LSTM的ICMPv6 DDoS攻击检测方法[J]. 计算机工程与应用, 2021, 57(21): 148-154.
[9]	李铁飞，生龙，吴迪. BERT-TECNN模型的文本分类方法研究[J]. 计算机工程与应用, 2021, 57(18): 186-193.
[10]	丁勇，程家桥，蒋翠清，王钊. 基于主题和关键词特征的比较文本分类方法[J]. 计算机工程与应用, 2021, 57(17): 196-202.
[11]	宋世杰，陈开颜，张阳. 信息熵角度下的深度学习旁路安全评估框架[J]. 计算机工程与应用, 2021, 57(17): 138-146.
[12]	杨信民，董红斌，谭成予，周雯. 采用奇异值分解和信息增益的树突状细胞模型[J]. 计算机工程与应用, 2021, 57(15): 156-162.
[13]	滕金保，孔韦韦，田乔鑫，王照乾. 基于LSTM-Attention与CNN混合模型的文本分类方法[J]. 计算机工程与应用, 2021, 57(14): 126-133.
[14]	张念蓬，吴旭，朱强. 基于熵的过采样框架[J]. 计算机工程与应用, 2021, 57(13): 96-101.
[15]	翟一鸣，王斌君，周枝凝，仝鑫. 面向文本分类的多头注意力池化RCNN模型[J]. 计算机工程与应用, 2021, 57(12): 155-160.