结合LDA与Self-Attention的短文本情感分类方法

doi:10.3778/j.issn.1002-8331.2001-0148

计算机工程与应用 ›› 2020, Vol. 56 ›› Issue (18): 165-170.DOI: 10.3778/j.issn.1002-8331.2001-0148

结合LDA与Self-Attention的短文本情感分类方法

陈欢，黄勃，朱翌民，俞雷，余宇新

1.上海工程技术大学电子电气工程学院，上海 201620
2.江西省经济犯罪侦查与防控技术协同创新中心，南昌 330103
3.上海外国语大学国际金融贸易学院，上海 201620

出版日期:2020-09-15 发布日期:2020-09-10

Short Text Emotion Classification Method Combining LDA and Self-Attention

CHEN Huan, HUANG Bo, ZHU Yimin, YU Lei, YU Yuxin

1.School of Electrical and Electronic Engineering, Shanghai University of Engineering and Technology, Shanghai 201620, China
2.Jiangxi Collaborative Innovation Center for Economic Crime Detection and Prevention and Control, Nanchang 330103, China
3.School of Economics and Finance, Shanghai International Studies University, Shanghai 201620, China

Online:2020-09-15 Published:2020-09-10

摘要/Abstract

摘要：

在对短文本进行情感分类任务的过程中，由于文本长度过短导致数据稀疏，降低了分类任务的准确率。针对这个问题，提出了一种基于潜在狄利克雷分布（LDA）与Self-Attention的短文本情感分类方法。使用LDA获得每个评论的主题词分布作为该条评论信息的扩展，将扩展信息和原评论文本一起输入到word2vec模型，进行词向量训练，使得该评论文本在高维向量空间实现同一主题的聚类，使用Self-Attention进行动态权重分配并进行分类。通过在谭松波酒店评论数据集上的实验表明，该算法与当前主流的短文本分类情感算法相比，有效地提高了分类性能。

关键词: 主题词, 短文本, Self-Attention, 潜在狄利克雷分布（LDA）, word2vec

Abstract:

In the process of the short text emotional classification tasks, the data is sparse due to the short text length, which reduces the accuracy of classification tasks. To solve this problem, this paper proposes a short text emotional classification method based on Latent Dirichlet Allocation（LDA） and Self-Attention. LDA is used to obtain the topic word distribution of each comment as the extension of the comment information. The extended information and the original comment text are input into word2vec model to train the word vector, so that the comment text can cluster the same topic in high-dimensional vector space. Self-Attention is used for dynamic weight allocation and classification. The experiment on Tan Songbo hotel review data set shows that the algorithm in this paper improves the classification performance effectively compared with the current mainstream short text emotional classification algorithm.

Key words: topic word, short text, Self-Attention, Latent Dirichlet Allocation（LDA）, word2vec

陈欢，黄勃，朱翌民，俞雷，余宇新. 结合LDA与Self-Attention的短文本情感分类方法[J]. 计算机工程与应用, 2020, 56(18): 165-170.

CHEN Huan, HUANG Bo, ZHU Yimin, YU Lei, YU Yuxin. Short Text Emotion Classification Method Combining LDA and Self-Attention[J]. Computer Engineering and Applications, 2020, 56(18): 165-170.

[1]	黄金杰，蔺江全，何勇军，何瑾洁，王雅君. 局部语义与上下文关系的中文短文本分类算法[J]. 计算机工程与应用, 2021, 57(6): 94-100.
[2]	郑诚，董春阳，黄夏炎. 基于BTM图卷积网络的短文本分类方法[J]. 计算机工程与应用, 2021, 57(4): 155-160.
[3]	明建华，胡创，周建政，姚金良. 针对直播弹幕的TextCNN过滤模型[J]. 计算机工程与应用, 2021, 57(3): 162-167.
[4]	李铁飞，生龙，吴迪. BERT-TECNN模型的文本分类方法研究[J]. 计算机工程与应用, 2021, 57(18): 186-193.
[5]	张卫卫，胡亚琦，翟广宇，刘志鹏. 基于LDA模型和Doc2vec的学术摘要聚类方法[J]. 计算机工程与应用, 2020, 56(6): 180-185.
[6]	周康，万良，丁红卫. 基于AN和LSTM的恶意域名检测[J]. 计算机工程与应用, 2020, 56(4): 92-98.
[7]	李晋源，康雁，杨其越，王沛尧，崔国荣. 面向方面记忆网络的IT产品细粒度情感分析[J]. 计算机工程与应用, 2020, 56(3): 159-164.
[8]	胡阳，胡学钢，李培培. 基于Spark的快速短文本数据流分类方法[J]. 计算机工程与应用, 2020, 56(14): 138-147.
[9]	张祖平，沈晓阳. 基于深度学习的用户行为推荐方法研究[J]. 计算机工程与应用, 2019, 55(4): 142-147.
[10]	宋冬云，郑瑾，张祖平. 基于混合策略的中文短文本相似度计算[J]. 计算机工程与应用, 2018, 54(12): 116-120.
[11]	冯旭鹏1，马震1，谢波1，刘利军2，黄青松2. 基于聚类集成的微博话题发现方法[J]. 计算机工程与应用, 2017, 53(8): 81-86.
[12]	魏文1，杨辉华1，2，李灵巧1，2，杨浩1，何胜韬3. 城管案件短文本特征生成与选择方法及其应用[J]. 计算机工程与应用, 2017, 53(18): 115-120.
[13]	陈红阳，汪林林，鲁江坤，唐志，王飞雪. 基于双态模型的微博话题跟踪方法研究[J]. 计算机工程与应用, 2017, 53(16): 144-148.
[14]	邱云飞，赵彬，林明明，王伟. 结合语义改进的K-means短文本聚类算法[J]. 计算机工程与应用, 2016, 52(19): 78-83.
[15]	张佳明，席耀一，王波，唐浩浩，李天彩. 基于词向量的微博事件追踪方法[J]. 计算机工程与应用, 2016, 52(17): 73-78.

结合LDA与Self-Attention的短文本情感分类方法

Short Text Emotion Classification Method Combining LDA and Self-Attention

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics