一种面向大规模微博数据的话题挖掘方法

计算机工程与应用 ›› 2014, Vol. 50 ›› Issue (22): 32-37.

一种面向大规模微博数据的话题挖掘方法

王文帅1，2，杜然1，2，程耀东1，陈刚1

1.中国科学院高能物理研究所计算中心，北京 100049
2.中国科学院大学，北京 100049

出版日期:2014-11-15 发布日期:2014-11-13

Topic mining method on massive microblog data

WANG Wenshuai1，2, DU Ran1，2, CHENG Yaodong1, CHEN Gang1

1.Computing Center，Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
2.University of Chinese Academy of Sciences, Beijing 100049, China

Online:2014-11-15 Published:2014-11-13

摘要/Abstract

摘要： 随着微博的日趋流行，新浪微博已成为公众获取和传播信息的重要平台之一，针对微博数据的话题挖掘也成为当前的研究热点。提出一个面向大规模微博数据的话题挖掘方法。首先对大规模微博数据进行分析，基于Bloom Filter算法对数据进行去重处理，针对微博的特有结构，对文本进行预处理，提出改进的LDA主题模型Social Network LDA（SNLDA），采用吉布斯采样法进行模型推导，挖掘出微博话题。实验结果表明，方法能有效地从大规模微博数据中挖掘出话题信息。

关键词: 微博, Bloom Filter, 社会网络主题模型分析（SNLDA）, 话题挖掘

Abstract: With the daily popularity of microblog, Sina Weibo has become one of the important public access to and dissemination of information platform, microblog topic mining has become a current research focuses. This paper proposes a topic mining method on massive Social Network data. This paper analyzes the large-scale microblog data, uses Bloom Filter algorithm to eliminate the duplicate data. In view of the special structure of microblog, filter the text. SNLDA, an improved LDA topic model is proposed in this paper, Gibbs sampling is chosen to deduce the model, which can mine the microblog topics. The experimental results show that the method can effectively excavate the topics from the large-scale microblog data.

Key words: microblog, Bloom Filter, Social Network LDA（SNLDA）, topic mining

王文帅1，2，杜然1，2，程耀东1，陈刚1. 一种面向大规模微博数据的话题挖掘方法[J]. 计算机工程与应用, 2014, 50(22): 32-37.

WANG Wenshuai1，2, DU Ran1，2, CHENG Yaodong1, CHEN Gang1. Topic mining method on massive microblog data[J]. Computer Engineering and Applications, 2014, 50(22): 32-37.

[1]	赵圆丽，梁志剑. 基于异核卷积双注意机制的立场检测研究[J]. 计算机工程与应用, 2021, 57(8): 119-125.
[2]	吴迪，张梦甜，生龙，黄竹韵，顾明星. 改进在线词对主题模型的微博热点话题演化[J]. 计算机工程与应用, 2021, 57(24): 179-184.
[3]	沈瑞琳，潘伟民，彭成，尹鹏博. 基于多任务学习的微博谣言检测方法[J]. 计算机工程与应用, 2021, 57(24): 192-197.
[4]	李东昊，杨文忠，仲丽君，张志豪，王雪颖. 基于重点博文的突发事件检测方法[J]. 计算机工程与应用, 2020, 56(4): 175-183.
[5]	李鹏飞1，董旭1，仲兆满2，3，李存华2. 基于微博用户兴趣话题的相似用户挖掘[J]. 计算机工程与应用, 2019, 55(11): 102-109.
[6]	高永兵1，张贵娟1，胡文江1，马占飞2. 基于后缀树算法的地区微博摘要技术研究[J]. 计算机工程与应用, 2018, 54(9): 126-132.
[7]	刘琰，张进，陈静，尹美娟，张伟丽. 基于最大频繁项集挖掘的微博炒作群体发现方法[J]. 计算机工程与应用, 2017, 53(4): 90-97.
[8]	奠雨洁，金琴，吴慧敏. 基于多文本特征融合的中文微博的立场检测[J]. 计算机工程与应用, 2017, 53(21): 77-84.
[9]	戴震1，2，程光1，2. 基于通信特征的APT攻击检测方法[J]. 计算机工程与应用, 2017, 53(18): 77-83.
[10]	陈红阳，汪林林，鲁江坤，唐志，王飞雪. 基于双态模型的微博话题跟踪方法研究[J]. 计算机工程与应用, 2017, 53(16): 144-148.
[11]	朱金奇1，2，张兆年1，马春梅1，刘念伯2，鲁力2. 基于地理近邻关系的微博系统朋友推荐[J]. 计算机工程与应用, 2017, 53(13): 72-77.
[12]	段旭磊，张仰森，郭正斌. 微博文本聚类中特征扩展策略研究[J]. 计算机工程与应用, 2017, 53(13): 90-94.
[13]	孙曰昕，马慧芳，姚伟，张志昌. 结合互信息和主题模型的微博话题发现方法[J]. 计算机工程与应用, 2016, 52(6): 61-66.
[14]	张佳明，席耀一，王波，唐浩浩，李天彩. 基于词向量的微博事件追踪方法[J]. 计算机工程与应用, 2016, 52(17): 73-78.
[15]	许超逸1，李德玉1，2，王素格1，2. 基于博文及网络结构信息的好友推荐方法[J]. 计算机工程与应用, 2016, 52(1): 55-60.