基于粗分和词性标注的中文分词方法

计算机工程与应用 ›› 2015, Vol. 51 ›› Issue (6): 204-207.

基于粗分和词性标注的中文分词方法

姜芳1，2，李国和1，2，3，岳翔4，吴卫江1，2，3，洪云峰3，刘智渊3，程远3

1.中国石油大学（北京）地球物理与信息工程学院，北京 102249
2.中国石油大学（北京）油气数据挖掘北京市重点实验室，北京 102249
3.石大兆信数字身份管理与物联网技术研究院，北京 100029
4.中海油研究总院信息数据中心，北京 100029

出版日期:2015-03-15 发布日期:2015-03-13

Segmentation of Chinese word based on method of rough segment and part of speech tagging

JIANG Fang1，2, LI Guohe1，2，3, YUE Xiang4, WU Weijiang1，2，3, HONG Yunfeng3, LIU Zhiyuan3, CHENG Yuan3

1.College of Geophysics and Information Engineering, China University of Petroleum, Beijing 102249, China
2.Beijing Key Lab of Data Mining for Petroleum Data, China University of Petroleum, Beijing 102249, China
3.PanPass Institute of Digital Identification Management and Internet of Things, Beijing 100029, China
4.Information & Data Center, CNOOC Research Institute, Beijing 100029, China

Online:2015-03-15 Published:2015-03-13

摘要/Abstract

摘要： 中文分词是中文信息处理的重要内容之一。在基于最大匹配和歧义检测的粗分方法获取中文粗分结果集上，根据隐马尔可夫模型标注词性，通过Viterbi算法对每个中文分词的粗分进行词性标注。通过定义最优分词粗分的评估函数对每个粗分的词性标注进行粗分评估，获取最优的粗分为最终分词。通过实验对比，证明基于粗分和词性标注的中文分词方法具有良好的分词效果。

关键词: 分词, 词性标注, 隐马尔可夫模型, Viterbi算法

Abstract: The segmentation of Chinese words from text documents is one of important contents of Chinese information processing. After every segmentation of Chinese words is obtained by the Chinese word rough segmentation by maximum match and ambiguity detection algorithms, each word in every rough segmentation is tagged by Viterbi algorithm according to HMM model of part-of-speech tagging. Each rough segmentation is estimated by the definition of optimal estimation function of part-of-speech tagging, and then the best one is selected as the optimal segmentation. The segmentation presented is better than others by the comparison of experiments.

Key words: word segmentation, part-of-speech tagging, Hidden Markov Model（HMM）, Viterbi algorithm

姜芳1，2，李国和1，2，3，岳翔4，吴卫江1，2，3，洪云峰3，刘智渊3，程远3. 基于粗分和词性标注的中文分词方法[J]. 计算机工程与应用, 2015, 51(6): 204-207.

JIANG Fang1，2, LI Guohe1，2，3, YUE Xiang4, WU Weijiang1，2，3, HONG Yunfeng3, LIU Zhiyuan3, CHENG Yuan3. Segmentation of Chinese word based on method of rough segment and part of speech tagging[J]. Computer Engineering and Applications, 2015, 51(6): 204-207.

[1]	吴楚田，陈永乐，陈俊杰. 多协议交叉的HMM协议异常检测算法[J]. 计算机工程与应用, 2020, 56(8): 81-86.
[2]	涂文博，袁贞明，俞凯. 无池化层卷积神经网络的中文分词方法[J]. 计算机工程与应用, 2020, 56(2): 120-126.
[3]	依沙·吾阿提别克，阿里甫·库尔班，郝子煜，周雷，吕情深. 聋哑学校语文辅助教学系统研究[J]. 计算机工程与应用, 2020, 56(11): 225-229.
[4]	刘晨晖，张德生，胡钢. 基于TAKE的中文关键短语提取算法研究[J]. 计算机工程与应用, 2020, 56(10): 115-121.
[5]	贾志淳，卢元，李想，邢星. 一种多参数的Web服务选择方法[J]. 计算机工程与应用, 2019, 55(21): 74-78.
[6]	孙宝山，李玮. 窥视孔连接的循环网络在中文分词上的研究[J]. 计算机工程与应用, 2019, 55(19): 160-165.
[7]	杨世强，罗晓宇，李小莉，杨江涛，李德信. 基于DBN-HMM的人体动作识别[J]. 计算机工程与应用, 2019, 55(15): 169-176.
[8]	纪明宇，王晨龙，安翔，牟伟晔. 面向智能客服的句子相似度计算方法[J]. 计算机工程与应用, 2019, 55(13): 123-128.
[9]	郇战，李晨，万彩艳，陈学杰. 基于步行加速度信息分割的人员识别[J]. 计算机工程与应用, 2019, 55(1): 203-209.
[10]	吴小全1，2，李晖1，2，陈梅1，2，戴震宇1，2. DRVisSys：基于属性相关性分析的可视化推荐系统[J]. 计算机工程与应用, 2018, 54(7): 251-256.
[11]	成于思1，施云涛2. 面向专业领域的中文分词方法[J]. 计算机工程与应用, 2018, 54(17): 30-34.
[12]	张绍阳，曹家波，王子凡，曲卫东. 基于加权二部图匹配的中文段落相似度计算[J]. 计算机工程与应用, 2017, 53(18): 95-101.
[13]	马正华1，李雷2，乔玉涛2，戎海龙3，曹海婷2. 基于多传感器融合的动态手势识别研究分析[J]. 计算机工程与应用, 2017, 53(17): 153-159.
[14]	肖晓红1，张懿2，刘冬生1，欧阳春娟1. 基于隐马尔可夫模型的音乐分类[J]. 计算机工程与应用, 2017, 53(16): 138-143.
[15]	徐春1，2，3，杨勇4，蒋同海1. 基于机器翻译的维吾尔语形态分析研究[J]. 计算机工程与应用, 2017, 53(14): 138-142.