基于条件随机场的中文领域分词研究

计算机工程与应用 ›› 2016, Vol. 52 ›› Issue (15): 97-100.

基于条件随机场的中文领域分词研究

朱艳辉，刘璟，徐叶强，田海龙，马进

湖南工业大学计算机与通信学院，湖南株洲 412007

出版日期:2016-08-01 发布日期:2016-08-12

Chinese word segmentation research based on Conditional Random Field

ZHU Yanhui, LIU Jing, XU Yeqiang, TIAN Hailong, MA Jin

School of Computer and Communication, Hunan University of Technology, Zhuzhou, Hunan 412007, China

Online:2016-08-01 Published:2016-08-12

摘要/Abstract

摘要： 针对条件随机场分词不具有良好的领域自适应性，提出一种条件随机场与领域词典相结合的方法提高领域自适应性，并根据构词规则提出了固定词串消解，动词消解，词概率消解三种方法消除歧义。实验结果表明，该分词流程和方法，提高了分词的准确率和自适应性，在计算机领域和医学领域的分词结果F值分别提升了7.6%和8.7%。

关键词: 中文分词, 条件随机场, 领域自适应, 歧义消解, 领域分词, 逆向最大匹配算法

Abstract: According to the Conditional Random Field for Chinese word segmentation, the field is hard to adaptive. A combination of CRF and domain dictionary is proposed to improve the field adaptability, and for eliminating ambiguity, this paper uses fixed word collocation, verb dictionary and word probability by the rule of word formation. The experiental results show that this approach improves the accuracy and adaptability of the word segmentation. F value of the segmentation results in computer and medical fields is increased by 7.6% and 8.7%.

Key words: Chinese word segmentation, Conditional Random Field（CRF）, domain adaption, ambiguity resolution, domain segmentation, reverse directional maximum match method

朱艳辉，刘璟，徐叶强，田海龙，马进. 基于条件随机场的中文领域分词研究[J]. 计算机工程与应用, 2016, 52(15): 97-100.

ZHU Yanhui, LIU Jing, XU Yeqiang, TIAN Hailong, MA Jin. Chinese word segmentation research based on Conditional Random Field[J]. Computer Engineering and Applications, 2016, 52(15): 97-100.

[1]	徐建国，刘泳慧，刘梦凡. 基于BILSTM-CRF的高校政策语义角色标注研究[J]. 计算机工程与应用, 2021, 57(6): 207-211.
[2]	秦博宇，郝晓燕，刘永芳. 基于SVM和CRF双层模型的FrameNet框架消歧[J]. 计算机工程与应用, 2021, 57(18): 255-262.
[3]	田梓函，李欣. 基于BERT-CRF模型的中文事件检测方法研究[J]. 计算机工程与应用, 2021, 57(11): 135-139.
[4]	汪瀛寰，薛婵，包先雨，吴共庆. 触发词与属性值对联合抽取方法研究[J]. 计算机工程与应用, 2020, 56(9): 168-174.
[5]	李博，康晓东，张华丽，王亚鸽，陈亚媛，白放. 采用Transformer-CRF的中文电子病历命名实体识别[J]. 计算机工程与应用, 2020, 56(5): 153-159.
[6]	刘小安，彭涛. 基于卷积神经网络的中文景点识别研究[J]. 计算机工程与应用, 2020, 56(4): 140-145.
[7]	涂文博，袁贞明，俞凯. 无池化层卷积神经网络的中文分词方法[J]. 计算机工程与应用, 2020, 56(2): 120-126.
[8]	马冬梅，贺三三，杨彩锋，严春满. 特征融合型卷积神经网络的语义分割[J]. 计算机工程与应用, 2020, 56(10): 193-198.
[9]	马建红，张炳斐，张少光，刘双耀. 基于主动MCNN-SCRF的新能源汽车命名实体识别[J]. 计算机工程与应用, 2019, 55(7): 23-29.
[10]	黄英来，刘亚檀，任洪娥. 基于全卷积神经网络的林木图像分割[J]. 计算机工程与应用, 2019, 55(4): 219-224.
[11]	孙宝山，李玮. 窥视孔连接的循环网络在中文分词上的研究[J]. 计算机工程与应用, 2019, 55(19): 160-165.
[12]	赵婵娟，周绍光，刘丽丽，丁倩. 基于同质区和迁移成分分析的高光谱图像分类[J]. 计算机工程与应用, 2019, 55(19): 198-206.
[13]	成于思1，施云涛2. 面向专业领域的中文分词方法[J]. 计算机工程与应用, 2018, 54(17): 30-34.
[14]	杜玉龙，李建增，张岩，范聪. 基于深度交叉CNN和免交互GrabCut的显著性检测[J]. 计算机工程与应用, 2017, 53(3): 32-40.
[15]	米晓莉，赵永刚，庄益夫. 协同目标性指导下的多图像联合分割算法[J]. 计算机工程与应用, 2017, 53(2): 181-187.