回溯正向匹配中文分词算法

doi:10.3778/j.issn.1002-8331.2009.22.043

计算机工程与应用 ›› 2009, Vol. 45 ›› Issue (22): 132-134.DOI: 10.3778/j.issn.1002-8331.2009.22.043

回溯正向匹配中文分词算法

张劲松，袁健

上海理工大学计算机与电气工程学院，上海 200093

收稿日期:2008-05-15 修回日期:2008-08-14 出版日期:2009-08-01 发布日期:2009-08-01
通讯作者: 张劲松

Backtracking matching Chinese segmentation method

ZHANG Jin-song，YUAN Jian

College of Computing & Electrical Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China

Received:2008-05-15 Revised:2008-08-14 Online:2009-08-01 Published:2009-08-01
Contact: ZHANG Jin-song

摘要/Abstract

摘要： 在最大匹配法（The Maximum Matching Method）的基础上，提出了一种回溯正向匹配（The Backtracking Matching Method）的中文分词方法。该方法首先对待切文本进行预处理，将文本分割成长度较短的细粒度文本；利用正向匹配、回溯匹配和尾词匹配来有效发现歧义字段；利用长词优先兼顾2词簇的方式对交集型歧义字段进行切分。最后对该算法进行的定性分析说明了该方法的先进性，从随机抽取大量语料实验结果上证明了该方法的有效性。

关键词: 中文分词, 最大匹配法, 回溯匹配, 交集型歧义

Abstract: Chinese word segmentation methods of the backtracking matching method is proposed based on the maximum matching method.The text is pretreatment by the BM in the first，then，the text is cut into shorter lengths granular text；Ambiguity field is found effective by forward matching method，backtracking matching method and last words matching Method；Crossing ambiguity field is cut by Long term priorities and 2-words rules.In the last，the algorithm of the qualitative analysis shows that the method of the advanced nature.The large number of randomly selected language materials being tested and results show that the method is effective.

Key words: Chinese word segmentation, Maximum Matching（MM） methods, backtracking matching, crossing ambiguity

张劲松，袁健. 回溯正向匹配中文分词算法[J]. 计算机工程与应用, 2009, 45(22): 132-134.

ZHANG Jin-song，YUAN Jian. Backtracking matching Chinese segmentation method[J]. Computer Engineering and Applications, 2009, 45(22): 132-134.

[1]	涂文博，袁贞明，俞凯. 无池化层卷积神经网络的中文分词方法[J]. 计算机工程与应用, 2020, 56(2): 120-126.
[2]	孙宝山，李玮. 窥视孔连接的循环网络在中文分词上的研究[J]. 计算机工程与应用, 2019, 55(19): 160-165.
[3]	成于思1，施云涛2. 面向专业领域的中文分词方法[J]. 计算机工程与应用, 2018, 54(17): 30-34.
[4]	张绍阳，曹家波，王子凡，曲卫东. 基于加权二部图匹配的中文段落相似度计算[J]. 计算机工程与应用, 2017, 53(18): 95-101.
[5]	赵卫锋1，2，张勤1. 非结构化中文自然语言地址描述的自动识别[J]. 计算机工程与应用, 2016, 52(23): 19-24.
[6]	朱艳辉，刘璟，徐叶强，田海龙，马进. 基于条件随机场的中文领域分词研究[J]. 计算机工程与应用, 2016, 52(15): 97-100.
[7]	周俊1，3，郑中华2，张炜3. 基于改进最大匹配算法的中文分词粗分方法[J]. 计算机工程与应用, 2014, 50(2): 124-128.
[8]	张思发，马永格. 面向地学信息领域垂直搜索引擎设计与实现[J]. 计算机工程与应用, 2012, 48(33): 85-88.
[9]	叶继平，张桂珠. 中文分词词典结构的研究与改进[J]. 计算机工程与应用, 2012, 48(23): 139-142.
[10]	赵友桥1，张山山1，路松峰1，吴志杰2. COX：高压缩率的中文XML文档压缩技术[J]. 计算机工程与应用, 2012, 48(17): 143-147.
[11]	李国和1，2，3，刘光胜1，2，3，秦波波1，2，3，吴卫江1，2，3，李洪奇1，2，3. 综合最大匹配和歧义检测的中文分词粗分方法[J]. 计算机工程与应用, 2012, 48(14): 139-142.
[12]	刘荣辉^1，2，郑建国¹. Deep Web下基于中文分词的聚类算法[J]. 计算机工程与应用, 2011, 47(4): 138-140.
[13]	张培颖. 运用有向图进行中文分词研究[J]. 计算机工程与应用, 2009, 45(22): 123-125.
[14]	张庆扬,柴胜. 使用二级索引的中文分词词典[J]. 计算机工程与应用, 2009, 45(19): 139-141.
[15]	刘丹,方卫国,周泓. 二元语法中文分词数据平滑算法性能研究[J]. 计算机工程与应用, 2009, 45(17): 33-36.

回溯正向匹配中文分词算法

Backtracking matching Chinese segmentation method

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics