二元语法中文分词数据平滑算法性能研究

doi:10.3778/j.issn.1002-8331.2009.17.010

计算机工程与应用 ›› 2009, Vol. 45 ›› Issue (17): 33-36.DOI: 10.3778/j.issn.1002-8331.2009.17.010

二元语法中文分词数据平滑算法性能研究

刘丹,方卫国,周泓

北京航空航天大学经济管理学院，北京 100191

收稿日期:2009-02-02 修回日期:2009-03-09 出版日期:2009-06-11 发布日期:2009-06-11
通讯作者: 刘丹

Performance of smoothing algorithm in Chinese word segmentation by bigram

LIU Dan,FANG Wei-guo,ZHOU Hong

School of Economy and Management，Beihang University，Beijing 100191，China

Received:2009-02-02 Revised:2009-03-09 Online:2009-06-11 Published:2009-06-11
Contact: LIU Dan

摘要/Abstract

摘要： 将多种平滑算法应用于基于二元语法的中文分词，在1998年1月人民日报语料库的基础上，讨论了困惑度和实际分词性能之间的关系，对比分析各平滑算法的实际性能，结果表明，简单的加值平滑算法性能最优，封闭精度、召回率分别为99.68%、99.7%，开放精度、召回率为98.64%、98.74%。

关键词: 数据平滑, 中文分词, 二元语法

Abstract: This paper discusses the relationships between complexity and real performance based on the corpus of People’s Daily of January，1998，compares the performance of multiple smoothing algorithms.The result reveals that additive smoothing is the best with 99.68% on precision，99.7% on recall in close test，and 98.64% on precision，98.74% on recall in open test.

Key words: smoothing, Chinese word segmentation, bigram

刘丹,方卫国,周泓. 二元语法中文分词数据平滑算法性能研究[J]. 计算机工程与应用, 2009, 45(17): 33-36.

LIU Dan,FANG Wei-guo,ZHOU Hong. Performance of smoothing algorithm in Chinese word segmentation by bigram[J]. Computer Engineering and Applications, 2009, 45(17): 33-36.

[1]	涂文博，袁贞明，俞凯. 无池化层卷积神经网络的中文分词方法[J]. 计算机工程与应用, 2020, 56(2): 120-126.
[2]	孙宝山，李玮. 窥视孔连接的循环网络在中文分词上的研究[J]. 计算机工程与应用, 2019, 55(19): 160-165.
[3]	成于思1，施云涛2. 面向专业领域的中文分词方法[J]. 计算机工程与应用, 2018, 54(17): 30-34.
[4]	张绍阳，曹家波，王子凡，曲卫东. 基于加权二部图匹配的中文段落相似度计算[J]. 计算机工程与应用, 2017, 53(18): 95-101.
[5]	赵卫锋1，2，张勤1. 非结构化中文自然语言地址描述的自动识别[J]. 计算机工程与应用, 2016, 52(23): 19-24.
[6]	朱艳辉，刘璟，徐叶强，田海龙，马进. 基于条件随机场的中文领域分词研究[J]. 计算机工程与应用, 2016, 52(15): 97-100.
[7]	周俊1，3，郑中华2，张炜3. 基于改进最大匹配算法的中文分词粗分方法[J]. 计算机工程与应用, 2014, 50(2): 124-128.
[8]	张思发，马永格. 面向地学信息领域垂直搜索引擎设计与实现[J]. 计算机工程与应用, 2012, 48(33): 85-88.
[9]	叶继平，张桂珠. 中文分词词典结构的研究与改进[J]. 计算机工程与应用, 2012, 48(23): 139-142.
[10]	赵友桥1，张山山1，路松峰1，吴志杰2. COX：高压缩率的中文XML文档压缩技术[J]. 计算机工程与应用, 2012, 48(17): 143-147.
[11]	王祖辉，姜维. 引入数据平滑的增量式贝叶斯垃圾邮件过滤方法[J]. 计算机工程与应用, 2012, 48(16): 21-25.
[12]	李国和1，2，3，刘光胜1，2，3，秦波波1，2，3，吴卫江1，2，3，李洪奇1，2，3. 综合最大匹配和歧义检测的中文分词粗分方法[J]. 计算机工程与应用, 2012, 48(14): 139-142.
[13]	刘荣辉^1，2，郑建国¹. Deep Web下基于中文分词的聚类算法[J]. 计算机工程与应用, 2011, 47(4): 138-140.
[14]	张培颖. 运用有向图进行中文分词研究[J]. 计算机工程与应用, 2009, 45(22): 123-125.
[15]	张劲松，袁健. 回溯正向匹配中文分词算法[J]. 计算机工程与应用, 2009, 45(22): 132-134.

二元语法中文分词数据平滑算法性能研究

Performance of smoothing algorithm in Chinese word segmentation by bigram

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics