汉语文本自动分词算法的研究

doi:10.3778/j.issn.1002-8331.2010.03.037

计算机工程与应用 ›› 2010, Vol. 46 ›› Issue (3): 125-127.DOI: 10.3778/j.issn.1002-8331.2010.03.037

• 数据库、信号与信息处理 • 上一篇下一篇

汉语文本自动分词算法的研究

何国斌，赵晶璐

西南大学计算机与信息科学学院，重庆 400715

收稿日期:2008-08-05 修回日期:2008-10-28 出版日期:2010-01-21 发布日期:2010-01-21
通讯作者: 何国斌

Research on algorithm of Chinese word automatic segmentation

HE Guo-bin，ZHAO Jing-lu

College of Computer and Information Science，Southwest University，Chongqing 400715，China

Received:2008-08-05 Revised:2008-10-28 Online:2010-01-21 Published:2010-01-21
Contact: HE Guo-bin

摘要/Abstract

摘要： 分析了中文分词词典的机制，提出了一种改进的整词分词字典结构，并针对机械分词算法的特点，将其与概率算法相结合，探讨了一种中文自动分词概率算法。采用哈希及二分法对词典进行分词匹配。实验表明，该算法具有较高的分词效率和准确率，对于消去歧义词也有较好的性能。

关键词: 自动分词, 分词算法, 字典, 歧义切分

Abstract: Chinese segmentation mechanism is analyzed.An improved structure of segmentation dictionary is presented，and in view of the characteristics of the mechanical Chinese word segmentation，combined with probabilistic algorithm，a Chinese Word Automatic Segmentation probabilistic algorithm is discussed.Hashing and binary search is used to segmentation match.Experiment indicates that the algorithm can greatly improve the speed of Chinese segmentation and precision，and strengthen the processing of dispelling ambiguity.

Key words: automatic segmentation, segmentation algorithm, dictionary, ambiguity segmentation

中图分类号:

TP391

何国斌，赵晶璐. 汉语文本自动分词算法的研究[J]. 计算机工程与应用, 2010, 46(3): 125-127.

HE Guo-bin，ZHAO Jing-lu. Research on algorithm of Chinese word automatic segmentation[J]. Computer Engineering and Applications, 2010, 46(3): 125-127.

[1]	王子儒，李振民. 融合数据增强的迁移字典学习[J]. 计算机工程与应用, 2021, 57(23): 193-199.
[2]	丁玉祥，卞维新，接标，赵俊. 融合邻域回归和稀疏表示的图像超分辨率重构[J]. 计算机工程与应用, 2021, 57(2): 230-236.
[3]	王钰，刘凡，王菲. 基于自编码器和稀疏表示的单样本人脸识别[J]. 计算机工程与应用, 2021, 57(1): 168-172.
[4]	董艳花，张树美，赵俊莉. 有遮挡人脸识别方法综述[J]. 计算机工程与应用, 2020, 56(9): 1-12.
[5]	李巧，陈花竹，杨春雨，李丹. 基于判别性解析字典与分类器学习的模式分类[J]. 计算机工程与应用, 2020, 56(6): 165-171.
[6]	代乾龙，孙伟. 基于改进稀疏栈式编码的车型识别[J]. 计算机工程与应用, 2020, 56(1): 136-141.
[7]	张凯兵，郑冬冬，景军锋. 低分辨人脸识别综述[J]. 计算机工程与应用, 2019, 55(22): 14-24.
[8]	张凯兵，王珍，闫亚娣，朱丹妮. 优化的AdaBoost回归图像超分辨方法[J]. 计算机工程与应用, 2019, 55(20): 159-163.
[9]	马丽红，谭学仕. 共有结构假设下流形正则图的零样本分类方法[J]. 计算机工程与应用, 2019, 55(15): 153-160.
[10]	张哲源，张灵，陈云华. 结合分块LBP与投影字典对学习的表情识别[J]. 计算机工程与应用, 2019, 55(12): 149-154.
[11]	聂栋栋，贺悦悦. 基于字典扩展的快速人脸识别算法[J]. 计算机工程与应用, 2018, 54(8): 201-206.
[12]	王雪1，隋立春1，2，杨振胤3，康军梅1. 最优方向耦合字典学习的遥感影像超分辨率重建[J]. 计算机工程与应用, 2018, 54(7): 201-205.
[13]	王鑫1，朱行成1，宁晨2，王慧斌1. 基于冗余字典学习的图像修补算法[J]. 计算机工程与应用, 2018, 54(6): 198-204.
[14]	康军梅1，隋立春1，2，李丽1，杨振胤1，丁明涛1，王君1. 基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建[J]. 计算机工程与应用, 2018, 54(16): 187-191.
[15]	李云红，王珍，张凯兵，章为川，闫亚娣. 基于学习的图像超分辨重建方法综述[J]. 计算机工程与应用, 2018, 54(15): 13-21.

汉语文本自动分词算法的研究

Research on algorithm of Chinese word automatic segmentation

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics