面向中文自动分词的可扩展式电子词典研究

doi:10.3778/j.issn.1002-8331.2008.21.054

计算机工程与应用 ›› 2008, Vol. 44 ›› Issue (21): 199-201.DOI: 10.3778/j.issn.1002-8331.2008.21.054

面向中文自动分词的可扩展式电子词典研究

贺胜¹,曲维光²,许超¹

1.南京师范大学文学院，南京 210097
2.南京师范大学计算机科学系，南京 210097

收稿日期:2008-04-30 修回日期:2008-05-20 出版日期:2008-07-21 发布日期:2008-07-21
通讯作者: 贺胜

Extendable digital dictionary for automatic Chinese word segmentation

HE Sheng¹,QU Wei-guang²,XU Chao¹

1.School of Chinese Language and Literature，Nanjing Normal University，Nanjing 210097，China
2.Deptartment of Computer Science，Nanjing Normal University，Nanjing 210097，China

Received:2008-04-30 Revised:2008-05-20 Online:2008-07-21 Published:2008-07-21
Contact: HE Sheng

摘要/Abstract

摘要： 在中文自动分词及词性标注系统中，电子词典是系统的重要组成部分，也是影响系统性能的重要因素之一。介绍了电子词典应该具备的查询功能及常用的组织结构，给出了一种结构为系统词典+用户词典的可扩展式电子词典机制。其系统词典是基于首字Hash散列的逐字二分词典结构，用户词典采用基于首字Hash散列的链接表词典结构，具有很强的扩展性和实用性。

关键词: 电子词典, 词典结构, 自动分词, Hash

Abstract: Digital dictionary is an important part in automatic Chinese word segmentation and part of speech tagging，which is also a vital factor affecting system performance.This thesis introduces the necessary searching functions and common components for a digital dictionary and proposes an extendable mechanism which consists of system dictionary and user dictionary.The system dictionary is indexed with initial character hash table characterized with character-based binary tree structure.The user’s dictionary is also indexed with initial character hash table but augmented with linking structure.Experiment shows that the system is extendable in practice.

Key words: digital dictionary, dictionary structure, automatic word segmentation, hash

贺胜¹,曲维光²,许超¹. 面向中文自动分词的可扩展式电子词典研究[J]. 计算机工程与应用, 2008, 44(21): 199-201.

HE Sheng¹,QU Wei-guang²,XU Chao¹. Extendable digital dictionary for automatic Chinese word segmentation[J]. Computer Engineering and Applications, 2008, 44(21): 199-201.

[1]	陈小寒，魏书宁，覃正泽. 基于深度学习可视化的恶意软件家族分类[J]. 计算机工程与应用, 2021, 57(22): 131-138.
[2]	宋国超，初广辉，武绍欣. 基于区间区域的位置隐私保护方法[J]. 计算机工程与应用, 2020, 56(8): 66-73.
[3]	高联欣，魏维，胡泳植，冯宇浩. 基于运动筛选和3D卷积的视频早期烟雾检测[J]. 计算机工程与应用, 2020, 56(17): 266-272.
[4]	黄学波，徐正国，燕继坤. 基于Simhash的协议数据高频相似序列提取算法[J]. 计算机工程与应用, 2020, 56(16): 199-203.
[5]	张航，盛志伟，张仕斌，杨敏. Simhash算法在文本去重中的应用[J]. 计算机工程与应用, 2020, 56(11): 246-251.
[6]	赵太飞，尹航，赵思婷. 抗去同步化的高效RFID双向认证协议[J]. 计算机工程与应用, 2019, 55(12): 90-96.
[7]	邢凯1，2，罗永龙1，2，宁雪莉1，2，郑孝遥1，2. 基于Geohash编码的位置隐私保护算法[J]. 计算机工程与应用, 2019, 55(1): 96-102.
[8]	王田琪，庞晓琼，任孟琦. 支持错误定位的远程数据完整性批量验证方案[J]. 计算机工程与应用, 2018, 54(4): 90-97.
[9]	李梁1，谭薇2，陈彦萍3. 电子医疗下支持数据持有性验证检索方案[J]. 计算机工程与应用, 2018, 54(16): 93-100.
[10]	王永1，2，陈燕1，赵毅1. 基于分段Logistic映射的并行Hash函数构造算法[J]. 计算机工程与应用, 2018, 54(15): 38-43.
[11]	徐碧晗1，2，郑东1，2，任方1，2. 基于编码Hash同态性的数据持有性证明方案[J]. 计算机工程与应用, 2017, 53(21): 91-97.
[12]	曹孟毅，黄穗，王会进，何杰，龙舜. 基于内容相似度的运动路线推荐[J]. 计算机工程与应用, 2016, 52(9): 33-38.
[13]	崔恒山，田袁，邓绍江. 使用双向耦合映像格子改进的并行混沌Hash函数[J]. 计算机工程与应用, 2016, 52(4): 88-93.
[14]	陆阳，高宝. 基于CityHash的政务网站完整性检查方法研究[J]. 计算机工程与应用, 2016, 52(4): 104-109.
[15]	吴盈，刘哲，陈恳，吉培培. 基于随机局部均值Hash特征的在线学习目标跟踪[J]. 计算机工程与应用, 2016, 52(14): 209-214.

面向中文自动分词的可扩展式电子词典研究

Extendable digital dictionary for automatic Chinese word segmentation

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics