基于机器翻译的维吾尔语形态分析研究

doi:10.3778/j.issn.1002-8331.1604-0119

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (14): 138-142.DOI: 10.3778/j.issn.1002-8331.1604-0119

基于机器翻译的维吾尔语形态分析研究

徐春1，2，3，杨勇4，蒋同海1

1.中国科学院新疆理化技术研究所，乌鲁木齐 830011
2.中国科学院大学，北京100049
3.新疆财经大学计算机科学与工程学院，乌鲁木齐 830012
4.新疆师范大学计算机科学技术学院，乌鲁木齐 830054

出版日期:2017-07-15 发布日期:2017-08-01

Research on machine translation based Uyghur morphological analysis

XU Chun1，2，3, YANG Yong4, JIANG Tonghai1

1.Xinjiang Technical Institute of Physics ＆ Chemistry, Chinese Academy of Sciences, Urumqi 830011, China
2.University of Chinese Academy of Sciences, Beijing 100049, China
3.College of Computer Science and Engineering, Xinjiang University of Finance and Economics, Urumqi 830012, China
4.College of Computer Science and Technology, Xinjiang Normal University, Urumqi 830054, China

Online:2017-07-15 Published:2017-08-01

摘要/Abstract

摘要： 针对现有维吾尔语形态分析研究中存在的数据稀疏、模型构建复杂等问题，提出一种基于机器翻译的维吾尔语形态分析模型，即将维吾尔语词干提取（词性标注）任务中词干提取前（词性标注前）的句子看作是机器翻译模型训练过程中的源语言端，词干提取后（词性标注后）的句子看作是目标语言端；为了达到最佳的效果，加入了外部信息模块和联合校验模块以优化模型。实验结果表明，基于机器翻译框架的维吾尔语形态分析模型在词干提取、词性标注两个任务上优于其他模型。对比英语（词干提取、词性标注）、汉语（分词、词性标注）实验结果，提出的方法更适合维吾尔语形态分析。

关键词: 维吾尔语形态分析, 基于机器翻译, 词干提取, 词性标注, 模型优化

Abstract: To alleviate the data sparseness and reduce the complexity of models construction in Uyghur morphology analysis, it proposes a Statistical Machine Translation （SMT） based morphology analysis model, which considers the pre-stem words （pre-Part-Of-Speech （POS） tagging） in Uyghur word stemming （POS tagging） as the source part of SMT system, and the post-stemming words （POS tags） as the target part. To optimize the model, it uses dictionaries and joint validation in the model. Experimental results show that, the approach outperforms other systems in Uyghur word stemming and part-of-speech tagging. Compared with segmentation and POS tagging tasks in English and Chinese, the approach is more suitable for Uyghur.

Key words: Uyghur morphology analysis, machine translation based, word stemming, part-of-speech tagging, model optimization

徐春1，2，3，杨勇4，蒋同海1. 基于机器翻译的维吾尔语形态分析研究[J]. 计算机工程与应用, 2017, 53(14): 138-142.

XU Chun1，2，3, YANG Yong4, JIANG Tonghai1. Research on machine translation based Uyghur morphological analysis[J]. Computer Engineering and Applications, 2017, 53(14): 138-142.

[1]	刘畅，阿布都克力木·阿布力孜，姚登峰，哈里旦木·阿布都克里木. 维吾尔语形态分析研究综述[J]. 计算机工程与应用, 2021, 57(15): 42-61.
[2]	姜芳1，2，李国和1，2，3，岳翔4，吴卫江1，2，3，洪云峰3，刘智渊3，程远3. 基于粗分和词性标注的中文分词方法[J]. 计算机工程与应用, 2015, 51(6): 204-207.
[3]	刘甲甲，王凯，袁建英，江晓亮，李柏林. 铁路扣件图像检测中的RBF-SVM模型优化[J]. 计算机工程与应用, 2014, 50(15): 30-33.
[4]	陈莉，古丽拉·阿东别克. 基于HMM的柯尔克孜语词性标注的研究[J]. 计算机工程与应用, 2014, 50(15): 120-124.
[5]	桑海岩1，2，古丽拉·阿东别克1，2，牛宁宁1，2. 基于最大熵的哈萨克语词性标注模型[J]. 计算机工程与应用, 2013, 49(11): 126-129.
[6]	早克热·卡德尔1，2，艾山·吾买尔1，2，吐尔根·依布拉音1，2，帕里旦·吐尔逊2，3，吴小川1，2. 混合策略的维吾尔语名词词干提取系统[J]. 计算机工程与应用, 2013, 49(1): 171-175.
[7]	尼加提·纳吉米1，2，买合木提·买买提3，吐尔根·依布拉音4. 基于N元模型的维吾尔语词性标注实验研究[J]. 计算机工程与应用, 2012, 48(25): 137-140.
[8]	侯呈风，古丽拉·阿东别克. 改进的HMM应用于哈萨克语词性标注[J]. 计算机工程与应用, 2010, 46(36): 147-149.
[9]	王永生. 英汉机器翻译系统中的词性标注研究[J]. 计算机工程与应用, 2010, 46(20): 99-102.
[10]	艾山·吾买尔，吐尔根·依步拉音，早克热·卡德尔. 基于噪声信道的维吾尔语央音原音识别模型[J]. 计算机工程与应用, 2010, 46(15): 118-120.
[11]	刘艳,古丽拉·阿东别克,伊力亚尔. 哈萨克语词性自动标注研究初探[J]. 计算机工程与应用, 2008, 44(20): 242-244.
[12]	张永奎^1，2，张彦^1，2，安增波³，刘睿^1，2. Web新闻语料分词和标注错误分析[J]. 计算机工程与应用, 2007, 43(15): 166-169.
[13]	姜维,关毅,王晓龙. 基于条件随机域的词性标注模型 [J]. 计算机工程与应用, 2006, 42(21期): 13-.

基于机器翻译的维吾尔语形态分析研究

Research on machine translation based Uyghur morphological analysis

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 13

编辑推荐

Metrics