基于排序集成的哈萨克语固定短语抽取

计算机工程与应用 ›› 2014, Vol. 50 ›› Issue (21): 205-209.

基于排序集成的哈萨克语固定短语抽取

桑海岩1，2，古丽拉·阿东别克1，2，孙瑞娜3，陈莉1，2

1.新疆大学信息科学与工程学院，乌鲁木齐 830046
2.国家语言资源监测与研究中心少数民族语言中心哈萨克和柯尔克孜语文基地，乌鲁木齐 830046
3.新疆财经大学统计信息学院，乌鲁木齐 830046

出版日期:2014-11-01 发布日期:2014-10-28

Rank aggregation-based Kazakh fixed phrases extraction

SANG Haiyan1，2, Gulia·ALTENBEK1，2, SUN Ruina3, CHEN Li1，2

1.College of Information Science and Engineering, Xinjiang University, Urumqi 830046, China
2.The Base of Kazakh and Kirghiz Language of National Language Resource Monitoring and Research Center Minority Languages, Urumqi 830046, China
3.College of Statistical Information, Xinjiang University of Finance and Economics, Urumqi 830046, China

Online:2014-11-01 Published:2014-10-28

摘要/Abstract

摘要： 短语抽取是文本自动分类、主题提取及专利检索分析等文本信息理解等工作中都要应用到的一项关键技术。固定短语抽取作为短语研究的一部分，对短语标注、辞典编撰等自然语言处理任务都具有重要的现实意义。哈萨克语是黏着语，词形变化丰富，这些特点给哈语固定短语的抽取带来了一定的困难。提出一个总体的固定短语抽取算法，把固定短语抽取看作一个排序问题，使用C-value、互信息和log-likelihood进行抽取排序，并设计了一个新的排序集成方法对抽取的结果进行集成。实验分析结果表明，与单独的抽取算法比较，该算法达到了更高的准确率。

关键词: 自然语言处理, 固定短语, 排序集成, 互信息, 似然比, C-value算法

Abstract: Phrase extraction plays a key role in text information understanding, such as automatic text classification, topic extraction, and analysis of patent search, etc. As the part of phrase research, the fixed phrase extraction has important practical significance on natural language processing tasks including the lexicographer. The Kazakh is agglutinative language, rich in inflections. These characteristics of the Kazakh bring certain difficulties to fixed phrase extraction. This paper proposes a general fixed phrase extraction algorithm. The algorithm considers the fixed phrase extraction as a scheduling problem, uses C-value, mutual information and log-likelihood statistics to extract and schedule, and presents a new rank aggregation method to obtain a scheduling result set. The experimental results indicate that the algorithm gets higher accuracy compared with popular signal extraction algorithms.

Key words: natural language processing, fixed phrases, rank aggregation, mutual information, log-likelihood, C-value

桑海岩1，2，古丽拉·阿东别克1，2，孙瑞娜3，陈莉1，2. 基于排序集成的哈萨克语固定短语抽取[J]. 计算机工程与应用, 2014, 50(21): 205-209.

SANG Haiyan1，2, Gulia·ALTENBEK1，2, SUN Ruina3, CHEN Li1，2. Rank aggregation-based Kazakh fixed phrases extraction[J]. Computer Engineering and Applications, 2014, 50(21): 205-209.

[1]	李俊丽. Spark平台下类别数据互信息计算的并行化[J]. 计算机工程与应用, 2021, 57(7): 95-100.
[2]	刘博闻，范春晓. 基于位置感知能力胶囊网络的实体关系提取[J]. 计算机工程与应用, 2021, 57(6): 101-107.
[3]	廖文雄，曾碧，徐雅芸. 结合一维扩展卷积与Attention机制的NLP模型[J]. 计算机工程与应用, 2021, 57(4): 114-119.
[4]	江洋洋，金伯，张宝昌. 深度学习在自然语言处理领域的研究进展[J]. 计算机工程与应用, 2021, 57(22): 1-14.
[5]	袁勋，刘蓉，刘明. 融合多层注意力的方面级情感分析模型[J]. 计算机工程与应用, 2021, 57(22): 147-152.
[6]	李珑珠，林耀进，吕彦，卢舜，王晨曦. 利用邻域信息交互的在线流特征选择算法[J]. 计算机工程与应用, 2021, 57(21): 102-108.
[7]	杨泉. N1+N2结构语法关系判定的SVM算法[J]. 计算机工程与应用, 2021, 57(20): 104-108.
[8]	焦凯楠，李欣，朱容辰. 中文领域命名实体识别综述[J]. 计算机工程与应用, 2021, 57(16): 1-15.
[9]	刘畅，阿布都克力木·阿布力孜，姚登峰，哈里旦木·阿布都克里木. 维吾尔语形态分析研究综述[J]. 计算机工程与应用, 2021, 57(15): 42-61.
[10]	李智，王震，杨赋庚，奚雪峰. 基于表格的自动问答研究与展望[J]. 计算机工程与应用, 2021, 57(13): 67-76.
[11]	包玥，李艳玲，林民. 抽取式机器阅读理解研究综述[J]. 计算机工程与应用, 2021, 57(12): 25-36.
[12]	何玉洁，杜方，史英杰，宋丽娟. 基于深度学习的命名实体识别研究综述[J]. 计算机工程与应用, 2021, 57(11): 21-36.
[13]	邱云飞，高华聪. 混合Filter与改进自适应GA的特征选择方法[J]. 计算机工程与应用, 2021, 57(11): 95-102.
[14]	孙凌浩. 利用翻译模型的跨语言中文命名实体识别[J]. 计算机工程与应用, 2021, 57(10): 94-100.
[15]	郝超，裘杭萍，孙毅，张超然. 多标签文本分类研究进展[J]. 计算机工程与应用, 2021, 57(10): 48-56.