面向时钟领域的BERT-LCRF命名实体识别方法

doi:10.3778/j.issn.1002-8331.2102-0110

计算机工程与应用 ›› 2022, Vol. 58 ›› Issue (18): 218-226.DOI: 10.3778/j.issn.1002-8331.2102-0110

面向时钟领域的BERT-LCRF命名实体识别方法

唐焕玲，王慧，隗昊，赵红磊，窦全胜，鲁明羽

1.山东工商学院计算机科学与技术学院，山东烟台 264005
2.山东工商学院信息与电子工程学院，山东烟台 264005
3.山东省高等学校协同创新中心：未来智能计算，山东烟台 264005
4.山东省高校智能信息处理重点实验室（山东工商学院），山东烟台 264005
5.大连海事大学信息科学技术学院，辽宁大连 116026

出版日期:2022-09-15 发布日期:2022-09-15

BERT-LCRF Named Entity Recognition Method Oriented Clock Domain

TANG Huanling, WANG Hui, WEI Hao, ZHAO Honglei, DOU Quansheng, LU Mingyu

1.School of Computer Science and Technology, Shandong Technology and Business University, Yantai, Shandong 264005, China
2.School of Information and Electronic Engineering, Shandong Technology and Business University, Yantai, Shandong 264005, China
3.Co-innovation Center of Shandong Colleges and Universities：Future Intelligent Computing, Yantai, Shandong 264005, China
4.Key Laboratory of Intelligent Information Processing in Universities of Shandong（Shandong Technology and Business University）, Yantai, Shandong 264005, China
5.Information Science and Technology College, Dalian Maritime University, Dalian, Liaoning 116026, China

Online:2022-09-15 Published:2022-09-15

摘要/Abstract

摘要： 命名实体识别是构建时钟领域知识图谱的关键步骤，然而目前时钟领域存在标注样本数量少等问题，导致面向时钟领域的命名实体识别精度不高。为此，利用预训练语言模型BERT进行时钟领域文本的特征提取，利用线性链条件随机场（Linear-CRF）方法进行序列标注，提出了一种BERT-LCRF的命名实体识别模型。对比实验结果表明，该模型能够充分学习时钟领域的特征信息，提升序列标注精度，进而提升时钟领域的命名实体识别效果

关键词: 命名实体识别, 预训练语言模型, 条件随机场, 自注意力机制, 深度学习

Abstract: Named entity recognition is a key step in constructing a knowledge graph in the clock domain. However, the current clock domain has problems such as the small number of labeled samples, which leads to the low accuracy of named entity recognition in the clock domain. To this end, this paper uses the pre-trained language model BERT to extract the features of the text in the clock domain, and then uses the linear chain conditional random field（Linear-CRF） method for sequence labeling, and proposes a BERT-LCRF named entity recognition model. The results of comparative experiments show that the model can fully learn the feature information of the clock domain, improve the accuracy of sequence labeling, and then improve the effect of named entity recognition in the clock domain.

Key words: named entity recognition, pre-training language model, conditional random field, self-attention mechanism, deep learning

唐焕玲, 王慧, 隗昊, 赵红磊, 窦全胜, 鲁明羽. 面向时钟领域的BERT-LCRF命名实体识别方法[J]. 计算机工程与应用, 2022, 58(18): 218-226.

TANG Huanling, WANG Hui, WEI Hao, ZHAO Honglei, DOU Quansheng, LU Mingyu. BERT-LCRF Named Entity Recognition Method Oriented Clock Domain[J]. Computer Engineering and Applications, 2022, 58(18): 218-226.

参考文献

[1] ALFONSECA E，MANANDHAR S.An unsupervised method for general named entity recognition and automated concept discovery[C]//Proceedings of the International Conference on GeneralWordNet，2002.
[2] SHINYAMA Y，SEKINE S.Named entity discovery using comparable news articles[C]//20th International Conference on Computational Linguistics，Geneva，Switzerland，2004：848-853.
[3] ETZIONI O，CAFARELLA M，DOWNEY D，et al.Unsupervised named-entity extraction from the Web：an experimental study[J].Artifical Intelligence，2005，165（1）：91-134.
[4] COLLINS M，SINGER Y.Unsupervised models for named entity classification[C]//Proceedings of the Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora，1999：100-110.
[5] COLLINS M.Ranking algorithms for named-entity extraction：boosting and the voted perceptron[C]//Proceedings of the 40th Annual Meeting on Association for Computational Lingustics，2002：489-496.
[6] CUCERZAN S，YAROWSKY D.Language independent named entity recognition combining morphological and contextual evidence[C]//Proceedings of the Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora，2001：90-99.
[7] CUCCHIARELLI A，VELARDI P.Unsupervised named entity recognition using syntactic and semantic contextual evidence[J].Computational Linguistics，2001，27（1）：123-131.
[8] ZHAO S.Named entity recognition in biomedical texts using an HMM model[C]//Proceedings of the Joint Workshop on Natural Language Processing in Biomedicine and its Applications，2004：84-87.
[9] HABIB M S，KALITA J.Scalable biomedical named entity recognition：investigation of a database supported SVM approach[J].International Journal of Bioinformatics Research & Applications，2010，6（2）：191-208.
[10] MCCALLUM A，LI W.Early results for named entity recognition with conditional random fields，feature induction and web-enhanced lexicons[C]//Proceedings of the 7th Conference on Neural Language Learning at HLT-NAACL，2003：188-191.
[11] HOCHREITER S，SCHMIDHUBER J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.
[12] HUANG Z，XU W，YU K.Bidirectional LSTM-CRF models for sequence tagging[J].arXiv：1508.01991，2015.
[13] DEVLIN J，CHANG M W，LEE K，et al.BERT：pre-training of deep bidirectional transformers for language understanding[J].arXiv：1810.04805，2018.
[14] 李明扬，孔芳.融入自注意力机制的社交媒体命名实体识别[J].清华大学学报（自然科学版），2019，59（6）：461-467.
LI M Y，KONG F.Combined self-attention mechanism for named entity recognition in social media[J].Journal of Tsinghua University（Science and Technology），2019，59（6）：461-467.
[15] 李博，康晓东，张华丽，等.采用Transformer-CRF的中文电子病历命名实体识别[J].计算机工程与应用，2020，56（5）：153-159.
LI B，KANG X D，ZHANG H L，et al.Named entity recognition in Chinese electronic medical records using Transformer-CRF[J].Computer Engineering and Applications，2020，56（5）：153-159.
[16] 杨培，杨志豪，罗凌，等.基于注意机制的化学药物命名实体识别[J].计算机研究与发展，2018，55（7）：1548-1556.
YANG P，YANG Z H，LUO L，et al.An attention-based approach for chemical compound and drug named entity recognition[J].Journal of Computer Research and Development，2018，55（7）：1548-1556.
[17] KURU O，CAN O A.CharNER：character-level named entity recognition[C]//Proceedings of COLING 2016，the 26th International Conference on Computational Linguistics：Technical Papers，Osaka，Japan，2016：911-921.
[18] ZHANG Y，YANG J.Chinese NER using lattice LSTM[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers），2018：1554-1564.
[19] VASWANI A，SHAZEER N.Attention is all you need[C]//Advances in Neural Information Processing Systems 30：Annual Conference on Neural Information Processing Systems 2017，December4-9，2017，Long Beach，CA，USA，2017：5998-6008.
[20] FORNEY G D.The viterbi algorithm[J].Proceedings of the IEEE，1973，61（3）：268-278.
[21] 刘伟童，刘培玉，刘文锋，等.基于互信息和邻接熵的新词发现算法[J].计算机应用研究，2019，36（5）：1293-1296.
LIU W T，LIU P Y，LIU W F，et al.New word discovery algorithm based on mutual information and branch entropy[J].Application Research of Computers，2019，36（5）：1293-1296.

面向时钟领域的BERT-LCRF命名实体识别方法

BERT-LCRF Named Entity Recognition Method Oriented Clock Domain

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	罗向龙, 郭凰, 廖聪, 韩静, 王立新. 时空相关的短时交通流宽度学习预测模型[J]. 计算机工程与应用, 2022, 58(9): 181-186.
[2]	阿里木·赛买提, 斯拉吉艾合麦提·如则麦麦提, 麦合甫热提, 艾山·吾买尔, 吾守尔·斯拉木, 吐尔根·依不拉音. 神经机器翻译面对句长敏感问题的研究[J]. 计算机工程与应用, 2022, 58(9): 195-200.
[3]	陈一潇, 阿里甫·库尔班, 林文龙, 袁旭. 面向拥挤行人检测的CA-YOLOv5[J]. 计算机工程与应用, 2022, 58(9): 238-245.
[4]	方义秋, 卢壮, 葛君伟. 联合RMSE损失LSTM-CNN模型的股价预测[J]. 计算机工程与应用, 2022, 58(9): 294-302.
[5]	高广尚. 深度学习推荐模型中的注意力机制研究综述[J]. 计算机工程与应用, 2022, 58(9): 9-18.
[6]	吉梦, 何清龙. AdaSVRG：自适应学习率加速SVRG[J]. 计算机工程与应用, 2022, 58(9): 83-90.
[7]	石颉, 袁晨翔, 丁飞, 孔维相. SAR图像建筑物目标检测研究综述[J]. 计算机工程与应用, 2022, 58(8): 58-66.
[8]	熊风光, 张鑫, 韩燮, 况立群, 刘欢乐, 贾炅昊. 改进的遥感图像语义分割研究[J]. 计算机工程与应用, 2022, 58(8): 185-190.
[9]	杨锦帆, 王晓强, 林浩, 李雷孝, 杨艳艳, 李科岑, 高静. 深度学习中的单阶段车辆检测算法综述[J]. 计算机工程与应用, 2022, 58(7): 55-67.
[10]	赵丹丹, 黄德根, 孟佳娜, 谷丰, 张攀. 多头注意力与字词融合的中文命名实体识别[J]. 计算机工程与应用, 2022, 58(7): 142-149.
[11]	王斌, 李昕. 融合动态残差的多源域自适应算法研究[J]. 计算机工程与应用, 2022, 58(7): 162-166.
[12]	谭暑秋, 汤国放, 涂媛雅, 张建勋, 葛盼杰. 教室监控下学生异常行为检测系统[J]. 计算机工程与应用, 2022, 58(7): 176-184.
[13]	张美玉, 刘跃辉, 侯向辉, 秦绪佳. 基于卷积网络的灰度图像自动上色方法[J]. 计算机工程与应用, 2022, 58(7): 229-236.
[14]	张壮壮, 屈立成, 李翔, 张明皓, 李昭璐. 基于时空卷积神经网络的数据缺失交通流预测[J]. 计算机工程与应用, 2022, 58(7): 259-265.
[15]	许杰, 祝玉坤, 邢春晓. 基于深度强化学习的金融交易算法研究[J]. 计算机工程与应用, 2022, 58(7): 276-285.