近年来，基于大规模语料训练的大参数量语言模型在自然语言理解和生成方面展现出了卓越的性能。同样，基于大规模文本、图像、视频等数据训练的多模态大模型在视觉内容理解和生成方面表现出色。这些大模型凭借出色的泛化能力和丰富的参数化知识，能够通过精心设计的指令和微调技术迅速适应新任务。然而，将大模型技术应用于特定垂直领域仍面临挑战。基于通用域语料训练的原始大模型具有丰富的常识知识，但缺乏垂直领域的专业知识，而垂直领域大模型在一定程度上将承担领域专家的角色，如何借助已有的领域知识表示方法，如知识图谱等，让垂直领域大模型学会记忆、利用、融合领域知识需要新的解决方案，以期构建负责任、可控、可解释的领域专家大模型。
为了推动垂直领域大模型的构建与应用研究，《计算机科学与探索》特设“垂直领域大模型构建与应用”专题。本专题旨在围绕垂直领域大模型的构建与应用，探讨领域知识建模与大模型的融合理论、方法和技术，探究大模型在垂直领域的应用实践，以形成一套高效、低成本、易于扩展且具有可解释性的垂直领域大模型构建与应用新思路、新技术和新系统，促进大模型技术在重点关键领域的深入应用。
特邀编辑
王昊奋 特聘研究员 同济大学
王 鑫 教授 天津大学
张 文 特聘研究员 浙江大学
张玲玲 副教授 西安交通大学
AIGC大模型测评综述：使能技术、安全隐患和应对
许志伟1，2，李海龙2，3，李 博2，3，李 涛1，4，王嘉泰5，谢学说1，董泽辉1
1. 先进计算与关键软件（信创）海河实验室，天津 300350
2. 中国科学院 计算技术研究所，北京 100080
3. 内蒙古工业大学 数据科学与应用学院，呼和浩特 010080
4. 南开大学 计算机学院，天津 300350
5. OPPO研究院，北京 100026
介绍：人工智能生成内容（AIGC）模型因出色的内容生成能力，在全球范围内引起了广泛关注与应用。为了降低不可知风险及其危害，对AIGC大模型进行全面测评变得越来越重要。论文对AIGC大模型测评研究进行了综述和分析。对模型测评过程进行了概述，内容涵盖模型测评前准备和相应的测评指标，并系统性地整理了现有测评基准。讨论了AIGC大模型在金融、政治和医疗领域的代表性应用及其存在的问题。通过可解释性、公平性、鲁棒性、安全性和隐私性等不同角度深入研究测评方法，对AIGC大模型测评需要关注的新问题进行解构，提出大模型测评新挑战的应对策略。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2402023
引用格式：许志伟, 李海龙, 李博, 等. AIGC大模型测评综述：使能技术、安全隐患和应对[J]. 计算机科学与探索, 2024, 18(9): 2293-2325.
基于大语言模型增强表征对齐的小样本持续关系抽取方法
李逸飞1，2，张玲玲1，2，董宇轩2，3，王佳欣2，3，仲宇杰2，3，魏笔凡2，3
1. 传播内容认知全国重点实验室，北京 100733
2. 西安交通大学 计算机科学与技术学院，西安 710049
3. 陕西省大数据知识工程重点实验室，西安 710049
介绍：关系抽取作为自然语言处理的关键任务，对于深化语言理解、构建知识图谱以及优化信息检索系统具有重要作用。为了充分利用大语言模型的语义知识来缓解灾难性遗忘与过拟合问题，论文提出了一种基于大语言模型增强表征对齐的小样本持续关系抽取方法LAFA，通过关系实例改写、语义扩充和关系增强表征等策略，在保持数据量和计算成本较低的同时，有效提升了模型对新关系的适应性和对旧知识的保持能力。在两个关系抽取数据集FewRel、TACRED上进行实验验证。LAFA的推理效率与开销远远低于现有的基于大语言模型的方法，并且具有很强的扩展性，能够适配多种语言模型。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406056
引用格式：李逸飞, 张玲玲, 董宇轩, 等. 基于大语言模型增强表征对齐的小样本持续关系抽取方法[J]. 计算机科学与探索, 2024, 18(9): 2326-2336.
生成式大语言模型在中文放射医学领域的应用研究
陈龙飞1，高 鑫1，侯皓天1，叶初阳2，刘亚欧3，张美慧1
1. 北京理工大学 计算机学院，北京 100081
2. 北京理工大学 集成电路与电子学院，北京 100081
3. 首都医科大学附属北京天坛医院 放射科，北京 100070
介绍：利用自然语言处理（NLP）技术来理解和学习影像学报告的文本内容，并以此辅助完成放射科临床工作，已成为该领域的重要研究方向。论文提出了一种基于本地高效微调大语言模型的中文放射医学领域自然语言任务解决方案。通过收集并构建大规模高质量中文影像学报告自然语言任务数据集，采用LoRA高效微调方法对开源大语言模型Baichuan2进行有监督微调训练，提出了能够同时解决四种中文放射医学领域临床任务的“龙影大模型”。在三个医学影像种类的报告数据集上进行了多组实验，结果显示所提方法在分类性能、文本总结与扩充能力和模型泛化性上表现更好。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406041
引用格式：陈龙飞, 高鑫, 侯皓天, 等. 生成式大语言模型在中文放射医学领域的应用研究[J]. 计算机科学与探索, 2024, 18(9): 2337-2348.
大模型驱动的科技政策法规问答系统研究
向小伟1，2，申艳光1，胡明昊2，闫天伟3，罗 威2，罗准辰2
1. 河北工程大学 信息与电气工程学院，河北 邯郸 056038
2. 军事科学院 军事科学信息研究中心，北京 100142
3. 国防科技大学 计算机学院，长沙 410037
介绍：科技政策法规问答系统（Q&A）在帮助公众理解和应用科技法规方面发挥关键作用。大语言模型（LLM）可以显著提升科技政策法规问答系统的准确性和效率。论文提出了一种检索增强自提示的问答数据集构建方法，并构建了一个大规模高质量的科技政策法规问答数据集；同时，构建了科技政策法规问答系统，该系统结合了经过低秩自适应（LoRA）微调技术优化的大语言模型与科技政策法规知识库，并运用提示学习技术，来引导系统生成准确的答案。实验结果显示，构建的问答数据集在引用和整合科技政策法规知识方面，比传统方法构建的问答数据集的性能有显著提升。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406023
引用格式：向小伟, 申艳光, 胡明昊, 等. 大模型驱动的科技政策法规问答系统研究[J]. 计算机科学与探索, 2024, 18(9): 2349-2360.
面向工艺规范文本的大语言模型知识注入方法研究
纪贵阳1，王裴岩1，余 卓2
1. 沈阳航空航天大学 计算机学院，沈阳 110136
2. 上海飞机制造有限公司 航空制造技术研究所，上海 201324
介绍：使用大语言模型进行工艺规范的应用是解决工艺知识查询不准确的有效途径。论文提出一种面向工艺规范文本的大语言模型知识注入方法。根据工艺规范数据特点设计了包含辅助句判别任务、概念-篇章生成任务、篇章续写任务及篇章-摘要生成任务的知识注入数据，结合问答对数据对模型进行有监督微调，为模型注入领域概念、属性、多概念间关系及参考依据知识。实验结果表明，结合知识注入数据和问答对数据训练的模型，对比只使用问答对数据训练的模型的各项指标均有提升，表明了提出的知识注入方法的有效性。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406067
引用格式：纪贵阳, 王裴岩, 余卓. 面向工艺规范文本的大语言模型知识注入方法研究[J]. 计算机科学与探索, 2024, 18(9): 2361-2369.
基于大语言模型的命名实体识别研究进展
梁 佳，张丽萍，闫 盛，赵宇博，张雅雯
内蒙古师范大学 计算机科学技术学院，呼和浩特 010022
介绍：论文对基于大语言模型的命名实体识别最新研究进展进行综述，概述大语言模型和命名实体识别的发展历程，简要介绍命名实体识别任务常用的数据集和评估方法，从基于规则和字典、基于统计机器学习和基于深度学习的命名实体识别方法这三方面对目前传统命名实体识别研究工作进行梳理。按照模型架构详细阐述不同大语言模型如何应用于不同领域的命名实体识别任务，并对存在的问题和改进的方向进行分析。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2407038
引用格式：梁佳, 张丽萍, 闫盛, 等. 基于大语言模型的命名实体识别研究进展[J]. 计算机科学与探索, 2024, 18(10): 2594-2615.
面向中医药大模型的知识增强方法研究
吉祥宇1，王 鑫1，张鹤译1，孟昭鹏2，张俊华2，庄朋伟3，贾勇哲1，4，徐大为4
1. 天津大学 智能与计算学部，天津 300350
2. 天津中医药大学，天津 300193
3. 天津中医药大学第一附属医院 国家中医针灸临床医学中心，天津 300193
4. 天大智图（天津）科技有限公司，天津 300192
介绍：论文提出了一种新的知识增强方法。该方法由模型训练、图谱构建和知识增强三部分组成。在模型训练阶段，通过对基础大模型在中医药数据集上进行预训练和微调两阶段训练，得到中医药领域大模型。在图谱构建阶段，基于中医十万首经典方剂和古籍中的方剂，利用清洗后的数据集构建中医药图谱。在知识增强阶段，基于对知识图谱上信息的计算，利用检索图谱中的专业知识和图谱结构计算检索结果，中医药方剂中的结构特性得以保留。针对中医药方剂配伍任务特性提出了一组评价标准，用于评估模型在该任务上的表现。实验表明，该方法相对于基准测试模型，在主观指标和客观指标上均获得了较大提升，BLEU-1最高提升0.09，ROUGE-1最高提升0.21。消融实验表明，该方法对于模型在该任务上具有较大作用，未使用知识增强的模型BLEU-1相比于使用知识增强下降约37%。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2407082
引用格式：吉祥宇, 王鑫, 张鹤译, 等. 面向中医药大模型的知识增强方法研究[J]. 计算机科学与探索, 2024, 18(10): 2616-2629.
基于大语言模型的公安专业小样本知识抽取方法研究
裴炳森，李 欣，蒋章涛，刘明帅
中国人民公安大学 信息网络安全学院，北京 100038
介绍：论文提出使用较少资源和数据构建垂直领域大语言模型，实现模型对公安专业适配的方法，利用知识编辑技术MEMIT、低资源微调技术LoRA、提示模板，提高模型对警务术语、警务常识等公安知识的理解能力。为进一步提高模型的知识抽取效果，设计小样本执法办案文本数据抽取流程，以更好结合模型中的相关案别专业知识。实验结果表明，融合抽取流程的公安专业垂直领域大语言模型在各类知识抽取任务中准确率较之传统方法显著提高，有助于帮助一线民警快速、客观、准确分析执法办案文本，挖掘案件潜在信息，支撑公安工作智能化发展。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2403039
引用格式：裴炳森, 李欣, 蒋章涛, 等. 基于大语言模型的公安专业小样本知识抽取方法研究[J]. 计算机科学与探索, 2024, 18(10): 2630-2642.
融合大模型与图神经网络的电力设备缺陷诊断
李 莉1，2，时榕良1，3，郭 旭1，蒋洪鑫1
1. 华北电力大学 计算机系，河北 保定 071003
2. 河北省能源电力知识计算重点实验室，河北 保定 071003
3. 北京中恒博瑞数字电力科技有限公司，北京 100085
介绍：为提升缺陷诊断的准确性和效率，论文提出一种基于图神经网络的缺陷文本评级分类方法和大模型智能诊断分析助手。构建专业词典，使用自然语言处理算法规范化文本描述。通过统计方法，优化缺陷文本的语义表示。集成图注意力神经网络和RoBERTa模型对缺陷文本进行精确评级分类。基于大语言模型Qwen1.5-14B-Chat进行低秩适配（LoRA）微调训练，得到电力设备诊断大模型Qwen-ElecDiag，结合检索增强生成技术开发设备缺陷诊断助手。对比实验结果表明，提出的基于图神经网络的缺陷评级分类方法在准确性上较最优基准模型BERT提升近8个百分点；诊断助手的电力知识以及缺陷诊断能力得到提升。通过提高缺陷评级的准确率并提供全面专业化诊断建议，不仅提高电力设备运维的智能化水平，也为其他垂直领域的智能运维提供新的解决方案。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2405085
引用格式：李莉, 时榕良, 郭旭, 等. 融合大模型与图神经网络的电力设备缺陷诊断[J]. 计算机科学与探索, 2024, 18(10): 2643-2655.
基于大语言模型的知识图谱构建及应用研究
张才科1，李小龙2，郑 胜2，蔡家骏2，叶小舟1，罗 静1
1. 中核武汉核电运行技术股份有限公司，武汉 430223
2. 三峡大学 理学院，湖北 宜昌 443002
介绍：论文提出了分步提示策略的大语言模型知识抽取方法，构建了DCS运维知识图谱；并基于大语言模型技术和二次意图识别方法，利用知识图谱开展智能问答等知识服务。以某核电厂DCS运维数据为例，重点就知识抽取、图谱构建、智能问答开展实例研究。结果表明，模型的总体精确率、召回率和F1值分别为91.24%、85.85%和88.43%，能够较为全面地获取DCS多源异构运维数据中的关键实体及属性信息，指导开展领域知识问答，有助于运维人员及时响应DCS报警异常，分析总结故障原因及响应策略，为后期的电厂DCS运维的培训和维护提供借鉴和参考。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406013
引用格式：张才科, 李小龙, 郑胜, 等. 基于大语言模型的知识图谱构建及应用研究[J]. 计算机科学与探索, 2024, 18(10): 2656-2667.
大语言模型增强的知识图谱问答研究进展综述
冯拓宇1，2，李伟平1，郭庆浪2，王刚亮2，张雨松2，乔子剑2
1. 北京大学 软件与微电子学院，北京 100091
2. 中国电子科学研究院，北京 100041
介绍：为了更好地研究学习增强知识图谱问答的技术，对现有的各种大语言模型增强的知识图谱问答方法进行了归纳分析。总结了大语言模型和知识图谱问答的相关知识，即大语言模型的技术原理、训练方法，以及知识图谱、问答和知识图谱问答的基本概念。从语义解析和信息检索两个维度，综述了大语言模型增强知识图谱问答的现有方法，分析了方法所解决的问题及其局限性。收集整理了大语言模型增强知识图谱问答的相关资源和评测方法，并对现有方法的性能表现进行了总结。针对现有方法的局限性，分析并提出了未来的重点研究方向。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2407069
引用格式：冯拓宇, 李伟平, 郭庆浪, 等. 大语言模型增强的知识图谱问答研究进展综述[J]. 计算机科学与探索, 2024, 18(11): 2887-2900.
基于多模态和知识蒸馏的教材知识图谱构建方法
刘 军1，冷芳玲2，吴旺旺2，鲍玉斌2
1. 东北大学 信息化建设与网络安全办公室，沈阳 110819
2. 东北大学 计算机科学与工程学院，沈阳 110169
介绍：为了高效构建教育领域多模态学科知识图谱，提出了基于大模型知识蒸馏和多模型协作推理的教材文本实体关系抽取算法。在模型训练阶段，利用闭源的千亿参数模型对文本数据进行标注，实现隐式知识蒸馏。然后对开源十亿规模参数模型进行领域数据指令微调，提升开源模型实体关系抽取任务的指令遵循能力。在模型推理阶段，闭源模型作为指导模型，开源的十亿规模参数模型作为执行模型。提出了显隐式知识增强的教材示意图多模态命名实体识别算法。利用图像OCR、视觉语言模型等技术提取了教材示意图中的文字信息、全局内容描述信息。通过显式知识库检索增强和隐式LLM提示增强的方法，得到图像-标题对中可能关联的辅助知识，并将显式知识库和隐式LLM得到的知识进一步融合，形成最终的辅助知识。将示意图辅助知识和示意图标题进行拼接，实现教材示意图标题的多模态命名实体识别。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406054
引用格式：刘军, 冷芳玲, 吴旺旺, 等. 基于多模态和知识蒸馏的教材知识图谱构建方法[J]. 计算机科学与探索, 2024, 18(11): 2901-2911.
基于大语言模型的PTCR外部知识型视觉问答框架
薛 迪1，李 欣1，2，刘明帅1
1. 中国人民公安大学 信息网络安全学院，北京 100038
2. 安全防范技术与风险评估公安部重点实验室，北京 100026
介绍：针对外部知识型视觉问答（VQA）模型输入信息不足、推理性能差的问题，构建了一种基于大语言模型（LLM）的PTCR外部知识型VQA框架。该框架由答案候选生成、针对性图像描述、自主式思维链构建、提示LLM推理四部分构成。PTCR框架使用LLM指导多模态大模型生成针对性的图像描述，解决了以往图像标题覆盖不全面的问题；通过LLM自主生成思维链，并在推理过程中提供相似问题的思考过程，提高了模型的推理能力；在推理过程引入选项重排技术消除LLM的选择位置偏见，通过多数投票的方式降低了推理的随机性误差。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406028
引用格式：薛迪, 李欣, 刘明帅. 基于大语言模型的PTCR外部知识型视觉问答框架[J]. 计算机科学与探索, 2024, 18(11): 2912-2924.
基于大语言模型多阶段推理的情绪支持对话生成方法
桑晨扬1，马廷淮2，3，谢欣彤2，孙圣杰1，黄 锐1
1. 南京信息工程大学 计算机学院，南京 210044
2. 南京信息工程大学 软件学院，南京 210044
3. 江苏海洋大学 计算机工程学院，江苏 连云港 222005
介绍：受目前大语言模型出色的推理能力启发，提出了一种基于大语言模型的情绪支持对话推理框架CoES，将端到端的生成问题转化为分阶段的推理问题，从而将复杂的情绪支持任务分解为简单子任务来逐步解决。该框架由情绪推理链、策略推理链、回复生成链三条思维链组成，分别用于用户心理状态的细粒度挖掘、情绪支持策略的选择以及回复的生成与优化。针对性地设计了不同的外部知识增强策略，以改善大模型在心理状态挖掘及支持策略选择过程中的推理效果。ESConv数据集上的人工评估及自动评估结果表明，所提出的推理方法在情绪支持的可解释性及内容生成质量方面达到了先进的性能。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406036
引用格式：桑晨扬, 马廷淮, 谢欣彤, 等. 基于大语言模型多阶段推理的情绪支持对话生成方法[J]. 计算机科学与探索, 2024, 18(11): 2925-2939.
融合知识推理与相似度检索的民众诉求大模型构建与应用
刘 昕1，高会泉1，邵长恒2，陈子良1，卢文娟1，杨会如1
1. 中国石油大学（华东） 青岛软件学院、计算机科学与技术学院，山东 青岛 266580
2. 青岛大学 计算机科学技术学院，山东 青岛 266071
介绍：构建了面向民众诉求领域的智能问答大语言模型（PC-LLM）。设计基于BERT-BiLSTM-CRF的实体关系抽取模型获得诉求工单中实体及其关系，进而构建诉求知识图谱，使用BERT模型对诉求工单向量化并构建诉求工单向量索引库；回复生成阶段，抽取用户诉求的实体和关系，在诉求知识图谱中通过实体链接进行知识推理，获取潜在关系提示，同时在诉求工单向量索引库内对诉求进行快速检索，获取相似诉求并构建相似诉求提示；将潜在关系提示、相似诉求提示与用户诉求融合形成综合提示，引导大语言模型生成准确的回复。实验分析显示，该大语言模型在诉求数据集中的表现明显优于ChatGPT4o、文心一言、通义千问等大语言模型。
链接：
http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406057
引用格式：刘昕, 高会泉, 邵长恒,等. 融合知识推理与相似度检索的民众诉求大模型构建与应用[J]. 计算机科学与探索, 2024, 18(11): 2940-2953.
