栏目文章信息

    图形图像处理 栏目所有文章列表
    (按年度、期号倒序)
        一年内发表的文章 |  两年内 |  三年内 |  全部
    Please wait a minute...
    选择: 显示/隐藏图片
    1. 基于特征解耦的少样本遥感飞机图像增广算法
    刘牧云, 卞春江, 陈红珍
    计算机工程与应用    2024, 60 (9): 244-253.   DOI: 10.3778/j.issn.1002-8331.2212-0237
    摘要12)      PDF(pc) (8381KB)(16)    收藏
    基于深度学习的遥感飞机图像分类模型依赖多元化、均衡化的数据集进行训练,但由于飞机目标的高动态特性导致其大规模数据采集困难,现有的飞机细粒度数据集往往存在高质量数据有限、样本不均衡、难以覆盖全部场景的问题。图像生成技术作为数据增广的一种方式在提高数据规模方面发挥了重要作用,但传统的图像生成算法依赖大量样本训练,在少样本条件下的遥感细粒度图像生成问题亟待解决。因此,针对飞机目标图像类间相似度高、类内差异性大的特性提出了一种基于特征解耦的小样本图像生成方法FD-VAE,并在FAIR1M-Aircraft和MAR20两个细粒度遥感飞机数据集上进行测试,与多种先进的图像生成方法相比,FD-VAE的生成图像质量评价指标FID和LPIPS有明显改善。一系列定性和定量实验证明了FD-VAE在生成多样性、高质量的飞机细粒度图像方面具有强竞争力。并且,使用FD-VAE增广后数据集训练的ResNet-18分类网络,相比于传统训练方法精度提升2.3个百分点。FD-VAE有效缓解了细粒度飞机图像高质量数据采集困难的问题,并且有助于提升下游深度学习模型的性能上限。
    参考文献 | 相关文章 | 多维度评价
    2. 基于强语义关键点采样的三维目标检测方法
    车运龙, 袁亮, 孙丽慧
    计算机工程与应用    2024, 60 (9): 254-260.   DOI: 10.3778/j.issn.1002-8331.2212-0239
    摘要13)      PDF(pc) (4630KB)(11)    收藏
    目标检测算法中关键信息的特征提取是影响算法精度的重要因素。针对当前三维目标检测算法中存在的关键点采样困难、特征提取不充分等问题,借鉴PV-RCNN三维目标检测网络,提出一种基于强语义关键点采样的三维目标检测方法SSPS-RCNN(strong semantic point sampling RCNN)。在关键点采样阶段,该算法采用语义加权点采样和提案区域点过滤相融合的方法,获得更具特征代表性的采样关键点,以提升采样点中前景点的比例;在不增加网络结构的基础上,将语义信息重新加权关键点特征,以进一步细化关键点的特征贡献提升算法精度。在KITTI数据集上的实验结果表明该算法与现有主流算法相比,对减少物体检测中的漏检与错检问题和整体检测精度提升,表现出良好的稳定性和鲁棒性。
    参考文献 | 相关文章 | 多维度评价
    3. 基于生成对抗网络的时尚内容和风格迁移
    丁文华, 杜军威, 侯磊, 刘金环
    计算机工程与应用    2024, 60 (9): 261-271.   DOI: 10.3778/j.issn.1002-8331.2212-0265
    摘要13)      PDF(pc) (5189KB)(19)    收藏
    生成对抗网络常常被用于图像着色、语义合成、风格迁移等图像转换任务,但现阶段图像生成模型的训练往往依赖于大量配对的数据集,且只能实现两个图像域之间的转换。针对以上问题,提出了一种基于生成对抗网络的时尚内容和风格迁移模型(content and style transfer based on generative adversarial network,CS-GAN)。该模型利用对比学习框架最大化时尚单品与生成图像之间的互信息,可保证在时尚单品结构不变的前提下实现内容迁移;通过层一致性动态卷积方法,针对不同风格图像自适应地学习风格特征,实现时尚单品任意风格迁移,对输入的时尚单品进行内容特征(如颜色、纹理)和风格特征(如莫奈风、立体派)的融合,实现多个图像域的转换。在公开的时尚数据集上进行对比实验和结果分析,该方法与其他主流方法相比,在图像合成质量、Inception score和FID距离评价指标上均有所提升。
    参考文献 | 相关文章 | 多维度评价
    4. 双分支结构的多层级三维点云补全
    邱云飞, 王宜帆
    计算机工程与应用    2024, 60 (9): 272-282.   DOI: 10.3778/j.issn.1002-8331.2212-0355
    摘要14)      PDF(pc) (4602KB)(9)    收藏
    为了缓解现有点云补全方法在特征提取过程中很难平衡局部特征和全局特征的问题,提出了一种双分支结构的多层级点云补全算法。利用两个独立的分支网络分别提取出输入点云的局部特征信息和全局特征信息,再将两种特征信息进行拼接形成特征向量。使用五层联合感知机将特征向量映射成多个维度,进而提取多维特征信息并将其整合成最终特征向量。采用金字塔结构在256、512、1?024特征维度上对最终特征向量进行特征解码,预测三种不同分辨率的点云。引入鉴别器网络,通过联合训练鉴别器产生的对抗损失和分层重建点云产生的补全损失去优化网络。在ShapeNet数据集上进行实验,算法显著提升了点云补全精度,并且在缺失大面积点云时也能恢复出较为完善的物体形状。
    参考文献 | 相关文章 | 多维度评价
    5. 面向桌面交互场景的双目深度测量方法
    叶彬, 朱兴帅, 姚康, 丁上上, 付威威
    计算机工程与应用    2024, 60 (9): 283-291.   DOI: 10.3778/j.issn.1002-8331.2212-0373
    摘要10)      PDF(pc) (5257KB)(6)    收藏
    基于视觉的虚拟现实交互方式在桌面书写应用场景中尚未有针对性的解决方案,书写交互中精细动作准确识别的实现,需要一种全新的高精度手笔联合三维识别技术,其中深度准确度是影响三维识别精度的重要因素。为此提出一种高精度双目深度测量方法,该方法针对书写交互采用了高分辨率、近距离的图像对作为输入,并在算法上提出全局与局部重要信息交叉融合的思想以提升速度与精度,减少计算成本。算法使用区域检测模块提取图像对中的手部和笔尖关键区域以重要程度分尺度输入;并且引入区域特征金字塔结构结合多尺度语义信息;同时利用视差级联模块缩小匹配范围,提高网络实时性。实验证明,提出的深度测量方法在手部和笔尖交互区域精度高,实时性好,能够有效辅助提高手笔联合三维识别精度以提供更好的虚拟书写交互体验,具有广泛的应用前景。
    参考文献 | 相关文章 | 多维度评价
    6. 基于结构感知和全局上下文信息的小目标检测
    李钟华, 林初俊, 朱恒亮, 廖诗宇, 白云起
    计算机工程与应用    2024, 60 (9): 292-298.   DOI: 10.3778/j.issn.1002-8331.2302-0275
    摘要12)      PDF(pc) (5259KB)(9)    收藏
    在小目标检测任务中,由于小目标像素值少、特征不丰富和难提取等局限性,容易导致模型漏检、误检以及精度低等问题,提出了一种基于多尺度结构感知和全局上下文信息的小目标检测算法。针对复杂场景设计了多尺度结构感知模块,可以更好地捕获小目标的细节特征,以此增强模型识别不同尺寸物体的检测能力。为了获取更多的全局特征,借助Transformer捕获长距离依赖特征的优势设计了全局上下文信息模块,有效地建立起不同区域像素点之间的联系。针对模型训练时的梯度爆炸现象,设计了一种新的带权重损失函数W-CIoU,使得训练时的收敛速度有明显改善。大量的实验结果表明,提出的方法相较于其他经典的轻量级方法取得了较好的检测效果。与基准模型相比,提出的模型在VisDrone数据集上mAP50和mAP50:95分别提高了6.4和4.6个百分点,同时在TinyPerson数据集上也有着不错的表现。
    参考文献 | 相关文章 | 多维度评价
    7. 改进YOLOv7的航拍图像目标检测
    邹振涛, 李泽平
    计算机工程与应用    2024, 60 (8): 173-181.   DOI: 10.3778/j.issn.1002-8331.2305-0264
    摘要60)      PDF(pc) (745KB)(83)    收藏
    航拍图像目标检测对于高效解译航拍图像,并用于地图绘制、资源普查、城乡规划等领域有着重大现实意义。针对无人机航拍图像中的物体尺度变化大、易受到背景干扰和微小目标容易错检漏检的问题,提出一种基于YOLOv7进行改进的航拍图像目标检测算法(AirYOLOv7)。AirYOLOv7通过在原网络的特征提取阶段结合三维注意力机制,在特征融合阶段结合通道注意力机制,以帮助模型更好地聚焦于图像中的关键信息。考虑到航拍图像中存在许多微小物体,算法额外增加了一个用于检测微小物体的预测头,并在每个预测头前引入C3STB,以增强算法对不同尺度目标的检测能力。针对IoU损失对微小物体的位置偏差非常敏感,通过在原边框回归损失中引入Wasserstein距离来衡量微小物体之间的差异,以提高算法对微小物体的检测能力。实验结果表明,AirYOLOv7在DOTA和VisDrone这两个公开的光学航拍数据集上的mAP分别达到78.65%和51.79%,相较于原始的YOLOv7分别提高了1.92个百分点和2.28个百分点,证明了改进方法在光学航拍图像上的有效性。
    参考文献 | 相关文章 | 多维度评价
    8. 改进YOLOv8的轻量化无人机目标检测算法
    胡峻峰, 李柏聪, 朱昊, 黄晓文
    计算机工程与应用    2024, 60 (8): 182-191.   DOI: 10.3778/j.issn.1002-8331.2310-0063
    摘要52)      PDF(pc) (813KB)(80)    收藏
    针对无人机目标检测算法计算复杂难以部署,且长尾分布的无人机数据导致检测精度较低的问题,提出了基于改进YOLOv8的轻量化无人机目标检测算法(PC-YOLOv8-n),可均衡网络检测精度与计算量,并对长尾分布数据有一定泛化能力。使用部分卷积层(PConv)替换YOLOv8中的3×3卷积层,对网络进行轻量化处理,解决网络冗余和计算量复杂的问题;融合双通道特征金字塔,增加自上而下的路径,将深层信息与浅层信息进行融合,同层引入轻量化注意力机制,提升网络的特征提取能力;采用均衡焦点损失(EFL)作为类别损失函数,通过均衡尾部类别在网络训练时的梯度权重,增加网络的类别检测能力。实验结果表明,PC-YOLOv8-n在VisDrone2019数据集中具有良好的表现,在mAP50精度上比原始YOLOv8-n算法提高了1.6个百分点,同时模型的参数和计算量分别降低为2.6×106和7.6 GFLOPs,检测速度达到77.2 FPS。
    参考文献 | 相关文章 | 多维度评价
    9. 轻量化YOLO-v7的数显仪表检测及读数
    章芮宁, 闫坤, 叶进
    计算机工程与应用    2024, 60 (8): 192-201.   DOI: 10.3778/j.issn.1002-8331.2304-0401
    摘要22)      PDF(pc) (712KB)(29)    收藏
    由于较大的参数体量和较高的计算复杂度,通用检测及识别模型直接在移动端部署的难度较高。为解决这个困难,研究了移动设备上使用计算机视觉的仪表检测及读数方法。针对实际工业生产环境下检测及识别的需求,基于YOLO-v7重新设计了轻量化的仪表检测网络以及字符检测及识别网络。利用深度可分离卷积进一步降低计算复杂度,压缩模型大小。采用K-means++聚类算法加遗传算法自动产生初始锚框。使用通道剪枝,再一次压缩模型。实验结果证明,专用网络模型设计、深度可分离卷积以及通道剪枝对减少模型参数体量和降低算力需求具有显著效果。参数数量相较于原始YOLO-v7模型均下降了99.67%,模型算力需求均降至0.3?GFLOPs,下降了99.71%。实验中平均图片检测时间为10.7?ms。各网络的平均精准度(mAP0.5)达到了99.63%和99.53%。系统整体读数精确度达98.44%。
    参考文献 | 相关文章 | 多维度评价
    10. 改进YOLOv8的道路交通标志目标检测算法
    田鹏, 毛力
    计算机工程与应用    2024, 60 (8): 202-212.   DOI: 10.3778/j.issn.1002-8331.2309-0415
    摘要66)      PDF(pc) (937KB)(82)    收藏
    虽然,当前检测技术日趋成熟,但对于复杂环境下的小目标检测仍然是研究的重难点。针对道路交通场景中普遍存在的交通标志小目标比例较高,环境干扰因素较大的问题,提出了一种基于YOLOv8改进的道路交通标志目标检测算法。由于小目标检测中容易出现漏检的现象,利用BRA(bi-level routing attention)注意力机制提高网络对小目标的感知能力。此外,还利用可形变卷积模块DCNv3(deformable convolution v3),针对特征图中的不规则形状具有更好的特征提取能力,使骨干网络更好地适应不规则的空间结构,更精准地关注重要目标,从而提高模型对遮挡重叠目标的检测能力。DCNv3和BRA模块均在基本不增加模型权重大小的情况下提高模型准确性。同时引入基于辅助边框的Inner-IOU损失函数。在RoadSign、CCTSDB、TSDD、GTSDB四个数据集上,分别进行了小样本训练、大样本训练、单目标检测和多目标检测,实验结果均有所提高。其中,在RoadSign数据集上的实验结果最佳,YOLOv8改进模型的均值平均精度mAP50与mAP50:95分别达到了90.7%和75.1%,相较于基线模型,mAP50与mAP50:95分别提升了5.9和4.8个百分点。实验结果表明,YOLOv8改进模型有效地实现了在复杂道路场景下的交通标志检测。
    参考文献 | 相关文章 | 多维度评价
    11. 分布统计特征的孪生网络目标跟踪方法
    李俊, 曹林, 张帆, 杜康宁, 郭亚男
    计算机工程与应用    2024, 60 (8): 213-224.   DOI: 10.3778/j.issn.1002-8331.2211-0435
    摘要27)      PDF(pc) (854KB)(22)    收藏
    尽管基于孪生网络的跟踪器取得了巨大成功,但在边界模糊这类复杂场景下的跟踪性能仍然较差。大多数现有方法对于目标的定位均采用不灵活的狄克拉分布,由于缺少对边界框的不确定性估计,使其在边界模糊下无法准确定位。为了解决上述问题,基于SiamBAN模型进行改进,利用目标边界框的分布统计特征与其实际的定位质量高度相关这一特性,将边界框的回归值由狄克拉分布转为一定范围内的任意概率分布,将分布统计特征经过分布引导质量预测器生成较高的定位质量估计得分,将分类与定位质量估计联合表示,克服了训练和测试阶段分类与回归不一致问题。在VOT2018、VOT2019、OTB100、UAV123、LaSOT、TrackingNet和GOT-10k数据集上的实验结果表明,对比SiamBAN在准确度和EAO指标上提升了3.3%~10%。
    参考文献 | 相关文章 | 多维度评价
    12. 融合双重极化注意力的轻量化半监督语义分割
    马冬梅, 李悦媛, 陈曦
    计算机工程与应用    2024, 60 (8): 225-233.   DOI: 10.3778/j.issn.1002-8331.2211-0439
    摘要35)      PDF(pc) (631KB)(35)    收藏
    针对目前半监督语义分割方法复杂度高、训练精度低、参数量过大等问题,提出融合双重极化自注意力机制的轻量级半监督语义分割算法。模型使用由位置感知循环卷积构造的Resnet-101残差网络作为分割骨干网络提取深层特征。融合了通道及空间双重极化自注意力机制,在极化通道和空间注意力分支中保持较高内部分辨率。将位置感知循环卷积与通道注意力操作结合起来,提升分割精度并降低计算成本,克服硬件支持等问题。在公开数据集PASCAL VOC 2012上的实验结果显示,该算法其平均交并比可达到76.32%,较基准模型准确率提高了2.52个百分点,参数量减少了9%,模型硬件所占内存减小了61.6%。设计的模型与领域内最新算法相比,该算法在精度、模型复杂度、参数量等方面均展现出了显著的优势。
    参考文献 | 相关文章 | 多维度评价
    13. 改进YOLOv4-Tiny的面向售货柜损害行为人体检测
    殷民, 贾新春, 张学立, 冯江涛, 范晓宇
    计算机工程与应用    2024, 60 (8): 234-241.   DOI: 10.3778/j.issn.1002-8331.2212-0057
    摘要22)      PDF(pc) (778KB)(34)    收藏
    无人货柜的安全检测一直是零售领域的热点话题。针对现有人工监控无法及时且有效地捕捉到部分消费者对自助售货柜及其内部商品的损坏行为这一问题,提出了一种改进YOLOv4-Tiny的面向售货柜损害行为人体检测方法。将真实场景采集到的监控视频进行预处理,完成对数据集DMGE-Act的制作,解决场景图像数据源不足的问题。提出了基于YOLOv4-Tiny的改进模型——YOLOv4-TinyX,通过修改神经网络的激活函数进行平滑逼近,分别在主干特征提取网络的最大特征提取层后引入CBAM,在加强特征提取网络中的上采样操作层后引入CA两种不同的注意力机制模块,并且进行了数据不平衡的修正,有效提升了算法的特征提取与检测能力。通过对比实验分析,改进后的模型参数量仅增加2×104的同时,平均精度均值mAP提升了10.29个百分点,结果表明该算法保持轻量化且对损害行为的检测精度有显著提升。
    参考文献 | 相关文章 | 多维度评价
    14. 基于改进Tracktor的行人多目标跟踪算法
    谌海云, 黄忠义, 王海川, 余鸿皓
    计算机工程与应用    2024, 60 (8): 242-249.   DOI: 10.3778/j.issn.1002-8331.2212-0096
    摘要22)      PDF(pc) (765KB)(31)    收藏
    在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。
    参考文献 | 相关文章 | 多维度评价
    15. 基于时空特征融合的交通警察手势识别
    杜兵, 赵骥
    计算机工程与应用    2024, 60 (8): 250-257.   DOI: 10.3778/j.issn.1002-8331.2212-0110
    摘要24)      PDF(pc) (740KB)(32)    收藏
    近年来,随着人体姿态估计技术的发展,基于骨架关键点的手势识别技术应运而生。提出了一个GCPM-AGRU模型进行交通警察手势识别。为了更准确地定位人体关键点,对卷积姿态机(CPM)进行改进。在特征提取模块中加入残差思想、通道拆分和通道重组,设计后的特征提取模块更好提取图片特征;在CPM第一阶段加入并行多分支Inception4d结构,使CPM网络具有多尺度特征融合思想,有效改进对人体关键点定位的问题;提出基于注意力机制的GRU,通过为每帧分配不同权重来达到对每帧不同程度的关注,从而更好获取时间信息;结合时空特征信息进行交通警察手势识别。交通警察手势识别的准确度达到了93.7%,相比网络改进之前提高了2.95个百分点。
    参考文献 | 相关文章 | 多维度评价
    16. ConvUCaps:基于卷积胶囊网络的医学图像分割模型
    邓希泉, 陈刚
    计算机工程与应用    2024, 60 (8): 258-266.   DOI: 10.3778/j.issn.1002-8331.2302-0002
    摘要14)      PDF(pc) (679KB)(17)    收藏
    在医学影像分割领域,U-Net网络是目前最成功和最受关注的方法之一,但是U-Net本质上是一种经过改造的全卷积神经网络模型,要获得更为全面和准确的局部-整体关系,不但需要增加网络层次从而加大计算量,而且效果也并不明显。胶囊网络提供了一种有效的建模图像的局部与整体关系的方法,可以用更少的参数取得好的性能。但原始的胶囊网络并没有充分考虑图像局部特征的粒度问题,将其应用在医学图像分割领域还需进一步改造。因此,提出一种将U-Net和胶囊网络相结合的医学图像分割模型ConvUCaps。该模型对U-Net的编码器部分进行改进,使用卷积模块学习不同尺度的局部特征,然后通过胶囊模块学习高层特征,并建模局部与整体之间的关系。实验结果表明,相比U-Net、UNet++、SegCaps、Matwo-CapsNet网络,ConvUCaps提高了分割精度和收敛速度,同时,与单纯基于胶囊网络的分割模型相比,显著减少了推理时间。
    参考文献 | 相关文章 | 多维度评价
    17. 面向目标检测的数据集标签遗漏的协同修正技术
    周定威, 扈静, 张良锐, 段飞亚
    计算机工程与应用    2024, 60 (8): 267-273.   DOI: 10.3778/j.issn.1002-8331.2302-0056
    摘要18)      PDF(pc) (663KB)(19)    收藏
    针对图像标注中疲劳、粗心等因素引起的标签遗漏现象,使得模型训练时难以正确区分正负样本,进而影响模型性能。设计了一种协同修正技术,通过多次迭代更新训练集,将潜在无标签的目标进行对象擦除,降低训练集的错误监督信息,避免人工的重复检查和重复标注。该方法无需进行算法参数调整、不依赖具体网络结构,低成本地减少数据集错误从而提升模型训练精度。在YOLOv5算法的实验基础上表明协同修正操作仅迭代1次即有明显的改善效果,并在多个公共数据集上能够提升0.4%~1.4%的检测精度,当数据集中的标签遗漏率达到40%时依然能够生效。该方法对数据集中样本的数据量和类别数没有限制,可应用于电商、遥感、通用等多种目标检测场景,保持着较好的鲁棒性和泛化性。
    参考文献 | 相关文章 | 多维度评价
    18. 基于改进YOLOX的轻量化交通监控目标检测算法
    胡伟超, 郭宇阳, 张奇, 陈艳艳
    计算机工程与应用    2024, 60 (7): 167-174.   DOI: 10.3778/j.issn.1002-8331.2308-0081
    摘要92)      PDF(pc) (630KB)(118)    收藏
    交通目标检测技术是道路交通管理部门进行交通流量监测、安全管控等核心工作的重要技术之一。面对大量的交通监控视频数据,需要使用检测速度更快、精度更高、占用计算资源更少的交通目标检测技术。为了满足这一需求,根据YOLOX算法和PP-LCNet网络,提出了一种面向交通监控场景的轻量型交通目标检测算法PL-YOLO。使用基于PP-LCNet改进的网络作为目标检测器的主干特征网络,使用深度可分离卷积代替YOLOX中的普通卷积,降低模型运算过程中的复杂度;根据交通监控场景下的车辆分布密集且尺寸小的特点,添加SimAM注意力机制模块,聚焦于更有意义的特征图像。实验结果表明,相对于YOLOX-s模型,改进后的PL-YOLO检测精度提升1.89个百分点,模型大小降低了54%,FPS从20.88?帧/s提升到26.68?帧/s。
    参考文献 | 相关文章 | 多维度评价
    19. 改进YOLOv7的木材表面缺陷检测算法
    江兴旺, 赵兴强
    计算机工程与应用    2024, 60 (7): 175-182.   DOI: 10.3778/j.issn.1002-8331.2309-0185
    摘要78)      PDF(pc) (599KB)(97)    收藏
    优质木材深受人们喜爱,但木材存在多种缺陷导致优质木材产量少,木材利用率低。运用深度学习的目标检测算法可以实现木材表面缺陷的快速稳定检测,以此提高木材的优质化和利用率。针对目前木材表面缺陷目标小、密集和复杂等特点导致检测精度较差的问题,提出了一种基于改进YOLOv7的木材表面缺陷检测模型YOLOv7-ESS。针对木材的裂缝缺陷存在极端长宽比例而影响检测效果的问题,嵌入注意力模块ECBAM,通过加强对极端长宽比例缺陷的注意力,提高模型的特征提取能力。针对在提取特征时木材表面小缺陷特征信息丢失严重的问题,引入浅层加权特征融合网络SFPN,以深层特征图作为输出,同时有效利用浅层特征信息,提高小缺陷的识别准确率。引入SIoU损失函数,提升模型收敛速度及模型精度。结果表明,YOLOv7-ESS模型平均检测精度为94.7%,较YOLOv7检测精度提高了11.2个百分点,满足木材生产加工时的缺陷检测要求。
    参考文献 | 相关文章 | 多维度评价
    20. DY-YOLOv5:基于多重注意力机制的航拍图像目标检测
    赵鑫, 陈里里, 杨维川, 张程旺
    计算机工程与应用    2024, 60 (7): 183-191.   DOI: 10.3778/j.issn.1002-8331.2309-0419
    摘要107)      PDF(pc) (1074KB)(102)    收藏
    针对无人机航拍图像中目标小、尺度不一和背景复杂等导致检测精度低的问题,提出一种基于改进YOLOv5的无人机航拍图像目标检测算法DY-YOLOv5。该算法在检测头部分利用具有多重注意力机制的目标检测头方法Dynamic Head,提升检测头在复杂背景下的检测表现。在原模型neck部分增加一次上采样和Concat操作,并执行一个包含极小、小、中目标的多尺度特征检测,提升模型对中、小目标的特征提取能力。引入密集卷积网络DenseNet,将其与YOLOv5s主干网络的C3模块进行融合,提出C3_DenseNet模块,以加强特征传递并预防模型过拟合。在VisDrone2019数据集上应用DY-YOLOv5算法,平均精度均值(mAP)达到了43.9%,较原YOLOv5算法提升了11.4个百分点。召回率(Recall)为41.7%,较原算法提升了9.0个百分点。实验结果证明,改进算法显著提高了无人机航拍图像目标检测的精度。
    参考文献 | 相关文章 | 多维度评价
    21. 双分支多维注意特征融合的高光谱图像分类
    马亚美, 王双亭, 都伟冰
    计算机工程与应用    2024, 60 (7): 192-203.   DOI: 10.3778/j.issn.1002-8331.2211-0139
    摘要42)      PDF(pc) (729KB)(36)    收藏
    为改善高光谱图像小样本类别的分类性能,提高模型特征表达的稳健性,提出了双分支多维注意力特征融合的神经网络分类模型(DBMD)。DBMD采用两个分支分别进行光谱特征提取和混合特征提取。光谱分支通过密集连接的扩张卷积逐级提取特征,然后融合低、中、高级语义信息作为特征输出。混合分支采用3D-2D网络架构,并通过改进的Inception块提取空间尺度特征。此外,注意力机制分别应用于光谱、空间和空谱特征,进行特征细化,增强重要区域的特征响应。最后,将不同维度的细化特征联合输入至分类器进行分类。在Indian Pines和Salinas Valley数据集上利用5%和1%的样本进行实验,分别取得了98.40%和99.78%的总体精度,与其他六种网络架构相比,该模型在准确性和稳定性上都具有更优的表现。
    参考文献 | 相关文章 | 多维度评价
    22. VR交互式三维虚拟起重装备建模与仿真
    黄凯歌, 惠延波, 刘永刚, 王宏晓, 王瞧
    计算机工程与应用    2024, 60 (7): 204-211.   DOI: 10.3778/j.issn.1002-8331.2211-0173
    摘要22)      PDF(pc) (884KB)(21)    收藏
    起重机作为广泛应用的特种装备,运行危险性大,极易发生安全事故。为降低由操作不当引起的安全事故,国家高度重视起重机的安全培训工作。目前培训操作多为传统的示教式培训,培训成本高、效果差。虚拟现实技术具有沉浸式、交互性、多感知等优点。基于此,采用虚拟现实技术建立起重装备培训和考核系统,大幅提升工人培训效果。为还原起重机真实使用场景,采用逆向工程技术对起重机及起重机厂房进行建模;针对三维虚拟场景真实性以及模型数量巨大交互模型复用性差的问题,采用细节层次(levels of detail,LOD)模型构建起重装备几何模型,从而优化系统的真实感和实时性;利用Unity平台实现了起重装备的三维场景漫游、碰撞检测和快速导航;基于MySQL数据库,实时存储培训数据以及起重机重要参数数据;依据现有桥机平台对虚拟平台进行了验证,结果显示该起重机虚拟现实培训系统可以在降低培训成本的同时大幅提升了培训感官,实验效果良好。
    参考文献 | 相关文章 | 多维度评价
    23. 结合混合注意力的双判别生成对抗网络
    王磊, 杨军, 张驰宇, 代在燕
    计算机工程与应用    2024, 60 (7): 212-221.   DOI: 10.3778/j.issn.1002-8331.2211-0196
    摘要37)      PDF(pc) (853KB)(51)    收藏
    图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。
    参考文献 | 相关文章 | 多维度评价
    24. 多智能体深度强化学习的图像特征分类方法
    张泽崴, 张建勋, 邹航, 李林, 南海
    计算机工程与应用    2024, 60 (7): 222-228.   DOI: 10.3778/j.issn.1002-8331.2211-0129
    摘要29)      PDF(pc) (659KB)(38)    收藏
    为解决在图像特征识别分类等机器学习任务中,存在输入图像数据复杂度过高且与部分数据与特征无关的问题,提出了一种多智能体深度强化学习的图像特征分类方法。将图像特征分类任务转化为一个部分可观测的马尔可夫决策过程。通过使用多个移动的同构智能体去收集部分图像信息,并研究智能体如何形成对图像的局部理解并采取行动,以及如何从局部观察的图像中提取相关特征并分类,以此降低数据复杂性和过滤掉不相关数据。通过改进的值函数分解方法训练智能体策略网络,对环境的全局回报按照每个智能体的贡献进行拆分,解决智能体的信度分配问题。该方法在MNIST手写数字数据集和NWPU-RESISC45遥感图像数据集上进行了验证,相比基线算法能够学习到更加有效的联合策略,分类过程拥有更好的稳定性,同时精确率也有提升。
    参考文献 | 相关文章 | 多维度评价
    25. 边缘注意力及反向定位的伪装目标检测算法
    何文昊, 葛海波, 程梦洋, 安玉, 马赛
    计算机工程与应用    2024, 60 (7): 229-237.   DOI: 10.3778/j.issn.1002-8331.2211-0211
    摘要33)      PDF(pc) (842KB)(36)    收藏
    伪装目标检测(camouflage object detection,COD)在众多领域中有着重要的应用前景。现有COD算法主要针对特征表达以及特征融合的问题进行研究,但是忽略了目标边缘特征的提取和推断目标真实区域的位置。针对上述问题,提出了基于边缘注意力及反向定位的伪装目标检测算法。算法由边缘注意力模块(edge attention module,EAM)、临近融合模块(close integration module,CIM)和反向定位模块(reverse positioning module,RPM)构成。EAM模块用于特征编码阶段,增强从Res2Net-50主干网络提取的多级特征的表达,突出边缘特征。CIM模块促进多层次特征的融合,减少特征信息丢失。使用RPM模块处理来自不同特征金字塔的粗糙预测图,反向定位目标的真实区域,推断出真实目标。在3个公开数据集上的实验表明,该算法优于其他8个最新模型。在COD10K数据集上,平均绝对误差(mean absolute error,MAE)达到了0.038。
    参考文献 | 相关文章 | 多维度评价
    26. 高斯感知约束空间异常的相关滤波目标跟踪
    姜文涛, 王梓民, 张晟翀
    计算机工程与应用    2024, 60 (7): 238-247.   DOI: 10.3778/j.issn.1002-8331.2211-0408
    摘要19)      PDF(pc) (903KB)(20)    收藏
    针对目标在复杂场景运动过程中容易出现跟踪丢失问题,提出一种高斯感知约束空间异常的目标跟踪算法。以高斯均匀分布为分布规律建立目标特征采样点,采用卷积结构提取目标的外观模型以及权重模型;为了约束空间异常,在目标函数中构建空间正则项,同时更新目标权重模型,减小空间过拟合的产生,增强跟踪器的空间异常适应性;应用加权最小二乘法思想,获得权重响应模型中心,确定目标中心,更新跟踪位置,增强跟踪器鲁棒性。使用OTB2015和UAV20L数据集,与其他主流相关滤波算法相比,该算法在目标运动导致低分辨率、遮挡等复杂条件下,跟踪成功率以及跟踪精度较高。
    参考文献 | 相关文章 | 多维度评价
    27. 基于多特征增强的手部姿态估计方法
    奉鑫鑫, 高曙
    计算机工程与应用    2024, 60 (6): 207-213.   DOI: 10.3778/j.issn.1002-8331.2210-0089
    摘要41)      PDF(pc) (580KB)(39)    收藏
    手部姿态估计是计算机视觉研究的重要方向之一,在人机交互、虚拟现实、机器人控制等应用领域发挥着重要作用。针对目前手部姿态估计存在特征表示方法单一性的问题,提出手部关键点连接关系特征构建方法与基于手部运动语义关系的关键点特征聚合增强方法,提高手部特征表达与信息共享能力;针对手部目标检测与图像分割等预处理方法中存在的遮挡性问题,设计手部轮廓特征提取方法,提高预处理效果;基于所提出的多特征表示与增强方法,构建了一个基于全卷积结构的深度学习神经网络模型,避免直接回归计算3D姿态信息导致的空间信息丢失问题,从而有效提高了3D手部姿态估计精度。在DO、ED、RHD等多个数据集上与SOTA模型相比,均取得了竞争性的效果,且平均AUC结果达到了93.3%,说明所提出的方法也具有较好普适性。
    参考文献 | 相关文章 | 多维度评价
    28. 常识辅助细粒度数据增强方法
    李华超, 康彬, 王磊
    计算机工程与应用    2024, 60 (6): 214-221.   DOI: 10.3778/j.issn.1002-8331.2210-0361
    摘要32)      PDF(pc) (618KB)(27)    收藏
    数据增强的代表性研究主要针对ImageNet等常规分类数据集展开。考虑到细粒度识别数据集中测试样本类内及类间关联性与常规分类数据集差异明显,因此针对细粒度识别的数据增强方法尚待深入研究。为此,从细粒度识别任务以及数据集的特殊属性入手提出基于常识辅助的细粒度语义图块混合策略。所提方法利用常识知识挖掘样本标签间潜在关联,以此为基础设计结构化图像混合策略的多支路卷积神经网络结构,使图像混合过程更关注目标的细微差异。通过大量性能测试可验证所提方法的性能明显优于主流的基于图像混合的数据增强方法。同时,通过实验验证,所提出的常识知识有助于多种基于混合图像类的数据增强模型性能提升。
    参考文献 | 相关文章 | 多维度评价
    29. 多尺度深层特征加强的CME小样本目标检测模型
    丁政伟, 白鹤翔, 胡深
    计算机工程与应用    2024, 60 (6): 222-229.   DOI: 10.3778/j.issn.1002-8331.2211-0419
    摘要35)      PDF(pc) (614KB)(39)    收藏
    针对现有的小样本目标检测模型存在对图像全局语义信息考虑不足、输入图像大小不一而导致检测器性能下降的问题,提出了多尺度深层特征加强的CME小样本目标检测模型。利用大量有标签的基类数据和基于残差跳跃的多层卷积神经网络及多尺度特征增强模块训练一个泛化性良好的模型,经过少量有标签的新类数据和基类数据对模型微调,利用微调后的模型进行目标检测。为验证模型的有效性,使用VOC2007和VOC2012数据集对模型进行训练和评估,相关消融实验证明了引入残差跳跃结构的多层卷积神经网络和多尺度特征增强模块的单独使用和组合使用均可进一步增加模型的准确率。在与6个具有代表性的小样本目标检测模型的对比实验中表明,多尺度深层特征加深的CME比最先进的检测器得分平均提高4.75个百分点。
    参考文献 | 相关文章 | 多维度评价
    30. 面向小目标的多空间层次安全帽检测
    李嘉信, 胡杨, 黄协舟, 李洪均
    计算机工程与应用    2024, 60 (6): 230-237.   DOI: 10.3778/j.issn.1002-8331.2210-0353
    摘要34)      PDF(pc) (792KB)(30)    收藏
    由于目标视频中存在目标小、距离远等影响检测效果的因素,对小目标的捕捉难度较大,提出一种面向小目标的多空间层次安全帽佩戴检测算法,该算法将在Yolov5s的网络模型基础上进行个性化改进。设计一种多空间注意力模块,从不同角度考虑空间特征的效果并加以融合,加强显著性特征的空间位置关系;融合多空间尺度的特征,同时结合特征提取过程中的多种特征,适应对不同空间层次目标的捕捉,提高对小目标的检测能力;利用数据增强提高数据集的泛用性,使训练目标适应更多样的情景;优化损失函数,增强回归能力,提高训练效果。实验结果表明,所提算法的平均准确率达到91.5%,明显地减少了漏检情况。除此之外,将其部署到实际施工现场,展现了出对小目标优越的检测性能,具有极大的应用价值。
    参考文献 | 相关文章 | 多维度评价
    31. 结合三维交互注意力与语义聚合的表情识别
    王广宇, 罗晓曙, 徐照兴, 丰芳宇, 许江杰
    计算机工程与应用    2024, 60 (6): 238-248.   DOI: 10.3778/j.issn.1002-8331.2210-0398
    摘要30)      PDF(pc) (701KB)(39)    收藏
    针对传统卷积网络难以有效整合不同阶段人脸面部表情的特征、存在特征表征瓶颈以及无法高效利用上下文语义等问题,提出了一种结合三维交互注意力与语义聚合的面部表情识别方法。在秩扩展(ReXNet)网络的基础上对其进行优化,在消除表征瓶颈的情况下,融合上下文特征,使其更适配表情识别任务。为捕获判别性人脸表情细粒度特征,结合非本地块与跨维度信息交互理论构建了三维交互注意力。为充分利用表情的浅中层底层特征与高层语义特征,设计了语义聚合模块,将多级全局上下文特征与高级语义信息进行聚合,达到同一类别的表情语义相互增益、增强类内一致性的目的。实验表明,该方法在公开数据集RAF-DB、FERPlus和AffectNet-8上的准确率分别为88.89%、89.53%与62.22%,展现了该方法的先进性。
    参考文献 | 相关文章 | 多维度评价
    32. 基于定位置信度加权的半监督目标检测算法
    冯泽恒, 王丰
    计算机工程与应用    2024, 60 (6): 249-258.   DOI: 10.3778/j.issn.1002-8331.2210-0400
    摘要32)      PDF(pc) (696KB)(22)    收藏
    参考文献 | 相关文章 | 多维度评价
    33. 小波分频自注意力Transformer图像去雨网络
    方思严, 刘斌
    计算机工程与应用    2024, 60 (6): 259-273.   DOI: 10.3778/j.issn.1002-8331.2211-0099
    摘要80)      PDF(pc) (1362KB)(66)    收藏
    针对视觉Transformer对高频信息捕捉能力弱以及目前许多图像去雨方法易丢失细节的问题,提出小波分频自注意力Transformer图像去雨网络(WFDST-Net)。小波分频自注意力Transformer(WFDST)作为WFDST-Net的主要模块,其利用不可分提升小波变换获取特征图的低频分量和高频分量,分别在低频和高频中进行自注意力交互,使模块从低频中学习恢复全局结构的能力,在高频中强化捕捉雨纹等线条细节的能力,增强对不同频域特征的建模能力。WFDST-Net采用U形架构并通过不可分提升小波变换获取多尺度特征,可在捕获不同形状高频雨纹的同时保证信息的完整性。相比其他图像去雨相关的Transformer,WFDST-Net具有更低的参数量。此外,提出VOCRain250数据集用于联合图像去雨和语义分割任务,该数据集比目前广泛使用的BDD150更具优势。实验表明,所提方法增强了视觉Transformer对不同频域信息的捕获能力,并在合成和真实数据集以及VOCRain250中的表现优于目前先进的去雨方法,能有效去除复杂雨纹并保留更多细节特征。
    参考文献 | 相关文章 | 多维度评价
    34. 适用于约束环境的轻量级目标检测模型
    曲海成, 袁旭东, 李佳琦
    计算机工程与应用    2024, 60 (6): 274-281.   DOI: 10.3778/j.issn.1002-8331.2211-0283
    摘要30)      PDF(pc) (604KB)(23)    收藏
    为了进一步降低目标检测模型YOLOX-Tiny的大小并提高检测精度,以便于更好地适用于计算资源和存储空间有限的环境,在特征金字塔的结构、解耦头的结构和损失函数上对其进行改进,形成一种更高性能的轻量级目标检测模型Lite-YOLOX。为进一步压缩原有模型体积,重新设计特征金字塔和解耦头的结构,使模型的Neck和Head部分更轻量化;为提升模型的检测精度,在原有IoU损失函数的基础上进行优化,设计并提出EIoU损失函数,改进后的损失函数对真实框和预测框的位置更加敏感;选取PASCAL VOC和安全帽检测数据集对改进模型进行验证。实验结果表明:Lite-YOLOX与YOLOX-Tiny相比,参数量减少40%,计算量下降37.5%,mAP50提升3.2和3.1个百分点。在NVIDIA Jetson Xavier NX上,每秒传输帧数(FPS)从51增加到59,实时性有了明显的提升。
    参考文献 | 相关文章 | 多维度评价
    35. 时空嵌入感知与多任务协同优化的多目标跟踪
    梁孝国, 李辉, 程远志, 陈双敏, 刘恒源
    计算机工程与应用    2024, 60 (6): 282-292.   DOI: 10.3778/j.issn.1002-8331.2211-0385
    摘要32)      PDF(pc) (1097KB)(41)    收藏
    为解决多目标跟踪中遮挡频繁、场景拥挤以及目标尺度多变带来的跟踪挑战,提出时空嵌入感知与多任务协同优化的多目标跟踪方法。提出空间相关性模块以提取空间上带有目标上下文感知的判别力嵌入;提出时序相关性模块聚合来自空间相关性模块提取的嵌入,用于生成时序注意力以引导空间相关性模块在遮挡频繁和拥挤场景下提取更具判别力的嵌入。由此,判别力的嵌入在增强关联鲁棒性的同时可预测更加精确的检测框以克服尺度多变问题,而精确的检测框则促进两个模块提取更加高质量的嵌入,从而实现嵌入提取、位置预测和数据关联多任务间的协同优化。在亲和力矩阵中引入检测框间的GIoU距离以进一步提升遮挡和拥挤场景中关联的鲁棒性。在MOT16、MOT17和MOT20数据集上的实验结果表明,提出的方法表现出比先进方法更优异的跟踪性能。
    参考文献 | 相关文章 | 多维度评价
    36. OMC框架下的行人多目标跟踪算法研究
    贺愉婷, 车进, 吴金蔓, 马鹏森
    计算机工程与应用    2024, 60 (5): 172-182.   DOI: 10.3778/j.issn.1002-8331.2211-0344
    摘要45)      PDF(pc) (859KB)(32)    收藏
    多目标跟踪是计算机视觉领域被广泛研究的重要方向,但是在实际应用中,目标的快速移动、光照变化、遮挡等问题会导致跟踪性能变差,因此以多目标跟踪模型OMC为基础框架展开研究,以实现跟踪性能的进一步提升。针对多目标跟踪过程中存在的目标特征质量层次不齐的问题,对特征提取器进行优化,在主干网络集成了GAM注意力机制并在Neck网络部分更换了上采样方式;针对现有方法中存在的检测任务和重识别任务之间的“竞争问题”,构建了递归交叉相关网络,使得模型可以学习不同任务的特性和共性。此处针对两个子任务分别进行了优化,一是设计了新的通道注意力HS-CAM优化了重识别网络;二是更换了检测部分的边界回归损失函数,采用EIoU损失函数。实验表明,在MOT16数据集上MOTA指标可达73.5%,IDF1可达70.4%,MLgt为11.7%,相比较OMC算法减少了1.5个百分点。
    参考文献 | 相关文章 | 多维度评价
    37. 基于上下文信息与特征细化的无人机小目标检测算法
    彭晏飞, 赵涛, 陈炎康, 袁晓龙
    计算机工程与应用    2024, 60 (5): 183-190.   DOI: 10.3778/j.issn.1002-8331.2305-0401
    摘要83)      PDF(pc) (661KB)(101)    收藏
    无人机航拍图像中的目标检测是近年来研究的热点,针对无人机视角下目标小而密集、背景复杂导致检测精度低的问题,提出一种基于上下文信息与特征细化的无人机小目标检测算法。通过上下文特征增强模块,利用多尺度扩张卷积捕获与周围区域像素点的潜在关系,为网络补充上下文信息,并根据不同尺度的特征层自适应生成各层级特征图的输出权重,动态优化特征图表达能力;由于不同特征图细粒度不同,使用特征细化模块来抑制特征融合中冲突信息的干扰,防止小目标特征淹没在冲突信息中;设计了一种带权重的损失函数,加快模型收敛速度,进一步提高小目标检测精度。在VisDrone2021数据集进行大量实验表明,改进后的模型较基准模型mAP50提高8.4个百分点,mAP50:95提高5.9个百分点,FPS为42,有效提高了无人机航拍图像中小目标的检测精度。
    参考文献 | 相关文章 | 多维度评价
    38. 重参数化YOLOv8路面病害检测算法
    王海群, 王炳楠, 葛超
    计算机工程与应用    2024, 60 (5): 191-199.   DOI: 10.3778/j.issn.1002-8331.2309-0354
    摘要83)      PDF(pc) (592KB)(107)    收藏
    Road disease detection is an important way to ensure people’s traffic safety. In order to improve the accuracy of road disease detection and achieve timely and accurate road disease detection, a pavement disease detection model of re-parameterized YOLOv8 is proposed. First of all, CNX2f module is introduced into the backbone network to improve the ability of the network to extract pavement disease features, and effectively solve the problem that the pavement disease features are easily confused with the background environmental features. Secondly, RepConv and DBB reparameterization modules are introduced to enhance the capability of multi-scale feature fusion and solve the problem of large scale difference of pavement diseases. At the same time, the shared parameter structure of the head is improved, and RBB reparameterization module is introduced to solve the problem of head parameter redundancy and improve the feature extraction capability. Finally, the SPPF_Avg module is introduced to solve the problem of pavement feature loss and enrich the multi-scale feature expression. The experimental results show that the accuracy of the improved road disease detection network is 73.3%, the recall rate is 62.3% and the mAP is 69.3%, which is 2.6, 3.0 and 2.8 percentage points higher than that of the YOLOv8 network, and the detection effect of the model is improved.
    参考文献 | 相关文章 | 多维度评价
    39. 改进YOLOv5-S的交通标志检测算法
    刘海斌, 张友兵, 周奎, 张宇丰, 吕圣
    计算机工程与应用    2024, 60 (5): 200-209.   DOI: 10.3778/j.issn.1002-8331.2306-0293
    摘要93)      PDF(pc) (689KB)(114)    收藏
    在自动驾驶领域,现有的交通标志检测方法在检测复杂背景中的标志时存在着漏检或误检的问题,降低了智能汽车的可靠性。对此,提出了一种改进YOLOv5-S的实时交通标志检测算法。在特征提取网络中融合坐标注意力机制,通过构建目标的长范围依赖来捕获物体的位置感知,使得算法聚焦于重点的特征区域;引入Focal-EIoU损失函数来取代CIoU,使其更关注高质量的分类样本,提高对难分类样本的学习能力,减少漏检或者误检的问题;在网络中融合轻量级卷积技术GSConv,降低模型的计算量。增加新的小目标检测层,通过更丰富的特征信息提高小尺寸标志的检测效果。实验结果表明,改进方法的mAP@0.5和mAP@0.5:0.95分别为88.1%和68.5%,检测速度达到了83?FPS,能够满足实时可靠的检测需求。
    参考文献 | 相关文章 | 多维度评价
    40. 多耦合反馈网络的图像融合和超分辨率方法
    王蓉, 端木春江
    计算机工程与应用    2024, 60 (5): 210-220.   DOI: 10.3778/j.issn.1002-8331.2212-0118
    摘要34)      PDF(pc) (697KB)(24)    收藏
    人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制,高动态范围的图像往往通过低动态范围图像的多曝光融合(MEF)而获得,高分辨率图像往往通过低分辨率图像的超分辨率(SR)而获得。MEF和SR通常被作为两个独立的内容进行研究。为了解决当前模型不能同时实现高动态范围和高分辨率的问题,通过对现有方法进行研究,提出了一种基于多耦合反馈网络MCF-Net及其方法。模型包括:[N]个子网和输出模块;在方法中,将[N]张下采样图片[Iilr,Imlr,I-ilr]分别输入至[N]个子网,提取的低分辨率特征[Filr,Fmlr,F-ilr];根据低分辨率特征[Filr,Fmlr,F-ilr]提取对应图像的超分辨率特征[Gi0,Gm0,G-i0];得到融合高分辨率特征[Git,Gmt,G-it]并输入至下个MCFB中,直至第[T]个MCFB得到融合高分辨率特征[GiT,GmT,G-iT];获取对应的融合超分辨率图像[Iit,Imt,I-it];融合[N]个子网中第[T]个重建模块REC输出的[IiT,ImT,I-iT]得到高动态范围、超分辨率图像[Iout]。在SICE数据集上实验并验证了性能,与现有的33种方法进行对比,结果显示以下各评价指标都有明显的提高,其中结构相似性(SSIM)达到0.833 2,峰值信噪比(PSNR)达到22.07 dB,多曝光融合相似性(MEF-SSIM)达到0.937 8。
    参考文献 | 相关文章 | 多维度评价