Overview of Infrared and Visible Image Fusion Algorithms for Automotive Driving Assistance System

doi:10.3778/j.issn.1002-8331.2203-0600

Abstract

Abstract: Infrared and visible fusion image fusion is one of the core functions of the automobile advanced driving assistance system. It is able to better understand the external environmental objectives when the light conditions are poor, and it plays an important role in the recognition environment for the driverless vehicles and the intelligent vehicles. The neural network algorithms based on the deep learning have significant advantages in the extraction and classification of the image feature. Therefore, this paper summarizes the infrared and visible image fusion algorithms in the automotive field. Firstly, the technology requirements of the vehicle fusion image are analyzed. Then, the traditional algorithms and the latest developments about the infrared and visible image fusion are summarized. Then, the infrared and visible image fusion algorithm based on the deep learning algorithm are discussed. Finally, the development trends of the infrared and visible image fusion technology are discussed for the vehicle.

Key words: neural network, infrared image, visible image, image fusion, feature extraction, deep learning

摘要： 红外与可见光融合图像融合是汽车高级驾驶辅助系统核心功能之一，能够较好地理解光线条件较差时车辆外部环境目标，对无人驾驶车辆和智能车辆识别环境具有重要作用，其中基于深度学习的神经网络算法在图像特征提取和分类中优势显著。针对汽车领域红外与可见光图像融合算法进行综述，分析了现代车辆对图像融合技术的需求；总结了基于数学方法框架的红外与可见光图像融合算法和最新发展；概述了基于神经网络结构的红外与可见光图像融合算法；最后讨论了车载红外与可见光图像融合技术的发展趋势。

关键词: 神经网络, 红外图像, 可见光图像, 图像融合, 特征提取, 深度学习

AN Xiaodong, LI Yali, WANG Fang. Overview of Infrared and Visible Image Fusion Algorithms for Automotive Driving Assistance System[J]. Computer Engineering and Applications, 2022, 58(19): 64-75.

安晓东, 李亚丽, 王芳. 汽车驾驶辅助系统红外与可见光融合算法综述[J]. 计算机工程与应用, 2022, 58(19): 64-75.

References

[1] 康拉德·赖夫.汽车电子学[M].5版.西安：西安交通大学出版社，2017：321-323.
KONRAD R.Automobile electronics[M].5th ed.Xi’an：Xi’an Jiaotong University Press，2017：321-323.
[2] 冯鑫，胡开群.红外与可见光图像融合算法分析与研究[M].长春：吉林大学出版社，2020：109-220.
FENG X，HU K Q.Analysis and research on infrared and visible image fusion algorithm[M].Changchun：Jilin University Press，2020：109-220.
[3] 李文礼，李建波，石晓辉，等.用于汽车ADAS系统测试的软目标车研究进展[J].汽车工程学报，2021，11（4）：280-288.
LI W L，LI J B，SHI X H，et al.Research progress of soft target vehicles for automotive ADAS testing[J].Chinese Journal of Automotive Engineering，2021，11（4）：280-288.
[4] 胡钢，刘哲，许小平，等.像素级图像融合技术的研究与进展[J].计算机应用与研究，2008，25（3）：650-655.
HU G，LIU Z，XU X P，et al.Research and recent development of image fusion at pixel level[J].Application Research of Computers，2008，25（3）：650-655.
[5] ZHANG Q，LIU Y，BLUM R S，et al.Sparse representation based multi sensor image fusion for multi focus and multi-modality images：a review[J].Information Fusion，2018，40：57-75.
[6] REN X Y，MENG F Y，HU T，et al.Infrared-visible image fusion based on convolutional neural networks（CNN）[C]//Proceedings of the International Conference on Intelligent Science and Big Data Engineering，2018：301-307.
[7] MA J Y，YU W，LIANG P W，et al.FusionGAN：A generative adversarial network for infrared and visible image fusion[J].Information Fusion，2019，48：11-26.
[8] MA J Y，MA Y，LI C.Infrared and visible image fusion methods and applications：A survey[J].Information Fusion，2019，45：153-178.
[9] 高永光，宋志娜，蔡肖芋.基于NSCT的自适应可见光与红外图像融合方法[J].地理空间信息，2016，14（12）：30-32.
GAO Y G，SONG Z N，CAI X Y.Self-adaption fusion method of optical and infrared images based on NSCT[J].Geospatial Information，2016，14（12）：30-32.
[10] 王焕清.结合NSCT和领域特征的红外与可见光图像融合[J].信息通信，2018，（4）：17-20.
WANG H Q.Image fusion visible and infrared image based on NSCT and neighborhood features[J].Information ＆ Communications，2018（4）：17-20.
[11] 周华兵，侯积磊，吴伟，等.基于语义分割的红外和可见光图像融合[J].计算机研究与发展，2021，58（2）：436-443.
ZHOU H B，HOU J L，WU W，et al.Infrared and visible image fusion based on semantic segmentation[J].Journal of Computer Research and Development，2021，58（2）：436-443.
[12] 申铉京，张雪峰，王玉.像素级卷积神经网络多聚焦图像融合算法[J/OL].吉林大学学报（工学版）（2021-10-21）[2022-02-23].https：//kns.cnki.net/kcms/detail/22.1341.t.20220223.0848.001.html.
SHEN X J，ZHANG X F，WANG Y.Multi-focus image fusion algorithm based on pixel-level convolutional neural network[J/OL].Journal of Jilin University（Engineering and Technology Edition）（2021-10-21）[2022-02-23].https：//kns.cnki.net/kcms/detail/22.1341.t.20220223.0848.
001.html.
[13] LI H，QI X B，XIE W Y.Fast infrared and visible image fusion with structural decomposition[J].Knowledge Based Systems，2020，204：106182.
[14] 李钢，王雷，张仁斌.基于特征能量加权的红外与可见光图像融合[J].光电工程，2010，37（3）：83-87.
LI G，WANG L，ZHANG R B.Infrared and visible image fusion based on feature energy[J].Opto-Electronic Engineering，2010，37（3）：83-87.
[15] 杨桄，童涛，孟强强，等.基于梯度加权的红外与可见光图像融合方法[J].红外与激光工程，2014，43（8）：2772-2779.
YANG G，TONG T，MENG Q Q，et al.Infrared and visible images fusion method based on gradient weighted[J].Infrared and Laser Engineering，2014，43（8）：2772-2779.
[16] WRIGHT J，MA Y，MAIRAL J，et al.Spare representation for computer vision and pattern recognition[J].Proceedings of the IEEE，2010，98（6）：1031-1044.
[17] 杨风暴，董安冉，张雷，等.DWT、NSCT和PCA协同组合红外偏振图像融合[J].红外技术，2017，39（3）：201-203.
YANG F B，DONG A R，ZHANG L，et al.Infrared polarization image fusion using the synergistic combination of DWT，NSCT and improved PCA[J].Infrared Technology，2017，39（3）：201-203.
[18] 孔韦韦，雷英杰，雷阳，等.基于改进型NSCT变换的灰度可见光与红外图像融合方法[J].控制与决策，2010，25（11）：1607-1612.
KONG W W，LEI Y J，LEI Y，et al.Fusion method for gray scale visible light and infrared images based on improved NSCT[J].Control and Decision，2010，25（11）：1607-1612.
[19] LIU G C，YAN S C.Latent low rank representation for subspace segmentation and feature extraction[C]//Proceedings of the International Conference on Computer Vision，2011：1615-1622.
[20] LI H，WU X J，KITTLER J.MDLatLRR：A novel decomposition method for infrared and visible image fusion[J].IEEE Transactions on Image Processing，2020，29：4733-4746.
[21] XU H X，GONG L M，XUAN H Z，et al.Multiview clustering via consistent and specific nonnegative matrix factorization with graph regularization[J/OL].Multimedia Sytems（2021-10-27）[2022-01-25].https：//doi.org/10.1007/s00530-022-00905-x.
[22] 杨秋芬，桂卫华，胡豁生.基于改进非线性加权的图像融合算法[J].计算机工程与应用，2014，50（14）：22-25.
YANG Q F，GUI W H，HU H S.Image fusion algorithm based on improved nonlinear weight[J].Computer Engineering and Applications，2014，50（14）：22-25.
[23] STOLKIN R，REES D，TALHA M，et al.Bayesian fusion of thermal and visible spectra camera data for region based tracking with rapid background adaptation[C]//Proceedings of the IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems（MFI），2012：192-199.
[24] SUBR K，SOLER C，DURAND F.Edage-preserving multiscale image decomposition based on local extrema[J].ACM Transactions on Graphics，2009，28（5）：89-97.
[25] BABU M，SHAI F，ISLAM，et al.An image denoising method based on multi resolution bilateral filter[J].International Journal of Circuits，Systems and Signal Processing，2019，13：705-708.
[26] DANIEL S，DEY A K，ABOWD G D.The context toolkit：aiding the development of context-aware applications[C]//Proceedings of the Sigchi Conference on Human Factors in Computing Systems，2019，434-441.
[27] 杨擎宇，宋泉宏，魏志飞，等.基于引导滤波权重与显著信息优化的红外与可见光图像融合[J].空天防御，2021，4（4）：113-126.
YANG Q Y，SONG Q H，WEI Z F，et al.Infrared and visible light image fusion based on guided filtering weight and saliency information optimization[J].Air & Space Defense，2021，4（4）：113-126.
[28] 赵爱罡，王宏力，杨小冈，等.基于局部显著性与梯度L0范数的红外图像保边平滑算法[J].电光与控制，2017，24（2）：19-24.
ZHAO A G，WANG H L，YANG X G，et al.Edge preserving smooth algorithm for infrared images based on local saliency and L0 norm of gradient[J].Electronics Optics & Control，2017，24（2）：19-24.
[29] BABIRISETTI D P，DHULI R.Multi-focus image fusion using maximum symmetric surround saliency detection[J].Electronic Letters on Computer Vision and Image Analysis，2016，14（2）：58-73.
[30] BAVIRISETTI D P，DHULI R.Two-scale image fusion of visible and infrared images using saliency detection[J].Infrared Physics & Technology，2016，76：52-64.
[31] WANG S Y，SHEN Y.Multi-modal image fusion based on saliency guided in NSCT domain[J].IET Image Processing，2020，14（13）：3188-3201.
[32] 叶坤涛，李文，舒蕾蕾，等.结合改进显著性检测与NSST的红外与可见光图像融合方法[J].红外技术，2021，43（12）：1212-1221.
YE K T，LI W，SHU L L，et al.Infrared method based on improved saliency detection and non-subsampled shearlet transform[J].Infrared Technology，2021，43（12）：1212-1221.
[33] 程永翔，刘坤，贺钰博，等.基于卷积神经网络与视觉显著性的图像融合[J].计算机应用与软件，2020，37（3）：225-230.
CHENG Y G，LIU K，HE Y B，et al.Image fusion with convolution neural network and visual saliency[J].Computer Applications and Software，2020，37（3）：225-230.
[34] 汪玉美，陈代梅，赵根保.基于目标提取与拉普拉斯变换的红外和可见光图像融合算法[J].激光与光电子学进展，2017，54（1）：104-112.
WANG Y M，CHEN D M，ZHAO G B.Image fusion algorithm of infrared and visible images based on target extraction and Laplace transformation[J].Laser & Optoelectronics Progress，2017，54（1）：104-112.
[35] 李建林，俞建成，孙胜利.基于梯度金字塔图像融合的研究[J].科学技术与工程，2007，7（22）：5818-5822.
LI J L，YU J C，SUN S L.Study of image fusion based on grad pyramid algorithm[J].Science Technology and Engineering，2007，7（22）：5818-5822.
[36] 刘斌，董迪，陈俊霖.基于方向性对比度金字塔的图像融合方法[J].量子电子学报，2017，34（4）：405-413.
LIU B，DONG D，CHEN J L.Image fusion method based on directional contrast pyramid[J].Chinese Journal of Quantum Electronics，2017，34（4）：405-413.
[37] 王建，王必宁，杨根善，等.基于形态学金字塔的医学图像融合技术[J].兵工自动化，2014，33（1）：82-84.
WANG J，WANG B N，YANG G S，et al.Fusion technology of medical image based on morphological pyramid[J].Ordnance Industry Automation，2014，33（1）：82-84.
[38] 李婵飞，邓奕.平稳小波变换和模糊数学的红外与可见光图像融合[J].计算机与数字工程，2017，45（5）：874-877.
LI C F，DENG Y.Image fusion method for infrared and visible light images based on SWT and fuzzy mathematics[J].Computer & Digital Engineering，2017，45（5）：874-877.
[39] 邓谦，熊邦书，吴开志.基于小波帧变换的多聚焦图像融合算法[J].南昌航空大学学报（自然科学版），2009，23（2）：68-72.
DENG Q，XIONG B S，WU K Z.Multi-focus image fusion method based on wavelet frame transform[J].Journal of Nanchang Hangkong University（Natural Sciences），2009，23（2）：68-72.
[40] 李树涛，王耀南.基于树状小波分解的多传感器图像融合[J].红外与毫米波学报，2001（3）：219-222.
LI S T，WANG Y N.Multisensor image fusion based on tree-structure wavelet decomposition[J].Journal of Infrared and Millimeter Waves，2001（3）：219-222.
[41] 杨艳春，李娇，党建武，等.基于冗余小波变换与引导滤波的多聚焦图像融合[J].计算机科学，2018，45（2）：301-305.
YANG Y C，LI J，DANG J W，et al.Multi-focus image fusion based on redundant wavelet transform and guided filtering[J].Computer Science，2018，45（2）：301-305.
[42] BALAJI E，DHARANI K，UMESH K.Boundary based analysis of image fusion using discrete wavelet transform[J].International Journal of Emerging Science and Engineering，2019，6（4）：10-14.
[43] 赵子沂，郑永果.基于脊波的多光谱和全色图像融合方法研究[J].计算机工程与应用，2012，48（15）：164-167.
ZHAO Z Y，ZHENG S G.Research of image fusion of multi-spectral and panchromatic images based on ridgelet transform[J].Computer Engineering and Applications，2012，48（15）：164-167.
[44] 高雪琴，刘刚，肖刚，等.基于FPDE的红外与可见光图像融合算法[J].自动化学报，2020，26（4）：796-804.
GAO X Q，LIU G，XIAO G，et al.Fusion algorithm of infrared and visible images based on FPDE[J].Acta Automatica Sinica，2020，26（4）：796-804.
[45] 张雷，罗长更，张颖颖，等.基于支持度变换的红外与可见光图像融合算法[J].激光技术，2015，39（3）：428-431.
ZHANG L，LUO C G，ZHANG Y Y，et al.Fusion algorithm of infrared and visible images based on support value transform[J].Laser Technology，2015，39（3）：428-431.
[46] 郭明，符拯，奚晓梁.基于局部能量的NSCT域红外与可见光图像融合算法[J].红外与激光工程，2012，41（8）：2229-2235.
GUO M，FU C，XI X L.Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain[J].Infrared and Laser Engineering，2012，41（8）：2229-2235.
[47] ZHANG H，MA X，TIAN Y S.An image fusion method based on curvelet transform and guided filter enhancement[J].Mathematical Problems in Engineering，2020（5）：1023-1027.
[48] 邓立暖，尧新峰.基于NSST的红外与可见光图像融合算法[J].电子学报，2017，45（12）：2965-2970.
DENG L N，RAO X F.Research on the fusion algorithm of infrared and visible images based on non-subsampled shearlet transform[J].Acta Electronica Sinica，2017，45（12）：2965-2970.
[49] JIANG Q，LIU Y，FU X，et al.Image fusion method based on structure-based saliency map and FDST-PCNN framework[J].IEEE Access，2019，7：83484-83494.
[50] 张彬，许廷发，倪国强.基于曲波变换的红外/可见光图像融合[J].计算机仿真，2008（11）：226-228.
ZHANG B，XU T F，NI G Q.The fusion of infrared and visible image with curvelet transform[J].Computer Simulation，2008（11）：226-228.
[51] 魏鑫.多尺度与稀疏表示相结合的光学图像[D].合肥：合肥工业大学，2021.
WEI X.Multi-scale optics combined with sparse representation research on image fusion algorithm[D].Hefei：Hefei University of Technology，2021.
[52] ZHANG C F，YUE Z，YI L Z，et al.Infrared and visible image fusion using NSCT and convolutional sparse representation[C]//Proceedings of the International Conference on Image and Graphics，2019：393-405.
[53] DA C，ARTHUR L，ZHOU J P.The nonsubsampled contourlet transform：theory，design，and applications[J].IEEE Transactions on Image Processing，2006，15（10）：3089-3101.
[54] XIANG T Z，YAN L，GAO R R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Physics & Technology，2015，69：53-61.
[55] 纪峰，李泽仁，常霞，等.基于PCA和NSCT变换的遥感图像融合方法[J].图学学报，2017，38（2）：247-252.
JI F，LI Z R，CHANG X，et al.Remote sensing image fusion method based on PCA and NSCT transform[J].Journal of Graphics，2017，38（2）：247-252.
[56] 吴粉侠，段群.基于NSCT变换的PCA与PCNN相结合的图像融合算法[J].计算机技术与发展，2015，25（12）：72-75.
WU F X，DUAN Q.Image fusion algorithm combining PCNN and PCA based on NSCT[J].Computer Technology and Development，2015，25（12）：72-75.
[57] 路黎明.基于局部能量与NSCT的红外与可见光图像融合[J].数字技术与应用，2021，39（6）：100-102.
LU L M.Infrared and visible image fusion based on local energy and NSCT[J].Digital Technology & Application，2021，39（6）：100-102.
[58] EASLEY G，LABATE D，LIM W Q.Sparse directional image representation using discrete shearlet transform[J].Applied and Computation Harmonic Analysis，2008，25（1）：25-46.
[59] KONG W，ZHANG L，LEI Y，et al.Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J].Infrated Physics & Technology，2014，65：103-112.
[60] 李向阳，曹宇彤，陈笑，等.基于自适应NSST-PCNN的红外与可见光图像融合方法研究[J].长春理工大学学报（自然科学版），2021，44（5）：12-18.
LI X Y，CAO Y T，CHEN X，et al.Research on infrared and visible image fusion method based on adaptive NSST-PCNN[J].Journal of Changchun University of Science and Technology（Natural Science Edition），2021，44（5）：12-18.
[61] HUANG Y，BI D Y，WU D P.Infrared and visible image fusion based on different constraints in the non-subsampled shearlet transform domain[J].Sensors，2018，18（4）：1169-1175.
[62] 巩稼民，吴艺杰，刘芳，等.基于NSST域结合SCM与引导滤波的图像融合[J].光电子.激光，2021，23（7）：719-727.
GONG J M，WU Y J，LIU F，et al.Image fusion based on nonsubsampled shearlet transform domain combined with spiking cortical model and guided filtering[J].Journal of Optoelectronics Laser，2021，23（7）：719-727.
[63] NEWMAN E A，HARLINE P.The infrared vision of snakes[J].Scientific American，1982，246（3）：116-127.
[64] 马义德，戴若兰，李廉.一种基于脉冲耦合神经网络和图像熵的自动图像分割方法[J].通信学报，2002，23（1）：46-51.
MA Y D，DAI R L，LI L.Automated image segmentation using pulse coupled neural networks and images entropy[J].Journal on Communications，2002，23（1）：46-51.
[65] BROUSSARD R P，ROGERS S K，OXLEY M E，et al.Physiologically motivated image fusion for object detection using a pulse coupled neural network[J].IEEE Transactions on Neural Networks，1990，10（3）：554-563.
[66] 赵景朝，曲仕茹.基于Curvelet变换与自适应PCNN的红外与可见光图像融合[J].西北工业大学学报，2011，29（6）：849-853.
ZHAO J C，QU S R.A better algorithm for fusion of infrared and visible image based on curvelet transform and adaptive pulse coupled neural networks（PCNN）[J].Journal of Northwestern Polytechnical University，2011，29（6）：849-853.
[67] 吴粉侠，尤新凤，赵蔷.基于NSCT变换的红外与可见光图像PCNN融合算法[J].咸阳师范学院学报，2019，34（2）：67-71.
WU F X，YOU X F，ZHAO Q.Infrared and visible image fusion using PCNN in NSCT domain[J].Journal of Xianyang Normal University，2019，34（2）：67-71.
[68] XIA J M，LU Y，TAN L，et al.Intelligent fusion of infrared and visible image data based on convolutional sparse representation and improved pulse-coupled neural network[J].Computers，Materials & Continua，2021，67（1）：613-624.
[69] LIU Y，CHEN X，CHENG J，et al.Infrared and visible image fusion with convolutional neural networks[J].International Journal of Wavelets Multiresolution and Information Processing，2018，16（3）：1850018.
[70] REN X Y，MENG F Y，HU T，et al.Infrared-visible image fusion based on convolutional neural networks（CNN）[C]//Proceedings of the International Conference on Intelligence Science and Big Data Engineering，2018：301-307.
[71] SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-v4，inception-ResNet and the Impact of residual connections on learning[C]//Proceedings of the 31st AAAI Conference on Artificial Intelligence，2016：4278-4284.
[72] LI H，WU X J.DenseFuse：A fusion approach to infrared and visible images[J].IEEE Transactions on Image Processing，2019，28（5）：2614-2623.
[73] XU D D，WANG Y C，ZHANG X，et al.Infrared and visible image fusion using a deep unsupervised framework with perceptual loss[J].IEEE Access，2020，8：206445-206458.
[74] 陈清江，李毅，柴昱洲.基于卷积神经网络的红外图像融合算法[J].激光与红外，2019，49（1）：123-128.
CHEN Q J，LI Y，CHAI Y Z.Infrared image fusion algorithm based on convolutional neural network[J].Laser & Infrared，2019，49（1）：123-128.
[75] LEI Y，JIE C，SAAD R，et al.Improving the performance of image fusion based on visual saliency weight map combined with CNN[J].IEEE Access，2020，8：59976-59986.
[76] LI Y Q，ZHAO H T，HU Z W，et al.IVFuseNet：Fusion of infrared and visible light images for depth prediction[J].Information Fusion，2019，58：1-12.
[77] AN W B，WANG H W.Infrared and visible image fusion with supervised convolutional neural network[J].Optik-International Journal for Light and Electron Optics，2020，219：165120.
[78] GAO Z S，WANG Q L，ZUO C L.A total variation global optimization framework and its application on infrared and visible image fusion[J].Signal Image and Video Processing，2021，16：219-227.
[79] XIA J M，LU Y，TAN L，et al.Intelligent fusion of infrared and visible image data based on convolutional sparse representation and improved pulse coupled neural network[J].Computers，Materials & Continua，2021，67（1）：613-624.
[80] WANG Z Y，LI X F，DUAN H R，et al.Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain[J].Multimedia Tools and Applications，2019，78（24）：34483-34512.
[81] 夏景明，陈轶鸣，陈轶才，等.基于稀疏表示和NSCT-PCNN的红外与可见光图像融合[J].电光与控制，2018，25（6）：1-6.
XIA J M，CHEN Y M，CHEN Y C，et al.Infrared and visible image fusion based on sparse representation and NSCT-PCNN[J].Electronics Optics & Control，2018，25（6）：1-6.
[82] LIU Y，CHEN X，RABAB K，et al.Image fusion with convolutional sparse representation[J].IEEE Signal Processing Letters，2016，23（12）：1882-1886．
[83] 张洲宇，曹云峰，丁萌，等.采用多层卷积稀疏表示的红外与可见光图像融合[J].哈尔滨工业大学学报，2021，53（12）：51-59.
ZHANG Z Y，CAO Y F，DING M，et al.Infrared and visible image fusion via multi-layer convolutional sparse representation[J].Journal of Harbin Institute of Technology，2021，53（12）：51-59.
[84] 魏亚南，曲怀敬，王纪委，等.基于NSCT和卷积稀疏表示的红外与可见光图像融合[J].计算机与数字工程，2022，50（2）：276-283.
WEI Y N，QU H J，WANG J W，et al.Infrared and visible image fusion based on NSCT and convolutional sparse representation[J].Computer & Digital Engineering，2022，50（2）：276-283.
[85] 刘先红，陈志斌，秦梦泽，等.结合引导滤波和卷积稀疏表示的红外与可见光图像融合[J].光学精密工程，2018，26（5）：1242-1253.
LIU X H，CHEN Z B，QIN M Z，et al.Infrared and visible image fusion using guided filter and convolutional sparse representation[J].Optics and Precision Engineering，2018，26（5）：1242-1253.
[86] GAO C R，LIU F Q，YAN H.Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation[J].Journal of Intelligent & Fuzzy Systems，2020，39（3）：1-13.
[87] 梁晨，王利斌，李卓群，等.生成对抗网络技术与研究进展[J].信息安全研究，2022，8（3）：235-240.
LIANG C，WANG L B，LI Z Q，et al.Technology and research progress of generative adversarial networks[J].Journal of Information Security Research，2022，8（3）：235-240.
[88] MA J Y，LIANG P W，YU W，et al.Infrared and visible image fusion via detail preserving adversarial learning[J].Information Fusion，2020，54：85-98.
[89] MA J Y，XU H，JIANG J J，et al.DDcGAN：A dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J].IEEE Transactions on Image Processing，2020，29：4980-4995.
[90] CHEN L，HAN J，TIAN F.Infrared and visible image fusion using two-layer generative adversarial network[J].Journal of Intelligent and Fuzzy Systems，2021，40（6）：11897-11913.
[91] SHI Y，LI J J，YUAN X S.DFPGAN：Dual fusion path generative adversarial network for infrared and visible image fusion[J].Infrared Physics & Technology，2021，119：103947.
[92] MA J Y，ZHANG H，SHAO Z F，et al.GANMcC：A generative adversarial network with multiclassification constraints for infrared and visible image fusion[J].IEEE Transactions on Instrumentation and Measurement，2021，70：20192085.
[93] XU D D，WANG Y C，XU S Y，et al.Infrared and visible image fusion with a generative adversarial network and a residual network[J].Applied Sciences，2020，10（2）：554.
[94] LI J，HUO H T，LI C，et al.Attention FGAN：Infrared and visible image fusion using attention based generative adversarial networks[J].IEEE Transactions on Multimedia，2020，23：1383-1396.
[95] XU J T，SHI X P，QIN S Z，et al.LBP-BEGAN：A generative adversarial network architecture for infrared and visible image fusion[J].Infrared Physics & Technology，2020，104：103144.
[96] ZHANG H，LE Z L，SHAO Z F，et al.MFF-GAN：An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J].Information Fusion，2021，66：40-53.
[97] RAO D Y，WU X J，XU T Y.TGFuse：An infrared and visible image fusion approach based on transformer and generative adversarial network[J].arXiv：2201.10147，2022.