Survey of Building Target Detection in SAR Images

doi:10.3778/j.issn.1002-8331.2111-0197

Abstract

Abstract: With the increasing city buildings, building detection based on synthetic aperture radar（SAR） images, as a branch of SAR image interpretation, has gradually become an important research topic. In this paper, the existing research methods are classified, and the existing building target detection algorithms of SAR images are sorted out from the perspective of building detection based on traditional methods and on deep learning. In addition, the characteristics of SAR images and the whole process of building detection task with SAR images are described. The methods based on modeling, texture features and machine learning, and the target detection method based on deep learning are introduced. Moreover, emphasis is placed on expounding the current mainstream detection methods based on candidate regions and regression. The advantages and limitations of various methods are compared and analyzed, main problems and development bottlenecks of the current building detection technology based on SAR images are summarized, and corresponding suggestions are put forward. Finally, the future research interests in this field are explored.

Key words: synthetic aperture radar（SAR）, statistical model, building, deep learning, target detection

摘要： 面对日益剧增的城市建筑物，合成孔径雷达（synthetic aperture radar，SAR）图像的建筑物检测作为SAR图像解译的一个分支逐渐成为一项重要的研究课题。对现有的研究方法进行了分类，从基于传统方法的建筑物检测和基于深度学习的建筑物检测两方面入手，对现有SAR图像的建筑物目标检测算法进行了梳理。简述了SAR图像的特点和SAR图像建筑物检测任务的整体流程，介绍了基于建模、纹理特征和机器学习的方法以及深度学习的目标检测方法。重点论述了当前基于候选区域和回归的主流检测方法。对各类方法的优势和局限性进行对比分析，总结了当前SAR图像建筑物检测技术存在的主要问题和发展瓶颈，并给出相应建议。最后对该领域未来的研究方向进行了展望。

关键词: 合成孔径雷达（SAR）, 统计模型, 建筑物, 深度学习, 目标检测

SHI Jie, YUAN Chenxiang, DING Fei, KONG Weixiang. Survey of Building Target Detection in SAR Images[J]. Computer Engineering and Applications, 2022, 58(8): 58-66.

石颉, 袁晨翔, 丁飞, 孔维相. SAR图像建筑物目标检测研究综述[J]. 计算机工程与应用, 2022, 58(8): 58-66.

References

[1] LI J，ZHANG H，WANG C，et al.Remote sensing spaceborne SAR data for regional urban mapping using a robust building extractor[J].Remote Sensing，2020，12（17）：2791.
[2] 赵书敏，刘丰，蒋忠进.基于感知编组的SAR图像建筑物检测算法[J].四川兵工学报，2014，35（8）：122-126.
ZHAO S M，LIU F，JIANG Z J.Building detection algorithm of SAR images based on perceptual organization[J].Journal of Sichuan Ordnance，2014，35（8）：122-126.
[3] 李永晨，刘浏.SAR图像统计模型综述[J].计算机工程与应用，2013，49（13）：180-186.
LI Y C，LIU L.Review of statistical models of SAR image[J].Computer Engineering and Applications，2013，49（13）：180-186.
[4] MO A，MRS B，HA C.The comparative study of three nonparametric methods of SAR tomography for building reconstruction[J].Advances in Space Research，2022，69（4）：1743-1751.
[5] 高丁力.基于高分辨率SAR图像的建筑区域检测[D].合肥：中国科学技术大学，2018.
GAO D L.The detction of buidt-up areas in high-resolution SAR images[D].Hefei：University of Science and Technology of China，2018.
[6] 王伟.基于遥感图像的船舶目标检测方法综述[J].电讯技术，2020，60（9）：1126-1132.
WANG W.Overview of ship detection technology based on remote sensing images[J].Telecommunication Engineering，2020，60（9）：1126-1132.
[7] XIA J，YOKOYA N，ADRIANO B，et al.A Benchmark high-resolution GaoFen-3 SAR dataset for building semantic segmentation[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2021，14：5950-5963.
[8] 杨龙，苏娟，金国栋，等.用于高分三号SAR图像舰船目标检测的YOLOv3算法[C]//国家安全地球物理丛书（十五）——丝路环境与地球物理，2019.
YANG L，SU J，JIN G D，et al.YOLOv3 detector for SAR ship image from Gaofen-3[C]//National Security Geophysics Series（XV）-Silk Road Environment and Geophysics，2019.
[9] 赵凌君.高分辨率SAR图像建筑物提取方法研究[D].北京：国防科学技术大学，2009.
ZHAO L J.Research on building extraction method of high resolution SAR image[D].Beijing：National University of Defense Technology，2009.
[10] AI J，CAO Z，XING M.An adaptive-trimming-depth based CFAR detector of heterogeneous environment in SAR imagery[J].Remote Sensing Letters，2020，11（8）：730-738.
[11] 苏娟，张强，陈炜，等.高分辨率SAR图像中建筑物特征融合检测算法[J].测绘学报，2014，43（9）：939-944.
SU J，ZHANG Q，CHEN W，et al.A building detection algorithm based on feature fusion in high resolution SAR images[J].Acta Geodaetica et Cartographica Sinica，2014，43（9）：939-944.
[12] 吕雁.基于统计模型的SAR图像分割方法研究[D].西安：西安电子科技大学，2011.
LV Y.SAR image segmentation techniques based on statistical model[D].Xi’an：Xidian University，2011.
[13] 张椰，朱卫纲，邢强.SAR图像分割方法综述[J].兵器装备工程学报，2017，38（6）：99-103.
ZHANG Y，ZHU W G，XING Q.Overview of SAR image segmentation[J].Journal of Ordnance Equipment Engineering，2017，38（6）：99-103.
[14] LIVEZEY R E，MASUTANI M，MING J.SST-forced seasonal simulation and prediction skill for versions of the NCEP/MRF model[J].Bulletin of the American Meteorological Society，2010，77（3）：507-517.
[15] 王海军，张圣燕.合成孔径雷达图像分割算法研究[J].滨州学院学报，2013（3）：52-57.
WANG H J，ZHANG S Y.Research on synthetic aperture radar image segmentation algorithm[J].Journal of Binzhou University，2013（3）：52-57.
[16] 刘静，温显斌.基于改进MRF的高分辨率SAR图像中建筑物轮廓提取算法[J].天津理工大学学报，2014（6）：28-32.
LIU J，WEN X B.Building extraction from very high resolution SAR images based on improved Markov random field models[J].Journal of Tianjin University of Technology，2014（6）：28-32.
[17] QIAN Q，WANG B N，XIANG M S，et al.Coherence-coefficient-based Markov random field approach for building segmentation from high-resolution SAR images[J].Journal of Measurement Science and Instrumentation，2019，10（3）：226-235.
[18] CHANDGOTIA N.Generalisation of the Hammersley-Clifford theorem on bipartite graphs[J].Transactions of the American Mathematical Society，2017，369（10）：7107-7137.
[19] 王国军，张风丽，徐旭，等.几何模型约束的SAR图像建筑物提取[J].红外与毫米波学报，2013，32（5）：444-449.
WANG G J，ZHANG F L，XU X，et al.Geometrical model-based three-dimensional building extraction in high-resolution SAR imagery[J].Journal of Infrared and Millimeter Wave，2013，32（5）：444-449.
[20] 徐旭，张风丽，王国军，等.基于L型结构中心线的SAR图像建筑物提取方法[J].计算机应用研究，2015，32（6）：1888-1891.
XU X，ZHANG F L，WANG G J，et al.Approach to extract building from SAR image based on center line of L-shaped structure[J].Application Research of Computers，2015，32（6）：1888-1891.
[21] LIU C，XIAO Y，JIAN Y.A coastline detection method in polarimetric SAR images mixing the region-based and edge-based active contour models[J].IEEE Transactions on Geoence and Remote Sensing，2017，55（7）：3735-3747.
[22] WANG Z，ZHANG J，YU Y，et al.Monitoring，analyzing，and modeling for single subsidence basin in coal mining areas based on SAR interferometry with L-band data[J].Scientific Programming，2021，2021（6）：1-10.
[23] SPENCER J，CHEN K.Global and local segmentation of images by geometry preserving variational models and their algorithms[M]//Forging connections between computational mathematics and computational geometry.[S.l.]：Springer International Publishing，2016.
[24] CHAN T F，VESE L A.Active contours without edges[J].IEEE Transactions on Image Processing，2001，10（2）：266-277.
[25] 涂松，李禹，粟毅.基于主动轮廓模型的SAR图像分割方法综述[J].系统工程与电子技术，2015，37（8）：1754-1766.
TU S，LI Y，SU Y.Overview of SAR image segmentation based on active contour model[J].Systems Engineering and Electronics，2015，37（8）：1754-1766.
[26] 贺志国，陆军，匡纲要.一种基于SAR图像边缘检测算子的短程活动轮廓模型[J].宇航学报，2009（2）：314-322.
HE Z G，LU J，KUANG G Y.A geodesic active contour model based on SAR image edge detectors[J].Journal of Astronautics，2009（2）：314-322.
[27] 韩晶，邓喀中，李北城.基于灰度共生矩阵纹理特征的SAR影像变化检测方法研究[J].大地测量与地球动力学，2012（4）：94-98.
HAN J，DENG K Z，LI B C.SAR image change detection methods based on GLCM texture features[J].Journal of Geodesy and Geodynamics，2012（4）：94-98.
[28] 徐佳，陈媛媛，黄其欢，等.综合灰度与纹理特征的高分辨率星载SAR图像建筑区提取方法研究[J].遥感技术与应用，2012，27（5）：692-698.
XU J，CHEN Y Y，HUANG Q H，et al.Built-up areas extraction in high resolution spaceborne SAR image based on the integration of grey and texture features[J].Remote Sensing Technology and Application，2012，27（5）：692-698.
[29] 李婷，程博，尤淑撑.基于半监督鉴别分析的高分辨率SAR影像建筑区提取[J].遥感技术与应用，2016（2）：239-246.
LI T，CHENG B，YOU S C.Extraction of building areas from high-resolution SAR images based on semi-supervised discriminant analysis[J].Remote Sensing Technology and Application，2016（2）：239-246.
[30] LI N，BRUZZONE L，CHEN Z，et al.Labeled co-occurrence matrix for the detection of built-up areas in high-resolution SAR images[C]//Proceedings of SPIE，2013.
[31] 李强，张景发，龚丽霞，等.SAR图像纹理特征相关变化检测的震害建筑物提取[J].遥感学报，2018，22（S1）：132-142.
LI Q，ZHANG J F，GONG L X，et al.Extraction of earthquake-collapsed buildings based on correlation change detection of multi-texture features in SAR images[J].Journal of Remote Sensing，2018，22（S1）：132-142.
[32] 吴天宝，夏静波，黄玉燕.基于SVM和SRC级联决策融合的SAR图像目标识别方法[J].河南理工大学学报（自然科学版），2020，39（4）：118-124.
WU T B，XIA J B，HUANG Y Y.Target recognition method of SAR images based on cascade decision fusion of SVM and SRC[J].Journal of Henan Polytechnic University（Natural Science），2020，39（4）：118-124.
[33] 张肖敏，王鹏，白艳萍.基于改进的PSO-SVM的SAR图像分类识别[J].重庆理工大学学报，2018，32（8）：165-169.
ZHANG X M，WANG P，BAI Y P.SAR images classification and recognition based on PSO-SVM[J].Journal of Chongqing University of Technology，2018，32（8）：165-169.
[34] 田淞，宋建社，张雄美，等.KM-SVM法的SAR图像无监督变化检测[J].系统工程与电子技术，2015，37（5）：1042-1046.
TIAN S，SONG J S，ZHANG X M，et al.KM-SVM approach to unsupervised change detection in SAR images[J].Systems Engineering and Electronics，2015，37（5）：1042-1046.
[35] LING P，D G，ZHOU X，et al.Improve the diagnosis of atrial hypertrophy with the local discriminative support vector machine[J].Bio-medical Materials and Engineering，2015，26（s1）：S1813.
[36] 李响，苏娟，杨龙，等.基于改进的YOLOv3的SAR图像建筑物检测算法[J].兵工学报，2020，41（7）：1347-1359.
LI X，SU J，YANG L，et al.A SAR image building detection algorithm based on improved YOLOv3[J].Acta Armamentarii，2020，41（7）：1347-1359.
[37] 曹燕，李欢，王天宝.基于深度学习的目标检测算法研究综述[J].计算机与现代化，2020（5）：63-69.
CAO Y，LI H，WANG T B.A survey of research on target detection algorithms based on deep learning[J].Computer and Modernization，2020（5）：63-69.
[38] GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.
[39] GIRSHICK R.Fast R-CNN[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision，2015：1440-1448.
[40] HE K，ZHANG X，REN S，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，37（9）：1904-1916.
[41] REN S，HE K，GIRSHICK R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems，2015：91-99.
[42] 王利忠，张宏海，仲波，等.基于深度学习的高分遥感影像乡镇建筑物识别方法[J].科研信息化技术与应用，2019，10（1）：88-95.
WANG L Z，ZHANG H H，ZHONG B，et al.Township buildings identification using deep learning on high-resolution satellite imagery[J].E-science Technology & Application，2019，10（1）：88-95.
[43] 李东子，范大昭，苏亚龙.结合Faster R-CNN模型的遥感影像建筑物检测[J].测绘科学技术学报，2018，35（4）：389-394.
LI D Z，FAN D Z，SU Y L.Building detection in remote sensing image based on Faster R-CNN[J].Journal of Geomatics Science and Technology，2018，35（4）：389-394.
[44] BAI T，PANG Y，WANG J，et al.An optimized Faster R-CNN method based on DRNet and RoI align for building detection in remote sensing images[J].Remote Sensing，2020，12（5）：762.
[45] 左俊皓，赵聪，朱晓龙，等.Faster-RCNN和Level-Set结合的高分遥感影像建筑物提取[J].液晶与显示，2019，34（4）：439-447.
ZUO J H，ZHAO C，ZHU X L，et al.High-resolution remote sensing image building extraction combined with Faster-RCNN and Level-Set[J].Chinese Journal of Liquid Crystals and Displays，2019，34（4）：439-447.
[46] 邓瑞，林金朝，杨宏志.基于深度学习的建筑物识别[J].重庆工商大学学报（自然科学版），2019（4）：17-22.
DENG R，LIN J Z，YANG H Z.Building identification based on deep learning[J].Journal of Chongqing Technology and Business University（Natural Science Edition），2019（4）：17-22.
[47] 冯杰婷，胡翔云.一种基于Cascade R-CNN的遥感影像建筑物自动检测方法[J].测绘地理信息，2021，46（S1）：53-58.
FENG J T，HU X Y.An automatic building detection method of remote sensing image based on Cascade R-CNN[J].Journal of Geomatics，2021，46（S1）：53-58.
[48] 付发，未建英，张丽娜.基于卷积网络的遥感图像建筑物提取技术研究[J].软件工程，2018，21（6）：4-7.
FU F，WEI J Y，ZHANG L N.A study of building extraction from remote sensing imagery based on convolution network[J].Software Engineering，2018，21（6）：4-7.
[49] HE K，GEORGIA G，PIOTR D，et al.Mask R-CNN[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2020，42：386-397.
[50] 瑚敏君，冯德俊，李强.基于实例分割模型的建筑物自动提取[J].测绘通报，2020（4）：16-20.
HU M J，FENG D J，LI Q.Automatic extraction of buildings based on instance segmentation model[J].Bulletin of Surveying and Mapping，2020（4）：16-20.
[51] ZHANG L，WU J，FAN Y，et al.An efficient building extraction method from high spatial resolution remote sensing images based on improved Mask R-CNN[J].Sensors（Basel，Switzerland），2020，20（5）：1465.
[52] 何代毅，施文灶，林志斌，等.基于改进Mask-RCNN的遥感影像建筑物提取[J].计算机系统应用，2020，29（9）：156-163.
HE D Y，SHI W Z，LIN Z B，et al.Building extraction from remote sensing image based on improved Mask-RCNN[J].Computer Systems & Applications，2020，29（9）：156-163.
[53] 李大军，何维龙，郭丙轩，等.基于Mask-RCNN的建筑物目标检测算法[J].测绘科学，2019（10）：172-180.
LI D J，HE W L，GUO B X，et al.Building target detection algorithm based on mask RCNN[J].Science of Surveying and Mapping，2019（10）：172-180.
[54] 赵若辰，王敬东，林思玉，等.基于卷积神经网络的小型建筑物检测算法[J].系统工程与电子技术，2021，43（11）：3098-3106.
ZHAO R C，WANG J D，LIN S Y，et al.Small building detection algorithm based on convolutional neural network[J].Systems Engineering and Electronics，2021，43（11）：3098-3106.
[55] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition，2016.
[56] LIU W，ANGUELOV D，ERHAN D，et al.SSD：single shot multibox detector[J].arXiv：1512.02325，2015.
[57] REDMON J，FARHADI A.YOLO9000：better，faster，stronger[J].arXiv：1612.08242，2016.
[58] REDMON J，FARHADI A.YOLOv3：an incremental improvement[J].arXiv：1804.02767，2018.
[59] 成喆，吕京国，白颖奇，等.结合RPN网络与SSD算法的遥感影像目标检测算法[J].测绘科学，2021，46（4）：75-82.
CHENG Z，LV J G，BAI Y Q，et al.High-resolution remote sensing image object detection algorithm combining RPN network and SSD algorithm[J].Science of Surveying and Mapping，2021，46（4）：75-82.
[60] 董彪，熊风光，韩燮，等.基于改进Yolo v3算法的遥感建筑物检测研究[J].计算机工程与应用，2020，56（18）：209-213.
DONG B，XIONG F G，HAN X，et al.Research on remote sensing building detection based on improved Yolo v3 algorithm[J].Computer Engineering and Applications，2020，56（18）：209-213.
[61] XIE Y，CAI J，BHOJWANI R，et al.A locally constrained YOLO framework for detecting small and densely-distributed building footprints[J].International Journal of Geographical Information Science，2019，34（4）：1-25.
[62] 张青华，谷国太，李彩林，等.基于深度学习的遥感影像小目标检测[J].河南水利与南水北调，2020（5）：83-86.
ZHANG Q H，GU G T，LI C L，et al.Remote sensing image small target detection based on deep learning[J].Henan Water Resources & South-to-North Water Diversion，2020（5）：83-86.
[63] 蔡燕，陈华.一种基于改进的DCL算法与SSD检测网络的遥感影像检测方法[J].电子器件，2019，42（3）：722-727.
CAI Y，CHEN H.Research on remote sensing image detection based on improved DCL algorithm[J].Chinese Journal of Electron Devices，2019，42（3）：722-727.
[64] 聂光涛，黄华.光学遥感图像目标检测算法综述[J].自动化学报，2021，47（8）：1749-1768.
NIE G T，HUANG H.A survey of object detection in optical remote sensing images[J].Acta Automatica Sinica，2021，47（8）：1749-1768.
[65] 刘畅，朱卫纲.基于卷积神经网络的SAR图像目标检测综述[J].兵器装备工程学报，2021，42（3）：15-21.
LIU C，ZHU W G.Review of target detection in SAR image based on CNN[J].Journal of Ordnance Equipment Engineering，2021，42（3）：15-21.
[66] JU M，LUO J，LIU G，et al.A real-time small target detection network[J].Signal Image and Video Processing，2021，15：1265-1273.
[67] 高新波，莫梦竟成，汪海涛，等.小目标检测研究进展[J].数据采集与处理，2021，36（3）：391-417.
GAO X B，MO M J C，WANG H T，et al.Recent advances in small object detection[J].Journal of Data Acquisition and Processing，2021，36（3）：391-417.
[68] 高宇歌，杨海涛，王晋宇，等.联合知识与CNN的遥感影像目标检测研究综述[J].计算机工程与应用，2021，57（18）：65-74.
GAO Y G，YANG H T，WANG J Y，et al.Review of remote sensing image target detection research combining knowledge and CNN[J].Computer Engineering and Applications，2021，57（18）：65-74.