基于立体视觉的目标检测与轨迹预测研究综述

doi:10.3778/j.issn.1002-8331.2109-0220

摘要/Abstract

摘要： 目前基于立体视觉信息的运动目标识别定位、跟踪及轨迹预测是机器视觉领域的研究热点。通过归纳整理相关文献，从双目立体视觉技术、运动目标检测技术、运动目标轨迹预测技术三个方面对基于立体视觉的运动目标检测及轨迹预测进行了概述，分别阐述了相机标定的常见方法、图像特征提取及立体匹配不同算法的适用场景、各运动目标检测方法的优缺点、常用轨迹预测方法的预测思路及优劣势。针对基于立体视觉的运动目标检测与轨迹预测的研究，指出了其现今面临的挑战和研究重点，可为相关研究人员提供参考。

关键词: 立体视觉, 相机标定, 图像特征提取, 立体匹配, 运动目标检测, 轨迹预测

Abstract: At present, the recognition, positioning, tracking and trajectory prediction of moving targets based on stereo vision information are research hotspots in the field of machine vision. This paper summarizes the moving target detection and trajectory prediction based on stereo vision from three aspects of stereo vision technology, moving target detection technology and moving target trajectory prediction technology by summarizing relevant literature. The common methods of camera calibration, the applicable scenarios of different algorithms for image feature extraction and stereo matching, the advantages and disadvantages of each moving target detection method, and the prediction ideas and advantages and disadvantages of common trajectory prediction methods are respectively described. Finally, the paper points out the challenges and research focus for the research of moving target detection and trajectory prediction based on stereo vision, which can provide reference for related researchers.

Key words: stereo vision, camera calibration, image feature extraction, stereo matching, moving target detection, trajectory prediction

胡春生, 闫小鹏, 魏红星, 李国利. 基于立体视觉的目标检测与轨迹预测研究综述[J]. 计算机工程与应用, 2022, 58(3): 50-65.

HU Chunsheng, YAN Xiaopeng, WEI Hongxing, LI Guoli. Survey of Target Detection and Trajectory Prediction Based on Stereo Vision[J]. Computer Engineering and Applications, 2022, 58(3): 50-65.

参考文献

[1] 尹仕斌，任永杰，刘涛，等.机器视觉技术在现代汽车制造中的应用综述[J].光学学报，2018，38（8）：11-22.
YIN S B，REN Y J，LIU T，et al.Review on application of machine vision in modern automobile manufacturing[J].Acta Optica Sinica，2018，38（8）：11-22.
[2] 刘翠翠，杨涛.机器视觉在智能制造中的应用与产业发展[J].机床与液压，2021，49（11）：172-178.
LIU C C，YANG T.Application and industry development of machine vision in intelligent manufacturing[J].Machine Tool & Hydraulics，2021，49（11）：172-178.
[3] 王纪程，郁汉琪，房家军.基于双目立体视觉的工件识别与定位研究[J].机械制造与自动化，2020，49（6）：162-165.
WANG J C，YU H Q，FANG J J.Research on workpiece recognition and positioning based on binocular stereo vision[J].Machine Building & Automation，2020，49（6）：162-165.
[4] 万缨，韩毅，卢汉清.运动目标检测算法的探讨[J].计算机仿真，2006，23（10）：221-226.
WAN Y，HAN Y，LU H Q.The methods for moving object detection[J].Computer Simulation，2006，23（10）：221-226.
[5] 刘洋.平面自由体轨迹识别跟踪及预测[D].哈尔滨：哈尔滨理工大学，2020.
LIU Y.Recognition，tracking and prediction of plane free-moving objects[D].Harbin：Harbin University of Science and Technology，2020.
[6] WANG R，HAN Y，LUO M Z，et al.Accuracy study of a binocular-stereo-vision-based navigation robot for minimally invasive interventional procedures[J].World Journal of Clinical Cases，2020，8（16）：3440-3449.
[7] 徐慧.基于双目立体视觉的运动物体在线识别与抓取的关键技术[D].武汉：华中科技大学，2020.
XU H.Key Technologies for real-time recognition and grasping of moving objects based on binocular stereo vision[D].Wuhan：Huazhong University of Science and Technology，2020.
[8] HELMER S，LOWE D.Using stereo for object recognition[C]//2010 IEEE International Conference on Robotics and Automation，2010.
[9] LI D，XU L H，TANG X S，et al.3D imaging of greenhouse plants with an inexpensive binocular stereo vision system[J].Remote Sensing，2017，9（5）.
[10] SHEAN D E，ALEXANDROV O，MORATTO Z M，et al.An automated，open-source pipeline for mass production of digital elevation models（DEMs） from very-high-resolution commercial stereo satellite imagery[J].ISPRS Journal of Photogrammetry & Remote Sensing，2016，116（6）：101-117.
[11] ZAARANE A，SLIMANI I，OKAISHI W A，et al.Distance measurement system for autonomous vehicles using stereo camera[J].Array，2020，5.
[12] MENZE M，GEIGER A.Object scene flow for autonomous vehicles[C]//Computer Vision & Pattern Recognition，2015.
[13] 罗继曼，魏泽明，刘思远，等.基于双目视觉原理的混联机器人初始点坐标研究[J].沈阳建筑大学学报（自然科学版），2018，34（1）：150-157.
LUO J M，WEI Z M，LIU S Y，et al.Acquisition and application of the machining initial point coordinate of hybrid robot based on binocular vision principle[J].Journal of Shenyang Jianzhu University（Natural Science），2018，34（1）：150-157.
[14] 靳冲，张建勋，廖宁.传统相机标定算法综述[J].科学咨询（科技·管理），2018（1）：38-39.
JIN C，ZHANG J X，LIAO N.Summarization of traditional camera calibration algorithms[J].Science Consulting（Technology Management），2018（1）：38-39.
[15] 吴金铭，李郁峰，陈念年，等.一种利用RAC模型改进的DLT相机位姿估计方法[J].西南科技大学学报，2019，34（2）：71-76.
WU J M，LI Y F，CHEN N N，et al.An improved DLT camera pose estimation method based on RAC model[J].Journal of Southwest University of Science and Technology，2019，34（2）：71-76.
[16] 孙培芪，卜俊洲，陶庭叶，等.相机检校DLT算法的改进[J].合肥工业大学学报（自然科学版），2020，43（9）：1229-1233.
SUN P Q，BU J Z，TAO T Y，et al.Improvement of camera calibration DLT algorithm[J].Journal of Hefei University of Technology（Natural Science），2020，43（9）：1229-1233.
[17] TSAI R Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//Proceedings of IEEE Conference of Computer Vision and Pattern Recognition，1986：364-374.
[18] 马涛.基于Tsai算法的摄像机标定可视化操作平台研究与应用[J].机械制造与自动化，2019，48（6）：195-198.
MA T.Research on visualization platform for camera calibration based on Tsai algorithm and its application[J].Machine Building & Automation，2019，48（6）：195-198.
[19] ZHANG Z Y.A flexible new technique for camera calibration，MSR-TR-98-71[R].Microsoft Corporation，1998.
[20] 王道累，柴萍萍，孙昊，等.基于灰狼粒子群混合算法的相机标定优化方法[J].科学技术与工程，2021，21（8）：3186-3191.
WANG D L，CHAI P P，SUN H，et al.Optimization of camera calibration by combining particle swarm and grey wolf methods[J].Science Technology and Engineering，2021，21（8）：3186-3191.
[21] 王道累，孙昊，胡松，等.基于天牛须搜索算法的单目相机标定方法[J].济南大学学报（自然科学版），2020，34（6）：568-574.
WANG D L，SUN H，HU S，et al.Calibration method of monocular camera based on beetle antennae search algorithm[J].Journal of University of Jinan（Science and Technology），2020，34（6）：568-574.
[22] 彭妍，郭君斌，于传强，等.基于平面变换的高精度相机标定方法[J/OL].北京航空航天大学学报：1-10[2021-09-21].https：//doi.org/10.13700/j.bh.1001-5965.2021.0015.
PENG Y，GUO J B，YU C Q，et al.High precision camera calibration method based on plane transformation[J/OL].Journal of Beijing University of Aeronautics and Astronautics：1-10[2021-09-21].https：//doi.org/10.13700/j.bh.1001-5965.2021.0015.
[23] 王涛，董明利，孙鹏，等.自然场景中近景摄影测量相机的自标定方法[J].工具技术，2018，52（12）：120-124.
WANG T，DONG M L，SUN P，et al.Self-calibration method of close range photogrammetric camera in natural scenes[J].Tool Engineering，2018，52（12）：120-124.
[24] MAYBANK S J，FAUGERAS O D.A theory of self-calibration of a moving camera[J].International Journal of Computer Vision，1992，8（2）：123-151.
[25] 王君竹，陈丽芳，刘渊.基于张量投票的摄像机自标定方法研究[J].计算机工程与应用，2016，52（15）：190-197.
WANG J Z，CHEN L F，LIU Y.Study of camera self- calibration method based on tensor voting[J].Computer Engineering and Applications，2016，52（15）：190-197.
[26] 杨亚男，贾渊.基于改进遗传算法的摄像机自标定方法[J].计算机测量与控制，2020，28（2）：188-191.
YANG Y N，JIA Y.Camera self-calibration method based on improved genetic algorithm[J].Computer Measurement & Control，2020，28（2）：188-191.
[27] HARTLEY R I.Euclidean reconstruction from uncalibrated views[C]//Applications of Invariance in Computer Vision，1994.
[28] YUAN J H，WANG QI，LI B L.A flexile and high precision calibration method for binocular structured light scanning system[J].The Scientific World Jounal，2014.
[29] TRIGGS B.Auto calibration and the absolute quadric[C]//Conference on Computer Vision and Pattern Recognition，1997.
[30] 王运哲，郑凯.机器视觉中相机标定方法的研究[J].机械管理开发，2019，34（5）：81-82.
WANG Y Z，ZHENG K.Research on camera calibration method in machine vision[J].Mechanical Management and Development，2019，34（5）：81-82.
[31] RODRIGUES R T，BASIRI M，AGUIAR A P，et al.Low-level active visual navigation：increasing robustness of vision-based localization using potential fields[J].IEEE Robotics Automation Letters，2018，3（3）：2079-2086.
[32] 邓磊，陈宝华，赖伟良，等.三维监控系统中基于三维重构的交互式标定[J].电子学报，2017，45（3）：527-533.
DENG L，CHEN B H，LAI W L，et al.Interactive calibrating 3D surveillance system based on 3D reconstruction[J].Acta Electronica Sinica，2017，45（3）：527-533.
[33] 薛艺舟.面向自动驾驶的激光雷达与相机联合标定方法研究[D].北京：北京建筑大学，2021.
XUE Y Z.Research on the joint calibration method of LiDAR and camera for autonomous driving[D].Beijing：Beijing University of Civil Engineering and Architecture，2021.
[34] 李燕，严永财.基于同心圆阵列的结构光主动视觉系统标定算法[J].电子学报，2021，49（3）：536-541.
LI Y，YAN Y C.A novel calibration method for active vision system based on array of concentric circles[J].Acta Electronica Sinica，2021，49（3）：536-541.
[35] 张峰峰，陈龙，薛保珊，等.差分遗传算法优化BP神经网络的双目相机标定[J].哈尔滨工程大学学报，2021，42（7）：928-935.
ZHANG F F，CHEN L，XUE B S，et al.Binocular camera calibration of BP neural networks optimized by an improved differential genetic algorithm[J].Journal of Harbin Engineering University，2021，42（7）：928-935.
[36] 陈文艺，许洁，杨辉.利用双神经网络的相机标定方法[J/OL].红外与激光工程：1-10[2021-10-01].http：//kns.cnki.net/kcms/dtail/12.1261.TN.20210820.1852.009.html.
CHEN W Y，XU J，YANG H.Camera calibration method based on double neural network[J/OL].Infrared and Laser Engineering：1-10[2021-10-01].http：//kns.cnki.net/kcms/ detail/12.1261.TN.20210820.1852.009.html.
[37] 向鹏，周宾，祝仰坤，等.复杂环境下基于深度神经网络的摄像机标定[J].激光与光电子学进展，2019，56（11）：214-222.
XIANG P，ZHOU B，ZHU Y K，et al.Camera calibration based on deep neural network in complex environments[J].Laser & Optoelectronics Progress，2019，56（11）：214-222.
[38] 刘青松，谢晓方，张烜喆，等.用于聚焦型光场相机标定的棋盘角点检测算法[J].光学学报，2020，40（14）：147-154.
LIU Q S，XIE X F，ZHANG X Z，et al.Checkerboard corner detection algorithm for calibration of focused plenoptic camera[J].Acta Optica Sinica，2020，40（14）：147-154.
[39] 王硕，祝海江，李和平，等.基于共面圆的距离传感器与相机的相对位姿标定[J].自动化学报，2020，46（6）：1154-1165.
WANG S，ZHU H J，LI H P，et al.Relative pose calibration between a range sensor and a camera using two coplanar circles[J].Acta Automatica Sinica，2020，46（6）：1154-1165.
[40] LINDEBERG T.Feature detection with automatic scale selection[J].International Journal of Computer Vision，1998，30（2）：79-116.
[41] XUE S，ZHANG X R，ZHANG H，et al.Visible and infrared missile-borne image registration based on improved SIFT and joint features[J].Journal of Physics：Conference Series，2021，2010（1）.
[42] 杨帅，任超锋，赵丽华.一种基于特征表达的无人机影像匹配像对提取方法[J].科学技术与工程，2021，21（24）：10140-10147.
YANG S，REN C F，ZHAO L H.Method for extracting matching image pairs of unmanned aerial vehicle images based on feature expression[J].Science Technology and Engineering，2021，21（24）：10140-10147.
[43] 王艳，祁萌.基于GA-SIFT算法的无人机航拍图像实时拼接[J].测绘通报，2021（8）：28-32.
WANG Y，QI M.Real-time stitching of unmanned vehicle images based on GA-SIFT algorithm[J].Bulletin of Surveying and Mapping，2021（8）：28-32.
[44] 丁苏楠，张秋菊.基于改进SIFT算法的图像匹配方法[J].传感器与微系统，2020，39（10）：45-47.
DING S N，ZHANG Q J.Image registration method based on improved SIFT algorithm[J].Transducer and Microsystem Technologies，2020，39（10）：45-47.
[45] 薛冕，刘翔，石蕴玉，等.抑制光照不均匀影响的图像特征点提取算法[J].计算机工程与应用，2021，57（4）：183-191.
XUE M，LIU X，SHI Y Y，et al.Image feature point extraction algorithm to suppress influence of uneven illumination[J].Computer Engineering and Applications，2021，57（4）：183-191.
[46] 马佳佳，陈友鹏，王克强，等.基于优化SVM的虫害图像识别研究[J/OL].中国粮油学报：1-8[2021-10-03].http：//kns.cnki.net/kcms/detail/11.2864.TS.20210911.0959.002.html.
MA J J，CHEN Y P，WANG K Q，et al.Research on insect pest image recognition based on optimized SVM[J/OL].Journal of the Chinese Cereals and Oils Association：1-8[2021-10-03].http：//kns.cnki.net/kcms/detail/11.2864.TS.
20210911.0959.002.html.
[47] 陈艳，胡荣，李升健，等.基于组合特征和SVM的视频中人体行为识别算法[J].沈阳工业大学学报，2020，42（6）：665-669.
CHEN Y，HU R，LI S J，et al.Recognition algorithm for human behavior in video based on combined features and SVM[J].Journal of Shenyang University of Technology，2020，42（6）：665-669.
[48] 顾伟，李菲菲，陈虬.基于多特征融合的行人检测方法[J].电子科技，2021，34（5）：29-34.
GU W，LI F F，CHEN Q.Pedestrian detection algorithm based on multiple feature fusion[J].Electronic Science and Technology，2021，34（5）：29-34.
[49] 陈伟，刘宇，王亚伟，等.基于改进的FAST-SURF快速图像拼接算法[J].应用光学，2021，42（4）：636-642.
CHEN W，LIU Y，WANG Y W，et al.Fast image stitching algorithm based on improved FAST-SURF[J].Journal of Applied Optics，2021，42（4）：636-642.
[50] 丁进选，王丽欣，苗星雷.基于改进ORB和RANSAC算法的无人机影像特征匹配方法[J].测绘工程，2021，30（4）：66-69.
DING J X，WANG L X，MIAO X L.UAV image feature matching method based on improved ORB and RANSAC algorithm[J].Engineering of Surveying and Mapping，2021，30（4）：66-69.
[51] 杨颖，文小玲，章秀华.基于方向梯度直方图和局部二值模式混合特征的水稻病虫害识别方法研究[J/OL].河南农业大学学报：1-10[2021-10-05].https：//doi.org/10.164 45/j.cnki.1000-2340.20210908.002.
YANG Y，WEN X L，ZHANG X H.Study of diseased rice image recognition based on histograms of oriented gradients and local binary pattern hybrid features[J/OL].Journal of Henan Agricultural University：1-10[2021-10-05].https：//doi.org/10.16445/j.cnki.1000-2340.20210908.002.
[52] 季长清，高志勇，秦静，等.基于卷积神经网络的图像分类算法综述[J/OL].计算机应用：1-6[2021-10-05].http：//kns.cnki.net/kcms/detail/51.1307.TP.20210927.1733.024.html.
JI C Q，GAO Z Y，QIN J，et al.Image classification algorithms based on convolutional neural networks[J/OL].Journal of Computer Applications：1-6[2021-10-05].http：//kns.cnki.net/kcms/detail/51.1307.TP.20210927.1733.024.html.
[53] 乔桂芳，侯守明，刘彦彦.基于改进卷积神经网络与支持向量机结合的面部表情识别算法[J/OL].计算机应用：1-8[2021-10-05].http：//kns.cnki.net/kcms/detail/51.1307.TP.
20210927.1754.026.html.
QIAO G F，HOU S M，LIU Y Y.Facial expression recognition algorithm based on combination of improved convolutional neural network and support vector machine[J/OL].Journal of Computer Applications：1-8[2021-10-05].http：//kns.cnki.net/kcms/detail/51.1307.TP.20210927.
1754.026.html.
[54] SAIYED U，RANJAN M，MOHAN P H，et al.Deep features based convolutional neural network model for text and non-text region segmentation from document images[J].Applied Soft Computing Journal，2021，113.
[55] RAJNEESH R，GANESH S B，NONITA S，et al.Identification of tomato leaf diseases using deep convolutional neural networks[J].International Journal of Agricultural and Environmental Information Systems，2021，12（4）.
[56] IBTEHAZ N，RAHMAN M S.Multiresunet：rethinking the U-Net architecture for multimodal biomedical image segmentation[J].Neural Networks，2020，121：74-87.
[57] HUANG G，LIU Z，MAATEN L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition，2017：2261-2269.
[58] 林志玮，丁启禄，黄嘉航，等.基于DenseNet的无人机光学图像树种分类研究[J].遥感技术与应用，2019，34（4）：704-711.
LIN Z W，DING Q L，HUANG J H，et al.Study on tree species classification of UAV optical image based on DenseNet[J].Remote Sensing Technology and Application，2019，34（4）：704-711.
[59] VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need[EB/OL].[2021-08-09].https：//proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd
053c1c4a 845aa-Paper.pdf.
[60] TOUVRON H，CORD M，DOUZE M，et al.Training data-efficient image transformers & distillation through attention[C]//Proceedings of the International Conference on Machine Learning，2021：10347-10357.
[61] LIU Z，LIN Y，CAO Y，et al.Swin transformer：hierarchical vision transformer using shifted windows[EB/OL].[2021-08-09].https：//arxiv.org/pdf/2103.14030.pdf.
[62] 王鹏翔，张兆基，杨怀.结合多特征融合和极限学习机的红外图像目标分类方法[J/OL].红外与激光工程：1-6[2021-10-03].http：//kns.cnki.net/kcms/detail/12.1261.TN.202109
23.1151.002.html.
WANG P X，ZHANG Z J，YANG H.Target classification in infrared images via combination of multi-feature fusion and extreme learning machine[J/OL].Infrared and Laser Engineering：1-6[2021-10-03].http：//kns.cnki.net/kcms/detail/12.1261.TN.20210923.1151.002.html.
[63] 杨雨鑫，周欣，熊淑华，等.融合传统特征与神经网络的深度伪造检测算法[J].信息技术与网络安全，2021，40（2）：33-38.
YANG Y X，ZHOU X，XIONG S H，et al.Research on deepfakes detection combining traditional features and neural network[J].Information Technology and Network Security，2021，40（2）：33-38.
[64] 陈华，王立军，刘刚.立体匹配算法研究综述[J].高技术通讯，2020，30（2）：157-165.
CHEN H，WANG L J，LIU G.A survey of stereo matching algorithms[J].Chinese High Technology Letters，2020，30（2）：157-165.
[65] 陈星，张文海，候宇，等.改进的基于多尺度融合的立体匹配算法[J].西北工业大学学报，2021，39（4）：876-882.
CHEN X，ZHANG W H，HOU Y，et al.Improved stereo matching algorithm based on multi-scale fusion[J].Journal of Northwestern Polytechnical University，2021，39（4）：876-882.
[66] 朱荣华，葛广英，张广世，等.基于Census变换和多扫描线优化的半全局立体匹配算法[J].光电子·激光，2019，30（9）：978-984.
ZHU R H，GE G Y，ZHANG G S，et al.Semi-global stereo matching algorithm based on AD-Census transform and multi-scan line optimization[J].Journal of Optoelectronics·Laser，2019，30（9）：978-984.
[67] 李一能，曾庆化，张月圆，等.融合明度特征的V-SAD立体匹配算法[J].导航定位与授时，2021，8（4）：90-97.
LI Y N，ZENG Q H，ZHANG Y Y，et al.V-SAD stereo matching algorithm combining value features[J].Navigation Positioning and Timing，2021，8（4）：90-97.
[68] 周佳立，陈育，吴超，等.基于标签化匹配区域校正的双目立体匹配算法[J].模式识别与人工智能，2020，33（8）：681-691.
ZHOU J L，CHEN Y，WU C，et al.Binocular stereo matching algorithm based on labeled matching region correction[J].Pattern Recognition and Artificial Intelligence，2020，33（8）：681-691.
[69] 陈田，李文国.基于自适应权值的图割立体匹配算法[J].计算机测量与控制，2018，26（3）：153-157.
CHEN T，LI W G.Stereo matching algorithm based on adaptive weight and graph cuts[J].Computer Measurement & Control，2018，26（3）：153-157.
[70] SURESH C，TUCKLEY K R.Computing disparity map using minimum sum belief propagation for stereo pair images[J].International Journal of Computational Vision and Robotics，2020，10（6）.
[71] AHMADZADEH A，MADANI H，JAFARI K，et al.Fast and adaptive BP-based multi-core implementation for stereo matching[C]//11th IEEE/ACM International Conference on Formal Methods and Models for Codesign，Portland，USA，2013：135-138
[72] 夏颖，盖绍彦，达飞鹏.双目视觉下基于区域生长的三维人脸重建算法[J].计算机应用研究，2021，38（3）：932-936.
XIA Y，GAI S Y，DA F P.3D face reconstruction algorithm based on region growth in binocular vision[J].Application Research of Computers，2021，38（3）：932-936.
[73] 田婷婷，高瑞贞，张京军.基于区域插值的视差图平滑算法及三维重建[J].山东农业大学学报（自然科学版），2020，51（5）：893-898.
TIAN T T，GAO R Z，ZHANG J J.Disparity map smoothing algorithm and three dimensional reconstruction based on region interpolation[J].Journal of Shandong Agricultural University（Natural Science Edition），2020，51（5）：893-898.
[74] 畅雅雯，赵冬青，单彦虎.多特征融合和自适应聚合的立体匹配算法研究[J/OL].计算机工程与应用：1-8[2021-10-10].http：//kns.cnki.net/kcms/detail/11.2127.TP.20210624.
1729.019.html.
CHANG Y W，ZHAO D Q，SHAN Y H.Research on stereo matching algorithm based on multi-feature fusion and adaptive aggregation[J/OL].Computer Engineering and Applications：1-8[2021-10-10].http：//kns.cnki.net/kcms/detail/11.2127.TP.20210624.1729.019.html.
[75] 王金鹤，车志龙，张楠，等.基于多尺度和多层级特征融合的立体匹配方法[J].计算机工程，2021，47（3）：243-248.
WANG J H，CHE Z L，ZHANG N，et al.Stereo matching method based on multi-scale and multi-level features fusion[J].Computer Engineering，2021，47（3）：243-248.
[76] 郭丽君，张建伟，郭燕琼，等.散斑联合相位混合光场调制的三维重建方法的研究[J/OL].激光与光电子学进展：1-17[2021?10?10].http：//kns.cnki.net/kcms/detail/31.1690.TN.
20210816.1108.006.html.
GUO L J，ZHANG J W，GUO Y Q，et al.Research on 3D reconstruction method of speckle combined with phase hybrid light field modulation[J/OL].Laser & Optoelectronics Progress：1-17[2021-10-10].http：//kns.cnki.net/kcms/detail/31.1690.TN.20210816.1108.006.html.
[77] 蔡超，刘文波，郑祥爱，等.基于多尺度分析的快速相位立体匹配[J].半导体光电，2020，41（6）：870-874.
CAI C，LIU W B，ZHENG X A，et al.Fast phase-based stereo matching based on multi-scale analysis[J].Semiconductor Optoelectronics，2020，41（6）：870-874.
[78] 张锡英，王厚博，边继龙.多成本融合的立体匹配方法[J/OL].计算机工程：1-9[2021?10?10].https：//doi.org/10.19678/j.issn.1000-3428.0062144.
ZHANG X Y，WANG H B，BIAN J L.Multi-cost fusion stereo matching method[J/OL].Computer Engineering：1-9[2021?10?10].https：//doi.org/10.19678/j.issn.1000?3428.
0062144.
[79] 项新建，周跃琪，姚佳娜，等.野外农用视频监控运动目标检测算法研究及系统开发[J].中国农机化学报，2021，42（5）：166-174.
XIANG X J，ZHOU Y Q，YAO J N，et al.Improvement and system development of moving target detection algorithm for the field of agricultural video surveillance[J].Journal of Chinese Agricultural Mechanization，2021，42（5）：166-174.
[80] TIAN Y E，YU C Z，XIE F，et al.Research on video detection method of moving target oriented to substation[J].IOP Conference Series：Earth and Environmental Science，2021，804（3）：
[81] 杨嘉琪，韩晓红.基于自适应混合高斯的改进三帧差分算法[J].计算机工程与设计，2021，42（6）：1699-1705.
YANG J Q，HAN X H.Improved three-frame difference algorithm based on adaptive mixture Gaussian[J].Computer Engineering and Design，2021，42（6）：1699-1705.
[82] 徐武，唐文权，郭兴，等.混合高斯模型结合五帧差分的运动目标检测[J].小型微型计算机系统，2021，42（4）：785-790.
XU W，TANG W Q，GUO X，et al.Moving target detection based on hybrid Gaussian model and five frame difference[J].Journal of Chinese Computer Systems，2021，42（4）：785-790.
[83] ZHANG K，TONG S，SHI H，et al.Moving object detection of assembly components based on improved background subtraction algorithm[J].IOP Conference Series：Materials Science and Engineering，2021，1009（1）.
[84] 辛元雪，史朋飞，薛瑞阳.基于区域提取与改进LBP特征的运动目标检测[J].计算机科学，2021，48（7）：233-237.
XIN Y X，SHI P F，XUE R Y.Moving object detection based on region extraction and improved LBP features[J].Computer Science，2021，48（7）：233-237.
[85] REDDY K S N，SURESH T，PRASANTH A，et al.An effective motion object detection using adaptive background modeling mechanism in video surveillance system[J].Journal of Intelligent & Fuzzy Systems，2021，41（1）.
[86] 周滨，刘畅，周雪珂.一种基于阴影检测的视频SAR运动目标检测方法[J/OL].微电子学与计算机：1-8[2021-10-12].http：//kns.cnki.net/kcms/detail/61.1123.tn.20210914.1713.
021.html.
ZHOU B，LIU C，ZHOU X K.A video SAR moving target detection method based on shadow detection[J/OL].Microelectronics & Computer：1-8[2021-10-12].http：//kns.cnki.net/kcms/detail/61.1123.tn.20210914.1713.021.html.
[87] 蒋燕翔.基于全卷积神经网络的计算机视觉目标检测算法[J].沈阳工业大学学报，2021，43（5）：557-562.
JIANG Y X.Computer vision target detection algorithm based on full convolution neural network[J].Journal of Shenyang University of Technology，2021，43（5）：557-562.
[88] 王红梅，王晓鸽，王晓燕.基于深度学习的复杂背景下目标检测研究[J/OL].控制与决策：1-8[2021-10-12].https：//doi.org/10.13195/j.kzyjc.2021.0686.
WANG H M，WANG X G，WANG X Y.Research on target detection under complex background based on deep learning[J/OL].Control and Decision：1-8[2021-10-12].https：//doi.org/10.13195/j.kzyjc.2021.0686.
[89] RUDRIKA K，SAKSHI A.Background subtraction for moving object detection：explorations of recent developments and challenges[J].The Visual Computer，2021.
[90] 谭熊，孙一帆，张晋，等.光流网络的无人机视频运动目标检测方法[J].测绘科学技术学报，2021，38（3）：272-279.
TAN X，SUN Y F，ZHANG J，et al.Moving target detection based on optical flow network in UAV video[J].Journal of Geomatics Science and Technology，2021，38（3）：272-279.
[91] 陈立潮，解丹，曹建芳，等.改进光流法和GMM融合的车辆实时检测算法研究[J].智能系统学报，2021，16（2）：271-278.
CHEN L C，XIE D，CAO J F，et al.Research on vehicle real-time detection algorithm based on improved optical flow method and GMM[J].CAAI Transactions on Intelligent Systems，2021，16（2）：271-278.
[92] 朱锡洲.基于特征光流的视频中物体检测[D].合肥：中国科学技术大学，2020.
ZHU X Z.Flow-based video object detection[D].Hefei：University of Science and Technology of China，2020.
[93] 尉婉青，禹晶，柏鳗晏，等.SSD与时空特征融合的视频目标检测[J].中国图象图形学报，2021，26（3）：542-555.
WEI W Q，YU J，BAI W Y，et al.Video object detection using fusion of SSD and spatiotemporal features[J].Journal of Image and Graphics，2021，26（3）：542-555.
[94] HE Z H，CHEN X，YI T Z，et al.Moving target shadow analysis and detection for ViSAR imagery[J].Remote Sensing，2021，13（15）.
[95] 任薪宇.基于卷积神经网络的运动目标检测算法研究[D].重庆：重庆大学，2019.
REN X Y.The Research of moving objects detection based on convolutional neural network[D].Chongqing：Chongqing University，2019.
[96] 欧先锋，晏鹏程，王汉谱，等.基于深度帧差卷积神经网络的运动目标检测方法研究[J].电子学报，2020，48（12）：2384-2393.
OU X F，YAN P C，WANG H P，et al.Research of moving object detection based on deep frame difference convolution neural network[J].Acta Electronica Sinica，2020，48（12）：2384-2393.
[97] 谢家阳，王行健，史治国，等.动态云台摄像机无人机检测与跟踪算法[J/OL].智能系统学报：1?12[2021?10?13].http：//kns.cnki.net/kcms/detail/23.1538.TP.20210830.1334.006.html.
XIE J Y，WANG X J，SHI Z G，et al.Drone detection and tracking in dynamic pan-tilt-zoom cameras[J/OL].CAAI Transactions on Intelligent Systems：1-12[2021-10-13].http：//kns.cnki.net/kcms/detail/23.1538.TP.20210830.1334.
006.html.
[98] DING X Y.Moving object detection in dynamic background[J].Journal of Physics：Conference Series，2021，1955（1）.
[99] QU S C，ZHANG H R，WU W H，et al.Symmetric pyramid attention convolutional neural network for moving object detection[J].Signal，Image and Video Processing，2021.
[100] 刘玲，柴国华，瞿中.基于改进的鬼影抑制和自适应视觉背景提取的运动目标检测（英文）[J].中南大学学报，2021，28（3）：747-759.
LIU L，CHAI G H，QU Z.Moving target detection based on improved ghost suppression and adaptive visual background extraction（English）[J].Journal of Central South University，2021，28（3）：747-759.
[101] 杨勇强，唐猛，孟文，等.一种基于双目视觉的运动轨迹预测方法[J].机械设计与制造，2020（10）：253-255.
YANG Y Q，TANG M，MENG W，et al.A location and motion prediction method based on binocular vision[J].Machinery Design & Manufacture，2020（10）：253-255.
[102] 郑锴，郑献民，殷少锋，等.基于最小二乘拟合的无人机运动目标测速方法[J].兵器装备工程学报，2021，42（3）：61-64.
ZHENG K，ZHENG X M，YIN S F，et al.A UAV velocity measurement approach for moving targets based on least squares fitting algorithm[J].Journal of Ordnance Equipment Engineering，2021，42（3）：61-64.
[103] KALMAN R E.A new approach to liner filtering and prediction problems[J].Journal of Basic Engineering，1960，82（1）：35-45.
[104] 乔少杰，韩楠，朱新文，等.基于卡尔曼滤波的动态轨迹预测算法[J].电子学报，2018，46（2）：418-423.
QIAO S J，HAN N，ZHU X W，et al.A dynamic trajectory prediction algorithm based on Kalman filter[J].Acta Electronica Sinica，2018，46（2）：418-423.
[105] 李哲.基于改进的隐马尔科夫模型的车辆轨迹预测[D].北京：北京工业大学，2019.
LI Z.Trajectory prediction based on improved hidden Markov model[D].Beijing：Beijing University of Technology，2019.
[106] 陈南华，赵良玉，雍恩米，等.变机动高超声速滑翔目标的轨迹序列预测算法[J].航空兵器，2021，28（2）：40-48.
CHEN N H，ZHAO L Y，YONG E M，et al.Trajectory sequence prediction algorithm for hypersonic gliding target with variable maneuver[J].Aero Weaponry，2021，28（2）：40-48.
[107] 罗石，刘志伟，朱大全.基于车载摄像头的车辆前方移动光源轨迹预测算法[J].传感器与微系统，2021，40（9）：146-149.
LUO S，LIU Z W，ZHU D Q.Prediction algorithm for moving light source trajectory in front of vehicle based on on-board camera[J].Transducer and Microsystem Technologies，2021，40（9）：146-149.
[108] 曹浏.基于BP优化的卡尔曼滤波算法在行人跟踪中的应用[D].西安：西安理工大学，2021.
CAO L.Application of Kalman filter algorithm based on BP optimization in pedestrian tracking[D].Xi’an：Xi’an University of Technology，2021.
[109] 陈明强，傅嘉赟.基于无迹卡尔曼滤波的飞行航迹预测方法研究[J].计算机仿真，2021，38（6）：27-30.
CHEN M Q，FU J Y.Flight track prediction method based on unscented Kalman filter[J].Computer Simulation，2021，38（6）：27-30.
[110] 任条娟，陈鹏，陈友荣，等.基于深度学习的多目标运动轨迹预测算法[J/OL].计算机应用研究：1-8[2021-10-16].https：//doi.org/10.19734/j.issn.1001-3695.2021.05.0203.
REN T J，CHEN P，CHEN Y R，et al.Multi-taget motion trajectory prediction algorithn based on deep leaning[J/OL].Application Research of Computers：1-8[2021-10-16].https：//doi.org/10.19734/j.issn.1001-3695.2021.05.0203.
[111] 潘志松，黎维.基于深度学习的时空序列预测方法综述[J].数据采集与处理，2021，36（3）：436-448.
PAN Z S，LI W.Review of spatio-temporal sequence prediction methods based on deep learning[J].Journal of Data Acquisition and Processing，2021，36（3）：436-448.
[112] 刘博，王明烁，李永，等.深度学习在时空序列预测中的应用综述[J].北京工业大学学报，2021，47（8）：925-941.
LIU B，WANG M S，LI Y，et al.Deep learning for spatio-temporal sequence forecasting：a survey[J].Journal of Beijing University of Technology，2021，47（8）：925-941.
[113] 刘滔，雍恩米，翟岱亮.面向拦截的高超声速飞行器轨迹预测关键技术综述[J].航天控制，2021，39（4）：13-21.
LIU T，YONG E M，ZHAI D L.A review of the key technologies of trajectory prediction of intercepting hypersonic vehicles[J].Aerospace Control，2021，39（4）：13-21.
[114] 莫凌飞，蒋红亮，李煊鹏.基于深度学习的视频预测研究综述[J].智能系统学报，2018，13（1）：85-96.
MO L F，JIANG H L，LI X P.Review of deep learning-based video prediction[J].CAAI Transactions on Intelligent Systems，2018，13（1）：85-96.
[115] YANG Z，TANG R，BAO J，et al.A real-time trajectory prediction method of small-scale quadrotors based on GPS data and neural network[J].Sensors（Basel，Switzerland），2020，20（24）.
[116] WU Z J，TIAN S，MA L.A 4D trajectory prediction model based on the BP neural network[J].Journal of Intelligent Systems，2019，29（1）.
[117] 张宏鹏，黄长强，唐上钦，等.基于卷积神经网络的无人作战飞机飞行轨迹实时预测[J].兵工学报，2020，41（9）：1894-1903.
ZHANG H P，HUANG C Q，TANG S Q，et al.CNN-based real-time prediction method of flight trajectory of unmanned combat aerial vehicle[J].Acta Armamentarii，2020，41（9）：1894-1903.
[118] ZHANG J，HASSAN A S.Automatic detection method of technical and tactical indicators for table tennis based on trajectory prediction using compensation fuzzy neural network[J].Computational Intelligence and Neuroscience，2021（1）：1-12.
[119] 李楠，强懿耕，焦庆宇，等.一种基于反向神经网络的航空器飞行轨迹预测[J].科学技术与工程，2019，19（21）：330-335.
LI N，QIANG Y G，JIAO Q Y，et al.Flight trajectory prediction of aircraft based on back-propagation neural network[J].Science Technology and Engineering，2019，19（21）：330-335.
[120] WANG R P，CUI Y，SONG X，et al.Multi-information-based convolutional neural network with attention mechanism for pedestrian trajectory prediction[J].Image and Vision Computing，2021，107.
[121] CHEN H X.Research on multi-sensor data fusion technology based on BP neural network[C]//2015 IEEE Advanced Information Technology，Electronic and Automation Control Conference.New York：IEEE，2015：265-269.
[122] GUO Y J，XU Q，LUO X X，et al.A group-based signal filtering approach for trajectory abstraction and restoration[J].Neural Computing & Applications，2018.
[123] 彭秋芳.时间敏感的轨迹修复问题研究[D].济南：山东大学，2018.
PENG Q F.Research on time-sensitive trajectory repair[D].Jinan：Shandong University，2018.
[124] 高瑾馨.面向智慧交通的数据修复与预测方法研究[D].天津：天津理工大学，2020.
GAO J X.Research on methods of data repair and forecasting for smart transportation[D].Tianjin：Tianjin University of Technology，2020.
[125] ZHAO P，ZHANG A，ZHANG C，et al.ATR：automatic trajectory repairing with movement tendencies[J].IEEE Access，2019（99）：1.
[126] 官恺，刘智，金飞，等.一种用于DSM局部缺失的深度学习修复算法[J].测绘科学技术学报，2020，37（3）：281-286.
GUAN K，LIU Z，JIN F，et al.A deep learning repair algorithm for DSM local missing[J].Journal of Geomatics Science and Technology，2020，37（3）：281-286.
[127] 钱斌，郑楷洪，陈子鹏，等.基于残差连接长短期记忆网络的时间序列修复模型[J].计算机应用，2021，41（1）：243-248.
QIAN B，ZHENG K H，CHEN Z P，et al.Time series imputation model based on long-short term memory network with residual connection[J].Journal of Computer Applications，2021，41（1）：243-248.
[128] 陈奔.基于双向递归神经网络的轨迹数据修复[D].济南：山东大学，2018.
CHEN B.Trajectory data repair based on bidirectional recurrent neural network[D].Jinan：Shandong University，2018.