Improved Face Tracking Algorithm in Skin-Like Background

doi:10.3778/j.issn.1002-8331.2102-0043

Abstract

Abstract: In the process of face tracking, the CamShift（continuously adaptive mean-shift） algorithm based on the target color features is disturbed by the skin-like background, which leads to the problem of search box offset and abnormal size. An improved algorithm combining the SVM（support vector machines） skin tone segmentation and face tracking monitoring mechanism is proposed. In the Cb and Cr channels of the YCbCr color space, a non-parametric skin color segmentation model and SVM are used to construct a joint skin color segmentation model specific to video standard frames to remove skin colors in video frames in a coarse-to-fine manner. background. The face color histogram in the Cr channel is constructed based on the CamShift algorithm and face tracking is performed. Considering the failure of the joint skin color segmentation model and the color histogram of the CamShift algorithm when the scene or light intensity changes during the tracking process, the pauta criterion is used to detect the outliers of the mean value of the Cr channel in the tracking window. The face detector built by Adaboost（Adaptive Boosting） algorithm is used to initialize the color histogram of CamShift algorithm and reconstruct the joint skin color segmentation model. The experimental results show that the proposed algorithm can track face targets with higher accuracy than the traditional CamShift algorithm in the skin-like background, and it runs faster than the recent tracking algorithms with satisfactory tracking accuracy.

Key words: face tracking, skin color segmentation, support vector machine（SVM）, CamShift, outlier detection, AdaBoost

摘要： 针对人脸追踪过程中，基于目标色彩特征的CamShift（continuously adaptive mean-shift）算法受类肤色背景干扰所导致的搜索框偏移及尺寸异常问题，提出了一种结合肤色分割及追踪监测机制的人脸追踪改进算法。在YCbCr色彩空间的Cb、Cr分量内采用非参数肤色分割模型及SVM（support vector machines）构建特定于当前视频序列的联合肤色分割模型，以由粗至细的方式去除视频帧中类肤色背景。随后，在Cr分量内构建CamShift算法色彩直方图并进行人脸追踪。考虑在追踪过程中，当场景或光照强度改变时易出现的联合肤色分割模型及CamShift算法色彩直方图失效问题，采用拉依达准则（pauta criterion）判断追踪窗口内Cr分量均值的异常，当监测到异常值时即判定当前视频帧人脸追踪失败，使用Adaboost（adaptive boosting）算法构建的人脸检测器进行人脸复检并重构CamShift算法色彩直方图及联合肤色分割模型。在OTB-2015目标追踪数据集中进行测试，实验结果表明，所提算法在类肤色背景下相比原始CamShift算法对人脸目标的追踪精度更高；相比近几年的追踪算法则在具有良好追踪精度的同时速度优势明显。

关键词: 人脸追踪, 肤色分割, 支持向量机, CamShift, 异常值检测, AdaBoost

XIE Mengda, SUN Peng, ZHANG Zhihao, LANG Yubo, ZHOU Chunbing, SHAN Daguo. Improved Face Tracking Algorithm in Skin-Like Background[J]. Computer Engineering and Applications, 2022, 58(18): 205-217.

解梦达, 孙鹏, 张志豪, 郎宇博, 周纯冰, 单大国. 类肤色背景下的人脸追踪改进算法[J]. 计算机工程与应用, 2022, 58(18): 205-217.

References

[1] WU Y，LIM J，YANG M H.Object tracking benchmark[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1.
[2] 孟琭，杨旭.目标追踪算法综述[J].自动化学报，2019，45（7）：1244-1260.
MENG L，YANG X.A survey of object tracking algorithms[J].Acta Automatica Sinica，2019，45（7）：1244-1260.
[3] BABENKO B，YANG M H，BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，33（8）：1619-1632.
[4] KALAL Z，MIKOLAJCZYK K，MATAS J.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，34（7）：1409-1422.
[5] POSSEGGER H，MAUTHNER T，BISCHOF H.In defense of color-based model-free tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：2113-2120.
[6] HENRIQUES J F，CASEIRO R，MARTINS P，et al.Exploiting the circulant structure of tracking-by-detection with kernels[C]//Proceedings of the European Conference on Computer Vision.Berlin，Heidelberg：Springer，2012：702-715.
[7] HENRIQUES J F，CASEIRO R，MARTINS P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，37（3）：583-596.
[8] KIANI GALOOGAHI H，FAGG A，LUCEY S.Learning background-aware correlation filters for visual tracking[C]//Proceedings of the IEEE International Conference on Computer Vision.New York：IEEE，2017：1135-1143.
[9] DANELLJAN M，HAGER G，SHAHBAZ KHAN F，et al.Convolutional features for correlation filter based visual tracking[C]//Proceedings of the IEEE International Conference on Computer Vision Workshops，2015：58-66.
[10] CHEN Z，ZHONG B，LI G，et al.Siamese box adaptive network for visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2020：6668-6677.
[11] DAI K，ZHANG Y，WANG D，et al.High-performance long-term tracking with meta-updater[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2020：6298-6307.
[12] YANG T，XU P，HU R，et al.ROAM：recurrently optimizing tracking model[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2020：6718-6727.
[13] 赵昶辰、梅培义、冯远静.面向远程光体积描记的人脸检测与跟踪[J].中国图象图形学报，2020，25（11）：2439-2450.
ZHAO C C，MEI P Y，FENG Y J.Face detection and tracking algorithm for remote photoplethysmography[J].Journal of Image and Graphics，2020，25（11）：2439-2450.
[14] 牛颖，李丽宏.融合CamShift的TLD算法实现人脸跟踪[J].小型微型计算机系统，2020，41（2）：421-425.
NIU Y，LI L H.Face tracking using TLD algorithm with CamShift fusion[J].Journal of Chinese Computer Systems，2020，41（2）：421-425.
[15] HJELM?S E，LOW B K.Face detection：a survey[J].Computer Vision and Image Understanding，2001，83（3）：236-274.
[16] 徐战武，朱淼良.基于颜色的皮肤检测综述[J].中国图象图形学报，2007，12（3）：377-388.
XU Z W，ZHU M L.Color-based skin detection：a survey[J].Journal of Image and Graphics，2007，12（3）：377-388.
[17] ZHANG N N，ZHANG J.Optimization of face tracking based on KCF and Camshift[J].Procedia Computer Science，2018，131：158-166.
[18] 王俊南，赖惠成，杨东旭.基于肤色分割的改进Camshift人脸跟踪算法[J].现代电子技术，2019，42（10）：166-170.
WANG J N，LAI H C，YANG D X，Improved Camshift face tracking algorithm based on skin color segmentation[J].Modern Electronics Technique，2019，42（10）：166-170.
[19] SHIN M C，CHANG K I，TSAP L V.Does colorspace transformation make any difference on skin detection?[C]//Proceedings of IEEE Workshop Applications of Computer Vision，Orlando，2002.New York：IEEE，2002：2254-2263.
[20] 徐战武，朱淼良.肤色检测最优空间[J].计算机辅助设计与图形学学报，2006，18（9）：1350-1356.
XU Z W，ZHU M L.Optimum colorspace for skin-tone detection[J].Journal of Computer-Aided Design & Computer Graphics，2006，18（9）：1350-1356.
[21] 王雪，张为民.基于纹理和邻域信息的肤色分割算法[J].吉林大学学报（理学版），2017，55（4）：909-914.
WANG X，ZHANG W M.Algorithm of skin color segmentation based on texture and neighborhood information[J].Journal of Jilin University（Science Edition），2017，55（4）：909-914.
[22] 董旭德，许源平，舒红平等.基于质心分水岭算法的静态手势分割算法模型[J].智能系统学报，2019，14（2）：346-354.
DONG X D，XU Y P，SHU H P，et al.Static gesture segmentation algorithm model based on centroid watershed algorithm[J].CAAI Transactions on Intelligent Systems，2019，14（2）：346-354.
[23] 刘可，巩敦卫.手势分割问题的多目标优化模型及其进化求解方法[J].控制与决策，2017，32（1）：100-104.
LIU K，GONG D W.Multi-objective optimization model and its evolution-based solution for gesture segmentation problems[J].Control and Decision，2017，32（1）：100-104.
[24] PHUNG S L，BOUZERDOUM A，CHAI D.Skin segmentation using color pixel classification：analysis and comparison[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（1）：148-154.
[25] EXNER D，BRUNS E，KURZ D，et al.Fast and robust CAMShift tracking[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops，2010：9-16.
[26] 李子印，朱明凌，陈柱.融合图像感知哈希技术的运动目标跟踪[J].中国图象图形学报，2015，20（6）：795-804.
LI Z Y，ZHU M L，CHEN Z.Object tracking algorithm based on perception hash technology[J].Journal of Image and Graphics，2015，20（6）：795-804.
[27] MA C，YANG X，ZHANG C，et al.Long-term correlation tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：5388-5396.
[28] SHEN D，LIN Y，REN Z，et al.Normal-based flower pollination algorithm（FPA） for solving 3D point set registration via rotation optimization[J].IEEE Access，2020，8：193578-193592.
[29] LILLIEFORS H W.On the Kolmogorov-Smirnov test for normality with mean and variance unknown[J].Journal of the American statistical Association，1967，62（318）：399-402.
[30] 何清，王震坤.正态性检验方法在教学研究中的应用[J].高等理科教育，2014（4）：18-21.
HE Q，WANG Z K.Discussion on the application of normality test method in teaching research[J].Higher Education of Sciences，2014（4）：18-21.
[31] 陈芷薇，陈姝.基于深度学习的人脸追踪自动初始化方法[J].计算机工程与科学，2017，39（4）：791-795.
CHEN Z W，CHEN S.Automatic initialization of face tracking based on deep learning[J].Computer Engineering and Science，2017，39（4）：791-795.
[32] 王茹，贺兴时，杨新社.针对二分支神经网络匹配的人脸检测算法研究[J].计算机科学与探索，2020，14（10）：1727-1734.
WANG R，HE X S，YANG X S.Research on face detection algorithm for dual-shot neural network matching[J].Journal of Frontiers of Computer Science and Technology，2020，14（10）：1727-1734.
[33] 张海涛，李美霖，董帅含.两层级联卷积神经网络的人脸检测[J].中国图象图形学报，2019，24（2）：203-214.
ZHANG H T，LI M L，DONG S H.Two-layer cascaded convolutional neural network for face detection[J].Journal of Image and Graphics，2019，24（2）：203-214.
[34] 刘禹欣，朱勇，孙结冰，等.Haar-like特征双阈值Adaboost人脸检测[J].中国图象图形学报，2020，25（8）：1618-1626.
LIU Y X，ZHU Y，SUN J B，et al.Improved Adaboost face detection algorithm based on Haar-like feature statistics[J].Journal of Image and Graphics，2020，25（8）：1618-1626.
[35] 李启运，纪庆革，洪赛丁.FastFace：实时鲁棒的人脸检测算法[J].中国图象图形学报，2019，24（10）：1761-1771.
LI Q Y，JI G X，HONG S D.FastFace：a real-time robust algorithm for face detection[J].Journal of Image and Graphics，2019，24（10）：1761-1771.
[36] DANELLJAN M，BHAT G，SHAHBAZ KHAN F，et al.Eco：efficient convolution operators for tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：6638-6646.
[37] NAM H，HAN B.Learning multi-domain convolutional neural networks for visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：4293-4302.
[38] HARE S，GOLODETZ S，SAFFARI A，et al.Struck：structured output tracking with kernels[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，38（10）：2096-2109.
[39] CHAI D，NGAN K N.Face segmentation using skin-color map in videophone applications[J].IEEE Transactions on Circuits and Systems for Video Technology，1999，9（4）：551-564.
[40] BASILIO J A M，TORRES G A，PEREZ G S，et al.Explicit image detection using YCbCr space color model as skin detection[C]//Proceedings of the 2011 American Conference Mathematics and Computer Engineering，2011：123-128.
[41] KUKHAREV G，NOWOSIELSKI A.Visitor identification-elaborating real time face recognition system[C]//Proceedings of the Winter School on Computer Graphics，2004：157-164.