Research on Pedestrian Gait Recognition Based on Multi-scale Feature Transfer Learning

doi:10.3778/j.issn.1002-8331.2006-0154

Abstract

Abstract:

In order to solve the problem of small sample size of pedestrian gait datasets and the problem of insufficient feature description of single-feature or multiple feature fusion gait recognition algorithm, a pedestrian gait recognition method based on multi-scale feature deep migration learning is proposed. The steps of the algorithm include：Firstly, improving the VGG-16 network by removing the last Maximum pooling Layer（Maxpool Layer） in the network and fusing the Spatial Pyramid Pooling network structure（SPP） to obtain multiscale information of the pedestrian Gait Energy Image（GEI）. Then the network model is pretrained by using the Imagenet dataset, and the feature extraction ability is transferred to the pedestrian gait recognition network model. It uses pedestrian gait sample set to fine-tune the network, modifies the full connection layer parameters in the network, and finally applies to the pedestrian gait recognition research. This method achieves 95.7% recognition accuracy on the CASIA-B gait dataset at the CAS Institute of Automation. The method has been demonstrated higher recognition rate than single-feature or multiple feature fusion gait recognition algorithm. It is shown that this method has better recognition performance.

Key words: gait recognition, transfer learning, gait energy image, spatial pyramid pooling, multi-scale features

摘要：

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题，提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络，去除网络中最后一个最大池化层（Maxpool Layer），融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息，利用Imagenet数据集预训练此网络模型，将提取特征能力迁移至行人步态识别网络模型中，采用行人步态样本集微调网络，修改网络中的全连接层参数，应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%，与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比，步态识别率有了明显提升，表明该方法有更好的识别性能。

关键词: 步态识别, 迁移学习, 步态能量图, 空间金字塔池化, 多尺度特征

XU Jian, HUANG Lei, CHEN Qianqian, LU Zhen, WU Shupei. Research on Pedestrian Gait Recognition Based on Multi-scale Feature Transfer Learning[J]. Computer Engineering and Applications, 2021, 57(20): 180-187.

徐健，黄磊，陈倩倩，陆珍，吴曙培. 基于多尺度特征迁移学习的步态识别研究[J]. 计算机工程与应用, 2021, 57(20): 180-187.

References

[1] WINTER D A.Biomechanics and motor control of human movernt[M].[S.l.]：John Wiley & Sons，2009.
[2] 李凯，曹可凡.受限玻尔兹曼机的步态特征提取及其识别[J].河北大学学报（自然科学版），2019，39（6）：657-665.
LI Kai，CAO Kefan.Gait feature extraction based on restricted Boltzmann machine and its recognition method[J].Journal of Hebei University（Natural Science Edition），2019，39（6）：657-665.
[3] 赵喜玲，张晓惠.基于动态特征和静态特征融合的步态识别方法[J].湘潭大学自然科学学报，2017，39（4）：89-91.
ZHAO Xiling，ZHANG Xiaohui.Gait recognition based on dynamic and static feature fusion[J].Natural Science Journal of Xiangtan University，2017，39（4）：89-91.
[4] 尹宝才，王文通，王立春.深度学习研究综述[J].北京工业大学学报，2015，41（1）：48-59.
YIN Baocai，WANG Wentong，WANG Lichun.Review of deep learning[J].Journal of Beijing University of Technology，2015，41（1）：48-59.
[5] SINNO J L，PAN QIANG Y.?A survey on transfer learning[J].IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.
[6] 龙满生，欧阳春娟，刘欢，等.基于卷积神经网络与迁移学习的油茶病害图像识别[J].农业工程学报，2018，34（18）：194-201.
LONG Mansheng，OUYANG Chunjuan，LIU Huan，et al.Image recognition of camellia oleifera diseases based on convolutional neural network & transfer learning[J].Transactions of the Chinese Society of Agricultural Engineering，2018，34（18）：194-201.
[7] 罗娟，蔡骋.多线索植物种类识别[J].计算机工程与应用，2020，56（5）：160-165.
LUO Juan，CAI Cheng.Multi-cue plant species identification[J].Computer Engineering and Applications，2020，56（5）：160-165.
[8] 关胤.基于残差网络迁移学习的花卉识别系统[J].计算机工程与应用，2019，55（1）：174-179.
GUAN Yin.Flower species recognition system based on residual network transfer learning[J].Computer Engineering and Applications，2019，55（1）：174-179.
[9] HE K，ZHANG X，REN S，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37（9）：1904-1916.
[10] 何逸炜，张军平.步态识别的深度学习：综述[J].模式识别与人工智能，2018，31（5）：442-452.
HE Yiwei，ZHANG Junping.Deep learning for gait recognition：a survey[J].Pattern Recognition and Artificial Intelligence，2018，31（5）：442-452.
[11] 刘志勇，冯国灿，陈伟福.基于局部二值模式和辨识共同向量的步态识别[J].计算机科学，2013，40（9）：262-265.
LIU Zhiyong，FENG Guocan，CHEN Weifu.Gait recognition based on local binary pattern and discriminant common vector[J].Computer Science，2013，40（9）：262-265.
[12] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv：1409.
1556，2014.
[13] YU S Q，TAN D L，TAN T N.A framework for evaluating the effect of view angle，clothing and carrying condition on gait recognition[C]//Proc of the IEEE International Conference on Pattern Recognition，2006：441-444.
[14] 李林杰，顾广华，王成儒，等.能量图和典型相关分析相结合的特征融合步态识别[J].小型微型计算机系统，2014，35（11）：2558-2561.
LI Linjie，GU Guanghua，WANG Chengru，et al.Features fusion gait recognition by combining energy image and canonical correlation analysis[J].Journal of Chinese Computer Systems，2014，35（11）：2558-2561.
[15] 李玲，罗正平，杨天奇.能量图空间分解法和DSW相结合的步态识别[J].计算机工程与应用，2016，52（3）：127-132.
LI Ling，LUO Zhengping，YANG Tianqi.Gait recognition method based on space mass energy image and dynamic space warping[J].Computer Engineering and Applications，2016，52（3）：127-132.
[16] 刘文婷，卢新明.基于LBP和HOG特征分层融合的步态识别[J].计算机工程与应用，2018，54（24）：168-175.
LIU Wenting，LU Xinming.Gait recognition based on layered fusion of LBP and HOG features[J].Computer Engineering and Applications，2018，54（24）：168-175.