利用骨架模型和格拉斯曼流形的3D人体动作识别

计算机工程与应用 ›› 2016, Vol. 52 ›› Issue (20): 214-220.

利用骨架模型和格拉斯曼流形的3D人体动作识别

吴珍珍1，邓辉舫2

1.湖南女子学院信息技术系，长沙 410004
2.华南理工大学计算机学院，广州 510006

出版日期:2016-10-15 发布日期:2016-10-14

3D Human action recognition method using joint point model and Grassmann manifold

WU Zhenzhen1, DENG Huifang2

1.Department of Information Technology, Hunan Women’s University, Changsha 410004, China
2.College of Computer Science and Technology, South China University of Technology, Guangzhou 510006, China

Online:2016-10-15 Published:2016-10-14

摘要/Abstract

摘要： 为了通过几何特征的有效方法描述人体骨骼运动，构建3D人体动作识别系统，提出一种基于3D骨骼关节空间建模方法。首先，使用自回归和移动平均模型（ARMA）描述每个随着时间变化的运动轨迹，成功捕捉了时空动态运动信息。同时，将该模型的观察矩阵生成的子空间作为格拉斯曼流形中一个点；然后，通过学习控制切线（CT）描述每个类的均值，映射学习过程中的观察变量到所有CT形成局部切丛（LTB），LTB流形数据点可直接在分类器上完成分类；最后，提出的方法使用SVM分类器完成训练和分类。MSR-action 3D、Weizmann和UCF-Kinect三个数据库的实验结果验证了该方法的有效性，与几种基于深度数据的算法相比，该方法获得了最高的识别率，在延迟性方面的性能也表现最优，当帧数为30时，识别率达到97.91%，在延迟较高时，可达到期望识别率。

关键词: 动作识别, 格拉斯曼流形, 骨骼关节, 回归和移动平均模型, 控制切线

Abstract: In order to effectively describe human skeleton movement by geometrical characteristics and build 3D human action recognition system, a modeling algorithm based on 3D bone joint is proposed. Firstly, Auto Regressive & Moving Average（ARMA） is used to describe each trajectory over time, which successfully captures the information of temporal and spatial motion. Meanwhile, the model view matrix generated subspace generated from view matrix of the model is being as a point on Grassmann manifold. Then, the mean of each class is described by learning Control Tangent（CT）, during the mapping learning process, observed variables to all the control tangents is being formed Local Tangent Bundle（LTB）. And the LTB manifold data points can be directly used to classify in the classifier. Finally, the proposed method uses the SVM classifier to complete training and classification. The effectiveness of the proposed algorithm is verified by experimental results on three databases MSR-action 3D, Weizmann and UCF-Kinect. Compared with several algorithms based on depth data, proposed algorithm not only has achieved the highest recognition rate, but also performs best in terms of latency, and the recognition rate is 97.91% when the number of frames is 30, so it achieves the desired recognition rate when the delay is high.

Key words: action recognition, Grassmann manifold, bone joint, auto regressive &, moving average, control tangent

吴珍珍1，邓辉舫2. 利用骨架模型和格拉斯曼流形的3D人体动作识别[J]. 计算机工程与应用, 2016, 52(20): 214-220.

WU Zhenzhen1, DENG Huifang2. 3D Human action recognition method using joint point model and Grassmann manifold[J]. Computer Engineering and Applications, 2016, 52(20): 214-220.

[1]	陈艳杰，舒大伟，杨吉江，王欢，王青，雷毅. 儿童运动协调障碍AI诊断系统研究综述[J]. 计算机工程与应用, 2021, 57(2): 28-36.
[2]	周小静，陈俊洪，杨振国，刘文印. 基于手势特征融合的操作动作识别[J]. 计算机工程与应用, 2021, 57(14): 169-175.
[3]	刘婧，杨旭，刘董经典，牛强. 基于人体关节点的多人吸烟动作识别算法[J]. 计算机工程与应用, 2021, 57(1): 234-241.
[4]	桑海峰，田秋洋. 面向人机交互的快速人体动作识别系统[J]. 计算机工程与应用, 2019, 55(6): 101-107.
[5]	杨世强，罗晓宇，李小莉，杨江涛，李德信. 基于DBN-HMM的人体动作识别[J]. 计算机工程与应用, 2019, 55(15): 169-176.
[6]	赵晓丽，田丽华，李晨. 基于稀疏编码局部时空描述子的动作识别方法[J]. 计算机工程与应用, 2018, 54(7): 29-35.
[7]	朱大勇1，2，郭星1，2，吴建国1，2. 基于kinect三维骨骼节点的动作识别方法[J]. 计算机工程与应用, 2018, 54(20): 152-158.
[8]	刘锦怡1，张乐1，2，胡海波1，2，朱贺3. 强鲁棒性的可穿戴传感器的人体动作识别方法[J]. 计算机工程与应用, 2017, 53(4): 176-183.
[9]	王松，党建武，王阳萍，杜晓刚. 实时动作识别方法研究[J]. 计算机工程与应用, 2017, 53(3): 28-31.
[10]	沈一超，倪世宏，张鹏. 基于贝叶斯网络的飞行动作识别方法[J]. 计算机工程与应用, 2017, 53(24): 161-167.
[11]	邹向阳1，2，侯云江1. 基于深度序列的时空金字塔的动作识别[J]. 计算机工程与应用, 2017, 53(19): 211-215.
[12]	李鸿利，单征，郭浩然. 基于MDTW的飞行动作识别算法[J]. 计算机工程与应用, 2015, 51(9): 267-270.
[13]	姚争为^1，2，陈一民¹，陈明¹. 增强现实系统中的抛掷动作实时识别[J]. 计算机工程与应用, 2010, 46(5): 205-207.
[14]	雷庆^1，2，3，李绍滋^1，2. 动作识别中局部时空特征的运动表示方法研究[J]. 计算机工程与应用, 2010, 46(34): 7-10.
[15]	朱文球,刘强. 基于条件随机域的上下文人类动作识别[J]. 计算机工程与应用, 2008, 44(28): 180-183.