基于浅三维稠密网的多模态手势识别算法

doi:10.3778/j.issn.1002-8331.1806-0271

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (19): 166-172.DOI: 10.3778/j.issn.1002-8331.1806-0271

基于浅三维稠密网的多模态手势识别算法

邓智方，袁家政，刘宏哲，原春锋，张宏源

1.北京联合大学北京市信息服务工程重点实验室，北京 100101
2.北京开放大学科学研究处，北京 100081
3.中国科学院自动化研究所模式识别重点实验室，北京 100190

出版日期:2019-10-01 发布日期:2019-09-30

Multimodal Gesture Recognition Algorithm Based on Shallow 3D Dense Networks

DENG Zhifang, YUAN Jiazheng, LIU Hongzhe, YUAN Chunfeng, ZHANG Hongyuan

1.Beijing Key Laboratory of Information Service Engineering, Beijing Union University, Beijing 100101, China
2.Office of Academic Research, Beijing Open University, Beijing 100081, China
3.National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China

Online:2019-10-01 Published:2019-09-30

摘要/Abstract

摘要： 手势识别旨在理解人体的动态手势，是人机交互领域极其重要的交互方式之一。该方法通过将二维稠密网扩展为三维稠密网，并加入Inception结构，提出了一种基于浅三维稠密网的多模态手势识别方法，将其命名为Spatial Temporal 3D（ST3D） dense network。所提出的方法在手势识别公开数据集大规模离散手势数据集（IsoGD）上进行了评估，并取得了目前最好效果。实验证明，所提方法能够有效地学习到视频样本中手势的短期、中期以及长期时空特征。

关键词: ST3D方法, Inception结构, 多模态, 手势识别

Abstract: Gesture recognition aims at understanding dynamic gestures of the human body, and is one of the most important ways of human-computer interaction. A multimodal gesture recognition method based on a shallow 3D dense network is proposed by extending the two-dimensional dense network into a 3D dense network and adding the Inception structure, which is named Spatial Temporal 3D（ST3D） dense network. The proposed method is evaluated on the Charlearn LAP large-scale Isolated Gesture Dataset（IsoGD）and achieves the best results. Experimental results show that the proposed method can effectively learn short, mid and long term spatiotemporal features of gestures in video samples.

Key words: Spatial Temporal 3D（ST3D） dense network, Inception structure, multimodal, gesture recognition

邓智方，袁家政，刘宏哲，原春锋，张宏源. 基于浅三维稠密网的多模态手势识别算法[J]. 计算机工程与应用, 2019, 55(19): 166-172.

DENG Zhifang, YUAN Jiazheng, LIU Hongzhe, YUAN Chunfeng, ZHANG Hongyuan. Multimodal Gesture Recognition Algorithm Based on Shallow 3D Dense Networks[J]. Computer Engineering and Applications, 2019, 55(19): 166-172.

[1]	陆莉霞，邹俊忠，郭玉成，张见，王蓓. 多模态融合的膝关节损伤预测[J]. 计算机工程与应用, 2021, 57(9): 225-232.
[2]	韩文静，罗晓曙，杨日星. 一种复合型手势识别方法研究[J]. 计算机工程与应用, 2021, 57(4): 108-113.
[3]	王传昱，李为相，陈震环. 基于语音和视频图像的多模态情感识别研究[J]. 计算机工程与应用, 2021, 57(23): 163-170.
[4]	解迎刚，王全. 基于视觉的动态手势识别研究综述[J]. 计算机工程与应用, 2021, 57(22): 68-77.
[5]	任泽裕，王振超，柯尊旺，李哲，吾守尔·斯拉木. 多模态数据融合综述[J]. 计算机工程与应用, 2021, 57(18): 49-64.
[6]	谭立行，鲁嘉淇，张笑楠，刘宇红，张荣芬. 基于轻量级OpenPose改进的幻影机手势交互系统[J]. 计算机工程与应用, 2021, 57(16): 159-166.
[7]	郭艳芬，崔喆，杨智鹏，彭静，胡金蓉. 基于深度学习的医学图像配准技术研究进展[J]. 计算机工程与应用, 2021, 57(15): 1-8.
[8]	黄宏展，蒙祖强. 基于双向注意力机制的多模态情感分类方法[J]. 计算机工程与应用, 2021, 57(11): 119-127.
[9]	李松，周亚同，池越，何静飞，张世立. 高斯过程混合模型应用于网络流量预测研究[J]. 计算机工程与应用, 2020, 56(5): 186-193.
[10]	孙影影，贾振堂，朱昊宇. 多模态深度学习综述[J]. 计算机工程与应用, 2020, 56(21): 1-10.
[11]	张峻豪，吴飞，朱海. 基于GD-Kmeans和菲涅尔理论的WiFi手势识别方法[J]. 计算机工程与应用, 2020, 56(19): 126-131.
[12]	项前，唐继婷，吴建国. 多级上采样融合的强监督RGBD显著性目标检测[J]. 计算机工程与应用, 2020, 56(19): 182-188.
[13]	曾安，王烈基，潘丹，黄殷. 基于FCN和互信息的医学图像配准技术研究[J]. 计算机工程与应用, 2020, 56(18): 202-208.
[14]	张龙娇，曾晓勤. 基于深度神经网络的sEMG手势识别研究[J]. 计算机工程与应用, 2019, 55(23): 113-119.
[15]	肖子雅，刘升，韩斐斐，于建芳. 正弦余弦指引的乌鸦搜索算法研究[J]. 计算机工程与应用, 2019, 55(21): 52-59.

基于浅三维稠密网的多模态手势识别算法

Multimodal Gesture Recognition Algorithm Based on Shallow 3D Dense Networks

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics