采用深度图像信息和SLVW的手语识别

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (19): 5-10.

采用深度图像信息和SLVW的手语识别

杨全，彭进业

西北大学信息科学与技术学院，西安 710127

出版日期:2013-10-01 发布日期:2015-04-20

Improved sign language recognition research using depth image information and SLVW

YANG Quan, PENG Jinye

School of Information Science and Technology, Northwest University, Xi’an 710127, China

Online:2013-10-01 Published:2015-04-20

摘要/Abstract

摘要： 为了实现手语视频中手语字母的准确识别，提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备，在获取彩色视频的同时得到其深度信息；计算深度图像中手语手势的主轴方向角和质心位置，通过调整搜索窗口对手势进行准确跟踪；使用基于深度积分图像的Ostu算法分割手势，并提取其SIFT特征；构建了SLVW词包作为手语特征，并用SVM进行识别。通过实验验证该算法，其单个手语字母最好识别率为99.87%，平均识别率96.21%。

关键词: 手语字母识别, 深度图像CamShift, 手语视觉单词（SLVW）, Kinect, 深度图像

Abstract: In order to realize the accurate recognition of manual alphabets in the sign language video, this paper presents an improved algorithm based on DI_CamShift（Depth Image CamShift） and SLVW（Sign Language Visual Word）. It uses Kinect as the sign language video capture device to obtain both of the color video and depth image information of sign language gestures. The paper calculates spindle direction angle and mass center position of the depth images to adjust the search window and for gesture tracking. An Ostu algorithm based on depth integral image is used to gesture segmentation, and the SIFT features are extracted. It builds the SLVW bag of words as the feature of sign language and uses SVM for recognition. The best recognition rate of single manual alphabet can reach 99.87%, and the average recognition rate is 96.21%.

Key words: manual alphabets recognition, Depth Image CamShift（DI_CamShift）, Sign Language Visual Word（SLVW）, Kinect, depth image

杨全，彭进业. 采用深度图像信息和SLVW的手语识别[J]. 计算机工程与应用, 2013, 49(19): 5-10.

YANG Quan, PENG Jinye. Improved sign language recognition research using depth image information and SLVW[J]. Computer Engineering and Applications, 2013, 49(19): 5-10.

[1]	成怡，郝密密. 改进深度强化学习的室内移动机器人路径规划[J]. 计算机工程与应用, 2021, 57(21): 256-262.
[2]	桑海峰，田秋洋. 面向人机交互的快速人体动作识别系统[J]. 计算机工程与应用, 2019, 55(6): 101-107.
[3]	曹凯1，2，杨雪梦1，姚敏茹1，2，马天力1，张航1. 基于混合运动估计方法的视觉里程计[J]. 计算机工程与应用, 2019, 55(5): 175-180.
[4]	郭秋红1，梁秀霞1，2. 对3D Warping分解的高质量虚拟视点绘制方法[J]. 计算机工程与应用, 2019, 55(3): 184-190.
[5]	董静1，耿达2，郭迎港2，孙凤池2. 室内环境下基于R-CNN的光照自适应物体检测[J]. 计算机工程与应用, 2019, 55(2): 168-173.
[6]	赵玉婷，钮建伟，张人杰，刘海笑，冉令华. 卷积神经网络用于关节角度识别与姿势评估[J]. 计算机工程与应用, 2019, 55(16): 209-216.
[7]	洪天龙，解利军，何丽莎，倪忠义，郑耀. 基于粒子群算法的原位体绘制参数设置算法[J]. 计算机工程与应用, 2019, 55(11): 237-243.
[8]	向程谕，王冬丽，周彦，李雅芳. 基于RGB-D融合特征的图像分类[J]. 计算机工程与应用, 2018, 54(8): 178-182.
[9]	李英1，杨秋翔1，雷海卫2，杜博2. 基于深度图像绘制技术的正反向映射技术的改进[J]. 计算机工程与应用, 2018, 54(5): 186-190.
[10]	王松，党建武，王阳萍，杜晓刚. 实时动作识别方法研究[J]. 计算机工程与应用, 2017, 53(3): 28-31.
[11]	朱珏钰1，曹亚微2，周书仁2，李峰2. 基于随机森林深度特征选择的人体姿态估计[J]. 计算机工程与应用, 2017, 53(2): 172-176.
[12]	张满囤1，2，霍江雷1，2，单新媛1，2，王小芳1，2，吴鸿韬1，2. 基于Kinect与网格几何变形的人脸表情动画[J]. 计算机工程与应用, 2017, 53(14): 172-177.
[13]	王松林，徐文胜. 基于Kinect深度信息与骨骼信息的手指尖识别方法[J]. 计算机工程与应用, 2016, 52(3): 169-173.
[14]	王欢，汪同庆，李阳. 利用Kinect深度信息的三维点云配准方法研究[J]. 计算机工程与应用, 2016, 52(12): 153-157.
[15]	曹亚微，周书仁. 基于BPOF特征与深度图像的人体姿态估计研究[J]. 计算机工程与应用, 2016, 52(1): 168-172.