基于Kinect与网格几何变形的人脸表情动画

doi:10.3778/j.issn.1002-8331.1602-0104

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (14): 172-177.DOI: 10.3778/j.issn.1002-8331.1602-0104

基于Kinect与网格几何变形的人脸表情动画

张满囤1，2，霍江雷1，2，单新媛1，2，王小芳1，2，吴鸿韬1，2

1.河北工业大学计算机科学与软件学院，天津 300401
2.河北省大数据计算重点实验室，天津 300401

出版日期:2017-07-15 发布日期:2017-08-01

Facial expression animation based on Kinect and mesh geometry deformation

ZHANG Mandun1，2, HUO Jianglei1，2, SHAN Xinyuan1，2, WANG Xiaofang1，2, WU Hongtao1，2

1.School of Computer Science and Engineering, Hebei University of Technology, Tianjin 300401, China
2.Hebei Province Key Laboratory of Big Data Calculation, Tianjin 300401, China

Online:2017-07-15 Published:2017-08-01

摘要/Abstract

摘要：

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题，提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据，并利用捕捉到的特征点建立覆盖人脸的网格模型，从中选取变形使用的控制点数据，由于Kinect可以实时地自动追踪表演者面部，由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明，该方法简单易实施，不用在表演者面部做任何标定，可以自动地将人脸表情动作迁移到目标模型上，实现人脸表情快速重建，并且保证目标模型表情真实自然。

关键词: 人脸表情动画, 面部表情重建, 网格模型, 几何变形, Kinect

Abstract: The efficiency and realistic of facial expression reconstruction is a key point to facial expression animation. A novel method of rapidly facial expression reconstruction based on face tracking with Kinect and geometry deformation has been proposed. The face of actor has been identified using the Kinect device of Microsoft and the feature points have been recorded. These feature points are used to construct a mesh model covering the actor’s face. Some control points have been chosen for mesh deformation from the mesh model. Because of the real-time face tracking of actor the rapid reconstruct of target model using three different deformation algorithm is realized. The experimental results show that this method is easily implemented and needn’t any calibration, automatically immigrates the facial expression to target model. The expression of result model is true and natural.

Key words: facial expression animation, facial expression reconstruction, mesh model, geometry deformation, Kinect

张满囤1，2，霍江雷1，2，单新媛1，2，王小芳1，2，吴鸿韬1，2. 基于Kinect与网格几何变形的人脸表情动画[J]. 计算机工程与应用, 2017, 53(14): 172-177.

ZHANG Mandun1，2, HUO Jianglei1，2, SHAN Xinyuan1，2, WANG Xiaofang1，2, WU Hongtao1，2. Facial expression animation based on Kinect and mesh geometry deformation[J]. Computer Engineering and Applications, 2017, 53(14): 172-177.

[1]	成怡，郝密密. 改进深度强化学习的室内移动机器人路径规划[J]. 计算机工程与应用, 2021, 57(21): 256-262.
[2]	赵云成，王琳，盛步云，赵飞宇. 综合曲率约束的在线网格模型分割方法研究[J]. 计算机工程与应用, 2020, 56(16): 176-182.
[3]	桑海峰，田秋洋. 面向人机交互的快速人体动作识别系统[J]. 计算机工程与应用, 2019, 55(6): 101-107.
[4]	曹凯1，2，杨雪梦1，姚敏茹1，2，马天力1，张航1. 基于混合运动估计方法的视觉里程计[J]. 计算机工程与应用, 2019, 55(5): 175-180.
[5]	赵玉婷，钮建伟，张人杰，刘海笑，冉令华. 卷积神经网络用于关节角度识别与姿势评估[J]. 计算机工程与应用, 2019, 55(16): 209-216.
[6]	魏子衿1，2，3，肖丽2，3. 改进顶点聚类方法的并行核外模型简化算法[J]. 计算机工程与应用, 2018, 54(13): 181-190.
[7]	李红岩. 三维形状分割和标注的快速学习方法[J]. 计算机工程与应用, 2017, 53(11): 211-216.
[8]	王松林，徐文胜. 基于Kinect深度信息与骨骼信息的手指尖识别方法[J]. 计算机工程与应用, 2016, 52(3): 169-173.
[9]	肖和，杨旭静，郑娟. 离散三角网格模型顶点法矢量估算[J]. 计算机工程与应用, 2016, 52(19): 196-200.
[10]	童晶，徐昕，陈正鸣，丁桂红，李蒙. 面向数字接骨板设计的长骨模型几何分析[J]. 计算机工程与应用, 2016, 52(16): 175-179.
[11]	王欢，汪同庆，李阳. 利用Kinect深度信息的三维点云配准方法研究[J]. 计算机工程与应用, 2016, 52(12): 153-157.
[12]	刘阳，尚赵伟. 基于Kinect骨架信息的交通警察手势识别[J]. 计算机工程与应用, 2015, 51(3): 157-161.
[13]	韩丽，胡江月. 体积分布的三维模型形状分析方法[J]. 计算机工程与应用, 2015, 51(23): 195-198.
[14]	王祎，杨刚. 利用深度图像的虚实物体碰撞交互研究与实现[J]. 计算机工程与应用, 2015, 51(21): 161-167.
[15]	夏文玲1，顾照鹏2，杨唐胜2. 实时三维重建算法的实现——基于Kinect与单目视觉SLAM的三维重建[J]. 计算机工程与应用, 2014, 50(24): 199-203.

基于Kinect与网格几何变形的人脸表情动画

Facial expression animation based on Kinect and mesh geometry deformation

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics