电子学报 ›› 2021, Vol. 49 ›› Issue (7): 1363-1369.DOI: 10.12263/DZXB.20201183

• 学术论文 • 上一篇    下一篇

一种基于双流融合3D卷积神经网络的动态头势识别方法

谢佳龙, 张波涛, 吕强   

  1. 杭州电子科技大学自动化学院, 浙江 杭州 310018
  • 收稿日期:2020-10-23 修回日期:2020-12-18 出版日期:2021-07-25 发布日期:2021-08-11
  • 作者简介:谢佳龙 男,1997年6月出生于四川省南充市. 现为杭州电子科技大学自动化学院研究生.研究方向为机器人控制与人机交互.E‑mail: jolen_xie@hotmail.com
    张波涛(通信作者) 男,1982年9月出生于山东省潍坊市. 现为杭州电子科技大学副教授. 主要研究方向为机器视觉、机器人运动规划与控制等.E‑mail: billow@hdu.edu.cn
    吕 强 男,1977年7月出生于辽宁省抚顺市.现为杭州电子科技大学教授,主要研究方向为多机器人合作控制、群体智能等.E‑mail: lvqiang@hdu.edu.cn
  • 基金资助:
    浙江省重点研发计划(2019C04018);国家自然科学基金(62073108)

A Dynamic Head Gesture Recognition Method Based on 3D Convolutional Two‑Stream Network Fusion

Jia‑long XIE, Bo‑tao ZHANG, Qiang LÜ   

  1. School of Automation,Hangzhou Dianzi University,Hangzhou,Zhejiang 310018,China
  • Received:2020-10-23 Revised:2020-12-18 Online:2021-07-25 Published:2021-08-11

摘要:

目前基于视觉的动态头势识别算法泛化能力弱、识别率低,头戴式传感器的方法经济性、便携性差.针对以上问题,提出了一种无需头戴设备的动态头势识别算法.这种基于双流融合3D卷积神经网络的方法用头部动作生成稠密光流,并将原始数据和光流数据并行输入构建的动作特征提取器,最后进行特征融合.结果表明所提算法比人工特征提取方法和C3D模型有更高的准确率、更好的泛化能力,在无需头戴传感器的情况下有近似头戴式传感器的识别率.

关键词: 深度学习, 机器视觉, 人机交互, 动作识别, 动态头势, 双流网络

Abstract:

Present vision based on dynamic head gesture recognition algorithms usually have disadvantages in generalization and recognition rate, and head?mounted sensors are expensive and inconvenient. In view of the above problems, a dynamic head gesture recognition algorithm without head?mounted sensors is proposed. Using this method based on two?stream 3DCNN(3D Convolutional Neural Network), the dense optical flow is generated by head movements, the original data and dense optical flow are put into the motion feature extractor in parallel, and finally, features are fused. Experimental results show that the proposed algorithm has higher recognition accuracy and better generalization than the artificial feature extraction and C3D(Convolutional 3D) methods, and its recognition rate is as good as those head mounted sensors.

Key words: deep learning, computer vision, human?computer interaction, action recognition, dynamic head gesture, two?stream network

中图分类号: