电子学报 ›› 2021, Vol. 49 ›› Issue (12): 2428-2436.DOI: 10.12263/DZXB.20200637

• 学术论文 • 上一篇    下一篇

基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

杨红红1, 王刘丽1, 张玉梅1,2, 吴晓军1,2, 党允彤3   

  1. 1.陕西师范大学现代教学技术教育部重点实验室, 陕西 西安 710062
    2.陕西师范大学计算机科学学院, 陕西 西安 710062
    3.陕西师范大学音乐学院, 陕西 西安 710062
  • 收稿日期:2020-06-29 修回日期:2021-07-27 出版日期:2021-12-25 发布日期:2021-12-25
  • 通讯作者: 张玉梅
  • 作者简介:杨红红 女,1988年6月生,甘肃陇西县人.现为陕西师范大学现代教学技术教育部重点实验室副研究员,主要从事人工智能,深度学习与计算机视觉等领域的研究.E-mail:yanghonghong0615@163.com
    王刘丽 女,1997年1月生,山西晋城人.现为陕西师范大学现代教学技术教育部重点实验室硕士研究生,主要研究方向是知识工程与智能教学系统.E-mail:1136946628@qq.com
    张玉梅(通信作者) 女,1977年10月生,陕西榆林人.现为陕西师范大学计算机学院教授,主要从事信号处理与分析相关领域研究工作.E-mail:zym0910@snnu.edu.cn
    吴晓军 男,1970年12月生,陕西凤翔人.现为陕西师范大学计算机学院教授,主要从事模式识别,智能系统与复杂系统相关研究工作.E-mail:xjwu@snnu.edu.cn
    党允彤 女,1984年3月生,陕西西安人.现为陕西师范大学音乐学院副教授,新闻与传播学院在读博士生,主要从事数字技术与文化传播,科技艺术融合等领域的研究.E-mail:dyt2011@snnu.edu.cn
  • 基金资助:
    国家自然科学基金(No.61907028(11872036);陕西省青年科技新星项目(2021KJXX-91);陕西省高校科学人才托举项目(20200105);中央高校(GK202103114);陕西省自然科学基金(2019JQ-574)

Hierarchical Dance Pose Estimation Algorithm Based on Sequential Multi-Scale Feature Fusion

YANG Hong-hong1, WANG Liu-li1, ZHANG Yu-mei1,2, WU Xiao-jun1,2, DANG Yun-tong3   

  1. 1.Key Laboratory of Modern Teaching Technology,Ministry of Education,Shaanxi Normal University,Xi’an,Shaanxi 710062,China
    2.School of Computer Science,Shaanxi Normal University,Xi’an,Shaanxi 710062,China
    3.School of Journalism and Communication,Shaanxi Normal University,Xi’an,Shaanxi 710062,China
  • Received:2020-06-29 Revised:2021-07-27 Online:2021-12-25 Published:2021-12-25
  • Contact: ZHANG Yu-mei

摘要:

人体姿态估计是计算机视觉研究领域的热点研究问题之一,但其在传统民间舞蹈动作姿态估计方面的应用研究尚处于起步阶段.由于舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点,传统人体姿态估计方法难以准确估计舞蹈者的动作变化,导致舞蹈动作姿态估计准确率较低.针对此问题,本文提出一种基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法,该方法针对舞蹈动作骨骼关节点尺度变化剧烈的问题,构建基于序列多尺度特征融合表示的关节点估计模型.并且,针对舞蹈姿态形变较大,遮挡严重的问题,设计基于关节点几何关系的层级姿态估计模型,提高舞蹈动作姿态估计的效果.实验结果表明,本文方法在标准人体姿态估计数据集及自建舞蹈数据集上取得较好的姿态估计结果.

关键词: 舞蹈动作姿态估计, 序列多尺度特征融合, 关节点几何关系, 层级姿态估计

Abstract:

Human pose estimation is one of the hot research topics in the field of computer vision, but its application in traditional dance pose estimation is still in its infancy. Due to the complexity of dance pose, the strong coherence of dance movements, and difficulty in detecting of dancers' poses caused by serious occlusion in dance images, the traditional human pose estimation methods are difficult to accurately estimate the pose changes of dancers, thus resulting in low accuracy in estimating dance pose. We propose a hierarchical dance pose estimation method based on sequential multi-scale feature fusion. To address the problems of the drastic scale changes of the dancer pose, a keypoint estimation model based on sequential multi-scale feature fusion is constructed. Furthermore, aiming to solve the issues that the large deformation and serious occlusion of dance pose, a hierarchical pose estimation model based on the geometric relationship between human keypoints is designed to improve the accuracy of dance pose estimation. The experimental results show that the proposed method can achieve good pose estimation results on the standard human pose estimation dataset and the self-collected dance dataset.

Key words: dance pose estimation, sequential multi-scale feature fusion, geometry relationship among keypoints, hierarchical pose estimation

中图分类号: