基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

杨红红; 王刘丽; 张玉梅; 吴晓军; 党允彤

doi:10.12263/DZXB.20200637

您当前的位置：

首页 >

文章列表页 >

基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

学术论文 | 更新时间：2025-12-08

- 基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法
- Hierarchical Dance Pose Estimation Algorithm Based on Sequential Multi-Scale Feature Fusion
- 电子学报 2021年49卷第12期页码：2428-2436
- 作者机构：
  
  1.陕西师范大学现代教学技术教育部重点实验室,陕西西安 710062
  2.陕西师范大学计算机科学学院,陕西西安 710062
  3.陕西师范大学音乐学院,陕西西安 710062
- 作者简介：
  
  [ "杨红红女，1988年6月生，甘肃陇西县人.现为陕西师范大学现代教学技术教育部重点实验室副研究员，主要从事人工智能，深度学习与计算机视觉等领域的研究.E-mail:yanghonghong0615@163.com" ]
  [ "王刘丽　女，1997年1月生，山西晋城人.现为陕西师范大学现代教学技术教育部重点实验室硕士研究生，主要研究方向是知识工程与智能教学系统.E-mail:1136946628@qq.com" ]
  [ "张玉梅(通信作者) 女，1977年10月生，陕西榆林人.现为陕西师范大学计算机学院教授，主要从事信号处理与分析相关领域研究工作.E-mail:zym0910@snnu.edu.cn" ]
  [ "吴晓军男，1970年12月生，陕西凤翔人.现为陕西师范大学计算机学院教授，主要从事模式识别，智能系统与复杂系统相关研究工作．E-mail:xjwu@snnu.edu.cn" ]
  [ "党允彤女，1984年3月生，陕西西安人.现为陕西师范大学音乐学院副教授，新闻与传播学院在读博士生，主要从事数字技术与文化传播，科技艺术融合等领域的研究.E-mail:dyt2011@snnu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(No.61907028(11872036);陕西省青年科技新星项目(2021KJXX-91);陕西省高校科学人才托举项目(20200105);中央高校(GK202103114;GK202101004);陕西省自然科学基金(2019JQ-574)
- DOI：10.12263/DZXB.20200637
  中图分类号： TP391.4
- 收稿：2020-06-29，
  
  修回：2021-07-27，
  
  纸质出版：2021-12-25
- 稿件说明：
移动端阅览
杨红红,王刘丽,张玉梅等.基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法[J].电子学报,2021,49(12):2428-2436.

YANG Hong-hong,WANG Liu-li,ZHANG Yu-mei,et al.Hierarchical Dance Pose Estimation Algorithm Based on Sequential Multi-Scale Feature Fusion[J].ACTA ELECTRONICA SINICA,2021,49(12):2428-2436.
杨红红,王刘丽,张玉梅等.基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法[J].电子学报,2021,49(12):2428-2436. DOI： 10.12263/DZXB.20200637.

YANG Hong-hong,WANG Liu-li,ZHANG Yu-mei,et al.Hierarchical Dance Pose Estimation Algorithm Based on Sequential Multi-Scale Feature Fusion[J].ACTA ELECTRONICA SINICA,2021,49(12):2428-2436. DOI： 10.12263/DZXB.20200637.

摘要

人体姿态估计是计算机视觉研究领域的热点研究问题之一，但其在传统民间舞蹈动作姿态估计方面的应用研究尚处于起步阶段.由于舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点，传统人体姿态估计方法难以准确估计舞蹈者的动作变化，导致舞蹈动作姿态估计准确率较低.针对此问题，本文提出一种基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法，该方法针对舞蹈动作骨骼关节点尺度变化剧烈的问题，构建基于序列多尺度特征融合表示的关节点估计模型.并且，针对舞蹈姿态形变较大，遮挡严重的问题，设计基于关节点几何关系的层级姿态估计模型，提高舞蹈动作姿态估计的效果.实验结果表明，本文方法在标准人体姿态估计数据集及自建舞蹈数据集上取得较好的姿态估计结果.

Abstract

Human pose estimation is one of the hot research topics in the field of computer vision

but its application in traditional dance pose estimation is still in its infancy. Due to the complexity of dance pose

the strong coherence of dance movements

and difficulty in detecting of dancers＇ poses caused by serious occlusion in dance images

the traditional human pose estimation methods are difficult to accurately estimate the pose changes of dancers

thus resulting in low accuracy in estimating dance pose. We propose a hierarchical dance pose estimation method based on sequential multi-scale feature fusion. To address the problems of the drastic scale changes of the dancer pose

a keypoint estimation model based on sequential multi-scale feature fusion is constructed. Furthermore

aiming to solve the issues that the large deformation and serious occlusion of dance pose

a hierarchical pose estimation model based on the geometric relationship between human keypoints is designed to improve the accuracy of dance pose estimation. The experimental results show that the proposed method can achieve good pose estimation results on the standard human pose estimation dataset and the self-collected dance dataset.

关键词

Keywords

references

杨丹妮 . 传统文化传承视角下的民族民间舞蹈发展问题探讨 [J]. 北方音乐 , 2019 , 39 ( 13 ): 241 - 242 .

彭学艳 . 多媒体技术在高校舞蹈教学改革中的地位与作用 [J]. 戏剧之家 , 2018 , 277 ( 13 )： 167 - 168 .

罗会兰 , 童康 , 孔繁胜 . 基于深度学习的视频中人体动作识别进展综述 [J]. 电子学报 , 2019 , 47 ( 5 ): 1162 - 1173 .

Luo H L , Tong K , Kong F S . The progress of human action recognition in videos based on Deep learning: A review [J]. Acta Electronica Sinica , 2019 , 47 ( 5 ): 1162 - 1173 . (in Chinese)

李康 , 李亚敏 , 胡学敏 , 等 . 基于卷积神经网络的鲁棒高精度目标跟踪算法 [J]. 电子学报 , 2018 , 46 ( 9 ): 2087 - 2093 .

Li K , Li Y M , Hu X M , et al . A robust and accurate object tracking algorithm based on convolutional neural network [J]. Acta Electronica Sinica , 2018 , 46 ( 9 ): 2087 - 2093 . (in Chinese)

Chen Y L , Wang Z C , Peng Y X , et al . Cascaded pyramid network for multi-person pose estimation [A]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition [C]. Salt Lake City, UT, USA ： IEEE . 7103 - 7112

Xiao B , Wu H P , Wei Y C . Simple baselines for human pose estimation and tracking [A]. Computer Vision—ECCV 2018 [C]. Munich, Germany ： Springer . 472 - 487 .

Fang H S , Xie S Q , Tai Y W , et al . RMPE: regional multi-person pose estimation [A]. 2017 IEEE International Conference on Computer Vision (ICCV) [C]. Venice, Italy ： IEEE ， 2017 . 2353 - 2362

Newell A , Yang K Y , Deng J . Stacked hourglass networks for human pose estimation [A]. Computer Vision—ECCV 2016 [C]. Amsterdam, Netherlands : Springer . 483 - 499 .

Sun K , Xiao B , Liu D , et al . Deep high-resolution representation learning for human pose estimation [A]. 2019 IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) [C]. Long Beach, USA : IEEE , 2019 . 5693 - 5703 .

Cao Z , Hidalgo G , Simon T , et al . OpenPose: realtime multi-person 2D pose estimation using part affinity fields [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2021 , 43 ( 1 ): 172 - 186 .

Insafutdinov E , Pishchulin L , Andres B , et al . DeeperCut: A deeper, stronger, and faster multi-person pose estimation model [A]. Computer Vision—ECCV 2016 [C]. Amsterdam, Netherlands ： Springer . 34 - 50 .

Cheng B W , Xiao B , Wang J D , et al . Bottom-up higher-resolution networks for multi-person pose estimation [A]. 2020 IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) [C]. Seattle, USA : IEEE , 2020 . 1 - 10 .

Kreiss S , Bertoni L , Alahi A . PifPaf: Composite fields for human pose estimation [A]. 2019 IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) [C]. Long Beach, USA : IEEE , 2019 . 11969 - 11978

罗会兰 , 陈鸿坤 . 基于深度学习的目标检测研究综述 [J]. 电子学报 , 2020 , 48 ( 6 ): 1230 - 1239 .

Luo H L , Chen H K . Survey of object detection based on deep learning [J]. Acta Electronica Sinica , 2020 , 48, ( 6 ): 1230 - 1239 . (in Chinese)

Redmon J , Farhadi A . YOLOv3: An incremental improvement [A]. 2018 IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) [C]. Salt Lake City, USA : IEEE , 2018 . 1 - 6 .

West D B . Introduction To Graph Theory(Second Edition) [EB/OL]. http://bayanbox.ir/download/13403877125 4298 574/West-2nd-Edition-Solution-Manual.pdf http://bayanbox.ir/download/134038771254298574/West-2nd-Edition-Solution-Manual.pdf , 2001 .

Lin T Y , Maire M , Belongie S , et al . Microsoft COCO: Common objects in context [A]. Computer Vision—ECCV 2014 [C]. Zurich, Switzerlan ： Springer . 740 - 755 .

He K M , Gkioxari G , Dollár P , et al . Mask R-CNN [A]. 2017 IEEE International Conference on Computer Vision (ICCV) [C]. Venice, Italy ： IEEE ， 2017 . 2980 - 2988 .

Kingma Diederik P , Ba Jimmy . Adam: A Method for Stochastic Optimization [EB/OL]. https://arxiv.org/pdf/1412. 6980v8.pdf https://arxiv.org/pdf/1412.6980v8.pdf , 2014 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据