电子学报 ›› 2020, Vol. 48 ›› Issue (7): 1269-1275.DOI: 10.3969/j.issn.0372-2112.2020.07.004

• 学术论文 • 上一篇    下一篇

基于伪3D残差网络与交互关系建模的群组行为识别方法

丰艳, 张甜甜, 王传旭   

  1. 青岛科技大学信息科学技术学院, 山东青岛 266061
  • 收稿日期:2019-08-13 修回日期:2020-04-06 出版日期:2020-07-25 发布日期:2020-07-25
  • 作者简介:丰艳 女,1977年10月出生,山东曲阜人.现为青岛科技大学副教授,硕士生导师.主要从事虚拟现实、计算机视觉方面的研究.E-mail:fywmh@163.com;张甜甜 女,1993年3月出生,山东烟台人.2017年毕业于齐鲁工业大学信息学院,取得计算机科学与技术专业学士学位,现为青岛科技大学信息学院在读硕士研究生,从事计算机视觉方面的有关研究.E-mail:zhangtt0424@163.com;王传旭 男,1968年1月出生,山东邹城人.教授、硕士生导师.1990年、2000年和2007年分别在中国石油大学(华东)、中国石油大学(北京)和中国海洋大学获应用电子技术学士、硕士和博士学位.主要从事计算机视觉方面的有关研究.E-mail:Wangchuanxu_qd@163.com
  • 基金资助:
    国家自然科学基金面上项目(No.61672305);国家自然科学基金青年科学基金(No.61702295)

Group Activity Recognition Method Based on Pseudo 3D Residual Network and Interaction Modeling

FENG Yan, ZHANG Tian-tian, WANG Chuan-xu   

  1. School of Information Science & Technology, Qingdao University of Science and Technology, Qingdao, Shandong 266061, China
  • Received:2019-08-13 Revised:2020-04-06 Online:2020-07-25 Published:2020-07-25

摘要: 针对复杂场景下群组行为特征的多样性以及交互关系难以建模的问题,提出一种全新的分层网络架构.第一层网络,利用伪3D残差网络与图卷积网络相结合捕获交互关系特征;第二层网络,利用伪3D残差网络捕获群组全局场景时空特征.根据上述特征之间的互补作用对它们的群组行为决策输出,提出一种权重自适应调整决策融合算法,对上面两层网络的群组行为类别自适应计算重要性权重,实现决策融合.该方法在CAD和CAE上分别取得了91.4%和97.9%的平均识别精度.

关键词: 群组行为识别, 交互关系建模, 自适应决策融合

Abstract: For the diversity of group behavior characteristics in complex scenes and the problem of difficult interaction modeling,this paper proposes a new two-layered network architecture.The first layer of network combines a pseudo 3D residual network with a graph convolution network to capture the interaction characteristics.The second layer of network,uses the pseudo 3D residual network to capture the group global scene spatio-temporal characteristics.Based on the complementary role of the above features,their group behavior decisions are fused with a weight adaptive adjustment algorithm,which adaptively calculates importance weights for the group behavior categories predicted by the above two channels,and realizes decision fusion of the different prediction results.The method has achieved 91.4% and 97.9% average recognition accuracy on CAD and CAE respectively.

Key words: group behavior recognition, interaction modeling, adaptive decision fusion

中图分类号: