Multi-granularity Feature Fusion Network for Person Re-Identification

KUANG Cheng; CHEN Ying

doi:10.12263/DZXB.20200974

您当前的位置：

首页 >

文章列表页 >

Multi-granularity Feature Fusion Network for Person Re-Identification

PAPERS | 更新时间：2025-12-08

- Multi-granularity Feature Fusion Network for Person Re-Identification
- ACTA ELECTRONICA SINICA Vol. 49, Issue 8, Pages: 1541-1550(2021)
- 作者机构：
  
  江南大学轻工过程先进控制教育部重点实验室，江苏无锡 214122
- 作者简介：
- 基金信息：
- DOI：10.12263/DZXB.20200974
  CLC： TP391.41;
- Received：03 September 2020，
  
  Revised：2021-01-22，
  
  Published：25 August 2021
- 稿件说明：
移动端阅览
匡澄,陈莹.基于多粒度特征融合网络的行人重识别[J].电子学报,2021,49(08):1541-1550.

KUANG Cheng,CHEN Ying.Multi-granularity Feature Fusion Network for Person Re-Identification[J].ACTA ELECTRONICA SINICA,2021,49(08):1541-1550.
匡澄,陈莹.基于多粒度特征融合网络的行人重识别[J].电子学报,2021,49(08):1541-1550. DOI： 10.12263/DZXB.20200974.

KUANG Cheng,CHEN Ying.Multi-granularity Feature Fusion Network for Person Re-Identification[J].ACTA ELECTRONICA SINICA,2021,49(08):1541-1550. DOI： 10.12263/DZXB.20200974.

摘要

行人重识别旨在跨监控设备下检索出特定的行人目标. 为捕捉行人图像的多粒度特征进而提高识别精度，基于OSNet基准网络提出一种多粒度特征融合网络(Multi-granularity Feature Fusion Network for Person Re-Identi-fication

MFN)进行端对端的学习. MFN由全局分支、特征擦除分支和局部分支组成，其中特征擦除分支由双通道注意力擦除模型构成，此模型包含通道注意力擦除模块(Channel Attention-based Dropout Moudle

CDM)和空间注意力擦除模块(Spatial Attention-based Dropout Moudle

SDM). CDM对通道的注意力强度排序并擦除低注意力通道，SDM在空间维度上以一定概率擦除最具有判别力的特征，两者通过并联方式相互作用，提高模型的识别能力. 全局分支采用特征金字塔结构提取多尺度特征，局部分支将特征均匀切块后级联成一个单一特征，提取关键局部信息. 大量实验结果表明了本文方法的有效性，在Market1501、DukeMTMC-reID和CUHK03-Labeled(Detected)数据集上，mAP/Rank-1分别达到了90.1%/95.8%、81.8%/91.4%和80.7%/82.3%(78.7%/81.6%)，大幅优于其他现有方法.

Abstract

For the purpose of capturing the multi-granularity features and improving the recognition accuracy

a multi-granularity feature fusion network for person re-identification (MFN) is proposed based on the omist-scale network (OSNet). The MFN network is composed of a global branch

a feature dropout branch and a local branch. The feature dropout branch consists of a dual-channel attention dropout model

which includes a channel attention-based dropout moudle (CDM) and a Spatial attention-based dropout moudle (SDM). CDM sorts the attention intensity and dropouts low attention channels

and SDM dropouts the most discriminative features with a certain probability in the spatial dimension. The global branch uses the feature pyramid structure to extract multi-scale features

and the local branch employs a uniform partition strategy to produce local features which are cascaded into a single one for key local information extraction. Experiments on the large scale datasets show the effectiveness of MFN. On the Market1501

DukeMTMC-reID and CUHK03 -Labeled (Detected) datasets

mAP/Rank-1 of MFN reaches 90.1%/95.8%

81.8%/91.4% and 80.7%/82.3% (78.7%/81.6%)

which is superior to other existing methods.

关键词

Keywords

references

罗浩，姜伟，范星，等 . 基于深度学习的行人重识别研究进展［J］. 自动化学报， 2019 ， 45 （ 11 ）： 2032 － 2049 .

Luo H ， Jiang W ， Fan X ， et al . A survey on deep learning based Person Re-Identification ［J］. Acta Automatica Sinica ， 2019 ， 45 （ 11 ）： 2032 － 2049 . （in Chinese）

Weinberger K Q ， Saul L K . Fast solvers and efficient implementations for distance metric learning ［A］. Proceedings of the 25th International Conference on Machine Learning ［C］. Helsinki， Finland ： ICML ， 2008 . 1160 － 1167 .

Liao S ， Hu Y ， Zhu X ， et al . Person re-identification by local maximal occurrence representation and metric learning ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Boston， MA， USA ： CVPR ， 2015 . 2197 － 2206 .

Sun Y ， Zheng L ， Yang Y ， et al . Beyond part models： Person retrieval with refined part pooling （and a strong convolutional baseline）［A］. Proceedings of the European Conference on Computer Vision ［C］. Munich， Germany ： ECCV ， 2018 . 480 － 496 .

Wang G ， Yuan Y ， Chen X ， et al . Learning discriminative features with multiple granularities for person re-identification ［A］. Proceedings of the 26th ACM International Conference on Multimedia ［C］. Seoul， Korea ： ACM ， 2018 . 274 － 282 .

陈巧媛，陈莹 . 通道互注意机制下的部位对齐行人再识别［J］. 计算机辅助设计与图形学学报， 2020 ， 32 （ 8 ）： 1258 － 1266 .

Chen Q Y ， Chen Y . Correlation channel-wise based part aligned representations for person re-identification ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2020 ， 32 （ 8 ）： 1258 － 1266 . （in Chinese）

Zheng F ， Deng C ， Sun X ， et al . Pyramidal person re-identification via multi-loss dynamic training ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Long Beach， CA， USA ： CVPR ， 2019 . 8514 － 8522 .

DeVries T ， Taylor G W . Improved regularization of convolutional neural networks with cutout ［EB/OL］. https：//arxiv. org/abs/1708. 04552 https://arxiv.org/abs/1708.04552 ， 2017-08-15 .

Zhong Z ， Zheng L ， Kang G ， et al . Random erasing data augmentation ［A］. Association for the Advance of Artificial Intelligence ［C］. New York， USA ： AAAI ， 2020 . 13001 － 13008 .

Ghiasi G ， Lin T Y ， Le Q V . Dropblock： A regularization method for convolutional networks ［A］. Neural Information Processing Systems ［C］. Montreal， Canada ： NIPS ， 2018 . 10727 － 10737 .

Tompson J ， Goroshin R ， Jain A ， et al . Efficient object localization using convolutional networks ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Boston， MA， USA ： CVPR ， 2015 . 648 － 656 .

Dai Z ， Chen M ， Gu X ， et al . Batch DropBlock network for person re-identification and beyond ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Long Beach， CA， USA ： CVPR ， 2019 . 3691 － 3701 .

Zhou K ， Yang Y ， Cavallaro A ， et al . Omni-scale feature learning for person re-identification ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Seoul， Korea ： ICCV ， 2019 . 3702 － 3712 .

Zheng L ， Shen L ， Tian L ， et al . Scalable person re-identification： A benchmark ［A］. Proceedings of The IEEE International Conference on Computer Vision ［C］. Santiago， Chile ： ICCV ， 2015 . 1116 － 1124 .

Ristani E ， Solera F ， Zou R ， et al . Performance measures and a data set for multi-target ， multi-camera tracking［A］. European Conference on Computer Vision ［C］. Amsterdam， Netherlands ： ECCV ， 2016 . 17 － 35 .

Li W ， Zhao R ， Xiao T ， et al . Deepreid： Deep filter pairing neural network for person re-identification ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Columbus， USA ： CVPR ， 2014 . 152 － 159 .

Chen T ， Ding S ， Xie J ， et al . Abd-net： Attentive but diverse person re-identification ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Seoul， Korea ： ICCV ， 2019 . 8351 － 8361 .

Lin T Y ， Dollár P ， Girshick R ， et al . Feature pyramid networks for object detection ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Honolulu， HI， USA ： CVPR ， 2017 . 2117 － 2125 .

Lin T Y ， Maire M ， Belongie S ， et al . Microsoft coco： Common objects in context ［A］. European Conference on Computer Vision ［C］. Zurich， Switzerland ： ECCV ， 2014 . 740 － 755 .

Choe J ， Shim H . Attention-based dropout layer for weakly supervised object localization ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Long Beach， CA， USA ： CVPR ， 2019 . 2219 － 2228 .

Xie B ， Wu X ， Zhang S ， et al . Learning diverse features with part-level resolution for person re-identification ［EB/OL］. https： //arxiv.org/abs/2001.07442 https://arxiv.org/abs/2001.07442 ， 2020-01-21 .

Wen Y ， Zhang K ， Li Z ， et al . A discriminative feature learning approach for deep face recognition ［A］. European Conference on Computer Vision ［C］. Amsterdam， Netherlands ： ECCV ， 2016 . 499 － 515 .

Hermans A ， Beyer L ， Leibe B . In defense of the triplet loss for person re-identification ［EB/OL］. https： / /arxiv . org/ abs/ 1703 . 07737 ， 2017-03-22 .

Szegedy C ， Vanhoucke V ， Ioffe S ， et al . Rethinking the inception architecture for computer vision ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Las Vegas， NV， USA ： CVPR ， 2016 . 2818 － 2826 .

Zhou K ， Xiang T . Torchreid： A library for deep learning person re-identification in pytorch ［EB/OL］. https： //arxiv. org/abs/1910.10093 https://arxiv.org/abs/1910.10093 ， 2019-10-22 .

Zhong Z ， Zheng L ， Cao D ， et al . Re-ranking person re-identification with k-reciprocal encoding ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Honolulu， HI， USA ： CVPR ， 2017 . 1318 － 1327 .

Li W ， Zhu X ， Gong S . Harmonious attention network for person re-identification ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Salt Lake City， UT， USA ： CVPR ， 2018 . 2285 － 2294 .

Chen B ， Deng W ， Hu J . Mixed high-order attention network for person re-identification ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Seoul， Korea ： ICCV ， 2019 . 371 － 381 .

Xia B N ， Gong Y ， Zhang Y ， et al . Second-order non-local attention networks for person re-identification ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Long Beach， CA， USA ： CVPR ， 2019 . 3760 － 3769 .

Quan R ， Dong X ， Wu Y ， et al . Auto-reid： Searching for a part-aware convnet for person re-identification ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Long Beach， CA， USA ： CVPR ， 2019 . 3750 － 3759 .

Wang G ， Yang S ， Liu H ， et al . High-order information matters： Learning relation and topology for occluded person re-identification ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Seattle， WA， USA ： CVPR ， 2020 . 6449 － 6458 .

Jin X ， Lan C ， Zeng W ， et al . Style normalization and restitution for generalizable person re-identification ［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ［C］. Seattle， WA， USA ： CVPR ， 2020 . 3143 － 3152 .

Selvaraju R R ， Cogswell M ， Das A ， et al . Visual explanations from deep networks via gradient-based localization ［A］. Proceedings of the IEEE International Conference on Computer Vision ［C］. Venice， Italy ： ICCV ， 2017 . 618 － 626 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Unsupervised Person Re-Identification with Pseudo Label Regularization Loss

An Unsupervised Person Re-Identification Method Based on Heterogeneous Convolutional Neural Networks Ensemble

Cross-Modal Person Re-Identification Based on Generative Adversarial Network Coordinated with Angle Based Heterogeneous Center Triplet Loss

Cross-Modality Person Re-identification Based on Locally Heterogeneous Polymerization Graph Convolutional Network

Related Author

RUAN Qiu-qi

QIAN Yu-hua

ZHANG Shuo-rui

JIA Jie-ru

WANG Hui-bing

PENG Jin-jia

BAI Meng-lin

WANG Jin-hua

Related Institution

Institute of Information Science, Beijing Jiaotong University

Engineering Research Center for Machine Vision and Data Mining of Shanxi; Province

School of Information and Technology, Shanxi University

Institute of Big Data Science and Industry, Shanxi University

School of Information Science and Technology， Dalian Maritime University

⁰