电子学报 ›› 2023, Vol. 51 ›› Issue (3): 746-756.DOI: 10.12263/DZXB.20210169

• 学术论文 • 上一篇    下一篇

基于金字塔知识的自蒸馏HRNet目标分割方法

郑云飞1,2,3, 王晓兵1,2, 张雄伟1, 曹铁勇1, 孙蒙1   

  1. 1.陆军工程大学指挥控制工程学院, 江苏 南京 210007
    2.陆军炮兵防空兵学院, 安徽 合肥 230031
    3.安徽省偏振成像与探测重点实验室, 安徽 合肥 230031
  • 收稿日期:2021-01-26 修回日期:2022-05-15 出版日期:2023-03-25
    • 通讯作者:
    • 曹铁勇
    • 作者简介:
    • 郑云飞 男,1983年9月出生于安徽省滁州市.解放军理工大学信息与通信工程专业博士,现为陆军炮兵防空兵学院南京校区讲师、陆军工程大学指挥控制工程学院计算机与科学博士后流动站在站博士后,主要研究方向为目标分割、深度学习. E-mail: 597184353@qq.com
      王晓兵 男,1981年出生于安徽省滁州市.解放军炮兵防空兵学院作战指挥学博士.陆军炮兵防空兵学院南京校区副教授、陆军工程大学指挥控制工程学院计算机与科学博士后流动站在站博士后,从事智能任务规划、人工智能方向的研究工作. E-mail: 23813083@qq.com
      张雄伟 男,1965年出生于浙江嘉兴.现为陆军工程大学指挥控制工程学院教授、博导.主要研究方向为人工智能、多媒体信息处理. E-mail: xwzhang9898@163.com
      曹铁勇(通讯作者) 男,1971年出生于江苏省.现为陆军工程大学指挥控制工程学院教授、博导.主要研究方向为人工智能、图像处理.
      孙蒙 男,1984年出生于山东齐河,比利时鲁汶大学信息与通信工程博士.现为陆军工程大学指挥控制工程学院副教授.主要研究方向为机器学习、语音信号处理. E-mail: sunmengccjs@163.com
    • 基金资助:
    • 国家自然科学基金(61801512);江苏省自然科学基金(BK20180080)

The Self-Distillation HRNet Object Segmentation Based on the Pyramid Knowledge

ZHENG Yun-fei1,2,3, WANG Xiao-bing1,2, ZHANG Xiong-wei1, CAO Tie-yong1, SUN Meng1   

  1. 1.Institude of Command and Control Engineering,Army Engineering University of PLA,Nanjing,Jiangsu 210007,China
    2.The Army Artillery and Defense Academy of PLA,Hefei,Anhui 210031,China
    3.The Key Laboratory of Polarization Imaging Detection Technology,Hefei,Anhui 210031,China
  • Received:2021-01-26 Revised:2022-05-15 Online:2023-03-25 Published:2023-04-20
    • Corresponding author:
    • CAO Tie-yong
    • Supported by:
    • National Natural Science Foundation of China(61801512);Natural Science Foundation of Jiangsu Province(BK20180080)

摘要:

知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-Resolution Net)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战,本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型:在HRNet分支结构中引入多尺度池化金字塔表示模块,提升网络的知识表示和学习能力;构造“自上而下”和“一致性”两种蒸馏模式;融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明:本文模型在不增加资源开销的前提下,有效提升了网络的目标分割性能.

关键词: 自蒸馏学习, 并行结构网络, 多尺度池化金字塔, 结构化相似性, 目标分割

Abstract:

The knowledge distillation can effectively transfer the representation ability of a teacher network to a student network, and improve the performance of the network without changing the network structure. Therefore, it is of great significance to construct a self-distillation learning model in the backbone network of the HRNet (High-Resolution Net)with an excellent performance in the object segmentation tasks. Aiming to the challenge that parallel integration architecture of deep and shallow information in HRNet makes direct distillation difficult to achieve, a structured self-distillation learning framework based on multi-scale pooling pyramid is proposed in this paper. Firstly, the multiscale pooling pyramid feature modules are introduced into the branch structure in the HRNet to improve knowledge representation and learning ability. Secondly, the top-down and consistency distillation modes are constructed. Meanwhile the cross entropy loss, KL (Kullback-Leibler)divergence loss and structural similarity loss are combined for the self-distillation learning framework. The experiments on four segmentation datasets including saliency and camouflaged objects demonstrate that the proposed model improves the performance of the object segmentation of the network without increasing resource costs.

Key words: knowledge distillation, parallel network, multi-scale pooling pyramid, structural similarity, object segmentation

中图分类号: