电子学报 ›› 2023, Vol. 51 ›› Issue (1): 128-138.DOI: 10.12263/DZXB.20210659

• 学术论文 • 上一篇    下一篇

基于深监督跨尺度注意力网络的深度图像超分辨率重建

李滔1, 董秀成1, 林宏伟2   

  1. 1.西华大学电气与电子信息学院,四川成都 610039
    2.西北民族大学电气工程学院,甘肃兰州 730000
  • 收稿日期:2021-05-24 修回日期:2022-05-17 出版日期:2023-01-25
    • 作者简介:
    • 李 滔 女,1983年8月出生,四川资阳人.分别于2005年、2008年和2017年在四川大学获得学士、硕士和博士学位.现为西华大学副教授、硕士生导师.主要从事数字图像处理及计算机视觉方面的研究工作.E-mail: lucia634@163.com
      董秀成 男,1963年4月出生,陕西咸阳人.分别于1985年和1990年在重庆大学获得学士和硕士学位.现为西华大学教授、硕士生导师.主要从事现代控制理论及机器人方面的研究工作.
      林宏伟 男,1983年2月出生.于2019年在四川大学获得博士学位.现为西北民族大学副教授、硕士生导师.主要从事数字图像处理、视频压缩及通信方面的研究工作.
    • 基金资助:
    • 国家自然科学基金 (61901392); 四川省科技计划 (2021YJ0109)

Depth Map Super-Resolution Reconstruction Based on Deeply Supervised Cross-Scale Attention Network

LI Tao1, DONG Xiu-cheng1, LIN Hong-wei2   

  1. 1.School of Electrical Engineering and Electronic Information, Xihua University, Chengdu, Sichuan 610039, China
    2.College of Electrical Engineering, Northwest Minzu University, Lanzhou, Gansu 730000, China
  • Received:2021-05-24 Revised:2022-05-17 Online:2023-01-25 Published:2023-02-23
    • Supported by:
    • National Natural Science Foundation of China (61901392); Department of Science and Technology of Sichuan Province (2021YJ0109)

摘要:

消费级深度相机拍摄的深度图像具有分辨率较低的问题,深度图像超分辨率重建是解决该问题的有效方法.为了提高重建性能,提出一种基于深监督跨尺度注意力网络的深度图像超分辨率重建算法.网络逐级放大,在损失函数中对每一级的输出都进行约束,实现深监督的目的.采用高阶跨尺度注意力模块,将多尺度特征尺度内及跨尺度相关性与注意力机制结合起来,实现多尺度特征的自适应调整.采用内层为宽激活残差、外层为基本残差的双层残差块作为网络基本构成元素,以提高网络对复杂非线性关系的学习能力.实验结果表明,本文算法在主观视觉效果和客观质量评价指标方面都优于当前主流的深度图像超分辨率重建算法.

关键词: 深度图像超分辨率, 深度学习, 深监督, 多尺度特征表示, 残差块

Abstract:

Depth maps captured by consumer depth cameras usually suffer from low spatial resolution. Depth map super-resolution (SR) is an effective method to solve this problem. To improve the reconstruction performance, this paper proposes a depth map super-resolution reconstruction algorithm based on deeply supervised cross-scale attention network. A multi-stage up-sampling strategy is introduced. The loss function of the network contains the constraint on the output of each stage for a deep supervision. A high-order cross-scale attention block is proposed to adaptively adjust multi-scale features by integrating the in-scale and cross-scale correlations of multi-scale features with the attention mechanism. A bilayer residual block, which contains inner wide-activated residual learning and outer basic residual learning, is used as the basic component of network for more powerful ability of complex non-linear relationship learning. Experimental results demonstrate the superiority of the proposed algorithm over several state-of-the-art depth map SR methods in terms of visual comparison and quantitative evaluation.

Key words: depth map super-resolution, deep learning, deep supervision, multi-scale feature representation, residual block

中图分类号: