电子学报 ›› 2022, Vol. 50 ›› Issue (9): 2265-2294.DOI: 10.12263/DZXB.20220091

• 综述评论 • 上一篇    下一篇

基于深度学习的单帧图像超分辨率重建综述

吴靖1,2, 叶晓晶1,2, 黄峰1,2, 陈丽琼1,2, 王志锋1,2, 刘文犀2,3   

  1. 1.福州大学机械工程及自动化学院,福建 福州 350116
    2.福州大学先进技术创新研究院,福建 福州 350116
    3.福州大学计算机与大数据学院,福建 福州 350116
  • 收稿日期:2022-01-17 修回日期:2022-05-13 出版日期:2022-09-25
    • 作者简介:
    • 吴靖 男,1986年生.博士.福州大学机械工程及自动化学院副教授、硕士生导师.主要研究方向为计算机视觉、光机电算一体化.E-mail: wujing@fzu.edu.cn
      叶晓晶 女,1998年生.福州大学机械工程及自动化学院硕士研究生.主要研究方向为图像处理、图像超分辨率重建.E-mail: yexiaojingyxj@163.com
      黄峰(通讯作者) 男,1979年生.博士.福州大学机械工程及自动化学院研究员、博士生导师.主要研究方向为机器视觉、光学精密测量与成像、智能光学感知.
      陈丽琼 女,1994年生.博士.福州大学机械工程及自动化学院讲师、硕士生导师.主要研究方向为计算机视觉、超分辨率重建、目标检测.E-mail: liqiongchen@fzu.edu.cn
      王志锋 男,1996年生.福州大学机械工程及自动化学院硕士研究生.主要研究方向为深度学习、图像超分辨重建、图像增强处理.E-mail: 15880277679@139.com
      刘文犀 男,1986年生.博士.福州大学计算机与大数据学院教授、博士生导师.主要研究方向为计算机视觉.E-mail: wenxi.liu@hotmail.com
    • 基金资助:
    • 国家自然科学基金 (62072110)

A Review of Single Image Super-Resolution Reconstruction Based on Deep Learning

WU Jing1,2, YE Xiao-jing1,2, HUANG Feng1,2, CHEN Li-qiong1,2, WANG Zhi-feng1,2, LIU Wen-xi2,3   

  1. 1.School of Mechanical Engineering and Automation,Fuzhou University,Fuzhou,Fujian 350116,China
    2.Advanced Technology Innovation Institute,Fuzhou University,Fuzhou,Fujian 350116,China
    3.College of Computer and Data Science,Fuzhou University,Fuzhou,Fujian 350116,China
  • Received:2022-01-17 Revised:2022-05-13 Online:2022-09-25 Published:2022-10-26

摘要:

图像超分辨率重建是计算机视觉中的基本图像处理技术之一,不仅可以提高图像分辨率改善图像质量,还可以辅助其他计算机视觉任务. 近年来,随着人工智能浪潮的兴起,基于深度学习的图像超分辨率重建也取得了显著进展. 本文在简述图像超分辨率重建方法的基础上,全面综述了基于深度学习的单帧图像超分辨率重建的技术架构及研究历程,包括数据集构建方式、网络模型基本框架以及用于图像质量评估的主、客观评价指标,重点介绍了根据网络结构及图像重建效果划分的基于卷积神经网络的方法、基于生成对抗网络的方法以及基于Transformer的方法,并对相关网络模型加以评述和对比,最后依据网络模型和超分辨率重建挑战赛相关内容,展望了图像超分辨率重建未来的发展趋势.

关键词: 超分辨率重建, 深度学习, 单帧图像, 卷积神经网络, 生成对抗网络, Transformer, 挑战赛

Abstract:

Image super-resolution reconstruction is one of the basic image processing techniques in computer vision, which can not only improve image resolution and image quality, but also assist other computer vision tasks. In recent years, with the rise of artificial intelligence, deep-learning-based image super-resolution reconstruction has also made remarkable progress. Based on a brief description of the image super-resolution reconstruction methodology, this paper comprehensively reviews the technical architecture and research process of deep-learning-based single image super-resolution reconstruction, including the method of datasets construction, the basic framework of the network model, the subjective and objective evaluation metrics for image quality evaluation. The methods based on convolutional neural networks, generative adversarial networks and Transformer, which are divided according to network structure and image reconstruction effect are mainly introduced, and related network models are reviewed and compared. Finally, the future development trend of image super-resolution reconstruction is prospected according to the related content of network model and super-resolution reconstruction challenges.

Key words: super-resolution reconstruction, deep learning, single image, convolutional neural network, generative adversarial network, transformer, challenges

中图分类号: