电子学报 ›› 2022, Vol. 50 ›› Issue (3): 625-636.DOI: 10.12263/DZXB.20201451

• 学术论文 • 上一篇    下一篇

基于多级解码网络的图像修复

刘微容1, 米彦春1, 杨帆1, 张彦1, 郭宏林2, 刘仲民1   

  1. 1.兰州理工大学电气工程与信息工程学院, 甘肃 兰州 730050
    2.大型电气传动系统与装备技术国家重点实验室, 甘肃 天水 741000
  • 收稿日期:2020-12-17 修回日期:2021-08-05 出版日期:2022-03-25 发布日期:2022-03-25
  • 作者简介:刘微容 男,1976年12月出生于湖南祁阳,兰州理工大学教授,主要研究方向为机器视觉与人工智能、复杂系统先进控制理论与应用等.E-mail:liu_weirong@163.com
    米彦春 女,1994年6月出生于甘肃定西,兰州理工大学硕士研究生,主要研究方向为机器视觉与人工智能.
    杨 帆 男,1996年7月出生于湖北宜昌,兰州理工大学硕士研究生,主要研究方向为机器视觉与人工智能.
    张 彦 女,1992年6月出生于甘肃白银,兰州理工大学硕士研究生,主要研究方向为机器视觉与人工智能.
    郭宏林 男,1977年4月出生于甘肃天水,天水电气传动研究所集团有限公司高级工程师,主要从事电气传动系统、高精度电源及数字控制系统、智能装备等领域研究.
    刘仲民 男,1978年5月出生于甘肃白银,兰州理工大学副教授,主要研究方向为机器视觉、模式识别与图像处理.
  • 基金资助:
    国家自然科学基金(61861027)

Generative Image Inpainting with Multi-Stage Decoding Network

LIU Wei-rong1, MI Yan-chun1, YANG Fan1, ZHANG Yan1, GUO Hong-lin2, LIU Zhong-min1   

  1. 1.College of Electrical and Information Engineering,Lanzhou University of Technology,Lanzhou,Gansu 730050,China
    2.State Key Laboratory of Large Electric Drive System and Equipment Technology,Tianshui,Gansu 741000,China
  • Received:2020-12-17 Revised:2021-08-05 Online:2022-03-25 Published:2022-03-25

摘要:

当前主流的图像修复方法重点依赖于自动编解码网络,此类方法试图利用编码阶段压缩后的信息在解码阶段恢复出原始图像.然而自编码网络在压缩过程中必然存在信息丢失,仅利用压缩后的信息难以得到细节丰富的修复结果,主要表现为模糊和修复区域周围明显的边缘响应.本文针对图像信息利用不完备的问题,提出多级解码网络(Multi-Stage Decoding Network,MSDN),由多个解码器对编码阶段各层特征进行解码并聚合,增大对编码器不同尺度特征的利用率,进而得到更能反映缺损区域内容的特征映射.在国际公认数据集上组织的对比实验结果表明,MSDN修复的图像视觉效果有一定提升.

关键词: 图像修复, 编解码器, 多级解码网络(MSDN)

Abstract:

Current image inpainting methods mainly rely on automatic encoding and decoding networks. These methods try to use the information compressed in the encoding stage to restore an original image in the decoding stage. While, it is difficult to reconstruct detailed inpainting results by using only compressed information. Due to the loss of information during compression, there are visual artifacts in the results, such as blurring and obvious edge response around the reconstructed area. Aimed at the problem of incomplete utilization of image information, this manuscript proposed a multi-stage decoding network (MSDN). The MSDN decodes and aggregates features of each layer in the encoder by multiple decoders successively, which can increase utilization of features from different layers in the encoding stage and obtain better feature maps to reflect the defected area. The experiment results, which are conducted on internationally recognized datasets, show that visual effects of images generated by MSDN have been improved.

Key words: image inpainting, automatic encoding and decoding networks, multi-stage decoding network

中图分类号: