一种基于ARD‑GAN的低照度图像增强方法

doi:10.12263/DZXB.20200822

电子学报 ›› 2021, Vol. 49 ›› Issue (11): 2160-2165.DOI: 10.12263/DZXB.20200822

一种基于ARD‑GAN的低照度图像增强方法

江泽涛¹, 钱艺¹, 伍旭¹, 张少钦²

^1.桂林电子科技大学广西图像图形与智能处理重点实验室，广西桂林 541004
^2.南昌航空大学，江西南昌 330063

收稿日期:2020-08-03 修回日期:2021-01-15 出版日期:2021-11-25
- 作者简介:
- 江泽涛　男, 1961年3月出生，江西九江人.桂林电子科技大学教授，博士生导师，主要从事图像处理、计算机视觉、信息安全方面的研究.
  钱　艺（通讯作者）　男, 1993年6月出生，山东淄博人.桂林电子科技大学硕士研究生，主要从事图像增强方面的研究.E‑mail:Qyizos@163.com
- 基金资助:
- 国家自然科学基金 (61876049); 广西科技计划 (AC16380108); 广西图像图形智能处理重点实验 (GIIP2006); 广西研究生教育创新计划 (2019YCXS043); 桂林电子科技大学研究生科研创新 (2020YCXS050)

Low‑Light Image Enhancement Method Based on ARD‑GAN

JIANG Ze-tao¹, QIAN Yi¹, WU Xu¹, ZHANG Shao‑qin²

^1.The Key Laboratory of Image and Graphic Intelligent Processing in Guangxi, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China
^2.Nanchang Hangkong University, Nanchang, Jiangxi 330063, China

Received:2020-08-03 Revised:2021-01-15 Online:2021-11-25 Published:2021-11-25
- Supported by:
- National Natural Science Foundation of China (61876049); Science and Technology Project of Guangxi Zhuang Autonomous Region (AC16380108); Guangxi Key Laboratory of Image and Graphic and Intelligent Processing (GIIP2006); Postgraduate Education Innovation Plan of Guangxi Province (2019YCXS043); Graduate Research Innovation of Guilin University of Electronic Technology (2020YCXS050)

摘要/Abstract

摘要：

为解决低照度图像增强过程中噪声放大、细节不足以及色彩还原问题，本文提出一种基于注意力机制残差密集生成对抗网络（Attention Residual Dense?Generative Adversarial Networks, ARD?GAN）的低照度图像增强方法.首先,该方法在全局光照估计模块（Global Illumination Estimation Module, GIEM）中生成全局曝光注意力图，以引导后续模块更好地进行照度增强；其次，使用卷积残差模块（Convolution and Residual Module, CRM）和基于通道注意力的残差密集模块（Channel Attention Residual Dense Module, CARDM）分别提取浅层特征和深层特征，并将不同层次的特征融合以获取更好的细节信息；然后，在CARDM基础上将密集连接与批归一化相结合抑制噪声；最后改进了损失函数，使增强后图像色彩还原更好.实验表明，ARD?GAN有与主流算法相比，在主观视觉和客观评价指标上均得到更好的效果.

关键词: 低照度增强, 图像细节增强, 降噪, 色彩还原, 注意力机制, 残差密集网络

Abstract:

In order to solve the problems of noise amplification, insufficient detail and color restoration in the process of low?light image enhancement, this paper proposes a method of low?light image enhancement based on attention residual dense?generative adversarial networks (ARD?GAN). Firstly, the method generates a global exposure attention map in the global illumination estimation module (GIEM) to guide the subsequent modules to enhance the illumination better; secondly, it adopts the convolution and residual module (CRM) and the channel attention residual dense module (CARDM) to extract shallow features and deep features respectively, and fuses different features of levels to obtain better detailed information; furthermore, based on the CARDM, the dense connection and batch normalization are combined to suppress noise. Finally, the improved loss function restores the enhanced image color better. Comprehensive experiments are conducted, which show that ARD?GAN can significantly outperform mainstream algorithms in subjective vision and objective evaluation indicators.

Key words: low?light enhancement, image detail enhancement, noise reduction, color reproduction, attention mechanism, residual dense network

中图分类号:

TP391

江泽涛, 钱艺, 伍旭, 等. 一种基于ARD‑GAN的低照度图像增强方法[J]. 电子学报, 2021, 49(11): 2160-2165.

Ze-tao JIANG, Yi QIAN, Xu WU, et al. Low‑Light Image Enhancement Method Based on ARD‑GAN[J]. Acta Electronica Sinica, 2021, 49(11): 2160-2165.

图/表 10

图1 ARD?GAN生成网络及子模块结构图

表1 不同的网络结构增强效果的客观评价指标

评估模块	模型	PSNR	SSIM	MSE
GIEM	ARD‑GAN w/o GIEM	22.11	0.8363	0.0063
	ARD‑GAN w/o SAS（GIEM）	22.47	0.8334	0.0069
	ARD‑GAN w/o CA（GIEM）	22.52	0.8360	0.0066
	ARD‑GAN w/o CA（GIEM）& SAS（GIEM）	22.23	0.8382	0.0062
CARDM	ARD‑GAN w/o CA（CARDB）	22.17	0.8301	0.0069
CRM	ARD‑GAN w/o CRB	22.68	0.8354	0.0061
Ours	ARD‑GAN	23.03	0.8475	0.0057

表2 不同MAE损失权重增强效果的客观评价指标对比

ADV	MAE	PSNR	SSIM	MSE
1	1	22.32	0.8341	0.0068
1	10	20.37	0.7951	0.0105
1	100	20.06	0.7881	0.0112

表3 不同MSE损失权重增强效果的客观评价指标对比

ADV	MAE	MSE	PSNR	SSIM	MSE
1	1	1	22.43	0.8409	0.0065
1	1	10	21.83	0.8302	0.0079
1	1	100	22.37	0.8402	0.0069

表4 不同Region损失权重增强效果的客观评价指标对比

ADV	MAE	MSE	Region	PSNR	SSIM	MSE
1	1	1	1	22.58	0.8447	0.0064
1	1	1	10	22.62	0.8391	0.0064
1	1	1	100	22.59	0.8406	0.0064

表5 不同TV损失权重增强效果的客观评价指标对比

ADV	MAE	MSE	Region	TV	PSNR	SSIM	MSE
1	1	1	10	1	22.69	0.8452	0.0062
1	1	1	10	3	23.03	0.8475	0.0057
1	1	1	10	10	22.82	0.8436	0.0060

表6 不同联合损失函数增强效果的客观评价指标

损失函数	PSNR	SSIM	MSE
$L A d v + λ 1 L M A E$	22.32	0.8341	0.0068
$L A d v + λ 2 L M S E$	22.43	0.8409	0.0065
$L A d v + λ 3 L R e g i o n$	22.62	0.8391	0.0064
$L A d v + λ 4 L T V$	11.61	0.2450	0.0743
$L A d v + λ 1 × L M A E + λ 2 × L M S E$	22.46	0.8428	0.0067
$L A d v + λ 1 L M A E + λ 3 L R e g i o n$	22.13	0.8399	0.0072
$L A d v + λ 2 L M S E + λ 3 L R e g i o n$	22.36	0.8388	0.0068
$L A d v + λ 1 L M A E + λ 2 L M S E + λ 3 L R e g i o n$	22.67	0.8431	0.0063
$L A d v + λ 1 L M A E + λ 2 L M S E + λ 4 L T V$	22.70	0.8413	0.0063
$L A d v + λ 1 L M A E + λ 3 L R e g i o n + λ 4 L T V$	22.65	0.8474	0.0063
$L A d v + λ 2 L M S E + λ 3 L R e g i o n + λ 4 L T V$	22.94	0.8458	0.0058
$L A d v + λ 1 L M A E + λ 2 L M S E + λ 3 L R e g i o n + λ 4 L T V$	23.03	0.8475	0.0057

表6 不同联合损失函数增强效果的客观评价指标

损失函数	PSNR	SSIM	MSE
$L A d v + λ 1 L M A E$	22.32	0.8341	0.0068
$L A d v + λ 2 L M S E$	22.43	0.8409	0.0065
$L A d v + λ 3 L R e g i o n$	22.62	0.8391	0.0064
$L A d v + λ 4 L T V$	11.61	0.2450	0.0743
$L A d v + λ 1 × L M A E + λ 2 × L M S E$	22.46	0.8428	0.0067
$L A d v + λ 1 L M A E + λ 3 L R e g i o n$	22.13	0.8399	0.0072
$L A d v + λ 2 L M S E + λ 3 L R e g i o n$	22.36	0.8388	0.0068
$L A d v + λ 1 L M A E + λ 2 L M S E + λ 3 L R e g i o n$	22.67	0.8431	0.0063
$L A d v + λ 1 L M A E + λ 2 L M S E + λ 4 L T V$	22.70	0.8413	0.0063
$L A d v + λ 1 L M A E + λ 3 L R e g i o n + λ 4 L T V$	22.65	0.8474	0.0063
$L A d v + λ 2 L M S E + λ 3 L R e g i o n + λ 4 L T V$	22.94	0.8458	0.0058
$L A d v + λ 1 L M A E + λ 2 L M S E + λ 3 L R e g i o n + λ 4 L T V$	23.03	0.8475	0.0057

图2 基于学习的低照度增强算法在Syn_testSet上的主观视觉效果对比

表7 不同方法在 Syn_testSet上的客观评价指标

方法	PSNR	SSIM	MSE
GLADNet	20.90	0.7941	0.0090
LLCNN	20.63	0.8301	0.0098
MSRNet	20.01	0.8045	0.0108
MBLLEN	20.25	0.8026	0.0105
ARD‑GAN	23.03	0.8475	0.0057

图3 不同算法在VV数据集上的主观视觉效果对比

参考文献 18

1	RezaA M. Realization of the contrast limited adaptive histogram equalization （CLAHE） for real‑time image enhancement［J］. Journal of VLSI Signal Processing Systems for Signal， Image and Video Technology， 2004， 38（1）： 35 - 44.
2	GuoX， LiY， LingH. LIME： Low‑light image enhancement via illumination map estimation［J］. IEEE Transactions on image processing， 2017， 26（2）： 982 - 993.
3	DongX， WangG， PangY， et al. Fast efficient algorithm for enhancement of low lighting video［A］. 2011 IEEE International Conference on Multimedia and Expo［C］. USA： IEEE， 2011. 1 - 6.
4	TaoL， ZhuC， XiangG， et al. LLCNN： A convolutional neural network for low‑light image enhancement［A］.2017 IEEE Visual Communications and Image Processing （VCIP）［C］. USA： IEEE， 2017. 1 - 4.
5	ZhangK， ZuoW， ChenY， et al. Beyond a Gaussian denoiser： Residual learning of deep CNN for image denoising［J］. IEEE Transactions on Image Processing， 2017， 26（7）： 3142 - 3155.
6	ZhangH， GoodfellowI， MetaxasD， et al. Self‑attention generative adversarial networks ［EB/OL］. ， 2018.
7	ZhangY， TianY， KongY， et al. Residual dense network for image super‑resolution［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. USA： IEEE， 2018. 2472 - 2481.
8	HuangG， LiuZ， Van Der MaatenL， et al. Densely connected convolutional networks［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）［C］. USA： IEEE， 2017. 4700 - 4708.
9	HeK， ZhangX， RenS， et al. Deep residual learning for image recognition［A］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）［C］. USA： IEEE， 2016. 770 - 778.
10	SandlerM， HowardA， ZhuM， et al. Mobilenetv2： Inverted residuals and linear bottlenecks［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. USA： IEEE， 2018. 4510 - 4520.
11	江泽涛，覃露露.一种基于U‑Net生成对抗网络的低照度图像增强方法［J］.电子学报，2020，48（2）：258 - 264.
	JiangZ T， QinL L. Low‑light image enhancement method based on U‑net generative adversarial network［J］. Acta Electronica Sinica， 2020， 48（2）： 258 - 264.（in Chinese）
12	LvF， LuF， WuJ， et al. MBLLEN： Low‑light image/video enhancement using CNNs［A］. BMVC 2018［C］. UK， 2018. 220.
13	MaoX， LiQ， XieH， et al. Least squares generative adversarial networks［A］.Proceedings of the IEEE International Conference on Computer Vision （ICCV）［C］. USA： IEEE， 2017. 2794 - 2802.
14	WangW， WeiC， YangW， et al. GLADNet： Low‑light enhancement network with global awareness［A］.2018 13th IEEE International Conference on Automatic Face & Gesture Recognition （FG 2018）［C］. USA： IEEE， 2018. 751 - 755.
15	ShenL， YueZ， FengF， et al. Msr‑net： Low‑light image enhancement using deep convolutional network［J］. arXiv preprint arXiv：， 2017.
16	LohY P， ChanC S. Getting to know low‑light images with the exclusively dark dataset［J］. Computer Vision and Image Understanding， 2019， 178： 30 - 42.
17	CaiJ， GuS， ZhangL. Learning a deep single image contrast enhancer from multi‑exposure images［J］. IEEE Transactions on Image Processing， 2018， 27（4）： 2049 - 2062.
18	ChenZ， JiangT， TianY. Quality assessment for comparing image enhancement algorithms［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. USA： IEEE， 2014. 3003 - 3010.

[1]	隗昊, 唐焕玲, 周爱, 张益嘉, 陈飞, 鲁明羽. 基于双路分段注意力神经张量网络的临床文本关系抽取[J]. 电子学报, 2023, 51(3): 658-665.
[2]	何滢婕, 刘月峰, 边浩东, 郭威, 张小燕. 基于Informer的电池荷电状态估算及其稀疏优化方法[J]. 电子学报, 2023, 51(1): 50-56.
[3]	王硕, 王坚, 王亚男, 宋亚飞. 一种基于特征融合的恶意代码快速检测方法[J]. 电子学报, 2023, 51(1): 57-66.
[4]	刘群, 谭洪胜, 张优敏, 王国胤. 基于元路径的动态异质网络表示学习[J]. 电子学报, 2022, 50(8): 1830-1839.
[5]	张志昌, 于沛霖, 庞雅丽, 朱林, 曾扬扬. SMGN：用于对话状态跟踪的状态记忆图网络[J]. 电子学报, 2022, 50(8): 1851-1858.
[6]	徐少平, 李芬, 陈孝国, 陈晓军, 江顺亮. 一种利用改进深度图像先验构建的图像降噪模型[J]. 电子学报, 2022, 50(7): 1573-1578.
[7]	赵俊男, 佘青山, 孟明, 陈云. 基于多流空间注意力图卷积SRU网络的骨架动作识别[J]. 电子学报, 2022, 50(7): 1579-1585.
[8]	王延达, 陈炜通, 皮德常, 岳琳. 一种自适应记忆神经网络多跳读取与覆盖度机制结合的药物推荐模型[J]. 电子学报, 2022, 50(4): 943-953.
[9]	张凌明, 赵悦, 李鹏程, 刘洋, 高陈强. 基于局部注意力机制的三维牙齿模型分割网络[J]. 电子学报, 2022, 50(3): 681-690.
[10]	伍邦谷, 张苏林, 石红, 朱鹏飞, 王旗龙, 胡清华. 基于多分支结构的不确定性局部通道注意力机制[J]. 电子学报, 2022, 50(2): 374-382.
[11]	周登文, 李文斌, 李金新, 黄志勇. 一种轻量级的多尺度通道注意图像超分辨率重建网络[J]. 电子学报, 2022, 50(10): 2336-2346.
[12]	李勇斌, 王彬, 邵高平, 邵帅. 一种基于RCGAN的水声通信信号降噪方法[J]. 电子学报, 2022, 50(1): 54-62.
[13]	王波, 黄冕, 刘利军, 黄青松, 单文琦. 基于多层聚焦Inception-V3卷积网络的细粒度图像分类[J]. 电子学报, 2022, 50(1): 72-78.
[14]	赵琰, 赵凌君, 匡纲要. 基于注意力机制特征融合网络的SAR图像飞机目标快速检测[J]. 电子学报, 2021, 49(9): 1665-1674.
[15]	吴龙文, 聂雨亭, 张宇鹏, 何胜阳, 赵雅琴. 基于变分模态分解的自适应滤波降噪方法[J]. 电子学报, 2021, 49(8): 1457-1465.

一种基于ARD‑GAN的低照度图像增强方法

Low‑Light Image Enhancement Method Based on ARD‑GAN

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 18

相关文章 15

编辑推荐

Metrics