电子学报 ›› 2021, Vol. 49 ›› Issue (9): 1746-1753.DOI: 10.12263/DZXB.20200712

• 学术论文 • 上一篇    下一篇

基于改进CycleGAN的光学图像迁移生成水下小目标合成孔径声纳图像算法研究

李宝奇1,2, 黄海宁1,2, 刘纪元1,2, 李宇1,2   

  1. 1.中国科学院声学研究所,北京 100190
    2.中国科学院先进水下信息技术重点实验室,北京 100190
  • 收稿日期:2020-07-14 修回日期:2021-05-17 出版日期:2021-09-25 发布日期:2021-09-25
  • 作者简介:李宝奇 男,1985年出生于天津,中国科学院声学研究所特别研究助理.主要从事水下目标探测、识别和跟踪等方面的研究.E⁃mail:libaoqi@mail.ioa.ac.cn
    黄海宁(通信作者) 男,1969年出生于河北,中国科学院声学研究所研究员,博士生导师,国务院政府津贴专家.目前担任中科院海洋信息技术创新研究院暨声学研究所科技委副主任,中科院先进水下信息技术重点实验室暨水声工程中心主任,中国声学学会理事.主要从事水声信号与信息处理、目标探测,水声通信与网络等方面的研究.E⁃mail:hhn@mail.ioa.ac.cn
    刘纪元 男,1963 年出生于辽宁,中国科学院声学研究所研究员,博士生导师.中国图形图像学会视觉与传感专业委员会会员,国家“863”计划“基于无人平台的合成孔径声纳系统研究”项目首席专家.主要研究领域包括水声信号处理、高分辨率水下成像技术等.E⁃mail:ljy@mail.ioa.ac.cn
    李 宇 男,1977年出生贵州,中国科学院声学研究所研究员.研究领域涉及水声信号处理、水声通信与网络、无人平台声纳技术、主动声纳技术、阵列信号处理等的多个方面. E⁃mail:ly@mail.ioa.ac.cn
  • 基金资助:
    国家自然科学基金(11904386);国家基础科研计划重大项目(JCKY2016206A003);中国科学院青年创新促进会

Optical Image-to-Underwater Small Target Synthetic Aperture Sonar Image Translation Algorithm Based on Improved CycleGAN

Bao-qi LI1,2, Hai-ning HUANG1,2, Ji-yuan LIU1,2, Yu LI1,2   

  1. 1.Institute of Acoustics,Chinese Academy of Sciences,Beijing 100190,China
    2.Key Laboratory of Science and Technology on Advanced Underwater Acoustic Signal Processing,Chinese Academy of Sciences,Beijing 100190,China
  • Received:2020-07-14 Revised:2021-05-17 Online:2021-09-25 Published:2021-09-25

摘要:

针对循环生成对抗网络CycleGAN(Cycle Generative Adversarial Networks)在光学图像迁移生成水下小目标合成孔径声纳图像过程中存在质量差和速度慢的问题,本文提出一种新的特征提取单元SDK(Selective Dilated Kernel),并利用SDK设计了一个新的生成器网络SDKNet.与此同时,提出了一种新的循环一致损失函数MS-CCLF(Multiscale Cyclic Consistent Loss Function),MS-CCLF增加了图像多尺度结构相似性约束.在自建的图像迁移数据集OPT-SAS上,本文SM-CycleGAN(Selective and Multiscale Cycle Generative Adversarial Networks)比原始CycleGAN的图像迁移质量提升4.64%,生成器网络参数降低4.13MB, 运算时间减少0.143s.实验结果表明,SM-CycleGAN更适合水下小目标光学图像到合成孔径声纳图像的迁移任务.

关键词: 光学图像迁移生成合成孔径声纳图像, 生成对抗网络, 循环生成对抗网络, 可选择空洞核网络, 多尺度结构相似性

Abstract:

The original CycleGAN show poor quality and time consuming in optical image to underwater small target synthetic aperture sonar image translation task. To address those problems, a novel convolution building block, SDK (Selective Dilated Kernel), is proposed. By stacking SDK blocks, a generator SDKNet is created. At the same time, Multiscale Cycle Consistent Loss Function (MS-CCLF) is proposed, which add the Multiscale Structural Similarity Index (MS-SSIM) between input images and reconstructed images. On our image translation dataset (OPT-SAS), the classification accuracy of our SM-CycleGAN is 4.64% higher than that of original CycleGAN. The generator parameters of SM-CycleGAN is 4.13MB lower than that of CycleGAN, and the time consuming of SM-CycleGAN is 0.143s less than that of CycleGAN. The experimental results show that SM -CycleGAN is more suitable for the translation task of optical image to small underwater target synthetic aperture sonar image.

Key words: optical image-to-synthetic aperture sonar image translation, generative adversarial networks, cycle generative adversarial networks, selective dilated kernel networks, multiscale structural similarity index

中图分类号: