电子学报

• •    

基于光谱映射和细节注入的Pansharpening

刘红毅1, 赵肖飞1, 韩海波1, Du Jenny Qian2, 吴泽彬3, 韦志辉3   

  1. 1.南京理工大学数学与统计学院,江苏 南京 210094
    2.密西西比州立大学电气与计算机工程系,密西西比州斯塔克维尔 39762
    3.南京理工大学计算机工程与科学学院,江苏 南京 210094
  • 收稿日期:2021-07-06 修回日期:2022-09-05 出版日期:2023-03-06
    • 通讯作者:
    • 吴泽彬
    • 作者简介:
    • 刘红毅 女,1974年出生于陕西省西安市.南京理工大学数学与统计学院副教授.研究方向为基于图像处理与分析、计算机视觉.E-mail: hyliu@njust.edu.cn
      赵肖飞 女,1995年出生于河北省沧州市.南京理工大学数学与统计学院硕士研究生.主要研究方向为遥感图像处理.E-mail: lhy_holly@njust.edu.cn
      韩海波 男,1997年11月出生于浙江省杭州市.现为南京理工大学硕士研究生.主要研究方向为图像处理.E-mail: 1165530681@qq.com
      Jenny Qian Du 女,1971年出生于上海市.美国密西西比州立大学电气与计算机工程系的教授.研究方向为高光谱遥感图像分析和应用、深度学习.E-mail: du@ece.msstate.edu
      吴泽彬(通讯作者) 男,1981年出生于浙江省杭州市.南京理工大学计算机科学与工程学院的教授.研究方向为图像处理、高性能计算.
      韦志辉 男,1963年出生于江苏省淮安市.南京理工大学计算机科学与工程学院的教授.研究方向为图像处理、数据科学方法与理论、计算机视觉.E-mail: gswei@njust.edu.cn
    • 基金资助:
    • 国家自然科学基金面上项目(61971223);中央高校基本科研业务费专项资金资助(JSGP202204)

Pansharpening by Jointing Spectral Mapping and Detail Injection

LIU Hong-yi1, ZHAO Xiao-fei1, HAN Hai-bo1, DU Jenny Qian2, WU Ze-bin3, WEI Zhi-hui3   

  1. 1.School of Mathematics and Statistics,Nanjing University of Science and Technology,Nanjing,Jiangsu 210094,China
    2.Department of Electrical and Computer Engineering,Mississippi State University,Mississippi State,MS 39762,America
    3.School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing,Jiangsu 210094,China
  • Received:2021-07-06 Revised:2022-09-05 Online:2023-03-06
    • Corresponding author:
    • WU Ze-bin
    • Supported by:
    • General program of National Natural Science Foundation of China(61971223);Special Funds for Basic Scientific Research Business Expenses of Central Universities(JSGP202204)

摘要:

Pansharpening通过在多光谱图像中注入全色图像的空间细节,从而获得高分辨率的多光谱图像.但细节注入的同时,可能会引起光谱失真.为了提高融合图像的光谱保真,本文提出了一种空谱结合的Pansharpening方法.充分利用全色和多光谱图像之间潜在的光谱关系,对全色图像的光谱信息进行增强,继而将增强后的全色图像细节注入到多光谱图像中,并建立了统一的变分Pansharpening模型,同时实现了融合图像的光谱信息保持和空间结构细节增强.在不同数据集上进行的数值实验表明,相比现有的Pansharpening方法,本文所提出的方法具有比较好的融合效果,尤其在光谱保真方面,更具有一定的优势.

关键词: Pansharpening, 多光谱图像, 全色图像, 光谱映射, 细节注入

Abstract:

Pansharpening aims at improving spatial resolution and retaining spectral resolution for multispectral(MS) image with an aided panchromatic(PAN) image. Most of the existing methods improve the spatial resolution of MS image by injecting spatial details acquired from the PAN image, which may lead to spectral distortion. This paper proposes a joint spectral-spatial pansharpening method. By exploiting the underlying spectral correlation between the PAN and MS images, a spectral-enhanced PAN(SPAN) image is produced. Then the detail of the SPAN image is injected into the MS image, which leads to a unified variational pansharpening model to obtain a fused image with both spatial structure-enhanced and spectral-preserved. Experiments on different datasets confirm the effectiveness of the proposed pansharpening method, especially in the fidelity of spectra.

Key words: Pansharpening, multispectral image, panchromatic image, spectral mapping, detail injection

中图分类号: