欢迎您访问《智慧农业(中英文)》官方网站! English

基于混合注意力生成对抗网络的遥感图像去雾研究

  • 马六 , 1 ,
  • 毛克彪 , 2 ,
  • 郭中华 1
展开
  • 1. 宁夏大学电子与电气工程学院 宁夏 银川 750021,中国
  • 2. 中国农业科学院农业资源与农业区划研究所,北京 100081,中国
毛克彪,博士,研究员,研究方向为人工智能在地学和农学中的应用。E-mail:

马 六,研究方向为基于对抗神经网络的热红外遥感多参数反演研究。E-mail:

收稿日期: 2024-10-14

  网络出版日期: 2025-01-24

基金资助

宁夏科技厅自然科学基金重点项目(2025)

Research on Defogging Remote Sensing Images Based on A Hybrid Attention-Based Generative Adversarial Network

  • MA Liu , 1 ,
  • MAO Kebiao , 2 ,
  • GUO Zhonghua 1
Expand
  • 1. School of Electronic and Electrical Engineering, Ningxia University, Ningxia 750021, China
  • 2. Institute of Agricultural Resources and Agricultural Zoning, Chinese Academy of Agricultural Sciences, Beijing 100081, China
MAO Kebiao, E-mail:

MA Liu, E-mail:

Received date: 2024-10-14

  Online published: 2025-01-24

Supported by

Key Project of Natural Science Foundation of Ningxia Science and Technology Department(2025)

Copyright

copyright©2025 by the authors

摘要

[目的/意义] 近年来,随着深度学习技术的迅猛发展,遥感图像去雾技术也取得了显著的进展,尤其是在引入注意力机制以增强特征学习方面表现出色。然而,传统的注意力方法通常依赖全局平均池化来聚合特征信息,导致模型对特定影响点的敏感性较高,难以有效应对遥感图像中常见的雾霾问题。此外,遥感图像的采集范围广泛,且农业、城市规划等领域对图像的质量要求越来越高,这对去雾技术提出了更高的挑战。 [方法] 本研究提出了一种混合注意力生成对抗网络(HAB-GAN)。该模型通过结合高效通道注意力模块与空间注意力模块,嵌入生成对抗网络架构中,实现了对遥感图像去雾效果的显著提升。高效通道注意力模块通过降低全局特征聚合中的冗余信息,既保留了性能,又减少了模型复杂度;空间注意力模块则从局部到全局对遥感图像中的雾化区域进行识别和聚焦,增强了对这些区域的恢复能力。这种方法能够更加有效地应对遥感图像中复杂多变的景观,尤其适用于农业等需要高质量遥感数据的领域。 [结果与讨论] 在RESISC45数据集上,与现有的其他注意力机制去雾模型,如SpA GAN和HyA-GAN进行比较,HAB-GAN模型去雾效果更优,其中峰值信噪比(PSNR)分别增加了2.64和1.14 dB,结构相似度(SSIM)分别增加了0.012 2和0.001 9。此外,消融实验验证了混合注意力机制的有效性,去除HAB模块后,HAB-GAN模型的PSNR下降了3.87 dB,SSIM下降了0.033 4。 [结论] 提出的HAB-GAN模型显著提升了遥感图像的去雾效果,使生成的图像更加接近无雾图像,特别是对于复杂的农业、环境监测等场景具有重要应用价值。HAB模块在提升模型性能方面发挥了关键作用,为未来的遥感图像处理和相关领域提供了有力的技术支持。

本文引用格式

马六 , 毛克彪 , 郭中华 . 基于混合注意力生成对抗网络的遥感图像去雾研究[J]. 智慧农业, 2025 : 1 -11 . DOI: 10.12133/j.smartag.SA202410011

Abstract

[Objective] With the rapid development of remote sensing technology, remote sensing images have become a crucial data source for fields such as surface observation, environmental monitoring, and natural disaster prediction. However, the acquisition of remote sensing images is often affected by atmospheric conditions, particularly weather phenomena like haze and cloud cover, which degrade image quality and pose challenges to subsequent analysis and processing tasks. The presence of haze significantly reduces the contrast, color, and clarity of remote-sensing images, thereby impairing the extraction and identification of ground features. Consequently, effectively removing haze from remote-sensing images has become a focal point of interest for academia and industry. Haze removal is especially critical in agriculture, environmental protection, and urban planning, where high-quality remote sensing data is essential for monitoring crop growth, assessing soil quality, and predicting natural disasters. In recent years, the rise of deep learning has brought new possibilities for haze removal in remote-sensing images. The introduction of attention mechanisms, in particular, has allowed models to better capture and utilize important features within images, significantly improving dehazing performance. However, despite these advancements, traditional channel attention mechanisms typically rely on global average pooling to aggregate feature information. While this approach simplifies computational complexity, it is less effective when dealing with images that exhibit significant local variations and are sensitive to outliers. Additionally, remote sensing images often cover vast areas with diverse terrains, complex landforms, and dramatic spectral variations, making haze patterns more complex and uneven. Developing more efficient and adaptive dehazing methods that can fully account for local and global features in remote sensing images is a key direction for the future development of dehazing technology. [Method] Therefore, to address this issue, this paper proposes a Hybrid Attention-Based Generative Adversarial Network (HAB-GAN), which integrates an Efficient Channel Attention (ECA) module and a Spatial Attention Block (SAB). By merging feature extraction from both channel and spatial dimensions, the model effectively enhances its ability to identify and recover hazy areas in remote sensing images. In HAB-GAN, the Efficient Channel Attention (ECA) module captures local cross-channel interactions, addressing the shortcomings of traditional global average pooling in terms of insufficient sensitivity to local detail information. The ECA module uses a global average pooling strategy without dimensionality reduction, automatically adapting to the characteristics of each channel without introducing extra parameters, thereby enhancing the inter-channel dependencies. ECA employs a one-dimensional convolution operation, which uses a learnable kernel size to adaptively determine the range of channel interactions. This design effectively avoids the over-smoothing of global features common in traditional pooling layers, allowing the model to more precisely extract local details while maintaining low computational complexity. The SAB module introduces a weighted mechanism on the spatial dimension by constructing a spatial attention map to enhance the model's ability to identify hazy areas in the image. This module extracts feature maps through convolution operations and applies attention weighting in both horizontal and vertical directions, highlighting regions with severe haze, allowing the model to better capture spatial information in the image, thereby enhancing dehazing performance. The generator of HAB-GAN combines residual network structures with hybrid attention modules. It first extracts initial features from input images through convolutional layers and then passes these features through several residual blocks. The residual blocks effectively mitigate the vanishing gradient problem in deep neural networks and maintain feature consistency and continuity by passing input features directly to deeper network layers through skip connections. Each residual block incorporates ECA and SAB modules, enabling precise feature learning through weighted processing in both channel and spatial dimensions. After extracting effective features, the generator generates dehazed images through convolution operations. The discriminator adopts a standard convolutional neural network architecture, focusing on extracting local detail features from the images generated by the generator. It consists of multiple convolutional layers, batch normalization layers, and Leaky ReLU activation functions. By extracting local features layer by layer and down-sampling, the discriminator progressively reduces the spatial resolution of the images, evaluating their realism at both global and local levels. The generator and discriminator are jointly optimized through adversarial training, where the generator aims to produce increasingly realistic dehazed images, and the discriminator continually improves its ability to distinguish between real and generated images, thereby enhancing the learning effectiveness and image quality of the generator. [Results and Discussions] To validate the effectiveness of HAB-GAN, extensive experiments were conducted on the RESISC45 dataset. The experimental results demonstrate that compared to existing dehazing models, HAB-GAN excels in key evaluation metrics such as Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index (SSIM). Specifically, compared to SpA GAN, HAB-GAN improves PSNR by 2.64 dB and SSIM by 0.012 2; compared to HyA-GAN, PSNR improves by 1.14dB and SSIM by 0.001 9. Additionally, to assess the generalization capability of HAB-GAN, further experiments were conducted on the RICE2 dataset to verify its performance in cloud removal tasks. The results show that HAB-GAN also performs exceptionally well in cloud removal tasks, with PSNR improving by 3.59 dB and SSIM improving by 0.040 2. Compared to HyA-GAN, PSNR and SSIM increased by 1.85 dB and 0.012 4, respectively. To further explore the impact of different modules on the model's performance, ablation experiments were designed, gradually removing the ECA module, the SAB module, and the entire hybrid attention module. The experimental results show that removing the ECA module reduces PSNR by 2.64 dB and SSIM by 0.012 2; removing the SAB module reduces PSNR by 2.96 dB and SSIM by 0.008 7; and removing the entire hybrid attention module reduces PSNR and SSIM by 3.87 dB and 0.033 4, respectively. [Conclusions] This demonstrates that the proposed HAB-GAN model not only performs excellently in dehazing and declouding tasks but also significantly enhances the clarity and detail recovery of dehazed images through the synergistic effect of the Efficient Channel Attention (ECA) module and the Spatial Attention (SAB) module. Additionally, its strong performance across different remote sensing datasets further validates its effectiveness and generalization ability, showcasing broad application potential. Particularly in fields such as agriculture, environmental monitoring, and disaster prediction, where high-quality remote sensing data is crucial, HAB-GAN is poised to become a valuable tool for improving data reliability and supporting more accurate decision-making and analysis.

0 引 言

遥感技术是一种先进的探测方法,能够通过飞机、卫星或其他巡航设备远程收集地面信息。该技术具有显著的优势,不仅能够克服地形和气候等因素的限制,还可以以相对较低的成本监测广泛区域,尤其是在无人机技术广泛应用的背景下,其成本效益进一步提升1。凭借这些优势,遥感技术已在资源勘探2、环境监测3和农业调查4等众多领域得到了广泛应用。例如,在农业领域,遥感技术可以帮助农民实时监测农作物的健康状况、评估土壤湿度,或追踪气候变化对农作物的影响,从而提高农业管理的效率和精准度。然而,遥感图像的质量常常受到自然环境因素的干扰。大气中的水蒸气和悬浮微粒可能凝结成雾霾,干扰光线的传播,导致图像的清晰度显著降低。在某些情况下,雾霾甚至会在图像中产生伪影,影响后续分析任务的准确性。严重的雾霾不仅会导致图像对比度下降、色调偏移和亮度减弱,还可能使光谱曲线发生变形5,这些现象严重影响了遥感图像在农业、环境和资源管理等领域的应用。为了确保遥感图像在后续任务中的准确性和可用性,去除雾霾并提升图像的质量变得尤为重要。遥感图像质量对有关高精度研究对象的后续分析至关重要,特别是在依赖遥感辐射光谱的场景6, 7。因此,如何从遥感图像中有效去除雾霾,已经成为学术界和工业界共同关注的研究重点。
近年来,深度学习技术8的飞速发展催生了更为高效的图像去雾技术。相较于传统方法,这些新技术能够产生更为美观和清透的图像。深度学习是一种先进的机器学习技术,它通过训练深层神经网络来自动学习数据的表示和特征9。与传统机器学习方法不同,深度学习展现了极高的灵活性和自适应性,能够处理大量复杂数据,而无需人工提取特征1011。顾紫琪等12提出了一种基于先验知识的密集注意去雾网络,该网络能够有效去除不均匀和不规则的雾霾。此外,胡安娜等13还提出了一种循环生成对抗网络的无监督训练方法,用于清除遥感图像中的雾霾。姜博等14则提出了一种基于编码器-解码器架构,结合小波变换和深度学习技术的单一遥感图像去雾方法15
基于深度学习的方法虽然具有一定的优势,但是在处理像遥感图像这类复杂图像时显示出局限性,例如特征提取16, 17。因此注意力机制的引入极大地促进了网络在提取高级特征方面的能力,进而增强了特征表达的效能18-20。然而,传统的通道注意力方法普遍采用全局池化层(例如平均池化或最大池化)来整合全局特征21, 22。这种全局特征聚合技术可能导致对局部重要特征的忽视,从而影响通道注意力权重的准确学习并存在一定偏差。这种偏差会使得注意力机制难以有效地聚焦于去雾过程中关键的特征区域,限制了模型在去除雾霾方面的性能表现。此外,遥感图像通常具有高分辨率和广阔的视野,传统的全局池化方法难以充分捕捉到这些图像中细微且关键的局部信息,进一步制约了去雾效果的提升23。因此,对含雾的遥感图像进行复原是一项极具挑战性的任务。为应对遥感图像去雾过程中存在的特征提取不足和模型复杂度高的问题,本研究提出了一种混合注意力生成对抗网络(HAB-GAN)。该网络结合了高效通道注意力(ECA)模块与空间注意力(SAB)模块,旨在通过在通道和空间维度上分别强化重要特征,提高去雾效果的同时,保持较低的模型复杂度。在实验部分,首先选取RESISC45(Remote Sensing Image Scene Classification)数据集,对HAB-GAN与现有的几种先进去雾模型进行了比较分析。通过对比峰值信噪比(PSNR)和结构相似性指数(SSIM)等关键指标验证去雾质量。此外,为了评估HAB-GAN的泛化能力,在RICE2数据集上进行了额外的去云实验,证明所提模型具有良好的应用前景和推广价值。

1 网络架构

为了解决遥感图像的去雾问题,许多现有方法专注于开发更复杂的注意力模块,以期获得更佳性能,然而,这往往导致模型复杂度的增加。本研究提出了一种HAB-GAN模型,为了平衡性能与复杂性,采用了ECA模块,该模块仅需少量参数,却能显著提升性能。通过将高效通道注意力与空间注意力相结合,模型的信息获取和恢复能力得到增强,从而生成更高质量的去雾图像。

1.1 生成器

HAB-GAN的生成器采用了一种混合注意力网络(HANet)架构,属于卷积神经网络(CNN)的范畴。其详细结构如图1所示。输入图像首先通过一个卷积层进行特征提取,接着依次通过三个残差块(Residual Block)和4个HAB,最终通过两个残差块和一个卷积层输出去雾处理后的图像。HAB-GAN生成器采用的残差块如图2所示,由三个卷积层构成,旨在提取数据特征。这一设计不仅增加了神经网络的深度,而且有效提升了模型的性能。
图1 HAB-GAN的生成器网络

Fig.1 HAB-GAN generator network

图2 HAB-GAN生成器采用的残差块

Fig.2 Residual Block

HAB-GAN中的混合注意力机制是提升模型性能的关键之一。其核心特点在于融合了高效通道注意力模块与空间注意力模块,实现了在通道和空间维度上对特征图进行注意力加权。通过在多个维度上应用注意力机制,该机制能够凸显重要的特征信息,使模型更加专注于与当前任务相关的数据,同时忽略不相关的信息,从而增强模型的表达能力。HAB如图3所示,由ECA模块和SAB模块构成。对于每个HAB,数据首先经过ECA,随后依次通过SAB。
图3 混合注意模块。

Fig.3 Hybrid Attention Module

为了避免降维并有效捕捉跨通道交互,ECA采用了一种创新的方法,如图3所示。ECA通过通道级全局平均池化,特征图从[h,w,c]的矩阵变成[1,1,c]的向量。在未进行降维的情况下考虑每个通道,从而成功捕获局部跨通道交互。这种方法的效率和有效性已得到验证24。另外,ECA还能够使用更快速的一维卷积实现,其内核长度k就代表了局部跨通道交互的最大覆盖范围。为了防止自动选择k,我们提供了一个自适应选择k的方式,使交互的覆盖范围(即核大小k)和通道长度成正比。将计算得到自适应的一维卷积核大小用于一维卷积核中,得到对于特征图的每个通道的权重。然后将归一化权重和原输入特征图逐通道相乘(Element Wise Multiplication),得到带有注意力加权的尺寸为[h,w,c]的输出特征图。
图3中,“Element wise multiplication”表示两个张量的逐元素乘法操作,其中一个张量的尺寸为H×W×C,另一个为1×1×C。直接进行逐元素乘法在尺寸上是不匹配的,因为前者具有空间维度(高度H和宽度W),而后者仅包含通道维度C。为了解决这一问题,采用了广播机制,该过程由深度学习框架自动处理,无需实际的数据复制。具体而言,1×1×C的注意力权重首先在空间维度上被自动复制,使其尺寸与H×W×C的特征图相同,即每个通道的权重被应用到整个空间区域。这意味着每个通道的注意力权重w_c会被复制到H×W的每个位置,从而生成一个与原始特征图尺寸一致的张量。随后,这两个尺寸相同的张量可以进行逐元素乘法操作,最终得到调整后的特征图,其中每个通道的特征值根据其对应的注意力权重被放大或抑制。这种方式不仅确保了操作的可行性,还有效地实现了对每个通道重要性的动态调整。
在增强跨通道交互的同时,HAB-GAN还引入了空间注意机制,以进一步提升模型性能。空间注意模块通过对特征图在空间维度上进行加权,使得重要特征更为突出。该模块主要由一个空间注意子块(SAM)和三个空间注意残差块(SARB)组成,如图3所示。SAM生成的注意图是一个二维矩阵,元素值表示分配给每个像素的注意力值;像素值越高,表明该像素的重要性越大。
具体而言,图4所示的SAM是一个在上下左右四个方向进行两轮处理的递归神经网络,采用ReLU激活和单位矩阵初始化。在第一轮单位矩阵初始化过程中,SAM生成一个包含输入图像中位置点的上下文信息的特征图。第二轮单位矩阵初始化则进一步捕获非局部上下文信息,生成全局感知的特征图。这一过程中所生成的特征图为后续的注意力加权提供了丰富的信息。最后,图5所示的空间注意残差块在标准残差块的基础上增加了注意力图,使得在注意力图的影响下,采用残差模块可以更有效地进行去雾处理。这一设计不仅增强了模型的表达能力,还提高了去雾的效果。在图5中,SARB中的“Element wise multiplication”操作同样采用广播机制。通过广播机制,较小尺寸的注意力权重矩阵在空间维度上自动扩展,即将单个注意力值在整个空间维度上复制,生成一个与原始特征图尺寸相同的权重矩阵。这样,两个尺寸一致的矩阵便可以进行逐元素乘法操作。
图4 空间注意子块

Fig.4 Spatial Attention Block

图5 空间注意残差块

Fig.5 Spatial attention residual block

1.2 鉴别器

HAB-GAN的判别器采用标准的卷积神经网络架构,由多个卷积层、批量归一化层和Leaky ReLU激活函数组成。判别器的输入为图像,通过逐层提取图像的局部特征,并通过下采样逐步缩减图像空间维度,从而增强对细节和纹理信息的捕捉能力。输出层通过sigmoid激活函数生成二分类结果,用于判断输入图像是真实图像还是由生成器生成的虚假图像。通过这种结构,判别器在训练过程中能有效提高模型对图像真实性的辨别能力,并指导生成器不断优化生成图像的质量。图6展示了判别器的结构,其中CBR表示卷积层、批量归一化层和Leaky ReLU层的组合。通过这种结构,判别器能够有效地学习并识别图像的真实性,从而增强生成对抗网络的整体性能。
图6 HAB-GAN的鉴别器

Fig.6 Discriminator of HAB-GAN

1.3 损失函数

HAB-GAN的总损失函数如公式(1)所示。
L H y A = a r g   m i n G m a x D L C G A N ( G , D ) + L L 1 ( G ) + L A t t
总损失函数由三部分组成,分别是条件生成对抗网络(cGAN)损失函数、L1损失函数和注意力损失函数。这三种损失函数协同作用,以确保生成的图像既具有真实感,又保持高质量的细节。在训练过程中,cGAN损失函数促进生成器和判别器之间的对抗性学习,L1损失函数则确保生成图像与真实图像之间的像素级一致性,而注意力损失函数则进一步增强模型在关注重要特征方面的能力。这种综合损失函数的设计有效提升了模型的性能。
1)条件cGAN的损失函数如公式(2)所示。
L c G A N G , D = E x , y p d a t a   x , y l o g   D x | y + E z p z z l o g   1 - D G z | y | y + E z p z ( z ) [ l o g   D ( G ( z y ) y ) ]
2)L1损失函数如公式(3)所示。
L L 1 ( G ) = 1 C H W c = 1 C v = 1 H u = 1 W λ c | I g t ( u , v , c ) - G l i n ( u , v , c ) | 1
式中: l i n  是输 λ的雾图像; I g t是真实图像; λ c是每个通道的权重对损失的贡献; G l i n    是生成器的输出;C是通道数;H和W分别表示图像的高度和宽度。
3)注意力损失函数,用于计算有雾图像与去雾图像的差异,计算方法如公式(4)所示。
L A t t = A - M 2 2
式中:A是空间注意子模块生成的注意图,M是雾区域的二值图像。

2 实验与结果

本研究主要涵盖了一系列针对HAB-GAN模型的实验,详细介绍了所使用的数据集和评估指标。此外,进行了对比实验,以分析和研究模型的性能,并开展消融实验以解释和分析不同组件对结果的影响。通过这一全面的实验设计,评估了HAB-GAN模型在遥感图像去雾方面的表现。

2.1 数据集

RESISC45数据集是中国科学院自动化研究所发布的一个用于遥感图像场景分类的标准数据集。该数据集包含了31 500张高分辨率的遥感图像,这些图像分别属于45个不同的场景类别,每个类别包含700张图像,图像像素尺寸为256×256 25。场景类别涵盖了城市、农村、工业、农业和自然等多种地表覆盖和功能区类型。数据集中的图像主要来自Google Earth和百度地图等公开卫星图像资源,通过精细挑选和标注,这些图像涵盖了全球不同地理位置和不同时间的场景,具有高度的多样性和代表性。RESISC45数据样本如图7所示。
图7 RESISC45数据的有雾与无雾图

Fig.7 Fog and no-fog images of RESISC45 data

2.2 评估指标

HAB-GAN模型的输入为有雾图像,输出为去雾图像。为了评估HAB-GAN模型生成的去雾图像的质量,并评估其对遥感图像进行去雾的能力,采用PSNR和SSIM作为图像质量的评价指标。
1)PSNR是评价图像质量最广泛使用的指标。PSNR通过比较预测图像与真实图像之间的均方误差(MSE)来计算,以量化图像的重建质量。通常,PSNR值越高,表示生成图像与真实图像之间的相似度越大,从而意味着图像质量更好。计算方法如公式(5)所示。
P S N R = 10 l o g 10   M A X I 2 M S E
式中:n为灰度图像的像素值; M A X I  为一个像素颜色分量的最大数值。MSE为图像X和图像Y之间的均方误差,计算方法如公式(6)所示。
M S E = 1 H × W i = 1 H j = 1 W ( X ( i , j ) - Y ( i , j ) ) 2
2)SSIM是一种评估指标,旨在从亮度、对比度和结构三个方面衡量两幅图像之间的相似性。与PSNR相比,SSIM更关注图像的结构信息。因此,SSIM能够提供更具直观性的质量评估,尤其在图像去雾和重建等应用中具有重要意义。SSIM的计算方法如公式(7)所示。亮度比较、对比度比较和结构比较可以通过公式(8)~公式(10)计算。
S S I M = [ I ( X , Y ) ] a [ c ( X , Y ) ] β [ s ( X , Y ) ] γ
I ( X , Y ) = 2 μ X μ Y + C 1 μ X 2 + μ Y 2 + C 1
c ( X , Y ) = 2 σ X σ Y + C 2 σ X   2 + σ Y   2 + C 2
s ( X , Y ) = σ X Y + C 3 σ X σ Y + C 3
式中:亮度比较、对比度比较和结构比较分别衡量图像在不同特征维度上的相似性。设定常数α > 0、β > 0、γ > 0 用于调节各比较项的权重, μ X μ Y分别为XY的均值, σ X σ Y分别为XY的标准差, σ X YXY的协方差。常数C1、C2、C3用于避免在分母过小情况下产生的系统误差。为简化SSIM计算过程,通常取α = β = γ = 1,并令C3 = C2 / 2。简化后的SSIM方程可以由公式(11)表示。
S S I M = 2 μ X μ Y + C 1 2 σ X Y + C 2 μ X 2 + μ Y 2 + C 1 σ X 2 + σ Y 2 + C 2
SSIM的取值范围是0到1之间,SSIM值越接近1,说明两幅图像的相似度越高。通常当SSIM值大于0.9时,就可以认为两幅图像相似。

2.3 实验

为了分析HAB-GAN模型在遥感图像去雾方面的效果,设计了一个对比实验,以进行定量分析和研究。针对前述的RESISC45遥感数据集,将HAB-GAN与现有的其他注意力机制去雾模型(如SpA GAN和HyA-GAN)进行了比较,以评估在不同程度雾霾条件下的去雾效果。图8展示了将SpA GAN、HyA-GAN和HAB-GAN模型应用于RESISC45数据集的结果。图8中第一列为有雾的图像,随后依次是SpA GAN、HyA-GAN和HAB-GAN模型的输出图像,最后一列为无雾的参考图像,整体从左到右排列。由图8可以看出,SpA-GAN模型在图中红色标注区域的色彩还原和细节保留方面存在明显不足,其生成图像在色彩饱和度和边缘锐利度上较为欠缺,归因于其对局部信息恢复能力的有限性。相比之下,HyA-GAN模型在色彩还原和细节表现上有所改善,但其生成图像在某些区域仍显现出色彩失真和细节模糊的问题。此外,HyA-GAN模型由于采用了更为复杂的架构,其模型复杂度显著增加,导致训练和推理过程中的计算成本较高,同时在不同测试场景下的性能表现不够稳定,限制了其实际应用的广泛性。相比之下,本研究提出的HAB-GAN模型展现出优越的性能。HAB-GAN通过引入高效的通道注意力模块,显著提升了特征提取的精度,同时有效降低了模型的整体复杂度。在红色标注区域,HAB-GAN生成的图像不仅在色彩还原上更加准确,且细节处理更加精细,边缘部分更加清晰锐利。这表明HAB-GAN在保持高性能的同时,实现了更高效的计算,生成图像质量显著优于SpA-GAN和HyA-GAN。此外,HAB-GAN在多个测试场景中表现出较高的稳定性,进一步验证了其在遥感图像去雾任务中的实用性和应用潜力。
图8 不同模型在RESISC45数据集上的去雾结果

a. 有雾图像 b.SpA GAN 生成的去雾图像 c. HyA-GAN 生成的去雾图像 d. HAB-GAN生成的去雾图像 e. 无雾图像

Fig.8 Dehazing results of different models on the RESISC45 dataset

表1可知,HAB-GAN模型的性能最高,PSNR和SSIM指标分别为34.422 5 dB和0.960 9。这表明该模型在遥感图像去雾任务中具有良好的性能。与HyA-GAN模型对比,其PSNR和SSIM分别提高了1.138 dB、0.001 9;与SpA GAN模型对比,其PSNR和SSIM分别提高了2.642 5 dB、0.012 2。与现有遥感图像去雾模型相比,HAB-GAN模型表现出了优越的性能。
表1 在RESISC45数据集上的去雾结果的定量分析

Table 1 Quantitative analysis of dehazing results on the RESISC45 dataset

模型 PSNR/dB SSIM
SpA GAN 31.780 0 0.948 7
HyA-GAN 33.284 5 0.959 0
HAB-GAN 34.422 5 0.960 9
此外,SpA GAN模型和HyA-GAN模型在遥感图像去云任务上也展现了较强的能力。为了验证HAB-GAN模型的泛化能力,在RICE2数据集上对SpA GAN、HyA-GAN和HAB-GAN模型的去云性能进行了实验。具体的去云性能如图9所示,其中第一列为有云的图像,随后依次是SpA GAN、HyA-GAN和HAB-GAN模型生成的去云图像,最后是一张无云的参考图像,从左到右排列。这一比较有助于更全面地评估各模型在去云任务中的表现。
图9 不同模型在 RICE2数据集上的去云结果

a. 有云图像 b. SpA GAN生成的去云图像 c. HyA-GAN 生成的去云图像 d. HAB-GAN生成的去云图像 e. 无云图像

Fig. 9 Declouding results of different models on the RICE2 dataset

图9可以看出,SpA-GAN在去云效果评估中表现最为逊色,由于云层的遮蔽,导致图像恢复过程中细节信息的显著丢失,并且残留云层现象依然存在。这些红色标注区域清晰地展示了SpA-GAN在处理复杂云层覆盖时的局限性,进一步验证了其去云性能的不足。相比之下,HyA-GAN的去云效果较为优越,能够较为有效地去除云层并部分恢复地物细节,但在某些局部区域的信息处理仍显不足,导致细节部分依然模糊不清。本研究提出的HAB-GAN模型生成的去云图像与无云参考图像最为接近,显示出较强的恢复能力和细节保留能力。
表2可知,HAB-GAN模型在去除云任务中的表现同样优异,PSNR和SSIM分别达到了31.514 8 dB和0.959 9。这些结果表明,HAB-GAN不仅在去雾任务中表现出色,在去云任务中同样具有出色的性能。与HyA-GAN模型相比,HAB-GAN的PSNR提高了1.854 dB,SSIM提高了0.012 4;与SpA GAN模型相比,PSNR提升了3.593 2 dB,SSIM提升了0.040 2。通过这些对比可以清楚看出,HAB-GAN模型在去云任务中的图像质量和细节恢复方面具有显著优势,尤其是在处理云层遮挡带来的复杂场景时,其生成的去云图像在结构相似度和噪声处理能力上远超其他模型。这一结果进一步验证了HAB-GAN模型在不同任务中的广泛适应性和强大的泛化能力,使其在去云、去雾等遥感图像的恢复处理中展现出明显的性能优势。
表2 在RICE2数据集上的去云结果的定量分析

Table 2 Quantitative analysis of cloud removal results on the RICE2 dataset

模型 PSNR/dB SSIM
SpA GAN 27.921 6 0.919 7
HyA-GAN 29.660 8 0.947 5
HAB-GAN 31.514 8 0.959 9

2.4 消融实验

为了确定提出的HAB-GAN模型各部分对模型性能的贡献进行了消融实验,并在RESISC45数据集上进行了测试和评估。实验以提出的HAB-GAN模型为基础,分别移除ECA模块、SAB模块,同时移除两者(HAB),共四组实验数据用于比较。具体实验结果的PSNR和SSIM指标如表3所示。
表3 各模型评估指标对比

Table 3 Comparison of evaluation indicators of each model

模型 PSNR/dB SSIM
HAB-GAN 34.422 5 0.960 9
HAB-GAN(无ECA) 31.780 0 0.948 7
HAB-GAN(无SAB) 31.467 5 0.952 2
HAB-GAN(无HAB) 30.556 4 0.927 5
表3可以看出,完整的HAB-GAN模型在去雾任务中表现最佳。与HAB-GAN模型相比,缺乏高效通道注意机制的模型(即SpA GAN模型)的PSNR和SSIM指标明显下降,PSNR下降了约2.64 dB,SSIM下降了约0.012 2,且SSIM的下降幅度更为显著。这表明,高效通道注意力模块在提升模型性能方面具有更明显的影响。另一方面,没有空间注意力模块的模型同样表现不佳,PSNR下降了约2.96 dB,SSIM下降了约0.008 7,无法有效地从局部到全局识别和聚焦遥感图像中的雾化区域,导致对局部信息的修复效果降低。此外,缺少混合注意机制的模型性能也显著下降,PSNR下降了约3.87 dB,SSIM下降了约0.033 4。且其下降幅度超过了其他两种模型。这进一步证明了本研究提出的混合注意力生成对抗网络更适合于遥感图像去雾任务,而高效通道注意力模块与空间注意力模块是提升模型性能的关键因素。

3 结 论

本研究提出了一种HAB-GAN用于遥感图像的去雾处理。通过结合ECA模块和空间注意力SAB模块,该模型不仅显著提升了去雾效果,还有效降低了模型的复杂度。实验结果表明,HAB-GAN在RESISC45和RICE2数据集上相较于SpA-GAN和HyA-GAN模型,在PSNR和SSIM等关键指标上均有显著提升,生成的去雾图像更接近无雾参考图像。消融实验进一步验证了混合注意力机制对模型性能的关键作用,其中ECA模块在跨通道特征捕捉上发挥了重要作用,SAB模块则增强了模型对雾霾区域的识别与修复能力。这两者的结合不仅改善了去雾效果,还提升了模型在其他图像处理任务中的泛化能力。因此,HAB-GAN不仅适用于遥感图像去雾,还可直接应用于农业遥感图像处理和城市规划等领域,以此提高图像清晰度和数据的可靠性。未来的研究将重点关注如何提高HAB-GAN在多样化天气条件下的适应性,使其能够在更加复杂的环境中保持优异的性能。这不仅对于遥感图像去雾任务至关重要,同时也为农业、城市规划等其他领域的图像处理任务提供了重要的技术支持。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
OSCO L P, MARCATO J, MARQUES RAMOS A P, et al. A review on deep learning in UAV remote sensing[J]. International journal of applied earth observation and geoinformation, 2021, 102: ID 102456.

2
PEYGHAMBARI S, ZHANG Y. Hyperspectral remote sensing in lithological mapping, mineral exploration, and environmental geology: An updated review[J]. Journal of applied remote sensing, 2021, 15(3): ID 031501.

3
WOOSTER M J, ROBERTS G J, GIGLIO L, et al. Satellite remote sensing of active fires: History and current status, applications and future requirements[J]. Remote sensing of environment, 2021, 267: ID 112694.

4
ZHANG H D, WANG L Q, TIAN T, et al. A review of unmanned aerial vehicle low-altitude remote sensing (UAV-LARS) use in agricultural monitoring in China[J]. Remote sensing, 2021, 13(6): ID 1221.

5
MA X F, WANG Q M, TONG X H. A spectral grouping-based deep learning model for haze removal of hyperspectral images[J]. ISPRS journal of photogrammetry and remote sensing, 2022, 188: 177-189.

6
HE J, YUAN Q Q, LI J, et al. A self-supervised remote sensing image fusion framework with dual-stage self-learning and spectral super-resolution injection[J]. ISPRS journal of photogrammetry and remote sensing, 2023, 204: 131-144.

7
HE J, LI J, YUAN Q Q, et al. Spectral response function-guided deep optimization-driven network for spectral super-resolution[J]. IEEE transactions on neural networks and learning systems, 33(9): 4213-4227.

8
张圆, 孔祥思, 张烁, 等. 深度学习技术在遥感影像滑坡识别中的应用[J]. 北京测绘, 2022, 36(10): 1385-1390.

ZHANG Y, KONG X S, ZHANG S, et al. Application of deep learning technology in remote sensing image landslide identification[J]. Beijing surveying and mapping, 2022, 36(10): 1385-1390.

9
孙志军, 薛磊, 许阳明, 等. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8): 2806-2810.

SUN Z J, XUE L, XU Y M, et al. Overview of deep learning[J]. Application research of computers, 2012, 29(8): 2806-2810.

10
DUAN Y L, LUO F L, FU M X, et al. Classification via structure-preserved hypergraph convolution network for hyperspectral image[J]. IEEE transactions on geoscience and remote sensing, 2023, 61: 1-13.

11
LUO F L, ZHOU T Y, LIU J M, et al. Multiscale diff-changed feature fusion network for hyperspectral image change detection[J]. IEEE transactions on geoscience and remote sensing, 2023, 61: 1-13.

12
GU Z Q, ZHAN Z Q, YUAN Q Q, et al. Single remote sensing image dehazing using a prior-based dense attentive network[J]. Remote sensing, 2019, 11(24): ID 3008.

13
HU A N, XIE Z, XU Y Y, et al. Unsupervised haze removal for high-resolution optical remote-sensing images based on improved generative adversarial networks[J]. Remote sensing, 2020, 12(24): ID 4162.

14
JIANG B, CHEN G T, WANG J S, et al. Deep dehazing network for remote sensing image with non-uniform haze[J]. Remote sensing, 2021, 13(21): ID 4443.

15
邱雨珉, 郭剑辉, 楼根铨, 等. 结合小波变换和注意力机制的U-NET图像去雾算法[J]. 计算机与数字工程, 2024, 52(6): 1859-1863.

QIU Y M, GUO J H, LOU G Q, et al. U-NET image dehazing algorithm combining wavelet transform and attention mechanism[J]. Computer & digital engineering, 2024, 52(6): 1859-1863.

16
李玉峰, 任静波, 黄煜峰. 基于深度学习的遥感图像去雾算法[J]. 计算机应用研究, 2021, 38(7): 2194-2199.

LI Y F, REN J B, HUANG Y F. Remote sensing image haze removal algorithm using deep learning[J]. Application research of computers, 2021, 38(7): 2194-2199.

17
王梦瑶, 孟祥超, 邵枫, 等. 基于深度学习的SAR辅助下光学遥感图像去云方法[J]. 光学学报, 2021, 41(12): 1228002.

WANG M Y, MENG X C, SHAO F, et al. SAR-assisted optical remote sensing image cloud removal method based on deep learning[J]. Acta optica sinica, 2021, 41(12): ID 1228002.

18
任欢, 王旭光. 注意力机制综述[J]. 计算机应用, 2021, 41(S1): 1-6.

REN H, WANG X G. Review of attention mechanism[J]. Journal of computer applications, 2021, 41(S1): 1-6.

19
吴胜垚, 陈星. 图像任务中空间和通道注意力机制研究综述[J/OL]. 微电子学与计算机, 2024: 1-13. (2024-05-09).

WU S Y, CHEN X. A review of the spatial and channel attention mechanisms in image tasks [J/OL]. Microelectronics & computer, 2024: 1-13. (2024-05-09).

20
杨云, 杨欣悦, 张小璇. 基于注意力机制的生成对抗网络图像超分辨重建[J]. 陕西科技大学学报, 2024, 42(2): 216-223, 232.

YANG Y, YANG X Y, ZHANG X X. Generative adversarial network image super-resolution reconstruction based on attention mechanism[J]. Journal of Shaanxi university of science & technology, 2024, 42(2): 216-223, 232.

21
HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2020, 42(8): 2011-2023.

22
WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional Block attention module[C]// Computer Vision – ECCV 2018. Cham, Germany: Springer International Publishing, 2018: 3-19.

23
HAO Y, JIANG W Z, LIU W F, et al. Dynamic feature attention network for remote sensing image dehazing[J]. Neural processing letters, 2023, 55(6): 8081-8094.

24
WANG Q L, WU B G, ZHU P F, et al. ECA-net: Efficient channel attention for deep convolutional neural networks[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020. Seattle, WA, USA. Piscataway, New Jersey, USA: IEEE, 2020: 11534-11542.

25
KOURMOULI G, KOSTAGIOLAS N, NICOLAOU M A, et al. Locality-preserving directions for interpreting the latent space of satellite image GANs[J]. IEEE geoscience and remote sensing letters, 2024, 21: 1-5.

文章导航

/