欢迎您访问《智慧农业(中英文)》官方网站! English
技术方法

ReluformerN:轻量化高低频增强高光谱农业地物分类方法

  • 刘伊 , 1, 2 ,
  • 张彦军 2
展开
  • 1. 太原工业学院 自动化系,山西 太原 030008,中国
  • 2. 中北大学 仪器与电子学院,山西 太原 030001,中国
刘 伊,讲师,研究方向为高光谱图像处理。E-mail:

收稿日期: 2024-06-17

  网络出版日期: 2024-10-09

基金资助

山西省高等学校科技创新项目

山西省基础研究计划青年项目(202103021223352)

校级立项项目(24020502)

ReluformerN: Lightweight High-Low Frequency Enhanced for Hyperspectral Agricultural Lancover Classification

  • LIU Yi , 1, 2 ,
  • ZHANG Yanjun 2
Expand
  • 1. Department of Automation, Taiyuan Institute of Technology, Taiyuan 030008, China
  • 2. School of Instrument and Electronics, North University of China, Taiyuan 030001, China
LIU Yi, E-mail:

Received date: 2024-06-17

  Online published: 2024-10-09

Supported by

Science and Technology Innovation Project of Higher Education in Shanxi Province

The Youth Project of Basic Research Program of Shanxi Province(202103021223352)

University-Level Funded Project(24020502)

Copyright

copyright©2024 by the authors

摘要

【目的/意义】 为了智能监测农业地物种类分布情况,一般采用无人机搭载高光谱相机进行高光谱数据采集,之后对高光谱数据分类,实现农作物分布图自动绘制。但不同农作物外形相似,同一农作物不同生长期差别较大,所以对农业地物分类的网络模型要求较高。分类精度较高的网络模型往往复杂程度较高,无法部署在硬件系统中。针对以上问题,本研究提出一种轻量化高低频增强的ReluformerN网络(Reluformer Network)实现农业地物分类。 【方法】 首先提出自适应八倍频卷积,不仅可以对高光谱图像的空间和光谱频域特征进行提取,同时缓解了内部人工参数设置带来的影响。其次针对低频信息可以捕获全局特征的特点,提出Reluformer进行全局特征提取,Reluformer相比transformer具有线性计算复杂度,有利于网络轻量化的同时保持了提取全局特征的能力。将该网络在三个公开的有关农作物品种精细分类的高光谱数据集上进行实验,并与较为流行的五种分类网络进行对比。 【结果和讨论】 ReluformerN在整体精度(Overall Accuracy, OA)、平均精度(Average Accuracy, AA)等精度评价指标中表现较好。在模型参数量(Parameters)、模型计算量(FLOPs)模型复杂度评价指标中,ReluformerN参数量最小,计算量最低。 【结论】 本研究提出的ReluformerN网络在农作物品种分类精度和模型复杂度之间达到了较好的平衡,有望后续部署在资源有限的硬件系统中,实现地物实时分类功能。

本文引用格式

刘伊 , 张彦军 . ReluformerN:轻量化高低频增强高光谱农业地物分类方法[J]. 智慧农业, 2024 , 6(5) : 74 -87 . DOI: 10.12133/j.smartag.SA202406008

Abstract

[Objective] In order to intelligently monitor the distribution of agricultural land cover types, high-spectral cameras are usually mounted on drones to collect high-spectral data, followed by classification of the high-spectral data to automatically draw crop distribution maps. Different crops have similar shapes, and the same crop has significant differences in different growth stages, so the network model for agricultural land cover classification requires a high degree of accuracy. However, network models with high classification accuracy are often complex and cannot be deployed on hardware systems. In view of this problem, a lightweight high-low frequency enhanced Reluformer network (ReluformerN) was proposed in this research. [Methods] Firstly, an adaptive octave convolution was proposed, which utilized the softmax function to automatically adjust the spectral dimensions of high-frequency features and low-frequency features, effectively alleviating the influence of manually setting the spectral dimensions and benefiting the subsequent extraction of spatial and spectral domain features of hyperspectral images. Secondly, a Reluformer was proposed to extract global features, taking advantage of the fact that low-frequency information could capture global features. Reluformer replaced the softmax function with a function of quadratic computational complexity, and through theoretical and graphical analysised, Relu function, LeakRelu function, and Gelu function were compared, it was found that the ReLU function and the softmax function both had non-negativity, which could be used for feature relevance analysis. Meanwhile, the ReLU function has a linearization feature, which is more suitable for self-relevance analysis. Therefore, the ReLU self-attention mechanism was proposed, which used the ReLU function to perform feature self-attention analysis. In order to extract deep global features, multi-scale feature fusion was used, and the ReLU self-attention mechanism was used as the core to construct the multi-head ReLU self-attention mechanism. Similar to the transformer architecture, the Reluformer structure was built by combining multi-head ReLU self-attention mechanism, feedforward layers, and normalization layers. With Reluformer as the core, the Reluformer network (ReluformerN) was proposed. This network considered frequency from the perspective of high-frequency information, taking into account the local features of image high-frequency information, and used deep separable convolution to design a lightweight network for fine-grained feature extraction of high-frequency information. It proposed Reluformer to extract global features for low-frequency information, which represented the global features of the image. ReluformerN was experimented on three public high-spectral data sets (Indian Pines, WHU-Hi-LongKou and Salinas) for crop variety fine classification, and was compared with five popular classification networks (2D-CNN, HybirdSN, ViT, CTN and LSGA-VIT). [Results and Discussion] ReluformerN performed best in overall accuracy (OA), average accuracy (AA), and other accuracy evaluation indicators. In the evaluation indicators of model parameters, model computation (FLOPs), and model complexity, ReluformerN had the smallest number of parameters and was less than 0.3 M, and the lowest computation. In the visualization comparison, the classification effect diagram of the model using ReluformerN had clearer image edges and more complete morphological structures, with fewer classification errors. The validity of the adaptive octave convolution was verified by comparing it with the traditional eightfold convolution. The classification accuracy of the adaptive octave convolution was 0.1% higher than that of the traditional octave convolution. When the artificial parameters were set to different values, the maximum and minimum classification accuracies of the traditional octave convolution were about 0.3% apart, while those of the adaptive octave convolution were only 0.05%. This showed that the adaptive octave convolution not only had the highest classification accuracy, but was also less sensitive to the artificial parameter setting, effectively overcoming the influence of the artificial parameter setting on the classification result. To validated the Reluformer module, it was compared with transformer, LeakRelufromer, and Linformer in terms of accuracy evaluation metrics such as OA and AA. The Reluformer achieved the highest classification accuracy and the lowest model parameter count among these models. This indicated that Reluformer not only effectively extracted global features but also reduced computational complexity. Finally, the effectiveness of the high-frequency and low-frequency branch networks was verified. The effectiveness of the high-frequency and low-frequency feature extraction branches was verified, and the characteristics of the feature distribution after high-frequency feature extraction, after high-low frequency feature extraction, and after the classifier were displayed using a 2D t-sne, compared with the original feature distribution. It was found that after high-frequency feature extraction, similar features were generally clustered together, but the spacing between different features was small, and there were also some features with overlapping situations. After low-frequency feature extraction, it was obvious that similar features were clustered more tightly. After high-low frequency feature fusion, and after the classifier, it was obvious that similar features were clustered, and different types of features were clearly separated, indicating that high-low frequency feature extraction enhanced the classification effect. [Conclusion] This network achieves a good balance between crop variety classification accuracy and model complexity, and is expected to be deployed on hardware systems with limited resources in the future to achieve real-time classification functions.

0 引 言

为了监测农业耕地利用率和农作物分布情况,需要定时绘制农作物分布图。过去农作物分布绘制需要大量人力进行走访丈量,同时由于不同农作物初期生长状况相似,同一物种不同生长时期差别较大,需要具有较高水平的专业人员进行农业物种辨别。利用机载无人机可以对某一耕地区域进行拍摄,由于高光谱图像包含了丰富的空间和光谱信息1,相比于二维图像数据,高光谱数据可以看成具有光谱信息的三维图像。增加的光谱信息可以更精确地对众多农作物品种进行分类,且无需大量专业人员进行操作,实现农作物地物分布图的自动绘制2和农业布局监测。最初高光谱农业地物图像分类采用支持向量机(Support Vector Machine, SVM)3、随机森林(Random Forest, RF)4、轮廓特征等传统方法5。这些方法的缺点是只能提取浅层特征,需要人工参数设置,泛化能力弱。随着深度学习方法的提出,目前利用深度学习进行高光谱图像分类成为了主流方法。
利用深度学习对高光谱图像进行农业地物分类,大体可以分为三个基本框架:以编码-解码网络结构为基本框架、以深度置信网络为基本框架,以及以卷积神经网络为基本框架。最初卷积神经网络出现了大量经典网络,大部分是将空间和光谱信息联合进行高光谱分类,如采用2维卷积神经网络(2-Dimensional Convolutional Neural Networks Convolutional Neural Network, 2D CNN)和3D CNN对空间和光谱信息直接提取6, 7。但3D CNN计算消耗过大,硬件要求较高。之后提出了采用2D CNN和3D CNN结合的HybirdSN网络8,但该网络只能提取浅层特征,分类精度不理想。为了进一步对深层特征提取,提出了多尺度特征融合方法9-11。为了增强网络特征提取能力,后续将注意力机制加入到卷积网络12-14,改变网络结构,如设计胶囊网络和金字塔网络结构15, 16。但是为了提取深层特征,设计的网络层数逐渐增加,因此产生了梯度消失问题。为了克服梯度消失,残差网络和优化残差网络的方法相继提出17-19
以CNN为基本框架的网络容易忽略全局特征。随着transformer的提出,近几年,以transformer为主的编码-解码为主要框架的网络相继提出。但是由于transformer主要进行全局特征提取,忽略了局部特征。大部分网络设计将CNN与transformer结合,对特征进行局部到全局的提取。如利用卷积对特征进行多尺度局部特征提取并与transformer结合20。考虑到对高光谱农业地物分类后,不同种类边缘不平滑,分类精度较差等问题,采用形态学为引导与transformer相结合21。但是由于transformer二次型计算复杂度的问题,使得以transformer为核心的网络要求较高的硬件设备,所以针对transformer二次型计算复杂程度的问题对transformer进行线性化处理22, 23。但是线性化的transformer分类精度往往低于transformer。
针对网络复杂度与分类精度之间不平衡问题,本研究提出一种轻量化的高低频增强Reluformer网络,与以往对图像时域研究不同,针对图像的频域进行研究。首先提出自适应八倍频卷积对图像高低频分解;其次对transformer进行线性化,提出Reluformer结构,使其在进行全局特征提取的同时达到线性复杂度计算。设计的网络对transformer线性化的同时提高了其分类性能,有利于后续部署在资源有限的硬件系统中,为农业分布情况智能监测提供帮助。

1 ReluformerN架构

提出的轻量化高低频增强的ReluformerN结构如图1所示。该网络总体包含四个模块。第一个模块为高光谱数据预处理。由于高光谱图像光谱信息丰富,过多的光谱信息会造成信息冗余。所以采用主成分分析(Principal Component Analysis, PCA)方法对光谱信息进行选取24。第二个模块为高光谱数据的高低频分量分解。第三个模块为高低频特征提取,该模块由两条分支构成,一条分支采用Reluformer进行全局特征提取,另一条分支采用轻量化卷积进行空间光谱细粒度特征提取。第四个模块为多层感知机(Multi-Layer Percepron, MLP),对图像进行分类。
图1 以自适应八倍频卷积为核心的高低频增强ReluformerN结构图

Fig.1 High-low frequency enhancement Reluformer network structure taking adaptive ocatave convolution as the core

1.1 自适应八倍频卷积

高低频特征分解主要利用自适应八倍频卷积进行特征提取。高光谱数据可以表示为 X R H × W × C,其中 H W表示为特征空间长度和宽度, C表示原始光谱维数。经过PCA分析后数据表示为 X R H × W × B B表示为经过PCA后选取的光谱维度。对高光谱高低频特征分解,主要采用改进八倍频卷积进行分解。
传统八倍频卷积将特征图沿着通道维度,将特征图表示为 X = X H , X L,其中高频特征表示为 X H R H × W × ( 1 - α ) C X L表示低频特征。考虑到空间的低频信息可能有冗余,所以将低频特征的空间大小减小为高频特征的1/2,因此低频特征表示为 X L R H 2 × W 2 × α C α表示选取的通道数占比值,也就是代表高光谱数据里的光谱维数。光谱维数一部分分配给高频特征,另一部分分配给低频特征。而 α需进行手动设置,设置范围 α 0,1 25。大部分文献中26-28,对 α设置为0.5,认为高频特征和低频特征各占一半的通道数。但是高光谱数据中,光谱特征与空间特征同等重要,若高频特征分配较多的光谱,代表特征中高频特征占比较多。但是高低频特征占比并没有一个固定的依据,需要人工手动配置。而手动设置光谱维数,一般需要一定的先验知识。尤其针对高光谱数据, α设置对最终的分类结果影响较大,后续在重要模块验证的实验中进行了证明。
考虑到人工设置 α,对高低频特征提取有影响,对八倍频卷积进行改进,减小人工设置对特征提取的影响。
X Y分别表示输入张量和输出张量,输出张量由高低频特征分量构成,可以表示为 Y = Y H , Y L。其中, Y H = Y H H + Y L H Y L = Y L L + Y H L Y A B表示特征从A到B更新, Y H H Y L L表示频率内自我更新, Y H L Y L H表示高低频交互更新。为了更新特征,将卷积核通道分为 W = W H , W L ,分别与输入张量 X H , X L进行卷积。以空间位置 p , q为例,高频分量包含自身高频分量更新和低频到高频的交互更新, Y H H自身高频分量采用卷积进行特征更新, Y L H从低频到高频更新采用上采样(upsample)操作,如公式(1)表示。
Y p , q H = Y p , q H H + Y p , q L H
         = i , j N k W i + k - 1 2 , j + k - 1 2 H H T X i + p , j + p H +      i , j N k W i + k - 1 2 , j + k - 1 2 L H T X i + p 2 , j + p 2 L
式中: Y p , q H为在空间位置 p , q的高频特征; Y p , q H H 为空间位置 p , q的高频到高频特征更新, Y p , q L H为空间位置 p , q低频到高频特征更新; N k = i , j : i = - k - 1 2 , , k - 1 2 , j = - k - 1 2 , , k - 1 2表示局部邻域范围。 W i + k - 1 2 , j + k - 1 2 H H W i + k - 1 2 , j + k - 1 2 L H为采用卷积操作生成的权值, X i + p , j + p H X i + p 2 , j + p 2 L表示输入的高低频特征。
以空间位置 p , q为例,针对低频分量更新,低频分量包含自身低频分量和从高频到低频更新后的低频分量, Y L L自身低频分量特征更新采用卷积操作, Y H L从高频到低频分量更新采用平均池化(avgpool)操作,如公式(2)表示。
Y p , q L = Y p , q L L + Y p , q H L
         = i , j N k W i + k - 1 2 , j + k - 1 2 L L T X i + p , j + p L + i , j N k W i + k - 1 2 , j + k - 1 2 H L T X i + 2 × p + 0.5 , j + 2 × p + 0.5 H
式中: X i + p 2 , j + p 2 L为上采样后低频特征分量; X i + 2 × p + 0.5 , j + 2 × p + 0.5 H为平均池化后的高频特征分量。
自适应八倍频卷积具体过程如图2所示。针对高频特征分量,高频特征频率内更新和低频到高频之间更新,更新后加入softamx函数。Softmax函数可以根据高频中频率内更新的特征和低频到高频之间频率间更新的特征,通过特征值大小判断其重要程度,自动赋予其权重值。通过自适应调整特征权重值,调整高频频率内和频率间特征的占比,由此减少人工设置 α对高低频分量的影响。同理,低频特征分量,也加入了softamx函数,对低频分量间特征自适应调整。
图2 自适应八倍频卷积结构

注: c i n为输入通道; c o u t为输出通道; H为特征高度; W为特征宽度; α 0,1;pool为池化操作;upsample为上采样操作; X H为输入高频特征; X L为输入低频特征; Y H为输出高频特征; Y L为输出低频特征。

Fig. 2 Structure of adaptive octave convolution

自适应八倍频卷积内部特征更新,包括高频特征更新和低频特征更新,以高频特征更新过程为例进行说明, Y H H自身高频特征更新采用公式(3)表示, Y L H低频到高频特征采用上采样(upsample)操作如公式(4)表示。
Y 1 H = f W H ; X H H  
Y 2 H = u p s a m p l e f W L ; X L H
式中: Y 1 H为自身高频特征更新后的输出高频特征; Y 2 H为低频到高频特征更新后的输出高频特征; X H H为高频到高频更新的输入特征; X L H为低频到高频更新的输入特征。
Y 1 H Y 2 H信息通过softamx函数对 Y 1 H Y 2 H进行判断,形成新的权重参数 a b,具体过程如公式(5)公式(6)所示。
a = e Y 1 H e Y 1 H + e Y 2 H                                
b = e Y 2 H e Y 1 H + e Y 2 H
权重参数表示 Y 1 H Y 2 H特征对整个高频特征的重要程度,由此调整最终的特征输出。最终高频特征分量可以表示为权重参数与原高频分量相乘,如公式(7)所示。
Y H = a × Y 1 H + b × Y 2 H ,    a + b = 1

1.2 Reluformer结构

图像低频信息表示全局信息,为了有效提取全局特征,同时考虑到transformer二次型计算复杂度的缺点。受cosformer启发29,采用Reluformer结构进行全局特征提取。Transformer以自注意力机制为核心,首先将输入特征通过线性层分为查询向量(Query, Q ),关键向量(Key, K )和数值向量(Value, V )三个值,自注意力机制主要通过 Q K 相乘,并通过softmax函数获得自相关系数30。自注意力机制具体数学表达式如公式(8)所示。
H = s o f t m a x Q T K d k V
式中:H为生成的自注意力; d k Q K 的维度; Q 为查询向量; K为 关键向量; V为数值向量。自注意力机制中的softamx函数为指数函数,是导致计算二次型复杂度的根本原因。将softmax函数与Relu函数、LeakyRelu函数,以及Gelu函数进行对比,图3为激活函数图形表示。
图3 Relu函数有效性研究将不同激活函数与softmax对比

Fig.3 The study on the effectiveness of Relu functions compares different activation functions with softmax

图3中可以看出,softmax函数从0开始以指数趋势递增,具有非负性。为了找到具有非负性特点的函数,将softmax函数与常用的激活函数对比。激活函数中Gelu函数在 x < 0出现负值,不具有非负性,同时在 x < 0时不具有线性特点。Relu函数和LeakyRelu函数都具有线性化特点,但两个函数在 x < 0对比,LeakyRelu与Gelu函数相同,在 x < 0出现负值。若进行相关性分析,出现负值代表上下文特征具有负相关性。而负相关性的出现容易干扰全局特征的分析。
为了有效消除负值,使函数具有非负性,同时将transformer线性化,本研究采用Relu函数计算自相关系数,数学表达如公式(9)所示。
H = j = 1 N ( R e l u ( Q T ) R e l u ( K ) V j = 1 N ( R e l u ( Q T ) R e l u K )
公式(9)进行重新排列,线性自注意力机制具体表示如公式(10)所示。
H = R e l u ( Q T ) j = 1 N R e l u K V e l u ( Q T ) j = 1 N R e l u K
Reluformer以Relu自注意力机制(Relu-attention)为核心,与transformer类似,多头Relu自注意力机制(Multi-head Reluattention)可以令Reluformer进行多尺度特征融合,结构如图4a所示。多头Relu-attention由线性层(Linear)产生 Q K V,经过多头Relu-attention后,产生的多尺度特征经过拼接(concat)操作,进行特征融合。以Relu-attention为核心的Reluformer结构由两个层归一化(Layer Normaliation),多头Relu自注意力机制和前馈层(Feed Forward),Reluformer具体结构如图4b所示。
图4 多头Relu自注意力机制和Reluformer结构图

Fig. 4 Multi-head ReLU attention mechanism and the structure of Reluformer

传统自注意力机制复杂度为 Ο ( 2 N 2 d ),一般选取 N 2 d,所以自注意力机制计算复杂度约为 Ο ( N 2 ),对于Relu自注意力机制 Ο ( 2 d 2 N ) Ο ( N ),所以线性化后的自注意力机制在达到全局特征提取的同时减少了计算复杂度。

1.3 高频细粒度特征提取

图像高频信息表示图像细节信息,为了充分提取细粒度特征,同时考虑到轻量化的需求,采用多尺度深度可分离卷积进行细粒度特征提取22。深度可分离卷积包括深度卷积和点卷积,具体结构如图5所示,采用3 ×3和5 ×5的卷积核大小的深度卷积进行空间多尺度特征提取,采用1 ×1点卷积进行通道融合进行光谱特征提取。
图5 高频细粒度特征提取结构图

Fig. 5 High-frequency fine-grained feature extraction structure

2 试验结果及分析

从分类精确度与分类可视化效果两个方面评估ReluformerN对农业地物分类效果。分类精度定量地表示本研究提出的网络对农业地物分类的精确度。分类可视化效果图定性地分析分类效果,主要查看分类错误点分布情况和物种分布的边缘效果。

2.1 实验数据

采用巴斯克大学31和武汉大学32公开的高光谱数据集,包括印度西北部印第安松树数据集(Indian Pines, IP),中国武汉龙口市数据集(WHU-Hi-LongKou),以及美国加利福尼亚州北部的萨利纳斯数据集(Salinas, SA),包含了三个国家部分区域农作物分布情况。IP数据集由机载可见光近红外成像光谱传感器在六月时获取,数据的2/3为农作物,1/3为天然植物,如草地和树木。农作物物种约为16个类别。其中玉米、大豆农作物处于生长期,较难与天然植物判别,同时不同物种覆盖率较小。WHU-Hi-LongKou数据拍摄于7月,包含了水稻,阔叶大豆,窄叶大豆等中国南方种植的物种。SA数据集主要集中在对水果与蔬菜的区分,同时需要精准区分出同一物种的不同生长周期。每个数据具体种类及样本数量如表1所示。
表1 实验采用的数据种类及样本数量

Table 1 Types and sample numbers of experimental data

IP WHU-Hi-LongKou SA
标号 颜色 种类 样本量/个 标号 颜色 种类 样本量/个 标号 颜色 种类 样本量/个
0 背景 10 776 0 背景 15 458 0 背景 56 975
1 苜蓿 46 1 玉米 34 511 1 绿花椰菜_1 2 009
2 免耕玉米地 1 428 2 棉花 8 374 2 绿花椰菜-杂草_2 3 726
3 玉米幼苗 830 3 芝麻 3 031 3 休耕 1 976
4 玉米 237 4 阔叶-大豆 63 212 4 休耕-粗耕 1 394
5 草地-牧场 483 5 窄叶-大豆 4 151 5 休耕-细耕 2 678
6 草地-树木 730 6 大米 11 854 6 秸秆 3 959
7 修剪后草地 28 7 67 056 7 芹菜 3 579
8 干草-料堆 478 8 道路和房屋 7 124 8 未修剪的葡萄 11 271
9 燕麦 20 9 混合杂草 5 229 9 葡萄园 6 203
10 免耕大豆地 972 10 玉米-未修剪的杂草 3 278
11 大豆幼苗 2 455 11 罗曼生菜_4周 1 068
12 修剪后大豆地 593 12 罗曼生菜_5周 1 927
13 小麦 205 13 罗曼生菜_6周 916
14 树林 1 265 14 罗曼生菜_7周 1 070
15 建筑-草-数目-机器 386 15 未修剪的葡萄园 7 268
16 石-钢-塔 93 16 垂直支架的葡萄园 1 807

2.2 实验条件及参数设置

实验在CPU为Intel Xeon(R) Gold 6226R,GPU为NVIDIA RTX 4000的台式电脑环境下运行。采用Python语言里的Pytorch 3.9架构编写程序。实验网络具体参数设置,patch size设置为21,批处理大小(batch size)设置为64。IP数据集PCA设置为30,其余设置为20。Reluformer中深度设置为1,多头自注意力机制中的head设置为2,优化器采用Adam优化器,学习速率为0.001,epoch设置为150。
将实验数据划分为训练数据和测试数据。在IP数据集上将数据的10%作为训练数据,其余作为测试数据。其他两组数据集,将数据的5%作为训练数据,其余作为测试数据。

2.3 对比实验及分析

2.3.1 精度及复杂度对比实验

采用五组对比网络,分别采用以卷积为主要架构的2D CNN6和以3D CNN与2D CNN融合的HybirdSN网络8,以transformer为主要架构的ViT27、多尺度卷积与transformer结合的CTN网络20,以及轻量化transformer网络LSGA-VIT23。采用总体分类精度(Overall Accuracy, OA)、平均分类精度(Average Accuracy, AA)和卡帕系数(Kappa)作为精度分类指标,将模型参数量(Parameters)和浮点计算量(FLOPs)作为模型复杂度衡量标准。
为了实验的公平性,对每个网络重复进行十次实验,取十次实验分类精度(%)均值与方差作为每一个类别的分类精确度。提出的网络与以上五个网络对比,在IP数据集、WHU-Hi-Long数据集和SA数据集上,分类精度和模型复杂度如表2~4所示。
表2 精度及复杂度研究IP数据集上不同网络的分类结果

Table 2 Accuracy and complexity study the classification results of different networks on IP dataset

分类 2D-CNN HybirdSN ViT CTN LSGA-VIT ReluformerN
1 95 . 00 ± 4.30 96.26 ± 3.45 98.20 ± 4.17 98.29 ± 4.17 92.68 ± 0.15 97.5 6 ± 1.1
2 89.77 ± 1.18 93.96 ± 1.04 94.10 ± 1.31 94.17 ± 1.31 97.43 ± 0.17 95.64 ± 0.41
3 97.87 ± 0.62 97.85 ± 0.76 97.60 ± 0.71 97.69 ± 0.71 98.79 ± 0.36 99.59 ± 0.66
4 88.1 0 ± 4.19 89.36 ± 3.93 99.40 ± 1.61 99.44 ± 1.61 98.59 ± 0.44 100.00 ± 0.00
5 90.93 ± 0.67 99.15 ± 0.39 99.10 ± 1.36 99.15 ± 1.36 95.63 ± 0.19 97.93 ± 0.18
6 100.00 ± 0.00 98.85 ± 0.37 99.30 ± 1.16 99.33 ± 1.16 99.54 ± 0.07 99.84 ± 0.21
7 100.00 ± 0.00 90.77 ± 4.21 99.10 ± 2.39 99.11 ± 2.39 92.00 ± 0.9 100.00 ± 0.00
8 100.00 ± 0.00 99.95 ± 0.08 100.0 ± 0.00 100.00 ±0.00 99.76 ± 0.17 100.00 ± 0.00
9 50 . 00 ± 0.00 70.53 ± 8.61 81.10 ± 5.73 81.11 ± 5.73 83.33 ± 2.12 94.44 ± 0.35
10 97.70 ± 0.00 96.35 ± 0.70 96.30 ± 3.34 96.31 ± 3.34 97.48 ± 0.11 97.71 ± 0.15
11 98.64 ± 0.00 97.94 ± 0.56 99.16 ± 0.5 99.16 ± 0.5 96.87 ± 0.08 99.40 ± 0.20
12 87.74 ± 2.82 84.89 ± 3.25 95.60 ± 6.26 95.67 ± 6.26 98.87 ± 0.21 95.69 ± 0.48
13 94.74 ± 0.00 98.43 ± 0.52 98.30 ± 2.85 98.38 ± 2.85 100.00 ± 0.00 99.94 ± 0.20
14 100 . 00 ± 0.00 100 . 00 ± 0.00 99.73 ± 0 . . 4 99.73 ± 0 . . 4 100.00 ± 0.00 99.91 ± 0.1
15 99.43 ± 1.63 96.49 ± 1.26 98.80 ± 2.85 98.88 ± 2.85 90.23 ± 0.35 99.71 ± 0.58
16 100.00 ± 0.00 95.58 ± 2.05 56.0 ± 18.26 56.31 ± 18.26 83.33 ± 1.18 92.85 ± 2.71
OA 95.90 ± 0.94 96.59 ± 0.46 97.50 ± 1.51 97.52 ± 1.51 97.60 ± 0.04 98.4 4 ± 0.06
AA 93.12 ± 1.13 94.15 ± 1.42 93.90 ± 6.17 93.93 ± 6.17 95.29 ± 0.12 98.39 ± 0.56
Kappa 95.67 ± 0.26 96.11 ± 0.52 97.10 ± 1.73 97.16 ± 1.73 97.27 ± 0.04 98.21 ± 0.06
Params/M 1.05 3.70 0.31 0.26 0.54 0.25
FLOPs/G 0.11 0.24 0.88 1.15 2.45 0.10
训练时间/s 13.09 30.74 25.46 11.9 36.12 25.07
测试时间/s 0.37 2.92 2.81 1.34 0.46 2.18
表3 精度及复杂度研究WHU-Hi-Longkou数据集上不同网络分类结果

Table 3 Accuracy and complexity study the classification results of different networks on WHU-Hi-Longkou dataset

Class 2D-CNN HybirdSN ViT CTN LSGA-VIT ReluformerN
1 99.96 ± 0.01 99.86 ± 0.09 99.93 ± 0.03 99.97 ± 0.02 99.79 ± 0.25 99.94 ± 0.25
2 96.86 ± 1.22 98.92 ± 0.80 98.78 ± 0.95 99.53 ± 0.16 99.67 ± 0.25 99.72 ± 0.18
3 92.81 ± 3.06 94.43 ± 2.18 96.02 ± 1.15 97.81 ± 0.70 96.53 ± 1.62 92.33 ± 0.87
4 98.86 ± 0.26 99.18 ± 0.48 99.51 ± 0.16 99.71 ± 0.07 99.76 ± 0.06 99.87 ± 0.85
5 94.54 ± 2.35 97.84 ± 1.67 98.06 ± 1.08 90.17 ± 2.90 99.02 ± 0.40 99.85 ± 0.47
6 99.54 ± 0.39 99.40 ± 1.14 99.05 ± 0.76 99.94 ± 0.07 99.04 ± 0.46 99.27 ± 1.01
7 99.95 ±0.04 99.83 ± 0.16 99.91 ± 0.05 99.93 ± 0.09 99.79 ± 0.08 99.95 ± 0.34
8 96.86 ± 0.63 97.69 ± 0.80 96.86 ± 1.11 94.54 ± 0.45 96.45 ± 0.70 97.73 ± 0.37
9 93.05 ± 2.05 92.34 ± 1.90 93.62 ± 1.13 93.56 ± 1.15 92.59 ± 0.79 94.32 ± 0.51
OA 98.97 ± 0.12 99.18 ± 0.26 99.34 ± 0.02 99.27 ± 0.05 99.38 ± 0.09 99.54 ± 0.02
AA 96.94 ± 0.47 97.72 ± 0.34 97.98 ± 0.06 97.24 ± 0.25 98.08 ± 0.23 98.11 ± 0.03
Kappa 98.64 ± 0.16 98.94 ± 0.34 99.13 ± 0.03 99.05 ± 0.07 99.19 ± 0.12 99.39 ± 0.03
Params/M 1.05 1.69 2.97 0.54 0.17 0.23
FLOPs/G 2.93 12.68 30.18 3.05 1.11 0.17
训练时间/s 11.72 35.47 95.19 38.25 20.48 25.45
测试时间/s 3.03 6.61 11.32 7.71 6.22 6.81
表4 精度及复杂度研究SA数据集上不同网络分类结果

Table 4 Accuracy and complexity study the classification results of different networks on SA dataset

Class 2D-CNN HybirdSN ViT CTN LSGA-VIT ReluformerN
1 99.95 ± 0.08 99.81 ± 0.38 99.82 ± 0.18 100.00 ± 0.00 99.99 ± 0.02 99.94 ± 2.97
2 100.00 ± 0.00 100.00 ± 0.00 100.00 ± 0.00 100.00 ± 0.00 99.89 ± 0.10 100.00 ± 0.00
3 99.38 ± 1.39 98.40 ± 4.33 99.68 ± 0.22 100.00 ± 0.00 99.99 ± 0.02 99.97 ± 0.46
4 98.31 ± 3.81 99.00 ± 1.39 96.85 ± 1.04 99.53 ± 0.38 99.55 ± 0.37 99.79 ± 1.19
5 98.22 ± 0.55 98.77 ± 1.73 99.43 ± 0.47 98.95 ± 0.63 98.98 ± 0.87 96.83 ± 0.88
6 99.93 ± 0.05 99.74 ± 0.28 99.78 ± 0.23 99.74 ± 0.16 100 . 00 ± 0.00 99.71 ± 0.10
7 99.83 ± 0.22 99.96 ± 0.10 99.93 ± 0.06 99.78 ± 0.26 100.00 ± 0.00 98.42 ± 0.37
8 96.78 ± 0.49 97.36 ±0.95 96.9 0 ± 0.88 98.03 ± 0.35 94.76 ± 1.49 99.65 ± 0.76
9 99.99 ± 0.02 100.00 ± 0.00 100.00 ± 0.00 100.00 ± 0.00 100 . 00 ± 0.00 99.59 ± 0.32
10 99.18 ± 0.53 99.15 ± 1.41 99.42 ± 0.32 99.45 ± 0.38 98.72 ± 0.60 99.38 ± 0.10
11 99.10 ± 0.15 98.58 ± 0.87 99.79 ± 0.27 99.44 ± 1.14 100.00 ± 0.00 99.71 ± 0.93
12 99.57 ± 0.42 98.69 ± 3.30 99.10 ± 0.83 99.86 ± 0.15 99.61 ± 0.37 97.57 ± 1.73
13 97.95 ± 2.45 94.50 ± 10.8 97.65 ± 3.35 92.34 ± 7.22 98.11 ± 1.68 94.72 ± 2.87
14 98.94 ± 1.24 96.58 ± 3.34 98.68 ± 0.44 98.86 ± 0.57 99.19 ± 0.35 93.56 ± 0.44
15 88.81 ± 5.40 93.34 ± 8.81 93.76 ± 1.60 95.19 ± 1.27 96.45 ± 1.77 97.98 ± 1.35
16 99.22 ± 0.19 99.72 ± 0.42 99.36 ± 0.26 99.32 ± 0.47 99.65 ± 0.23 99.47 ± 0.62
OA 97.49 ± 0.91 98.08 ± 1.74 98.21 ± 0.14 98.62 ± 1.27 98.21 ± 0.28 98.81 ± 0.19
AA 98.45 ± 0.77 98.35 ± 1.99 98.76 ± 0.21 98.80 ± 0.46 99.05 ± 0.12 97.79 ± 0.19
Kappa 97.20 ± 1.02 97.86 ± 1.95 98.01 ± 0.16 98.46 ± 0.30 98.01 ± 0.31 98.67 ± 0.26
Params/M 1.05 3.70 2.14 0.27 0.54 0.23
FLOPs/G 0.33 2.25 24.97 1.40 2.45 0.17
训练时间/s 10.77 16.12 19.74 11.67 26.12 19.07
测试时间/s 2.34 1.90 3.84 1.73 2.46 5.01
从IP数据集上看,本研究提出的ReluformerN分类精度最高。OA值比仅使用CNN的2D CNN网络OA高2.50%,AA值高约5.27%,Kappa值高约2.54%。比使用2D CNN与3D CNN混合的HybirdSN网络OA值高约2.00%。由于提出的网络为轻量级网络,与同为轻量级LSGA-VIT对比,OA值高0.84%,AA值可以高约3.00%,Kappa值高约1.00%。与目前较为流行的采用transformer为核心的网络相比,比ViT网络的OA值高约1.00%,AA值可以高约4.40%,Kappa值高约1.10%。由于IP数据集每个物种覆盖率较小,说明提出的网络对较少的样本数据也可进行较好的判别。
从WHU-Hi-Longkou数据集上看,本研究提出的网络不仅OA、AA和Kappa评估分类精度值上表现最佳,同时在大部分物种的分类上也表现出了最佳精度。提出的网络比同样为轻量级网络LSGA-VIT的OA值高约0.16%,AA值高约0.03%,Kappa值高约0.20%。比ViT网络OA值高约0.20%,AA值高约0.13%,Kappa值高约0.26%。
从SA数据集上看,提出的网络OA和Kappa评估分类精度值上表现最佳,但是AA值表现不是最好的,仅次于LSGA-VIT。这是由于提出的方法仅在物种2(含有杂草的花椰菜)分类上达到了最佳,而轻量级网络LSGA-VIT在多个物种上可达到100.00%的分类精度。可能的原因在于为了减少参数量,本研究ReluformerN仅使用了一个Reluformer模块,而LSGA-VIT中使用了两个transformer模块。
从分类精度上看,本研究提出的方法可以达到最佳分类效果。这是由于提出的ReluformerN更具有针对性,有针对性地提取高频和低频信息特征。从模型复杂程度看,提出的ReluformerN模型参数量约为0.23 M,是对比网络里模型参数量最小的。网络同时FLOPs也是最少的,仅为0.17 G,与较为简单的2D CNN网络基本一致。ReluformerN较为简单的原因在于,仅用线性化transformer做全局特征提取,并采用轻量化可分离深度卷积做细粒度特征提取。但是ReluformerN在训练时间和测试时间上并不具有竞争力。这可能的原因是虽然对transformer进行了线性化,计算复杂度有效减少,但是计算过程中相比于仅使用卷积层的网络来说,增加了多个矩阵相乘的过程,所以训练时间相对较长。但是在与同样使用transformer的网络对比,训练时间少于ViT和LSGA-VIT网络。训练时间长于CTN网络,主要原因在于,与CTN网络相比,本研究提出的ReluformerN加入细粒度特征这一分支,多个分支运行增加了训练时长。后续若想提高训练时间和测试时间,可以提高硬件条件来实现。
总体来说提出的网络在分类精度上具有较强的竞争力,同时兼具模型复杂程度较小的特点。同时可以看出参数量小于0.3 M,后续有希望将网络布局在硬件系统中,实现农作物实时分类的期望。

2.3.2 可视化效果对比实验

对网络进行定性分析,对各个网络分类效果进行可视化分析,IP、WHU-Hi-Longkou和SA三个数据的分类可视化效果如图6~图8所示。
图6 IP数据集上不同网络可视化效果图

Fig. 6 Visualizations of different networks on IP dataset

图8 SA数据集上不同网络可视化效果图

Fig. 8 Visualizations of different network on SA dataset

a. 伪彩色图 b. 标签真值图 c. 2D CNN d. HybirdSN
图7 WHU-Hi-Longkou数据集上不同网络可视化效果图

Fig. 7 Visualizations ofdifferent networks visualization WHU-Hi-Longkou dataset

e. ViT f. CTN g. LSGA-VIT h. ReluformerN
从IP数据可视化效果可以看出,本研究提出的ReluformerN在大部分农作物分布区域边缘效果较好,边缘较为完整。从WHU-Hi-Longkou数据可以看出,在较为复杂的部分,本研究提出网络分类精度较好,错点斑点显示较少。从SA数据可以看出,本研究提出的网络错误点较少的同时,错误点分布也集中在某个区域较为中心的位置。而其他网络在边缘位置错误斑点聚集较多。影响农作物分布情况分析。

2.4 重要模块验证实验

验证自适应八倍频卷积的有效性。对 α分别设置为0.25、0.5和0.7,以OA精度作为数据分类精度标准。将传统八倍频卷积与自适应八倍频卷积对比,分类结果如图9所示。图中蓝色折线表示传统八倍频卷积,橙色折线表示自适应八倍频卷积。
图9 在IP、WHU-Hi-Longkou、SA三个数据集上八倍频卷积和自适应八倍频卷积 α取不同值时正确率

Fig. 9 Accuracy rates of octave convolution and adaptive octave convolution with different α values on the IP, WHU-Hi-Longkou, and SA three datasets

图9中可以明显看出,当 α取不同值时,橙色折线斜率明显比蓝色折线斜率小,说明 α的人工设置对分类精度影响较大,分类正确率波动值较大。而采用自适应八倍频卷积对 α设置影响较小,如在IP数据上自适应八倍频卷积分类精度最大值与小值仅相差约0.05%,而传统八倍频卷积正确率相差可高达约0.3%。
实验证明加入softmax函数,自动对特征进行权重赋值,不同 α值之间相差较小,说明有效减少了人工设置 α带来的影响。但是不同的 α值之间仍旧有一定差距,如IP数据集上,不同的 α值的设置对分类精度仍有0.05%差距。为了保证网络的最优效果,本研究网络将 α = 0.5设为最佳参数。
为了验证轻量级高低频增强网络中,高频特征提取和低频特征提取的有效性,采用2维t-sne方法,对网络进行特征提取显示。在未进行分类时,图像原始特征分布较为分散,各个类之间距离较近。首先提取高频全局特征,其次提取低频特征,最后提取分类后特征,利用2维t-sne方法进行显示,如图10所示。可以明显看出,最初特征分布较为分散(图10a),不同特征有重叠地方,经过高频特征提取后,同类特征大体聚合在一起(图10b),但是不同特征之间间隔较小,也有少部分特征有重叠情况。经过低频特征提取后,明显同类特征聚合更紧密(图10c),尤其是IP数据更明显。经过高低频特征融合后,最后经过MLP分类器,明显同类特征聚合(图10d),不同种类特征明显分隔较大。
图10 各模块有效性利用2维t-sne提取高低频特征以及分类后特征

Fig. 10 Using 2D t-sne to extract high and low frequency features and classification in the validity study of each module

IP
WHU-Hi-LongKou
SA

a.原始特征分布 b.提取高频特征后特征分布 c.提取低频特征后特征分布 d.分类后特征分布情况

为了验证Reluformer的有效性,将Reluformer替换成以transformer为核心的ViT。为了验证Reluformer在线性化transformer结构中的优势,将Reluformer替换为Linformer。为了验证Relu函数有效性,将Relu函数替换为LeakyRelu函数,形成LeakyReluformer,对模型分类精度和模型复杂程度进行对比,结果如表5所示。
表5 IP、WHU-Hi-LongKou、SA数据Reluformer和相关模块分类精度及复杂度对比

Table 5 Classification accuracy and complexity of Reluformer and related modules on IP, WHU-Hi-LongKou and SA datasets

数据 模型 OA AA Kappa Parameters/M FLOPs/G
IP ViT 98.17 ± 0.11 95.40 ± 0.53 97.92 ± 0.18 0.25 0.10
Linformer 96.54 ± 0.24 95.08 ± 0.71 95.37 ±0.35 0.22 0.15
LeakyReluformer 98.21 ± 0.18 97.86 ± 0.62 97.75 ±0.17 0.21 0.13
Reluformer 98.4 4 ± 0.06 98.39 ± 0.56 98.21 ± 0.06 0.21 0.13
WHU-HI-Longkou ViT 99.42 ± 0.03 98.31 ± 0.17 99.23 ± 0.07 0.35 0.05
Linformer 98.25 ± 0.05 97.67 ± 0.21 97.54 ± 0.09 0.26 0.20
LeakyReluformer 99. 32 ± 0.06 98.06 ± 0.15 99.03 ± 0.05 0.23 0.17
Reluformer 99.54 ± 0.02 98.11 ± 0.03 99.39 ± 0.03 0.23 0.17
SA ViT 97.39 ± 0.06 95.29 ±0.21 97.09 ± 0.18 0.35 0.12
Linformer 95.78 ±0.15 93.82 ±0.36 95.36 ± 0.27 0.26 0.22
LeakyReluformer 97. 54 ± 0.32 96.12 ± 0.26 96.94 ± 0.19 0.23 0.17
Reluformer 98.81 ± 0.19 97.79 ± 0.19 98.67 ± 0.26 0.23 0.17
通过四个模块对比,在三个数据集上,采用Reluformer的网络在分类精度上都达到了最佳效果。比如在IP数据集上,采用Reluformer比采用ViT模块的OA值高0.27%,AA值约高2.99%,Kappa值约高0.29%。并且OA和Kappa值的方差值较小,说明在多次实验中采用Reluformer为核心的网络分类效果稳定。在三个数据集上,Linformer分类精度最低,主要原因在于Linformer对transformer线性化过程,采用加入两个矩阵,改变矩阵相乘过程中参数量二次型增长,但是加入的两个矩阵影响了全局上下文信息聚合。LeakyReluformer分类精度仅次于Reluformer,主要原因自相关分析时,负相关系数影响全局上下文信息聚合。从模型计算复杂度分析,采用Reluformer的参数量较低,小于0.3 M,同时比ViT网络参数量少,在IP数据集上约少0.04 M,其他数据集上约少0.12 M。采用Linformer的三种数据集FLOPs最高,主要原因在于Linformer线性化过程,加入的两个线性投影矩阵,相比transformer,矩阵相乘的次数增加,使得复杂度增加。总体说明Reluformer不仅在精确度上优于其他模块,同时在模型参数量上也小于其他模块。

3 结 论

本研究针对采用高光谱数据对农业进行地物分类时,模型分类精确度和模型复杂度之间不平衡问题,提出一种轻量化高低频增强的Reluformer网络,并在三个数据集上进行了验证,主要结论如下。
1)提出的自适应八倍频卷积可以减少人工设置 α参数对高低频分量提取的影响。
2)Reluformer结构有利于减少模型复杂程度,相比于transformer有利于分类精度的提高。
3)提出的轻量化高低频增强ReluformerN,与其他网络采用空间光谱特征提取不同,从频率角度考虑,分别针对高频和低频特征有针对性的进行网络设计,在三个数据集上进行验证,证明了ReluformerN不仅有利于分类精度的提高,同时可有效减少模型参数量。
本研究提出的ReluformerN在模型分类精度和复杂度之间取得了较好的平衡,有望应用在微处理器中,为后续高光谱数据对农业进行实时地物分类提供依据。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
冯凡, 张永生, 张津, 等. 基于混合卷积网络的高光谱图像自监督特征学习方法[J/OL]. 光学学报, 2024: 1-21. (2024-04-22).

FENG F, ZHANG Y S, ZHANG J, et al. Self-supervised feature learning method for hyperspectral images based on mixed convolutional neural networks[J/OL]. Acta optica sinica, 2024: 1-21. (2024-04-22).

2
李世隆, 许辰一, 王楠, 等. 基于BWO-ELM的水稻氮素无人机高光谱反演研究[J]. 智能化农业装备学报(中英文), 2024, 5(3): 14-21.

LI S L, XU C Y, WANG N, et al. Research on rice nitrogen unmanned aerial vehicle hyperspectral inversion based on BWO-ELM[J]. Journal of Intelligent Agricultural Mechanization, 2024, 5(3): 14-21.

3
孙梦花. 基于扩展形态学与主动学习的高光谱影像分类方法[D]. 西安: 西安电子科技大学, 2019.

SUN M H. Hyperspectral image classification based on extended morphology and active learning[D].Xi'an: Xidian University, 2019.

4
杨珺雯, 张锦水, 朱秀芳, 等. 随机森林在高光谱遥感数据中降维与分类的应用[J]. 北京师范大学学报(自然科学版), 2015, 51(S1): 82-88.

YANG J W, ZHANG J S, ZHU X F, et al. Application of random forest in dimensionality reduction and classification of hyperspectral remote sensing data[J]. Journal of Beijing normal university (natural science), 2015, 51(S1): 82-88.

5
李玉, 宫学亮, 赵泉华. 基于张量径向基核函数支持向量机的高光谱影像分类[J]. 仪器仪表学报, 2020, 41(12): 253-262.

LI Y, GONG X L, ZHAO Q H. Hyperspectral image classification based on tensor-based radial basis kernel function and support vector machine[J]. Chinese journal of scientific instrument, 2020, 41(12): 253-262

6
CHEN Y S, JIANG H L, LI C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE transactions on geoscience and remote sensing, 2016, 54(10): 6232-6251.

7
ZHANG X. Improved three-dimensional inception networks for hyperspectral remote sensing image classification[J]. IEEE Access, 2023, 11: 32648-32658.

8
ROY S K, KRISHNA G, DUBEY S R, et al. HybridSN: Exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification[J]. IEEE geoscience and remote sensing letters, 2020, 17(2): 277-281.

9
汪乐, 彭江涛, 陈娜, 等. 结合协方差池化与跨尺度特征提取的高光谱分类[J]. 遥感学报, 2024, 28(1): 203-218.

WANG L, PENG J T, CHEN N, et al. Hyperspectral classification algorithm based on covariance pooling and cross scale feature extraction[J]. National remote sensing bulletin, 2024, 28(1): 203-218.

10
王彩玲, 张静, 王洪伟, 等. 一种波段聚类和多尺度结构特征融合的高光谱图像分类模型[J]. 光谱学与光谱分析, 2024, 44(1): 258-265.

WANG C L, ZHANG J, WANG H W, et al. A hyperspectral image classification model based on band clustering and multi-scale structure feature fusion[J]. Spectroscopy and spectral analysis, 2024, 44(1): 258-265.

11
王庆超, 付光远, 汪洪桥, 等. 多核融合多尺度特征的高光谱影像地物分类[J]. 光学精密工程, 2018, 26(4): 980-988.

WANG Q C, FU G Y, WANG H Q, et al. Fusion of multi-scale feature using multiple kernel learning for hyperspectral image land cover classification[J]. Optics and precision engineering, 2018, 26(4): 980-988.

12
高玉鹏, 闫伟红, 潘新. 基于卷积神经网络与注意力机制的高光谱图像分类[J]. 光电子·激光, 2024, 35(5): 483-489.

GAO Y P, YAN W H, PAN X. Hyperspectral image classification based on convolutional neural network and attention mechanism[J]. Journal of optoelectronics·Laser, 2024, 35(5): 483-489.

13
孙杰, 杨静, 丁书杰, 等. 基于多注意力机制与编译图神经网络的高光谱图像分类[J]. 农业机械学报, 2024, 55(3): 183-192, 212.

SUN J, YANG J, DING S J, et al. Hyperspectral image classification based on multi-attention mechanism and compiled graph neural networks[J]. Transactions of the Chinese society for agricultural machinery, 2024, 55(3): 183-192, 212.

14
翟希辰, 刘军. 基于注意力机制辅助的空谱联合残差网络的高光谱图像分类[J]. 信息对抗技术, 2024, 3(2): 54-69.

ZHAI X C, LIU J. Spatial-spectral residual network with attention mechanism for hyperspectral image classification[J]. Information countermeasure technology, 2024, 3(2): 54-69.

15
杜培军, 张伟, 张鹏, 等. 一种联合空谱特征的高光谱影像分类胶囊网络[J]. 测绘学报, 2023, 52(7): 1090-1104.

DU P J, ZHANG W, ZHANG P, et al. A capsule network for hyperspectral image classification employing spatial-spectral feature[J]. Acta geodaetica et cartographica sinica, 2023, 52(7): 1090-1104.

16
洪娟. 基于金字塔残差结构和注意力机制的高光谱图像分类研究[D]. 武汉: 武汉轻工大学, 2021.

HONG J. Deep pyramidal residual attention networks for hyperspectral image classification[D].Wuhan: Wuhan Polytechnic University, 2021.

17
汪菲菲, 赵慧洁, 李娜, 等. 基于光谱-空间注意力残差网络的高光谱图像分类[J]. 光子学报, 2023, 52(12): ID 1210002.

WANG F F, ZHAO H J, LI N, et al. Spectral-spatial attention residual networks for hyperspectral image classification[J]. Acta photonica sinica, 2023, 52(12): ID 1210002.

18
易瑔, 张宇航, 王清, 等. 基于改进残差网络的高光谱图像分类算法研究[J]. 兵工自动化, 2023, 42(10): 15-20.

YI Q, ZHANG Y H, WANG Q, et al. Research on hyperspectral image classification algorithm based on improved residual network[J]. Ordnance industry automation, 2023, 42(10): 15-20.

19
钱韫竹. 双通道残差网络动态融合的高光谱影像分类方法研究[D]. 阜新: 辽宁工程技术大学, 2023.

QIAN Y Z. Study on hyperspectral image classification methods for dynamic fusion of dual channel residual networks[D]. Fuxin: Liaoning Technical University, 2023.

20
ZHAO Z G, HU D, WANG H, et al. Convolutional transformer network for hyperspectral image classification[J]. IEEE geoscience and remote sensing letters, 2022, 19: ID 6009005.

21
ROY S K, DERIA A, SHAH C, et al. Spectral-spatial morphological attention transformer for hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing, 2023, 61: ID 5503615.

22
罗宇轩, 吴高昌, 高明. 自适应卷积和轻量化Transformer的遥感图像超分辨网络[J/OL]. 计算机工程与应用, (2024-04-23)[2024-06-15].

LUO Y X, WU G C, GAO M. An adaptive convolution and lightweight Transformer-based super-resolution network for remote sensing images[J/OL]. Computer engineering and applications, (2024-04-23)[2024-06-15].

23
MA C, WAN M J, WU J, et al. Light self-gaussian-attention vision transformer for hyperspectral image classification[J]. IEEE transactions on instrumentation and measurement, 2023, 72: ID 5015712.

24
王琪, 常庆瑞, 李铠, 等. 基于主成分分析和随机森林回归的冬小麦冠层叶绿素含量估算[J]. 麦类作物学报, 2024, 44(4): 532-542.

WANG Q, CHANG Q R, LI K, et al. Estimation of winter wheat canopy chlorophyll content based on principal component analysis and random forest regression[J]. Journal of triticeae crops, 2024, 44(4): 532-542.

25
CHEN Y P, FAN H Q, XU B, et al. Drop an octave: Reducing spatial redundancy in convolutional neural networks with octave convolution[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Piscataway, New Jersey, USA: IEEE, 2019: 3434-3443.

26
HONG Q, ZHONG X, CHEN W, et al. Hyperspectral image classification network based on 3D octave convolution and multiscale depthwise separable convolution[J]. Isprs international journal of geo-information, 2023(11): 505-521.

27
LIANG L, ZHANG S, LI J, et al. Multi-scale spectral-spatial attention network for hyperspectral image classification combining 2D octave and 3D convolutional neural networks[J]. Remote sensing, 2023(4): 1758-1784.

28
杨青, 于明, 付强, 等. 基于倍频卷积和注意力机制的图像去雨[J]. 控制与决策, 2023, 38(12): 3372-3380.

YANG Q, YU M, X, FU Q. Image dewatering based on frequency-doubling convolution and attention mechanism[J]. Control and decision, 38(12): 3372-3380

29
QIN Z, SUN W X, DENG H, et al. cosFormer: Rethinking softmax in attention[EB/OL]. arXiv:2202.08791, 2022.

30
VASWANI A, SHAZEER N M, PARMAR N, et al. Attention is all you need[EB/OL]. arXiv:1706.03762, 2017.

31
Hyperspectral Remote Sensing Scenes[DB/OL]. [2024-05-12].

32
WHU-Hi: UAV-borne hyperspectral and high spatial resolution (H2) benchmark datasets for crop precise classification[DB/OL]. [2024-05-12].

文章导航

/