欢迎您访问《智慧农业(中英文)》官方网站! English
专刊--农业信息感知与模型

基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法

  • 张京 , 1 ,
  • 赵泽瑄 1 ,
  • 赵艳茹 2 ,
  • 卜泓超 1 ,
  • 吴星宇 1
展开
  • 1. 首都经济贸易大学 管理工程学院,北京 100070,中国
  • 2. 西北农林科技大学 机械与电子工程学院,陕西杨凌 712100,中国
张 京,博士,讲师,研究方向为农业信息感知机理与方法。E-mail:

收稿日期: 2023-10-12

  网络出版日期: 2024-03-05

基金资助

首都经济贸易大学2024年校级教学改革项目(01892454202148)

国家自然科学基金(31901403)

Oilseed Rape Sclerotinia in Hyperspectral Images Segmentation Method Based on Bi-GRU and Spatial-Spectral Information Fusion

  • ZHANG Jing , 1 ,
  • ZHAO Zexuan 1 ,
  • ZHAO Yanru 2 ,
  • BU Hongchao 1 ,
  • WU Xingyu 1
Expand
  • 1. School of Management Engineering, Capital University of Economics and Business, Beijing 100070, China
  • 2. College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling 712100, China
ZHANG Jing, E-mail:

Received date: 2023-10-12

  Online published: 2024-03-05

Supported by

Capital University of Economics and Business Teaching Reform Project 2024(01892454202148)

National Natural Science Foundation of China(31901403)

Copyright

copyright©2024 by the authors

摘要

[目的/意义] 油菜菌核病是一种全球性的植物病害,可严重影响油菜的产量和品质,造成巨大的经济损失。为解决传统化学检测方法存在的操作复杂、污染环境、破坏样品及检测效率低等问题,构建了一种基于空-谱信息融合的双向门控循环网络(Bi-directional Gate Recurrent Unit, Bi-GRU)模型,实现油菜菌核病侵染区域的高光谱图像分割。 [方法] 首先提取7×7像素邻域作为目标像素的空间特征,同时考虑全波段光谱特征,实现空间信息和光谱信息的有效融合。在此基础上结合Bi-GRU架构,实现序列数据中任意位置上特征的同时提取,避免了空-谱数据融合顺序对模型结果的影响。 [结果和讨论] 与卷积神经网络模型和长短时记忆网络模型相比,基于空-谱信息融合的Bi-GRU模型在平均精度、平均交并比、Kappa系数和Dice系数等评价指标上均获得显著提升。该模型的油菜菌核病检测平均精度达到93.7%,同时可以有效提取早期感染阶段的病斑区域。 [结论] 本研究可为油菜菌核病的高通量无损检测奠定基础,也为油菜菌核病的早期感染检测提供参考依据。

本文引用格式

张京 , 赵泽瑄 , 赵艳茹 , 卜泓超 , 吴星宇 . 基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法[J]. 智慧农业, 2024 , 6(2) : 40 -48 . DOI: 10.12133/j.smartag.SA202310010

Abstract

[Objective] The widespread prevalence of sclerotinia disease poses a significant challenge to the cultivation and supply of oilseed rape, not only results in substantial yield losses and decreased oil content in infected plant seeds but also severely impacts crop productivity and quality, leading to significant economic losses. To solve the problems of complex operation, environmental pollution, sample destruction and low detection efficiency of traditional chemical detection methods, a Bi-directional Gate Recurrent Unit (Bi-GRU) model based on space-spectrum feature fusion was constructed to achieve hyperspectral images (HSIs) segmentation of oilseed rape sclerotinia infected area. [Methods] The spectral characteristics of sclerotinia disease from a spectral perspective was initially explored. Significantly varying spectral reflectance was notably observed around 550 nm and within the wavelength range of 750-1 000 nm at different locations on rapeseed leaves. As the severity of sclerotinia infection increased, the differences in reflectance at these wavelengths became more pronounced. Subsequently, a rapeseed leaf sclerotinia disease dataset comprising 400 HSIs was curated using an intelligent data annotation tool. This dataset was divided into three subsets: a training set with 280 HSIs, a validation set with 40 HSIs, and a test set with 80 HSIs. Expanding on this, a 7×7 pixel neighborhood was extracted as the spatial feature of the target pixel, incorporating both spatial and spectral features effectively. Leveraging the Bi-GRU model enabled simultaneous feature extraction at any point within the sequence data, eliminating the impact of the order of spatial-spectral data fusion on the model's performance. The model comprises four key components: an input layer, hidden layers, fully connected layers, and an output layer. The Bi-GRU model in this study consisted of two hidden layers, each housing 512 GRU neurons. The forward hidden layer computed sequence information at the current time step, while the backward hidden layer retrieves the sequence in reverse, incorporating reversed-order information. These two hidden layers were linked to a fully connected layer, providing both forward and reversed-order information to all neurons during training. The Bi-GRU model included two fully connected layers, each with 1 000 neurons, and an output layer with two neurons representing the healthy and diseased classes, respectively. [Results and Discussions] To thoroughly validate the comprehensive performance of the proposed Bi-GRU model and assess the effectiveness of the spatial-spectral information fusion mechanism, relevant comparative analysis experiments were conducted. These experiments primarily focused on five key parameters—ClassAP(1), ClassAP(2), mean average precision (mAP), mean intersection over union (mIoU), and Kappa coefficient—to provide a comprehensive evaluation of the Bi-GRU model's performance. The comprehensive performance analysis revealed that the Bi-GRU model, when compared to mainstream convolutional neural network (CNN) and long short-term memory (LSTM) models, demonstrated superior overall performance in detecting rapeseed sclerotinia disease. Notably, the proposed Bi-GRU model achieved an mAP of 93.7%, showcasing a 7.1% precision improvement over the CNN model. The bidirectional architecture, coupled with spatial-spectral fusion data, effectively enhanced detection accuracy. Furthermore, the study visually presented the segmentation results of sclerotinia disease-infected areas using CNN, Bi-LSTM, and Bi-GRU models. A comparison with the Ground-Truth data revealed that the Bi-GRU model outperformed the CNN and Bi-LSTM models in detecting sclerotinia disease at various infection stages. Additionally, the Dice coefficient was employed to comprehensively assess the actual detection performance of different models at early, middle, and late infection stages. The dice coefficients for the Bi-GRU model at these stages were 83.8%, 89.4% and 89.2%, respectively. While early infection detection accuracy was relatively lower, the spatial-spectral data fusion mechanism significantly enhanced the effectiveness of detecting early sclerotinia infections in oilseed rape. [Conclusions] This study introduces a Bi-GRU model that integrates spatial and spectral information to accurately and efficiently identify the infected areas of oilseed rape sclerotinia disease. This approach not only addresses the challenge of detecting early stages of sclerotinia infection but also establishes a basis for high-throughput non-destructive detection of the disease.

0 引 言

油菜1是世界四大油料作物之一,亦是植物油和植物蛋白的主要来源。然而,菌核病2的高发对油菜的种植和保供提出了严峻的挑战。菌核病,又称菌核杆腐病,是由核盘菌(Sclerotinia sclerotiorum)引起的一种病害,易侵染油菜的茎、叶、花、角果和种子等部位,不仅会导致油菜的大规模减产,还会使病株种子的含油量锐减,严重影响油菜的产量和品质,造成极大的经济损失。传统用于检测菌核病的化学方法,常伴随着药剂的频繁使用,这是一种有损的检测方式且对于环境也会造成污染。因此,研发一种新的高通量无损检测方法具有重要意义3。高光谱图像(Hyperspectral Image, HSI)4-6的引入可以精准地识别那些外表看似“健康”但实际上已感染菌核病的油菜植株。实现病害早期侵染的检测,同时及时采取相应的治疗措施,可大幅减少由于感染菌核病而引发的一系列损失7
传统的高光谱图像分割方法主要包含距离分类器(Distance Classifier, DC)、K近邻分类器(K-Nearest Neighbor, KNN)、最大似然分类器(Maximum Likelihood Classification, MLC)和逻辑回归(Logistic Regression, LR)等8, 9。但这些方法大多都会受到Hughes现象的影响(当训练数据有限时,随着模型特征维数的增加,分类的精度会出现先增后降)10。针对这一问题,研究者们提出了相关的特征提取方法和判别学习方法。其中,特征提取法主要是将高维数据映射到低维空间,同时保留类别信息。典型的特征提取方法有主成分分析(Principal Component Analysis, PCA)、独立成分分析(Independent Component Analysis, ICA)、线性判别分析(Linear Discriminant Analysis, LDA)等。判别学习法则包括:支持向量机(Support Vector Machines, SVM)、多类别逻辑回归(Multinomial Logistics Regression, MLR)、人工免疫网络(Artificial Immune Network, AIN)等11-13。该类方法主要是通过学习得到高维空间中数据与类别之间的映射关系。近年来,除了谱维度数据以外,高光谱图像分割方法也开始引入空间信息,从而利用融合的空-谱信息来表征对象14。空-谱信息的融合显著提高了高光谱图像的识别与分割精度,但也进一步增加了数据量。如何从海量的数据中高效且准确地提取特征,同时充分挖掘空间数据和光谱数据所包含的潜在信息,一直是该研究的难点与热点15
深度学习(Deep Learning, DL)为高光谱数据特征的提取提供了有效的解决方案16, 17。在高光谱图像分割领域应用的典型深度学习模型主要包括卷积神经网络(Convolutional Neural Network, CNN)、递归神经网络(Recurrent Neural Network, RNN)及Transformer等18, 19。其中,Hamida等20提出的3D CNN模型,在减少模型参数量的同时采用空-谱特征融合手段,实现了较高的分割精度。Mou等21提出一种RNN模型,并设计了新的激活函数进行参数校正。该模型有效地将谱维度信息作为序列数据进行分析。Hong等22设计了基于Transformer架构的Spectral-Former网络。该模型通过分组光谱嵌入和跨层自适应融合方法实现了高光谱图像中光谱序列特征和空间特征的同时提取。从信息的表征形式看,面向深度学习的高光谱图像分割方法可主要分为以下3类:基于谱信息的分割方法23、基于空间信息的分割方法24和基于空-谱数据的分割方法25。实际上,面向空间信息的分割方法大多采用CNN模型。这种方法通常将高光谱图像近似为一般的RGB图像进行处理,但由于降维计算必然导致谱维度信息的丢失。因此,对于病害早期感染现象的检测效果并不理想。RNN在光谱序列数据的处理上具有天然优势,如何实现全波段光谱信息的深入挖掘,探究面向RNN的空-谱信息融合机制,是目前极具潜力的研究方向之一。
本研究的主要贡献在于解决了油菜菌核病早期感染现象难以检测的问题,提出了一种基于双向门控循环神经网络(Bi-directional Gate Recurrent Unit, Bi-GRU)的高光谱图像分割方法,通过空-谱信息的联合表征实现了病害浸染区域的精准识别与提取。

1 材料与方法

1.1 数据的获取

本研究以浙江大学生物技术研究所提供的双低品系甘蓝型油菜浙双758(Brassica napus L. cv. ZS758)为油菜叶样品。为了确保数据获取的精确度,在样品感染病菌24 h后进行高光谱数据采集。光谱采集装置采用Handheld FieldSpec光谱仪,该光谱仪可实现325~1 075 nm的512个频带的数据获取,其探测器的视场角度(Field of View)为20°。数据采集系统使用150 W的卤素灯,其入射角为45°。探测器和油菜叶片的垂直距离约为150 mm。通过辐射修正得到的高光谱图像如图1所示。
图1 油菜菌核病不同感染时期的RGB图像和伪彩色图像

Fig. 1 RGB images and pseudo-color images of oilseed rape sclerotinia in different periods

根据油菜感染菌核病的程度,将HSI数据分为以下3个类别:感染初期(图1a图1b)、感染中期(图1c图1d)和感染后期(图1e图1f)。其中,不同感染程度的划分主要依据病斑所占的像素数量。感染初期代表病斑占据了5~30个像素区域;感染中期说明病斑占据了31~400个像素区域;而感染后期则代表病斑占据的像素区域超过了400个。为了更清楚地说明HSI在病菌感染初期的诊断效果,图1针对3个不同的感染阶段分别采用RGB图像和伪彩色图像进行比较。其中,伪彩色图像由390、740和950 nm这3种波长构成。而RGB图像则由波长为460、540和630 nm的光谱数据形成。在菌核病感染的初期阶段,仅使用RGB图像难以直接发现病斑(图1b),但通过特征频带筛选后得到的伪彩色图像(图1a)却能够实现初期感染位置的准确定位。这也进一步验证了利用HSI诊断菌核病初期感染症状的可行性。

1.2 光谱特征分析

本研究从光谱角度入手,分析菌核病的谱维度特征。图2分别展示了完全健康的(图2a)及处于初期(图2b)、中期(图2c)和后期(图2d)感染阶段的油菜叶片原始反射率光谱曲线。为了减少噪声对谱特征分析所造成的影响,图2截取了400~1 000 nm波长的光谱数据,同时采用平滑去噪算法实现了光谱曲线的进一步优化。
图2 油菜叶片的原始反射率光谱

Fig. 2 Raw reflectance spectral of oilseed rape leaves

图2发现,在550 nm附近和750~1 000 nm波长范围内,油菜叶片上不同位置的光谱反射率呈现出较大的差异性。与此同时,随着菌核病感染程度的加深,上述波段的反射率差异也表现得更为显著。此外,感染区域的大小以及叶片含水率的不同也是引发这种差异的主要因素。与完全健康的叶片相比,光谱反射率数据在550 nm附近和750~1 000 nm波长范围内所产生的差异意味着可以从谱维度特征入手,实现菌核病的检测与分割。

1.3 油菜叶片菌核病数据集的构建

数据集的构建是训练深度神经网络的基石和必要条件。本研究基于PaddleLabel(1.0版本)智能数据标注工具,构建包含400张HSI图像的油菜叶片菌核病数据集。该数据集中每个HSI数据立方体的大小为100×100×512。通过像素级精细标注后,该菌核病数据集被分为训练集、验证集和测试集3个部分,分别包含280、40和80张HSI图像。此外,表1显示了处于不同感染阶段的HSI图像的数量。
表1 油菜叶片菌核病数据集的结构组成

Table 1 The structural composition of rapeseed leaf dataset

感染阶段 数据集分布 像素类别占比
训练集/张 验证集/张 测试集/张 健康区域像素占比/% 感染区域像素占比/%
感染初期 100 15 30 83.2 16.8
感染中期 90 15 25
感染后期 90 10 25
本研究中油菜菌核病数据集的标注主要是基于伪彩色图像实现的,其标注效果示例如图3所示。在标注过程中,将HSI图像的每个像素划分为健康(图3c中蓝色区域)或染病(图3c中绿色区域)两个类别。然而,菌核病的感染区域通常仅占整个油菜叶片的一小部分,因此导致数据集中健康区域像素的占比远高于感染区域,分别为83.2%和16.8%。这种数据分布不均衡的现象常出现于各种数据集中,特别是面向实际应用的场景。因此,本研究通过基于加权的交叉熵损失函数对Bi-GRU模型进行训练,经过多次试错调整权重参数配置,最终将健康和感染两个类别之间的权重分配固定为1∶6。
图3 油菜菌核病数据集的标注效果示例

Fig. 3 Annotation effects of oilseed rape sclerotinia dataset

1.4 空-谱信息融合机制

与传统RGB图像相比,高光谱图像增加光谱维度数据,提供检测油菜菌核病早期感染现象的可能性。本研究提出的空-谱信息融合机制如图4所示。
图4 空-谱信息融合机制

Fig. 4 Spatial-spectral information fusion mechanism

首先,基于PCA对整个光谱数据立方体进行数据降维。这种降维操作虽然损失了一定的数据特征,但是大幅提升了数据处理的效率。保留前3个主成分,取得一个降维后大小为100×100×3的数据立方体,并在此基础上进一步提取大小为7×7×3的数据立方体。以正方形平面正中心的像素为检测目标,对降维处理后的数据立方体进行展平和重构,将其作为检测目标的空间信息。对光谱信息而言,直接提取未经过降维处理的目标像素的谱维度数据作为其光谱信息。最后,拼接目标像素的空间信息和光谱信息,从而实现空-谱信息的融合表征。

1.5 Bi-GRU模型构建

相较于模型结构相对复杂的长短时记忆网络(Long Short-Term Memory, LSTM),GRU模型在准确性和效率上都具有相对更优的表现。本研究采用的GRU模型主要由更新门zt 和重置门rt 两个门控机制组成。其中,重置门用于控制想保留的过去状态的数量,有助于捕获序列中的短期依赖关系。而更新门负责控制过去状态被带入到当前状态的数量,用于捕获序列中的长期依赖关系,其涉及的具体计算方法如公式(1)所示。
r t = σ W x r x t + W h r h t - 1 + b r                 z t = σ W x z x t + W h z h t - 1 + b z                 n t = t a n h   W x h x t + W h h r t * h t - 1 + b h h t = n t * 1 - z t + z t * h t - 1                        
式中: h tt时刻的隐藏状态; x tt时刻的输入; h t - 1t-1时刻的隐藏状态或0时刻的初始隐藏状态; n tt时刻的候选隐藏状态; W x r W x z W h r W h z分别为权重参数; b r b z b h分别为偏置参数;σ为sigmoid激活函数;tanh为非线性激活函数;*为Hadamard积(按元素乘积)运算。
由于传统的GRU模型只考虑序列中单一方向上数据间的相关性,而忽略对未来信息的考量,因此在往返关联性较强的应用上有较大局限。所以,为了同时提取高光谱数据序列的全部特征,本研究采用双向的GRU算法,即Bi-GRU,该网络包含正、反向两个GRU层,正向传播的GRU用来计算当前时刻的序列信息,反向传播的GRU则逆向读取同一序列,引入逆序信息。两个GRU网络层共同连接一个全连接层,在网络训练过程中为全连接层中的所有神经元同时提供正序与逆序两类信息。模型的具体结构组成如图5所示。本研究的Bi-GRU模型由4个部分组成:输入层、隐藏层、全连接层和输出层。其中,隐藏层使用512个GRU神经元,共两个全连接层且每层包含1 000个神经元,输出层有两个神经元,分别对应健康和染病两个类别。
图5 Bi-GRU模型结构

Fig. 5 Structure diagram of the Bi-GRU model

1.6 训练策略与评价指标

本研究构建的Bi-GRU模型是基于Pytorch框架实现的。模型的训练环境主要包含Intel Core i7-11800 H处理器、NVIDIA GeForce 3060显卡及16 G内存。模型训练过程中采用Adam自适应优化器,且学习率被设置为0.000 5。此外,由于数据集存在数据分布不均衡的现象,因此本研究通过基于加权的交叉熵损失函数对Bi-GRU模型进行训练,其中健康和染病两个类别之间的权重分配为1∶6。在模型的训练过程中,采用Dropout方法减少神经元之间的相互依赖,避免过拟合的发生。Dropout被设置为0.3,即30%的节点被随机选择并重置。
为了深入分析本研究中Bi-GRU模型的总体效果,试验部分采用了多项评估指标对模型的综合性能进行量化分析。均值平均精度(mean Average Precision, mAP)是通过对所有检测类别的平均精度(Average Precision, AP)进行综合加权平均得到的,具体计算方法如公式(2)所示。
A P i = 0 1 P R R m A P = Σ = 1 k A P i k         
式中:k为不同类别;P为在所有检测对象中检测到正确目标的概率;R为所有阳性样本中正确识别的概率。
另外,基于平均交并比(mean Intersection over Union,mIoU)计算每个类别的预测值和真实值的交并比,计算方法如公式(3)所示。
m I o U = 1 k + 1 i = 0 k p i i Σ j = 0 k p i j + Σ j = 0 k p j i - p i i
式中:k为不同类别的数量; i为真实值; j为预测值。
Kappa系数主要用于指标的一致性检验,衡量分类的精度。当数据分布不均衡时,Kappa系数的可参考性优于mAP。计算方法如公式(4)所示
K a p p a = p o - p e 1 - p e
式中:p0 为预测一致性;pe 为偶然一致性。
Dice系数是一种集合相似度度量函数,常用于计算两个样本间的相似度。本研究基于Dice系数评估人工标注样本(Ground-Truth,GT)与模型预测结果之间的相似度。计算方法如公式(5)所示。
D i c e = 2 X Y X + Y
式中:XY分别代表两个不同的样本。

2 试验与结果分析

2.1 模型综合性能验证

为了充分验证本研究提出的Bi-GRU模型的综合性能及其空-谱信息融合机制的有效性,设计相关的对比分析试验,其具体结果如表2表3所示。该试验主要基于ClassAP(1)、ClassAP(2)、mAP、mIoU和Kappa系数5个核心参数对Bi-GRU模型的性能进行综合评估。其中,ClassAP(1)和ClassAP(2)分别代表感染类别和健康类别的AP。此外,由于感染类别所占的总像素比例远小于健康类别,因此与mAP指标相比,采用Kappa系数能更准确地评价模型的分类精度。与此同时,本研究将CNN和LSTM两种主流的深度神经网络模型作为对照组,分别与Bi-GRU模型进行对比,从而进一步论证本研究所提出的Bi-GRU模型的优势与可行性。其中,CNN模型主要采用UNet结构,同时结合PCA降维方法保留前3个主成分后作为CNN模型的输入。对于LSTM模型而言,由于GRU模型本身就是LSTM的一种优化结构,因此这两种模型具有一定的相似性。在试验的过程中只需保证LSTM与GRU在各层中具有相同的神经元个数即可。
表2 Bi-GRU模型综合性能的对比试验结果(谱维度)

Table 2 Comparative test results of the overall performances of the Bi-GRU model (spectral dimension)

评价指标 PCA+CNN LSTM(谱维度) GRU(谱维度)
U Bi U Bi
ClassAP(1)/% 81.6 81.2 83.4 81.7 83.9
ClassAP(2)/% 91.5 92.1 94.1 92.3 94.7
mAP /% 86.6 86.7 88.8 87.0 89.3
mIoU /% 79.4 79.5 82.0 80.1 82.6
Kappa 0.77 0.77 0.80 0.79 0.84

注: U表示单向传输;Bi表示双向传输。

表3 Bi-GRU模型综合性能的对比试验结果(空-谱融合)

Table 3 Comparative test results of the overall performances of the Bi-GRU model (spatial-spectral dimension)

评价指标 PCA+CNN LSTM(空-谱融合) GRU(空-谱融合)
U Bi U Bi
ClassAP(1)/% 81.6 84.2 88.2 84.3 88.6
ClassAP(2)/% 91.5 95.1 98.2 95.5 98.8
mAP /% 86.6 89.7 93.2 89.9 93.7
mIoU /% 79.4 82.9 85.9 83.1 86.5
Kappa 0.77 0.84 0.86 0.85 0.89

注: U表示单向传输;Bi表示双向传输。

考虑LSTM和GRU虽然都属于RNN模型,但在不同的任务中其表现往往也各不相同。因此,本研究主要针对LSTM和GRU模型设计了两组对比方案。第1组重点关注模型中信息的传输方式,即单向(U)和双向(Bi)两种不同模型架构。第2组因素则更注重数据特征表达形式的区别,即仅采用谱维度数据或空-谱融合数据作为模型的输入时,同时对LSTM和GRU的整体性能进行了验证。由表2表3可知,PCA+CNN方法对于油菜叶片菌核病的检测效果不够理想。对于LSTM和GRU而言,与单向架构相比,基于双向架构的LSTM和GRU模型普遍具有更高的mAP和mIoU。此外,对比表2表3发现,无论是对于LSTM还是GRU模型而言,采用空-谱融合数据能有效提升菌核病的检测效果。在相同条件下,GRU模型在油菜叶片菌核病的检测方面比LSTM模型具有更优的综合性能。

2.2 油菜叶片菌核病分割结果

除了对各项参数进行评估,本研究还对比分析不同模型对油菜叶片菌核病的实际分割效果,如图6所示。其中,用于试验的样本均来自于测试集,且为了更清楚地说明实际分割效果,对油菜叶片菌核病的3个不同感染阶段也进行区分。试验所采用的检测模型主要包含PCA+CNN,Bi-LSTM和Bi-GRU,且两个RNN模型都采用空-谱融合数据作为输入。
图6 油菜叶片菌核病的分割结果示例

Fig. 6 Examples of oilseed rape sclerotinia segmentation results

图6发现,当菌核病感染程度达到中期或晚期时,仅通过RGB图像就可以观察到明显的病斑区域。然而,在菌核病感染的初期,其感染区域在RGB图像中变得难以分辨,只有通过伪彩色图像才能较为清晰地观察到病斑的实际位置和大小。这说明在菌核病感染初期,感染区域与健康区域在可见光波段的光谱差异性并不显著。这也意味着相比于中期或晚期,利用深度神经网络模型检测菌核病的初期感染现象具有更大挑战。在图6中,PCA+CNN方法没能检测出菌核病的初期感染现象,且针对感染中期的检测效果也不够理想。与Ground-Truth对比,本研究提出的Bi-GRU模型在菌核病感染的3个阶段其检测效果都优于Bi-LSTM模型。特别是在感染初期,Bi-GRU检测出的有效感染区域明显多于Bi-LSTM模型。

2.3 不同感染阶段菌核病的检测效果评估

为了更加深入、准确地分析本研究提出的Bi-GRU模型的菌核病实际检测效果,采用CNN、Bi-LSTM(S)、Bi-GRU(S)、Bi-LSTM(SS)和Bi-GRU(SS)这5种模型对测试集中的所有图像分别进行了检测。其中,Bi-LSTM(S)和Bi-GRU(S)代表仅使用谱维度数据作为输入,而Bi-LSTM(SS)和Bi-GRU(SS)则代表使用空-谱融合数据作为输入。与此同时,分别计算所有模型的输出结果与Ground-Truth图像之间的Dice系数,从而综合评估不同模型在感染初期、中期和后期3个阶段中的菌核病实际检测效果,结果如图7所示。
图7 CNN、Bi-LSTM和Bi-GRU模型在不同感染阶段的菌核病检测Dice系数

Fig. 7 Dice coefficient of Sclerotinia detection for CNN, Bi-LSTM and Bi-GRU models at different infection periods

图7可知,对于所有模型而言,其感染初期的Dice系数都明显低于中期和晚期。这说明针对菌核病初期感染现象的检测是实现油菜叶片菌核病感染区域精准提取与定位的核心难点所在。初期感染区域分割精度相对偏低的主要原因在于初期感染区域与健康区域的高光谱数据特征极为相似(图2)。因此,除了Bi-GRU模型架构的进一步完善以外,增加初期感染区域的光谱数据量同时采用有针对性的数据增强办法是提升初期感染现象检测精度的有效手段。此外,在菌核病感染的3个阶段中,与其他模型相比,本研究提出的Bi-GRU(SS)模型均取得最高的Dice系数。在感染初期、中期和后期,Bi-GRU(SS)模型的Dice系数分别为83.8%、89.4%和89.2%。值得注意的是,采用空-谱融合数据作为输入的模型,其Dice系数明显高于仅采用谱维度数据的模型。这也进一步验证本研究所提出的空-谱数据融合机制的有效性与可行性。

3 结 论

本研究构建了基于空-谱信息融合机制的Bi-GRU模型,实现了对油菜菌核病染病区域的精准、高效提取,同时解决了菌核病早期感染现象难以检测的问题,具体结论如下。
1)通过综合性能对比试验发现,GRU模型相较于主流的CNN、LSTM等模型具有更优的综合性能对于油菜菌核病的检测。此外,采用双向架构和空-谱融合数据能有效地提升检测效果。
2)分别基于CNN、Bi-LSTM和Bi-GRU实现了菌核病染病区域分割结果的可视化。通过对比Ground-Truth发现,本研究提出的Bi-GRU模型在油菜菌核病感染的各个阶段其检测效果都优于CNN和Bi-LSTM等模型。
3)通过对比分析不同模型菌核病分割结果之间的Dice系数发现,相比于中期或后期感染,初期感染现象的检测精度相对较低。但采用空-谱数据融合机制能够有效地提升油菜菌核病初期感染现象的检测效果。
未来的研究工作将进一步扩充数据集,结合注意力机制以及其他大模型的优势不断完善Bi-GRU模型,并将其推广用于多种不同农产品、不同病害的高通量检测领域。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
何微, 李俊, 王晓梅, 等. 全球油菜产业现状与我国油菜产业问题、对策[J]. 中国油脂, 2022, 47(2):1-7.

HE W, LI J, WANG X M, et al. Current status of global rapeseed industry and problems, countermeasures of rapeseed industry in China[J]. China oils and fats, 2022, 47(2):1-7.

2
KONG W W, ZHANG C, HUANG W H, et al. Application of hyperspectral imaging to detect sclerotinia sclerotiorum on oilseed rape stems[J]. Sensors, 2018, 18(1): ID 123.

3
高振, 赵春江, 杨桂燕, 等. 典型拉曼光谱技术及其在农业检测中应用研究进展[J]. 智慧农业(中英文), 2022, 4(2): 121-134.

GAO Z, ZHAO C J, YANG G Y, et al. Typical raman spectroscopy ttechnology and research progress in agriculture detection[J]. Smart Agriculture, 2022, 4(2): 121-134.

4
马盼, 杨子恒, 万虎, 等. 基于YOLOv8网络的棉蚜图像识别算法及软件系统设计[J]. 智能化农业装备学报(中英文), 2023, 4(3): 42-49.

MA P, YANG Z H, WAN H, et al. A new cotton aphid image recognition algorithm and software based on YOLOv8[J]. Journal of intelligent agricultural mechanization, 2023, 4(3): 42-49.

5
戴佩玉, 张欣, 毛星, 等. 利用空间-光谱双分支特征和动态选择的高光谱影像农作物分类[J]. 农业工程学报, 2023, 39(16): 160-170.

DAI P Y, ZHANG X, MAO X, et al. Classifying crops from hyperspectral images using spatial-spectral dual branches and dynamic feature selection[J]. Transactions of the Chinese society of agricultural engineering, 2023, 39(16): 160-170.

6
YE Z, TAN X, DAI M, et al. A hyperspectral deep learning attention model for predicting lettuce chlorophyll content[J]. Plant methods, 2024, 20(1): ID 22.

7
卢晶晶, 赵津, 申童, 等. 作物菌核病病原菌致病机制及菌核病防治研究进展[J]. 黑龙江农业科学, 2022(8): 128-133.

LU J J, ZHAO J, SHEN T, et al. Research progress on pathogenic mechanisms and control of sclerotinia-derived stem rot disease[J]. Heilongjiang agricultural sciences, 2022(8): 128-133.

8
IMANI M, GHASSEMIAN H. An overview on spectral and spatial information fusion for hyperspectral image classification: Current trends and challenges[J]. Information fusion, 2020, 59: 59-83.

9
DATTA D, MALLICK P K, BHOI A K, et al. Hyperspectral image classification: Potentials, challenges, and future directions[J]. Computational intelligence and neuroscience, 2022, 2022: ID 3854635.

10
MEDJAHED S A, OUALI M. Band selection based on optimization approach for hyperspectral image classification[J]. The egyptian journal of remote sensing and space science, 2018, 21(3): 413-418.

11
RASTI B, HONG D F, HANG R L, et al. Feature extraction for hyperspectral imagery: The evolution from shallow to deep: Overview and toolbox[J]. IEEE geoscience and remote sensing magazine, 2020, 8(4): 60-88.

12
TU B, LI N Y, FANG L Y, et al. Hyperspectral image classification with multi-scale feature extraction[J]. Remote sensing, 2019, 11(5): ID 534.

13
KUMAR B, DIKSHIT O, GUPTA A, et al. Feature extraction for hyperspectral image classification: A review[J]. International journal of remote sensing, 2020, 41(16): 6248-6287.

14
叶珍, 白璘, 何明一. 高光谱图像空-谱特征提取综述[J]. 中国图象图形学报, 2021, 26(8):1737-1763.

YE Z, BAI L, HE M Y. Review of spatial-spectral feature extraction for hyperspectral image[J]. Journal of image and graphics, 2021, 26(8):1737-1763.

15
张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望[J]. 自动化学报, 2018, 44(6):961-977.

ZHANG H K, LI Y, JIANG Y N. Deep learning for hyperspectral imagery classification: The state of the art and prospects[J]. Acta automatica sinica, 2018, 44(6):961-977.

16
CHEN Y S, LIN Z H, ZHAO X, et al. Deep learning-based classification of hyperspectral data[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2014, 7(6): 2094-2107.

17
李想, 胡肖楠, 李方一, 等. 苹果树叶多病害及不可辨别病害的轻量识别算法[J]. 农业工程学报, 2023, 39(14): 184-190.

LI X, HU X N, LI F Y, et al. Lightweight recognition for multiple and indistinguishable diseases of apple tree leaf[J]. Transactions of the Chinese society of agricultural engineering, 2023, 39(14): 184-190.

18
LI S T, SONG W W, FANG L Y, et al. Deep learning for hyperspectral image classification: An overview[J]. IEEE transactions on geoscience and remote sensing, 2019, 57(9): 6690-6709.

19
VIEL F, MACIEL R C, SEMAN L O, et al. Hyperspectral image classification: An analysis employing CNN, LSTM, transformer, and attention mechanism[J]. IEEE access, 2023, 11: 24835-24850.

20
HAMIDA ABEN, BENOIT A, LAMBERT P, et al. 3-D deep learning approach for remote sensing image classification[J]. IEEE transactions on geoscience and remote sensing, 2018, 56(8): 4420-4434.

21
MOU L C, GHAMISI P, ZHU X X. Deep recurrent neural networks for hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing, 2017, 55(7): 3639-3655.

22
HONG D F, HAN Z, YAO J, et al. SpectralFormer: Rethinking hyperspectral image classification with transformers[J]. IEEE transactions on geoscience and remote sensing, 2021, 60: ID 5518615.

23
MEI S H, LI X G, LIU X, et al. Hyperspectral image classification using attention-based bidirectional long short-term memory network[J]. IEEE transactions on geoscience and remote sensing, 2034, 60: ID 5509612.

24
WU G Q, NING X, HOU L Y, et al. Three-dimensional softmax mechanism guided bidirectional GRU networks for hyperspectral remote sensing image classification[J]. Signal processing, 2023, 212: ID 109151.

25
HU W S, LI H C, PAN L, et al. Spatial–spectral feature extraction via deep ConvLSTM neural networks for hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing, 2020, 58(6): 4237-4250.

文章导航

/