欢迎您访问《智慧农业(中英文)》官方网站! English
专题--农业知识智能服务和智慧无人农场(上)

基于Deep-Semi-NMF的苹果斑点落叶病检测方法

  • 傅卓军 ,
  • 胡政 ,
  • 邓阳君 ,
  • 龙陈锋 ,
  • 朱幸辉
展开
  • 湖南农业大学 信息与智能科学技术学院,湖南 长沙 410125,中国
邓阳君,博士,教授,研究方向为机器学习与模式识别、遥感图像处理及其农业应用。E-mail:

傅卓军,研究方向为计算机网络技术、智能决策支持系统和作物生态信息。E-mail:

收稿日期: 2024-09-01

  网络出版日期: 2025-01-16

基金资助

国家自然科学基金青年项目(62401203)

湖南省重点领域研发计划项目(2022NK2047)

Detection Method of Apple Alternaria Leaf Spot Based on Deep-Semi-NMF

  • FU Zhuojun ,
  • HU Zheng ,
  • DENG Yangjun ,
  • LONG Chenfeng ,
  • ZHU Xinghui
Expand
  • College of Information and Intelligence, Hunan Agricultural University, Changsha 410125, China
DENG Yangjun, E-mail:

FU Zhuojun, E-mail:

Received date: 2024-09-01

  Online published: 2025-01-16

Supported by

National Natural Science Foundation of China Youth Program(62401203)

Hunan Province Key Field R&D Project(2022NK2047)

Copyright

copyright©2024 by the authors

摘要

[目的/意义] 苹果斑点落叶病易导致苹果树叶过早脱落,从而影响苹果品质和产量。因此,如何准确检测此病一直是苹果树病害精准防治的热点问题。由于逆光等因素影响,传统基于图像分割的病斑检测方法难以在复杂背景下准确检测病斑区域边界,亟需发展苹果斑点落叶病检测新方法,助力苹果树病害精准防治。 [方法] 针对上述问题,本研究从图像异常检测的角度出发,考虑复杂背景干扰,采用深度半非负矩阵分解理论,结合鲁棒性好的马氏距离度量,提出一种新的深度半非负矩阵分解的马氏距离异常检测方法(Deep Semi-Non-Negative Matrix Factorization-Based Mahalanobis Distance-Anomaly Detector, DSNMFMAD)。该方法首先利用深度非负矩阵分解(Deep Semi-Non-Negative Matrix Factorization, DSNMF)提取图像中低秩的背景部分和稀疏的异常部分。然后采用基于奇异值分解特征子空间的马氏距离构建病斑检测器,检测器通过计算异常部分每个像元的异常度来标记病斑。最后,分别构建了实验室和自然条件下的两个苹果斑点落叶病数据集,用以验证提出方法的有效性。 [结果和讨论] DSNMFMAD在实验室条件和自然条件下对苹果斑点落叶病的识别准确率分别达到了99.8%和87.8%;平均检测速度为0.087和0.091 s/幅。相较于4种经典的异常检测方法和1种深度学习模型,本研究所提出方法的检测准确率在实验室条件下分别提高了0.2%、37.9%、10.3%、0.4%和24.5%;在自然条件下分别提高了2.5%、32.7%、5%、14.8%和3.5%。 [结论] 本研究提出的 DSNMFMAD能够通过DSNMF有效地将图像中的异常部分提取出来,并利用构建的病斑检测器准确地将苹果斑点落叶病位置检测出来。即使在复杂背景条件下,该方法亦获得了比对比方法更高的检测准确度,展现出了优异的病斑检测性能,为苹果斑点落叶病的检测与防治提供了技术参考依据。

本文引用格式

傅卓军 , 胡政 , 邓阳君 , 龙陈锋 , 朱幸辉 . 基于Deep-Semi-NMF的苹果斑点落叶病检测方法[J]. 智慧农业, 2024 , 6(6) : 144 -154 . DOI: 10.12133/j.smartag.SA202409001

Abstract

[Objective] Apple Alternaria leaf spot can easily lead to premature defoliation of apple tree leaves, thereby affecting the quality and yield of apples. Consequently, accurately detecting of the disease has become a critical issue in the precise prevention and control of apple tree diseases. Due to factors such as backlighting, traditional image segmentation-based methods for detecting disease spots struggle to accurately identify the boundaries of diseased areas against complex backgrounds. There is an urgent need to develop new methods for detecting apple Alternaria leaf spot, which can assist in the precise prevention and control of apple tree diseases. [Methods] A novel detection method named Deep Semi-Non-negative Matrix Factorization-based Mahalanobis Distance Anomaly Detection (DSNMFMAD) was proposed, which combines Deep Semi-Non-negative Matrix Factorization (DSNMF) with Mahalanobis distance for robust anomaly detection in complex image backgrounds. The proposed method began by utilizing DSNMF to extract low-rank background components and sparse anomaly features from the apple Alternaria leaf spot images. This enabled effective separation of the background and anomalies, mitigating interference from complex background noise while preserving the non-negativity constraints inherent in the data. Subsequently, Mahalanobis distance was employed, based on the Singular Value Decomposition (SVD) feature subspace, to construct a lesion detector. The detector identified lesions by calculating the anomaly degree of each pixel in the anomalous regions. The apple tree leaf disease dataset used was provided by PaddlePaddle AI-Studio. Each image in the dataset has a resolution of 512×512 pixels, in RGB color format, and was in JPEG format. The dataset was captured in both laboratory and natural environments. Under laboratory conditions, 190 images of apple leaves with spot-induced leaf drop were used, while 237 images were collected under natural conditions. Furthermore, the dataset was augmented with geometric transformations and random changes in brightness, contrast, and hue, resulting in 1 145 images under laboratory conditions and 1 419 images under natural conditions. These images reflect various real-world scenarios, capturing apple leaves at different stages of maturity, in diverse lighting conditions, angles, and noise environments. This diversed dataset ensured that the proposed method could be tested under a wide range of practical conditions, providing a comprehensive evaluation of its effectiveness in detecting apple Alternaria leaf spot. [Results and Discussions] DSNMFMAD demonstrated outstanding performance under both laboratory and natural conditions. A comparative analysis was conducted with several other detection methods, including GRX (Reed-Xiaoli detector), LRX (Local Reed-Xiaoli detector), CRD (Collaborative-Representation-Based Detector), LSMAD (LRaSMD-Based Mahalanobis Distance Detector), and the deep learning model Unet. The results demonstrated that DSNMFMAD exhibited superior performance in the laboratory environment. The results demonstrated that DSNMFMAD attained a recognition accuracy of 99.8% and a detection speed of 0.087 2 s/image. The accuracy of DSNMFMAD was found to exceed that of GRX, LRX, CRD, LSMAD, and Unet by 0.2%, 37.9%, 10.3%, 0.4%, and 24.5%, respectively. Additionally, the DSNMFMAD exhibited a substantially superior detection speed in comparison to LRX, CRD, LSMAD, and Unet, with an improvement of 8.864, 107.185, 0.309, and 1.565 s, respectively. In a natural environment, where a dataset of 1 419 images of apple Alternaria leaf spot was analysed, DSNMFMAD demonstrated an 87.8% recognition accuracy, with an average detection speed of 0.091 0 s per image. In this case, its accuracy outperformed that of GRX, LRX, CRD, LSMAD, and Unet by 2.5%, 32.7%, 5%, 14.8%, and 3.5%, respectively. Furthermore, the detection speed was faster than that of LRX, CRD, LSMAD, and Unet by 2.898, 132.017, 0.224, and 1.825 s, respectively. [Conclusions] The DSNMFMAD proposed in this study was capable of effectively extracting anomalous parts of an image through DSNMF and accurately detecting the location of apple Alternaria leaf spot using a constructed lesion detector. This method achieved higher detection accuracy compared to the benchmark methods, even under complex background conditions, demonstrating excellent performance in lesion detection. This advancement could provide a valuable technical reference for the detection and prevention of apple Alternaria leaf spot.

0 引 言

苹果是中国重要的经济作物之一,据中国苹果产业协会联合国家苹果产业技术体系共同组织编写的《2023年度中国苹果产业发展报告》数据显示,2023年度全国苹果总产量为4 960.17万吨,同比增长4.27%1。苹果斑点落叶病害是影响苹果产量和质量的主要因素之一。苹果树在遭受此病害时,一般在叶片表面出现异常的病斑颜色和病斑纹理,因此可以通过苹果树叶片颜色和纹理的变化来识别。目前,国内主要依靠有经验的农业植保人员对作物病害进行识别,劳动强度大、效率低,检测结果具有很强的主观性,对苹果斑点落叶病害的危害程度很难做出定量、正确的分析和判断,也不适用于大面积苹果树等作物病害检测。
近年来,利用计算机视觉技术对农作物病害进行精准的智能诊断是农业信息化领域的热门课题之一。在进行作物病害智能化诊断研究过程中,对具有复杂背景的病害作物叶片进行有效的图像分割至关重要,其结果直接影响到后期的特征提取和病害识别准确性。现有文献主要针对简单背景的病斑进行分割,对于复杂背景的病斑分割研究很少。如Chakraborty等2开发了一个集成系统,结合了图像预处理技术(如Otsu阈值法和直方图均衡化)、区域分割,以及多类支持向量机(Support Vector Machine, SVM)分类器,高效地区分健康和受感染的苹果叶片,在500张图像数据集上达到了96%的识别准确率。Singh等3采用亮度保持动态模糊直方图均衡技术来增强图像,成功识别并分类了包括苹果黑星病、锈病等在内的多种病害,对于黑星病的识别准确率达到97.5%,对于锈病的识别准确率为94.2%。Khan等4开发了一个基于深度学习的苹果病害检测系统,分类准确率达到88%,检测模型的平均精度为42%。Aich等5提出了一种基于监督机器学习模型的苹果树植物病害自动诊断系统,分类准确率高达95%。Ahmed和Yadav6结合了机器学习和深度学习算法预测果园中的苹果植物疾病,卷积神经网络模型(Convolutional Neural Networks, CNN)在病害识别上的准确率达到了95.2%,而传统的机器学习算法如SVM在相同数据集上的准确率为87.6%。
研究者们通过图像预处理技术增强了病叶图像的对比度和特征,随后利用机器学习模型对病叶与健康叶片进行分类,并在检测到病害后进行进一步局部化和特征提取。
Zhan等7提出了一种改进的BHC-YOLOv8(You Only Look Once v8-Based BHC Target Detection Model)模型,实验结果表明,在茶叶病害检测中的平均精度均值(Mean Average Precision, mAP)达到92%以上。Wang等8研究开发了LCGSC-YOLO(LCNet and GSConv module)模型,结合LCNet和GSConv (Group Shuffle Convolution)模块以优化轻量化结构,适用于苹果叶病害检测,真实场景下的病害检测精度达到了95.2%。李亚文和何甜9通过Hu矩提取图像的形状特征,利用遗传算法(Genetic Algorithm, GA)与SVM相结合模型,对特征参数进行分类训练,测试结果表明,在GA优化下的SVM预测数据精度明显提高,苹果叶部斑点落叶病、褐斑病、花叶病、灰斑病、锈病识别率分别达到94.5%、86.5%、95.5%、90.0%和93.2%。邵彧等10提出一种基于判别局部保持投影(Discriminant Locality Preserving Projections, DLPP)的苹果叶部病害识别方法,该方法在识别苹果叶片常见病害如锈病、黑星病、白粉病等方面表现出色,准确率达到了95.3%,为苹果病害的早期识别和预防提供了有效的技术支持。
综上所述,农作物病害识别方法的关键问题是病害叶片病斑的检测。传统基于图像分割的病斑检测方法需要手动设计特征提取方式,如颜色、纹理、形状特征提取。然而,当运用经典病斑分割方法处理大量复杂的患病图片数据集时,由于图像背景复杂11、类型多样且病害特征不明显,会导致不准确的分割结果。目前还没有特别有效的检测和处理方法检测苹果叶斑点病病斑。为了能够高效、快速检测到病害叶片病斑,本研究将异常检测方法12引入到苹果斑点落叶病病斑检测中,并提出一种新的深度半非负矩阵分解的马氏距离异常检测方法(Deep Semi-Non-Negative Matrix Factorization Based Mahalanobis Distance Anomaly Detector, DSNMFMAD)。该算法首先通过DSNMF获取图像中低秩的背景部分和稀疏的异常部分,然后采用基于奇异值分解特征子空间的马氏距离构建病斑检测器,并利用构建的病斑检测器准确地将病斑位置检测出来。该方法可为苹果斑点落叶病的检测与防治提供技术参数依据。

1 材料与方法

1.1 数据集介绍

试验采用的苹果树叶片病害数据来自于百度深度学习平台飞桨AI-Studio提供的数据集13。单张图像分辨率像素为512×512,彩色RGB,JEPG格式。数据分为在实验室条件下和自然条件下拍摄,其中实验室环境下斑点落叶病叶片190张,自然环境下斑点落叶病叶片237张。并且在树叶不同成熟阶段和不同光照、角度、噪声环境下拍摄的叶片图像,可反映真实的现场场景。数据集由行业专家收集并命名。本研究对苹果树叶较为棘手的病害14——斑点落叶病(Alternaria leaf spot)进行异常检测,该病害在初发期(发病早期)会在叶片的表面出现小而不明显的黄色或浅绿色小斑点,形状多为圆形或不规则形。这些斑点初期较小,直径一般在1~2 mm,容易被忽略。扩展期(发病中期)时斑点迅速扩展,变大、变深,通常呈现褐色、黑褐色或深棕色,斑点周围的组织可能出现黄色的晕圈。这些斑点逐渐融合成更大面积的病变区域,叶片明显受损。严重期(发病晚期)会大量斑点会覆盖叶片,多个斑点可能融合在一起,形成较大块的坏死区域。叶片的组织干枯、卷曲,失去生机,出现大面积的叶片脱落(早期落叶现象)。感染苹果斑点落叶病害落叶如图1所示。
图1 不同时期感染斑点落叶病的苹果树叶片

Fig.1 Apple tree leaves with Alternaria leaf spot from different periods

1.2 数据集预处理

由于苹果斑点落叶病叶片的数量分布不均匀,为验证算法的可行性和得到具有泛化能力的模型,对数据进行增强处理,以模拟室外环境的复杂性,如光强度、光色温、阴影效果等。如图2所示,图像增强主要有两种方法15:一是几何变换,即在水平和垂直方向上随机翻转和裁剪原始图像。二是调色变换,其中图像亮度随机变化0.5~1.5倍,对比度随机变化0.5~2.5倍,色度随机变化0.5~2.5倍。通过几何变化、随机改变亮度、对比度和色度变化后的苹果树叶数据集中包含实验室环境下斑点落叶病叶片1 145张,用Indoor代表;自然环境下斑点落叶病叶片1 419张,用Outdoor代表。
图2 苹果斑点落叶病数据增强效果

Fig.2 The enhancement effect of apple Alternaria leaf spot data

2 基于DSNMF的马氏距离异常检测模型设计

2.1 DSNMF的低秩稀疏模块

DSNMF的结构类似于深度神经网络,每一层输出的特征矩阵可以作为下一层的输入16, 17。其分解过程如下。首先,对原始数据矩阵进行半非负矩阵分解(Semi Non-Negative Matrix Factorization, SNMF)和深度半非负矩阵分解的计算方式,生成基矩阵和特征矩阵。随后,对特征矩阵再次进行SNMF,得到新的基矩阵和特征矩阵。按照这个过程重复操作,可逐层构建出多个基矩阵和特征矩阵,最终实现多层分解。
SNMF指将样本数据分解成2个矩阵相乘,这2个矩阵具有低秩、非负的特性,如公式(1)
X ± Z ± × H +
式中: X 是一个m×n维的矩阵,其中每一列就是空间中的一个向量,共m个向量;基矩阵 Z 是一个m×k维的矩阵,即k个基; Hk×n的特征矩阵,每一列为 X 投影到 Z 上得到的向量;上标“+”表示矩阵只包含非负元素。
DSNMF分解过程如公式(2)所示。
X 1 ± Z 1 ± H 1 + ; X 2 ± Z 1 ± Z 2 ± H 2 + ; · · · · · · X L ± Z 1 ± Z 2 ± Z L ± H L +
Trigeorgis等18提出的DSNMF算法的步骤如下:首先使用非负双奇异值分解(Non-Negative Double Singular Value Decomposition, NNDSVD)算法分别初始化数据矩阵 X 1 Z 1 H 1,接着分解特征矩阵 H 1 Z 2 H 2,直至遍历了D层。然后交替优化2个因子以减少重构误差,目标函数如公式(3)
C D S N M F = 1 2 X - Z 1 H 1 , Z 2 H 2 , , Z D H D F 2
式中: C D S N M F为重构矩阵; X 为原数据矩阵; Z 1 , Z 2 , Z D 为基矩阵; H 1 , H 2 , H D 为特征矩阵。
DSNMF对每一层的分解并非独立,各层分解交替实现。因此,更新 Z D 法则如公式(4)所示。
Z D = Ψ T Ψ - 1 Ψ T X H ˜ i T H ˜ i H ˜ i T - 1
式中: Ψ为特征变换矩阵; H ˜ i为第i层的特征矩阵。
更新 H i 规则如公式(5)所示。
H i = H i Ψ T X + + Ψ T Ψ - H i Ψ T X - + Ψ T Ψ + H i
然后将得到具有低秩特性的基矩阵 Z 与特征矩阵 H 相乘得到更精确的低秩矩阵 L,即原图像 X 的背景部分,DSNMF可以学习到数据中的背景信息,即通常出现在数据中的模式或特征。异常区域通常与背景不同,因此分解得到的背景部分可以帮助将异常区域分离出来,然后再利用原始数据集减去学习到的背景信息 L 得到代表原始图像异常信息的稀疏矩阵 S公式(6)所示。
S = P Ω X - L
式中: P Ω ·表示元素集 Ω对矩阵稀约束的采样投影; Ω为| X - L |的前 k N个最大元素非零子集。
该稀疏算子依赖于预先定义的k值,然而选择最优的k值并不容易,前 k N个最大元素仍然需要对整个矩阵进行排序或筛选,尤其对于大规模矩阵,计算复杂度仍然较高。

2.2 基于奇异值分解特征子空间的马氏距离

在得到原始图像异常信息的稀疏矩阵后,直接在原维度空间中构建基于马氏距离的异常检测器会导致计算复杂度高且易受噪声影响。因此,提出一种基于奇异值分解(Singular Value Decomposition, SVD)特征子空间的方法解决以上预先定义值和计算复杂度高的问题。
通过主成分分析思想,对数据的协方差矩阵提取主成分特征,以此作为背景特征将马氏距离异常检测器投影到特征子空间。SVD特征子空间方法通过将高维数据投影到一个低维子空间中,有效地减少了数据维度,进一步提高了计算效率。鉴于异常矩阵 S 与背景之间的差异最为显著,本研究采用了一种低时间复杂度的奇异值SVD方法来处理异常矩阵 S。通过获得最大的非0奇异值构建新的协方差矩阵,以此实现异常矩阵 S 的稀疏约束,然后基于异常特征子空间的马氏距离构建病斑检测器。
首先假设协方差矩阵分解如公式(7)所示。
Γ s = V A V T
因此逆协方差矩阵可以表示为公式(8)公式(9)
Γ s - 1 = V A - 1 V T = i = 1 B λ i - 1 V i V i T
μ s = 1 N S 1 + + S N
最后基于SVD特征子空间的马氏距离病斑检测器表示为公式(10)
d i = ( S - μ s ) T Γ s - 1 S - μ s
式中: Γ s为协方差矩阵; V = V 1 V 2 , , V B为右奇异矩阵; A = d i a g λ 1 , λ 2 , , λ B表示为非0最大奇异值,且 λ 1 λ 2 λ B d i表示各像元的异常度。

2.3 DSNMFMAD异常检测方法

在苹果斑点落叶病病斑识别领域,传统基于图像分割的病斑检测方法需要手动设计特征提取方式,如颜色、纹理和形状等。深度神经网络存在训练数据样本数量高、复杂性高、可解释性差等缺点。这些方法在简单背景下效果较好,但在复杂背景下往往表现不佳。
为了克服这些问题,本研究把苹果斑点落叶病病斑检测作为一种异常检测。针对传统低秩稀疏异常检测模型进行改进,提出了一种新的检测方法DSNMFMAD。
首先,利用DSNMF提取图像中低秩的背景部分和稀疏的异常部分,该方法无需先验知识即可学习图像中低秩的背景特征和稀疏的异常特征,尤其适用于复杂背景和多变环境(如光照和气候的影响)。接着,引入基于SVD特征子空间解决原异常稀疏矩阵约束依赖于预先定义值和计算复杂度高等问题,最后,通过对SVD特征子空间的异常稀疏矩阵 S 的协方差矩阵提取主成分特征,构建异常特征子空间的马氏距离病斑检测器,检测器通过计算异常部分每个像元的异常度来标记病斑。DSNMFMAD结构如图3所示。
图3 基于DSNMF的马氏距离异常检测方法(DSNMFMAD)

注:数据矩阵 X 分解时会reshape为 N × D 的二维矩阵; N H × W 即图像的像元总数,特征维数为 D L 为图像低秩矩阵; S 为异常稀疏矩阵, d 为各像元的异常度。

Fig. 3 A mahalanobis distance anomaly detection method based on deep semi non-negative matrix factorization

3 结果与分析

该研究在实验室环境和自然环境下的苹果斑点落叶病害叶片图像进行了实验。为了评估所提出方法的有效性,将得到的结果与GRX(Reed-Xiaoli detector)19、LRX(Local Reed-Xiaoli Detector)20、CRD(Collaborative-Representation-Based Detector)21、LSMAD(LRaSMD-Based Mahalanobis Distance Detector)224种经典异常检测方法和1种深度学习模型Unet(U-shaped Network)23方法进行了比较。不同检测方法使用背景-异常分离图来表达检测效果。为了进行数值比较,该研究使用AUC(Area Under Curve)值作为评估检测结果的主要标准,AUC表示ROC曲线下的面积,其值介于0.5和1之间。AUC值越大,表示算法的性能越好。
为了验证所提出方法的探测性能,该研究将所提出的方法与GRX、LRX、CRD、LSMAD和Unet进行了比较。本试验是在实验室服务器运行完成的,环境配置如表1所示。
表1 苹果斑点落叶病检测研究实验环境配置

Table 1 Apple Alternaria leaf spot detection research experimental environment configuration

试验环境 配置参数
操作系统 Windows10
处理器 Core(TM)i9-12900K
内存容量 128 G
编程语言 MATLAB2022b
显卡 NVIDIA RTX 4090 24 G

3.1 实验室苹果斑点落叶病检测

3.1.1 参数分析

异常检测方法的参数优化对其检测性能至关重要。对于CRD方法,常数λ是一个惩罚系数,为了找到合适的λ,首先固定其他参数(例如,win_out=5和win_in=3),只调整λ的值。为了达到最佳的检测效果,该实验将LRX的窗口设置为(9, 15),CRD窗口设置为(13, 15),λ=1E-6。LSMAD方法对于不同的秩(r),λ,迭代次数(item),对其准确性也有很大的影响,为了显示该方法的优越性并充分挖掘其潜力,该研究对这三个参数进行消融实验,以获得最佳参数后,统一进行数据集异常检测操作。在深度学习Unet模型训练过程中,学习率设定为1E-4,Batch Size被设置为8,使用step学习率下降方式,选择Adam作为模型的优化器,Epoch上限设置为200。
下面重点讨论DSNMFMAD异常检测方法,由于DSNMF分解受初始值影响较大,对不同的分解层数(Layer)有不同的异常嗅探性,层数的多少根据实际需求和数据复杂度来选择,从而达到最优。
为获得DSNMFMAD的优越性能,本研究对其参数Layer进行实验,以获得图像更深隐藏信息。探测性能结果如表2所示,图4a图4b为单层(Layer=1)下的背景与异常分解效果,图4c图4d为双层(Layer=2)下的背景与异常分解效果,图4e图4f为三层(Layer=3)下的背景与异常分解效果。
表2 实验室苹果叶数据集DSNMFMAD不同层数参数的AUC值和平均运行时间

Table 2 AUC values and average runtime of different layer parameters of Indoor apple leaf data set of DSNMFMAD

Layer ROC曲线面积 平均运行时间/s
1 0.997 500 0.073 4
2 0.993 070 0.087 2
3 0.874 530 0.110 4
表2可以看到在Indoor数据集中Layer参数从1层变化到3层,深层的隐藏信息影响不大,且1~2层均能获得好的很好的异常检测效果,图4展示的DSNMF矩阵分解后的背景与异常区域中,双层分解下的异常区域更加明显,抑制了背景污染,提高异常检测性能,但是综合运行时间计算成本因素比较,本研究在实验室环境下参数选择Layer为1。
图4 实验室环境下DSNMF分解不同层苹果斑点落叶病背景与异常区域分解效果图

Fig. 4 In the laboratory environment, DSNMF decomposes the background and abnormal area decomposition effect diagram of apple Alternaria leaf spot in different layers

3.1.2 性能分析

算法参数对不同异常检测方法的操作时间有很大影响。为了突出所提出的方法在计算成本方面的优势,该研究尝试在不同的方法中将参数大小设置为最优,以确保算法的性能最优。这些方法中使用的参数如表3所示。
表3 实验室苹果叶数据集不同异常检测算法参数设置

Table 3 Parameter settings of different anomaly detection algorithms for Indoor apple leaf data sets

方法 参数
GRX
LRX win_out=15, win_in=9
CRD win_out=15, win_in=13, λ=1E-6
LSMAD λ=1E-5, r=2, item=7
Unet Lr = 1E-4, batch size= 8, epoch=200
DSNMFMAD Layer=1

注: —表示无数值。

对于实验室苹果叶数据集,首先对其中一张苹果病斑叶片(如Indoor_1035.jpg)进行不同方法的检测,不同方法对苹果斑点落叶病检测效果如图5所示。图6为异常目标和背景之间的可分性,从图中可以看出,GRX、DSNMFMAD不仅对背景的抑制情况很好,而且异常的部分被放大,则能表现出来比较好的分离情况,虽然LSMAD对异常部分进行了放大,有助于异常的检测,但是对背景的抑制没有GRX、Unet、DSNMFMAD好;而LRX、CRD不能有效地分离背景和异常特征。
图 5 苹果斑点落叶病样图Indoor_1035.jpg不同异常检测方法的检测效果示例

Fig. 5 Examples of detection effects of different anomaly detection methods for apple Alternaria leaf spot of sample Indoor _ 1035.jpg

图6 实验室环境下苹果斑点落叶病研究背景-异常分离图

Fig. 6 Background-abnormal separation map of apple Alteirnaria leaf spot research in Indoor environment

随后用GRX、LRX、CRD、LSMAD、Unet、DSNMFMAD对实验室条件下的1 145张苹果斑点病叶片数据集进行异常检测,进而评判病斑检测器的鲁棒性,所有实验数据集上的AUC值定量评价结果如表4所示,可以看出GRX、CRD、LSMAD、Unet和DSNMFMAD都得到了很好的结果。通过与4种经典的异常检测方法和1种深度学习模型进行对比试验,本研究提出的方法DSNMFMAD在实验室苹果叶数据集上识别准确率和检测速度分别达到了99.8%和0.087 2 s,比GRX、LRX、CRD、LSMAD和Unet的准确率分别提高0.2%、37.9%、10.3%、0.4%和24.5%;检测速度比LRX、CRD、LSMAD和Unet分别提高了8.864、107.185、0.309和1.565 s。
表4 苹果斑点落叶病研究实验室数据集不同方法的AUC值与运行时间

Table 4 AUC values and runtime of different methods in the indoor dataset for apple Alternaria leaf spot

数据类型 数量/张 方法 GRX LRX CRD LSMAD Unet DSNMFMAD
Indoor 1 145 Average_AUC 0.995 5 0.616 6 0.893 2 0.993 9 0.752 2 0.997 5
Average_Time/s 0.071 1 8.951 1 107.271 9 0.396 2 1.652 2 0.087 2

3.2 自然环境苹果叶片实验

3.2.1 参数分析

在自然环境数据集LRX的窗口设置为(13,15),CRD窗口设置为(13,15);λ=1E-6,LSMAD参数λ=1E-4;r=2;item=5。表5为DSNMFMAD不同Layer的性能分析,在Layer=2的ROC曲线面积值最大,可以理解为达到算法局部最优,所以优先采用Layer=2为最佳参数。图7a图7b为单层(Layer=1)下的背景与异常分解效果,图7c图7d为双层(Layer=2)下的背景与异常分解效果,图7e图7f为三层(Layer=3)下的背景与异常分解效果。
表5 自然环境苹果叶数据集 DSNMFMAD 不同层数参数的AUC值和平均运行时间

Table 5 The AUC values and average runtime of different layer parameters of the outdoor apple leaf data set DSNMFMAD

Layer ROC曲线面积 平均运行时间/s
1 0.857 280 0.073 4
2 0.877 765 0.091 0
3 0.725 340 0.110 4
图7中可知,在自然条件下,病斑的检测效果受光照、气候等周边噪声、遮挡影响较大,DSNMF多层的分解后更多的隐藏信息对于背景与异常的分离有较大的提升,图7d中异常区域分离情况比图7b更加明显突出,而且对背景区域光影遮挡进行了较好的重建,但在Layer=3层数下DSNMF并没有对数据集的结果产生重大影响,反而造成把图像的异常区域(即病斑区域)看作低秩背景区域进行重建,因此异常区域受到背景区域严重污染,影响了病斑检测精度,而且计算成本更高。
图7 自然环境下DSNMF分解不同层苹果斑点落叶病背景与异常区域分解效果图

Fig.7 In the outdoor environment, DSNMF decomposes the background and abnormal area decomposition effect diagram of apple Alternaria leaf spot in different layers

3.2.2 性能分析

综上,为不同的方法设置了最佳参数λ、r、item和Layer,如表6所示,以显示所提出方法的优越性并充分挖掘其潜力,已确保算法的性能最优,深度学习模型Unet训练设置与前面一致。
表6 自然环境苹果叶数据集不同异常检测算法参数设置

Table 6 Parameter settings of different anomaly detection algorithms for outdoor apple leaf data sets

方法 参数
GRX
LRX win_out=15,win_in=13
CRD win_out=15,win_in=13,λ=1E-6
LSMAD λ=1E-4,r=2,item=5
Unet Lr = 1E-4,batch size= 8,epoch=200
DSNMFMAD Layer=2

注: —表示无数值。

不同方法检测苹果斑点落叶病的效果如图8所示。图9为苹果斑点落叶病研究背景-异常分离图。比较图9中的背景异常分离情况可以看出,本研究所提出的方法比LRX、CRD、LSMAD,以及Unet方法获得了更好结果。随后用GRX、LRX、CRD、LSMAD、Unet、DSNMFMAD分别对自然环境条件下的1 419张苹果斑点落叶病叶片数据集进行异常检测,评判病斑检测器的鲁棒性,自然环境条件下所有实验数据集上的AUC值定量评价结果如表7所示。本方法在自然环境数据集上识别准确率和检测速度分别达到了87.8%和0.091 0 s,比GRX、LRX、CRD、LSMAD和Unet的准确率分别提高2.5%、32.7%、5%、14.8%和3.5%,检测速度比LRX、CRD、LSMAD和Unet分别提高了2.898、132.017、0.224和1.825 s。结果显示本方法在异常检测方面对背景的抑制和异常的放大更加突出,因而相较于4种经典的异常检测方法和1种深度学习模型,对异常信息提取和处理能力更强,更适用于苹果斑点病叶片病斑检测。
图8 苹果斑点落叶病样图Outdoor_0785.jpg不同异常检测方法的检测效果示例

Fig. 8 Examples of detection effects of different anomaly detection methods for apple Alternaria leaf spot of sample Outdoor_0785.jpg

图9 自然环境下苹果斑点落叶病研究背景-异常分离图

Fig. 9 Background-abnormal separation map of apple Alteirnaria leaf spot research in Outdoor environment

表 7 苹果斑点落叶病研究自然环境数据集不同方法的AUC值与运行时间

Table 7 AUC values and runtime of different methods in the Outdoor dataset for apple Alternaria leaf spot

数据类型 数量/张 方法 GRX LRX CRD LSMAD Unet DSNMFMAD
Outdoor 1 419 Average_AUC 0.852 518 0.551 311 0.828 772 0.729 894 0.842 670 0.877 765
Average_Time/s 0.070 6 2.987 8 132.108 3 0.315 0 1.91 60 0.091 0

4 结 论

针对苹果树叶受逆光阴影因素影响,传统基于图像分割的病斑检测方法难以在复杂背景下准确检测病斑区域边界等问题,本研究从图像异常检测的角度出发,考虑复杂背景干扰,采用深度半非负矩阵分解理论,结合鲁棒性好的马氏距离度量,提出一种新的深度半非负矩阵分解的马氏距离异常检测方法DSNMFMAD。该方法首先利用DSNMF提取苹果斑点落叶病图像深层的隐藏信息,能够有效地获取原图像背景的低秩特征和异常的稀疏特征,很好地抑制了复杂背景污染,同时保留了非负性约束。为了更好地保证病斑的稀疏特征信息,采用基于SVD特征子空间的马氏距离构建病斑检测器,通过计算异常部分每个像元的异常度来标记病斑,最终根据每个像元的异常度标记病斑。实验结果表明,DSNMFMAD不仅在复杂背景条件下表现出更高的病斑检测准确度,且病斑精度有一定提升,适合多变和复杂的自然环境。
目前,国内外对于苹果斑点落叶病病斑的检测主要集中在简单背景下的病斑分割方法研究,然而,针对复杂背景的病斑分割方法研究相对较为匮乏。本研究提出的DSNMFMAD能够通过DSNMF有效地将图像中的异常部分提取出来,并利用构建的病斑检测器准确地将苹果斑点落叶病位置检测出来。为快速、有效、可靠地检测苹果斑点落叶病病斑提供了一种可行方案。该方法在苹果斑点落叶病数据集上的试验结果也证实了该方法的有效性。但是,DSNMFMAD在病斑检测过程中面对高噪声数据时错误率较高,模型的精度仍有提升的空间。后续研究拟采用三阶张量的分解方法,并探索更优的DSNMF初始化方案,以提高算法在复杂环境下的鲁棒性和泛化能力,同时保持其高精度和快速检测的优势。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
中国苹果产业协会, 国家苹果产业技术体系. 2023年度中国苹果产业发展报告[R]. 中国苹果产业协会, 2023.

2
CHAKRABORTY S, PAUL S, RAHAT-UZ-ZAMAN M. Prediction of apple leaf diseases using multiclass support vector machine[C]// 2021 2nd International Conference on Robotics, Electrical and Signal Processing Techniques (ICREST). Piscataway, New Jersey, USA: IEEE, 2021.

3
SINGH S, GUPTA S, TANTA A, et al. Extraction of multiple diseases in apple leaf using machine learning[J]. International journal of image and graphics, 2022, 22(3): ID 2140009.

4
KHAN A I, QUADRI S M K, BANDAY S, et al. Deep diagnosis: A real-time apple leaf disease detection system based on deep learning[J]. Computers and electronics in agriculture, 2022, 198: ID 107093.

5
AICH P, ATABY AAL, MAHYOUB M, et al. Automated plant disease diagnosis in apple trees based on supervised machine learning model[C]// 2023 15th International Conference on Developments in eSystems Engineering (DeSE). Piscataway, New Jersey, USA: IEEE, 2023.

6
AHMED I, YADAV P K. Predicting apple plant diseases in orchards using machine learning and deep learning algorithms[J]. SN computer science, 2024, 5(6): ID 700.

7
ZHAN B S, XIONG X, LI X L, et al. BHC-YOLOV8: Improved YOLOv8-based BHC target detection model for tea leaf disease and defect in real-world scenarios[J]. Frontiers in plant science, 2024, 15: ID 1492504.

8
WANG J L, QIN C C, HOU B B, et al. LCGSC-YOLO: A lightweight apple leaf diseases detection method based on LCNet and GSConv module under YOLO framework[J]. Frontiers in plant science, 2024, 15: ID 1398277.

9
李亚文, 何甜. 基于GA-SVM和特征提取的苹果叶部病害识别检测[J]. 食品与发酵科技, 2024, 60(3): 7-13.

LI Y W, HE T. Detection of apple leaf disease identification based on GA-SVM and feature extraction[J]. Food and fermentation science & technology, 2024, 60(3): 7-13.

10
邵彧, 张善文, 李萍. 基于判别局部保持投影的苹果叶部病害识别方法[J]. 东北农业科学, 2021, 46(4): 113-118, 134.

SHAO Y, ZHANG S W, LI P. Apple leaf disease recognition based on discriminant local preserving projection[J]. Journal of northeast agricultural sciences, 2021, 46(4): 113-118, 134.

11
ZHANG S L, WANG J Z, YANG K, et al. YOLO-ACT: An adaptive cross-layer integration method for apple leaf disease detection[J]. Frontiers in plant science, 2024, 15: ID 1451078.

12
WU Z, SU H, TAO X, et al. Adaptive dictionary construction for hyperspectral anomaly detection based on collaborative representation[C]// 2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway, New Jersey, USA: IEEE, 2022.

13
AI S. Pathological image of apple leaf [DS/OL]. (2021-08-18)[2023-0610].

14
SHYAMALA DEVI M, ESWAR R, M D H R, et al. Encrypt decrypt ReLU activated UNet prototype based prediction of leaf disease segmentation[C]// 2024 International Conference on Signal Processing, Computation, Electronics, Power and Telecommunication (IConSCEPT). Piscataway, New Jersey, USA: IEEE, 2024.

15
黄成龙, 张忠福, 卢智浩, 等. 基于VFNet-Improved和DeepSort的棉花黄萎病病情分级[J]. 智能化农业装备学报(中英文), 2023, 4 (2): 12-21.

HUANG C L, ZHANG Z F, LU Z H, et al. Leaf gradingfor cotton verticillium wilt based on VFNet-Improved and DeepSort[J]. Journal of intelligent agricultural mechanization, 2023(2): 12-21.

16
CHEN W S, ZENG Q W, PAN B B. A survey of deep nonnegative matrix factorization[J]. Neurocomputing, 2022, 491: 305-320.

17
DE HANDSCHUTTER P, GILLIS N, SIEBERT X. A survey on deep matrix factorizations[J]. Computer science review, 2021, 42: ID 100423.

18
TRIGEORGIS G, BOUSMALIS K, ZAFEIRIOU S, et al. A deep matrix factorization method for learning attribute representations[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(3): 417-429.

19
REED I S, YU X L. Adaptive multiple-band CFAR detection of an optical pattern with unknown spectral distribution[J]. IEEE transactions on acoustics speech and signal processing, 1990, 38: 1760-1770.

20
MOLERO J M, GARZÓN E M, GARCÍA I . et al. Analysis and optimizations of global and local versions of the RX algorithm for anomaly detection in hyperspectral data[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2013, 6(2): 801-814.

21
LI W, DU Q. Collaborative representation for hyperspectral anomaly detection[J]. IEEE transactions on geoscience and remote sensing, 2015, 53(3): 1463-1474.

22
ZHANG Y X, DU B, ZHANG L P, et al. A low-rank and sparse matrix decomposition-based mahalanobis distance method for hyperspectral anomaly detection[J]. IEEE transactions on geoscience and remote sensing, 2016, 54(3): 1376-1389.

23
唐辉, 王铭, 于秋实, 等. 融合改进UNet和迁移学习的棉花根系图像分割方法[J]. 智慧农业(中英文), 2023, 5 (3): 96-109.

TANG H, WANG M, YU Q S, et al. Root image segmentation method based on improved UNet and transfer learning[J]. Smart agriculture, 2023, 5(3): 96-109.

文章导航

/