Welcome to Smart Agriculture 中文
Topic--Agricultural Artificial Intelligence and Big Data

Rapid Recognition Model of Tomato Leaf Diseases based on Kernel Mutual Subspace Method

  • ZHANG Yan , 1, 2, 3 ,
  • LI Qingxue , 1, 2, 3 ,
  • WU Huarui 1, 2, 3
Expand
  • 1. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China
  • 2. Beijing Research Center for Information Technology in Agriculture, Beijing 100097, China
  • 3. Key Laboratory of Agri-informatics, Ministry of Agriculture and Rural Affairs, Beijing 100097, China

Received date: 2020-09-01

  Revised date: 2020-09-28

  Online published: 2020-11-04

Highlights

Research on tomato disease recognition based on leaf images has been widely concerned in recent years, and with the development of machine learning and deep learning, researchers from various countries have proposed a variety of methods and models to solve this problem. In this research, a new approach by fusion color and texture features, and kernal mutual subspace method (KMSM) were introduced and a rapid recognition model of tomato leaf disease was established. The color and texture features introduced in this research including color moment (CM), color coherence vector (CCV) and histogram of oriented gradient (HOG) features. The CCHKMSM (CM+CCV+HOG+KMSM) model firstly mapped the extracted color and texture features from different classes of leaf disease data sets to high-dimensional space using gauss kernal function. Then the principal component of the mapped high-dimensional space was analysed, and the nonlinear disease characteristic space was generated. Finally, the diseases based on the minimum cosine angle of nonlinear feature space were identified. Validation experiment was conducted based on public agricultural disease data sets of PlantVillage, which providing 9 kinds of most commonly tomato leaf disease and 1 kind of healthy leaf image, and the filed took image include 3 kinds of tomato leaf diseases images. For experiment based on PlantVillage data set, the results showed that the CCHKMSM realized the most high recognize accuracy rate of 100% when the number of each class was 350. The training time cost and recognition time cost was 0.1540 s and 0.013 s, respectively. Meanwhile, experiments were conducted in the range of sample image numbers from 150 to 1000 images for each class, with step length of 50, and the obtained results showed that the average recognition rate was 99.14%. For experiment based on field took tomato diseases data sets, after segment original image into sub-size image, average recognize accuracy for the kind of diseases arrived at 96.21%, which was higher than other typical machine learning models such as SVM and KMSM, and at the same level by comparing with deep learning-based recognition methods. On the other hand, as an significant adventure of the proposed CCHKMSM model, the computing cost was low, both the training time and testing time were much lower than deep learning methods, and requirement is loss the system to run. As a conclusion, the proposed CCHKMSM model, has high potential to be applied in low-configuration equipment such as hand-held devices and edge computing terminals.

Cite this article

ZHANG Yan , LI Qingxue , WU Huarui . Rapid Recognition Model of Tomato Leaf Diseases based on Kernel Mutual Subspace Method[J]. Smart Agriculture, 2020 , 2(3) : 86 -97 . DOI: 10.12133/j.smartag.2020.2.3.202009-SA001

1 引 言

作为重要的蔬菜作物,番茄因具有较好的食用性及较高的营养价值,被世界各国大面积种植。但番茄易感染多种病害,影响其品质和产量,从而造成经济损失1,2。目前,常见的番茄病害有黄化曲叶病毒病、灰霉病、晚疫病等3,4。病害可发生在番茄植株的茎、叶、果等不同部位,但叶部的病害发生较多。由于番茄病害的种类较多且病害间缺乏显著的特征区分,非专业或缺乏丰富经验的人员难以根据病害外在表征来进行识别和区分,进而影响病害的精准防治。随着智慧农业5-7的发展,人们利用农业大数据技术对番茄病害开展特征挖掘;利用计算机视觉技术对番茄病害种类及程度进行自动识别诊断8-10,进而制定完备的防治方案与应急控制措施,不但可以及时控制病害,还能大幅较少农药的使用。
作物病害病斑特征在颜色、纹理及大小表现通常存在一定的差异,该类差异人眼观察容易混淆,利用数据挖掘技术及图像处理技术可以提取作物不同病害的颜色和纹理特征11-13,进而实现病害种类的识别和诊断,目前已成为现代农业病害诊断的研究热点。阎园园等14通过提取番茄病虫害叶部的颜色特征和纹理特征组成31 ×1维特征向量,采用主成分分析法(Principal Components Analysis,PCA)筛选7个贡献率较高的主成分为PCA-支持向量机(Support Vector Machine,SVM)模型的输入,选择PSO-SVM群智能分类器,发现对番茄早疫病、晚疫病、灰霉病3种病害具有较好的分类效果。马超等15对开放环境下采集的水稻主要病害图片进行方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取,利用SVM模型进行训练,用于对整幅图的病斑自动检测,综合识别率可达94%以上,病斑定位正确率可达91.7%。刘翠翠等16采用K-Means聚类分割技术分离出麦冬叶病害病斑,提取46 ×1维颜色、纹理等病斑特征,利用PCA对46维特征选取主成分,将选取的主成分输入设计的多级分类器进行病害识别,开发出麦冬叶病害识别系统识别率达到了94.4%。党满意等17基于机器学习方法,讨论了马铃薯叶片上晚疫病斑颜色、纹理及形状特征的优势与局限性,提出颜色、纹理及形状特征结合的识别方法,结果表明患病中期与后期的识别率分别为90%和92.5%。Castelao等18通过提取大豆病叶的纹理形状等视觉属性特征来描述病叶的物理特性,通过简单的线性迭代聚类方法进行识别,采用6种不同高度的分类实验,其中1~2 m的识别率达98.34%,每增加1 m衰减2%。Durmus等19为了比较AlexNet和Squezenet两个网络框架在机器人上实时运行的效果,采用PlantVillage数据集中10类番茄叶片图像进行深度学习训练,AlexNet的识别率达95.65%,SqueezeNet的识别率为94.3%。Yamamoto等20将超分辨率的方法应用到番茄病害的低分辨率图像中,采用超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network,SRCNN)算法分别对高分辨率、低分辨率和超分辨率图像进行病害分类识别,发现超分辨率图像比低分辨率图像分类精度更好,达90%。吴华瑞21提出基于深度残差网络的番茄叶片病害识别,利用贝叶斯优化算法自主学习网络中的超参数,降低了深度学习网络的训练难度,解决了由于梯度爆炸造成的过深层次病害识别网络模型性能下降问题,实现了4种番茄叶片病害的高识别率。李淼等22引入知识迁移和深度学习的方法,利用互联网公开的PlantVillage植物病害公共数据集得到预训练模型,在改进的网络模型AlexNet和VGG模型(Visual Geometry Group Network)上用实验室数据对预训练模型参数调整后对水稻和黄瓜共8种病害进行识别,参数微调最高识别率为98.33%,使用Mobilenet瓶颈层特征提取策略的验证准确率达到96.8%。
由此可见,近年来机器学习及深度学习方法用于病害识别的研究得到了很大的进步和发展,为很多领域问题的解决提供了新的思路和途径。其中,深度学习方法作为一种鲁棒性的方法在植物病害检测中取得了较好的效果,但仍存在如下诸多制约因素:(1)系统复杂且计算量较大,对运行平台和运行环境要求较高,通常须配备GPU计算内核;(2)需要较大的图像样本数量和较高的图像质量,并且训练和识别时间较长,目前无法满足实时系统的要求。
另一方面,相对于深度学习方法,机器学习方法的优点主要体现在以下几个方面。(1)对运行平台和运行环境要求不高,常规计算机及终端设备中可以实现系统的运行;(2)小样本数据集可实现较高的识别精度,且训练时间和识别时间相对深度学习方法短,能满足实时系统要求。
由于KMSM模型训练及识别过程都不依赖于GPU,低配置系统也能实现实时运行。同时,该模型基于图像集生成被识别物体间主成分特征,利于对局部形状差异进行识别。因此,本研究首次将模式识别中经典的模式分类算法核相互子空间法(Kernel Mutual Subspace Method,KMSM)23-25引入农业病虫害的识别,并结合颜色纹理特征发展了基于颜色纹理特征的核相互子空间模型(CM+CCV+HOG+KMSM,CCHKMSM)。首先,从番茄病害数据中提取病害叶片的颜色特征,包括颜色距、颜色聚合向量和方向梯度直方图纹理特征;然后通过引入KMSM将提取的颜色及纹理特征映射到高维特征空间,建立非线性番茄病害特征空间;基于非线性特征空间最小正则角对病虫害进行识别诊断。该模型充分利用KMSM对图片拍摄角度及光照条件鲁棒的特点,结合番茄叶片颜色及纹理特征可实现快速、高效的番茄叶片病害识别且训练时间和识别时间满足实时系统要求,为番茄病害的实时诊断分析提供技术支撑。

2 试验材料与模型构建方法

2.1 试验数据集

本研究测试与验证试验分别采用PlantVillage26植物病害公开数据集中的番茄病害数据集和在实际场景下采集的番茄叶部病害数据集。公共数据集共包含10类番茄叶片数据,其中9个病害类、1个健康类数据,包括番茄疮痂病、番茄早疫病、番茄晚疫病、番茄叶霉病、番茄斑枯病、斑红蜘蛛、番茄斑点病、番茄花叶病、番茄黄化曲叶病毒病和健康番茄,各类均包含1000张图片数据。
实际场景番茄叶部病害数据集采集于北京市昌平区小汤山镇国家精准农业小汤山示范基地温室番茄大棚(2020年6月采集)。使用智能手机在自然光照下分别采集番茄早疫病、白粉病和斑潜蝇三种叶部病害图像。其中67张番茄白粉病、63张番茄早疫病和65张番茄斑潜蝇叶部病害图像(图1),共195张原始图像,原始图像尺寸为4224×5632 像素。
图1 实际场景番茄叶部病害图像

(a)早疫病 (b)白粉病 (c)斑潜蝇

Fig. 1 Pictures of tomato leaf diseases under real field conditions

2.2 基于颜色纹理特征的核相互子空间分类模型构建

本研究提出的CCHKMSM是对KMSM的改进模型,通过提取输入图像的颜色矩、颜色聚合向量和HOG特征,建立特征矩阵,通过高斯核函数将颜色纹理特征矩阵映射到高维空间,通过PCA建立颜色纹理特征子空间,根据各特征空间之间的相似度进行识别分类。以下是CCHKMSM模型建立的相关原理与方法。

2.2.1 相互子空间法(MSM)

相互子空间法(MSM)27-29是应用较广的基于图像集的模式识别方法,对多幅图像组合成的数据集提取主成分,建立数据子空间进行识别。通过构建多角度、多光照环境的数据集,可提高MSM的识别鲁棒性。MSM的基本思路如图2所示。
图2 相互子空间分类模型

Fig. 2 MSM classification model

通过对输入图像集进行主成分分析,根据特征向量的贡献率建立d维向量特征空间 P Q,通过计算训练特征向量空间 P = { u i }与测试特征空间 Q = { v j }的相似度 θ进行分类识别。
c o s θ = m a x u i P m a x v j Q u T v
其中, u i T u i = v i T v i = 1 u i T u j = v i T v j = 0 i j
PCA通过正交变换将一组包含最大信息量,且可能存在相关性的变量转换相互独立的新向量,该新向量即为主成分。由含信息量较大的主成分构成的向量空间称为向量子空间,通过PCA可以抽取图像数据的轮廓、形状等特征。图3给出了PlantVillage中本研究采用的10类番茄病害数据训练特征空间中前10个主成分特征图,从图3中可以看出,病害图像数据中的病害特征能够较明显地被统计且病斑部位被明显区分,通过MSM可以有效地提取图像的可识别特征。
图3 PlantVillage中10类番茄病害训练集前10个主成分图

Fig. 3 Top 10 principal components of training set of 10 tomato diseases categories in PlantVillage

虽然MSM可以对线性结构数据实现较高的识别率,但当面对非线性结构数据,如图像数据时,MSM的性能将大幅度下降。

2.2.2 颜色纹理核相互子空间法(CCHKMSM)

为解决MSM无法实现非线性结构数据的有效识别的问题,Wof 和 Shashua25利用高斯核函数将MSM扩展到了KMSM,并将输入的数据通过高斯核函数映射到高维非线性特征空间 F,在非线性空间上进行线性PCA。
KMSM的理论依据是核主成分分析(Kernel Principal Component Analysis,KPCA),本研究模型CCHKMSM是对KMSM模型的改进,如图4
图4 颜色纹理核相互子空间分类模型

Fig. 4 CCHKMSM classification model

首先提取图像集的颜色纹理特征,建立颜色纹理特征矩阵;然后,通过高斯核函数运算,将颜色纹理特征矩阵映射到高维非线性空间;然后对高维非线性空间进行主成分分析,建立颜色纹理子空间;最后计算颜色纹理子空间之间的最小正则角进行识别。
KPCA通过高斯核函数将数据映射到高维非线性空间,是解决维数灾难的有效方法之一,在映射的高维空间中进行主成分分析将高维空间再映射到低维空间进行降维,生成可分性较好的特征空间。设输入的颜色纹理特征矩阵为 X=(x 1x 2,...,x n), x i R n R n为输入数据空间。KPCA的实现24步骤如下。
首先定义非线性函数 ϕ,将输入数据 X映射到高维非线性特征空间 R F
ϕ : R n R F , x i ϕ ( x i )
然后将样本颜色纹理特征矩阵X映射到高维空间 R F的数据矩阵为 X ϕ=(ϕx 1),ϕx 2),...,ϕx n))。映射后颜色纹理矩阵的协方差矩阵 C ϕ为:
C ϕ = 1 n j = 1 n ϕ ˙ ( x j ) ϕ ˙ ( x j ) T
如果考虑主成分 v R F / { 0 },则求解特征值v的问题变为:
λ v = C ϕ v
公式(4)两边同时乘上 ϕ ¯ ( x k )k=1,2,...,n),则:
λ ( ϕ ˙ ( x k ) v ) = ϕ ˙ ( x k ) C ϕ v
对于所有满足 λ 0的特征向量 v位于 ϕ ˙ ( x 1 ) ϕ ˙ ( x 2 ),..., ϕ ˙ ( x n )所张成的空间中,存在系数 ii=1,2,...,n)满足:
v = i = 1 n i ϕ ˙ ( x i )
再将公式(3)(6)代入公式(5),且在两边乘上 ϕ ˙ ( x k )k=1,2,...,n),则:
λ i = 1 n i ϕ ˙ ( x i ) ϕ ˙ ( x k ) = 1 n ( j = 1 n ϕ ˙ ( x j ) ϕ ˙ ( x j ) T ) ( i ϕ ˙ ( x i ) ) ϕ ˙ ( x k )
接着定义 n × n的核矩阵 K
K i j = ( ϕ ¯ ( x i ) ϕ ¯ ( x j ) )
公式(8)带入公式(7)中可得:
λ i = 1 n i K j i = 1 n i = 1 n j = 1 n i K k j K j i
系数 i可以被认为是一个向量,公式(9)变为:
n λ K = K 2
公式(10)两边同乘 K - 1得:
n λ = K
其中, λ i与对应的 i公式(11)中的特征值及相对应的特征向量。核函数 K i j可以直接忽略映射函数的具体形式,而直接得到低维数据映射到高维后的内积。
常见的核函数有线性核、高斯核、指数核、拉普拉斯核等。其中,高斯核函数是常见的选择25,30,本研究的KMSM分类模型采用高斯核函数,高斯核是径向基函数核(Radial Basis Function, RBF)的一个典型代表,利用高斯核计算两个向量的欧式距离(2范数),高斯核函数如下。
K i j = e x p   ( - x i - x j 2 σ 2 )
其中, x i x j为样本向量; σ为高斯核函数半径,与高斯核函数的作用范围相关。

2.3 番茄叶部病害颜色及纹理特征提取

在图像识别中所提取的图像特征是否能够客观反映各类图像的主要特征,是决定分类效果的关键。作物叶部病害通常表现为病斑的颜色、形状及纹理的差异,在样本病虫害有效特征提取时,一般选择作物颜色、形状、纹理三方面的图像特征作为研究对象。本研究提取的颜色特征包括:RGB空间颜色距(Color Moments,CM)31,颜色聚合向量(Color Coherence Vector,CVV)32和纹理特征——HOG提取33

2.3.1 颜色特征

由于提取高度复杂的图像特征需要较高的内存空间及较长的处理时间,难以满足实时性的需要。番茄病害颜色特征是区分病害种类的重要信息,且颜色特征计算简单,维度较小,可作为理想的低复杂度特征。
颜色矩由Stricker和Orengo提出31,通过提取RGB颜色空间的一阶矩、二阶矩和三阶矩来描述图像的颜色分布,数学定义如下30
μ i = 1 N j = 1 N p i , j
σ i = [ 1 N j = 1 N ( p i , j - μ i ) 2 ] 1 2
s i = [ 1 N j = 1 N ( p i , j - μ i ) 3 ] 1 3
其中,N为图像中像素p的个数,pi,j表示彩色图像第j个像素的第i个颜色分量; σ i为颜色二阶矩; s i为颜色三阶矩。
CCV是由Pass提出的一种更复杂颜色直方图。它包含了颜色分布的空间信息,克服了颜色直方图无法表达图像色彩的空间位置的缺点。通过设置阈值,大于等于所设阈值的为聚合的区域(Coherence Pixels),否则为非聚合的(Incoherence Pixels)区域,图像的颜色聚合向量公式32
< ( a 1 , b 1 ) , . . . , ( a n , b n ) >
其中, < a i , b j >为对应聚类的聚合向量对。本研究采用聚合像素阈值为1,像素点的灰度值量化级数n为50。

2.3.2 纹理特征——HOG

HOG33是图像纹理特征的描述子,广泛应用于计算机视觉领域,具有良好的方向不变性。其主要思想是提取图像的边缘或轮廓中较大的梯度变化值,通过计算像素的梯度来描述病斑的边缘或轮廓信息。HOG特征是在图像的局部方格单元上进行精细方向抽样操作,对图像变形、抖动及偏移具有较好的鲁棒性,从而容许图像采集过程中抖动及小角度偏移等影响。图5是本研究生成的10种番茄叶部病害纹理特征(HOG)图,当叶片图片的边缘或轮廓不同时,HOG特征能较明显地区分。
图5 番茄叶部病害纹理特征(HOG)图

Fig.5 Texture features (HOG) of tomato leaf diseases

3 模型测试试验及结果分析

为验证本研究中提出的CCHKMSM模型的有效性,对模型的识别准确率和计算时间进行评估,并与SVM和VGG16等主流深度学习方法进行性能对比。

3.1 试验环境

试验运行平台为联想台式机,系统配置为:Window10, Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz,RAM 8.0GB。CCHKMSM模型和SVM模型的运行环境为:MATLAB R2015a。深度学习模型运行环境为:ubuntu 18.04,cuda 10.1,torch 1.6.0,torchvision 0.7.0, acaconda3,JetBrains PyCharm Community Edition。

3.2 试验数据设置

本研究采用PlantVillage植物病害公共数据集和实际场景下采集的番茄叶部病害数据集分别进行测试验证。训练集和测试集的图像数量比例为9:1,训练数据为9000张(900张×10类),测试数据为1000张(100张×10类),共10,000张图像数据。本研究提出的CCHKMSM模型识别过程分为训练阶段和测试阶段,各阶段实现过程如下。
(1)训练阶段。每一类番茄病害包含350个训练样本(图像),从每一幅样本图像抽取图像特征为433×1维度的列向量,从而为每一类番茄病害生成433×350的二维特征矩阵。利用KMSM方法,首先对生成的二维特征矩阵进行高斯核计算;进而映射到高维空间,并在高维空间计算主成分,生成非线性训练特征空间 P
(2)测试阶段。首先抽取测试样本的颜色纹理特征生成二维特征矩阵,对生成的二维特征矩阵进行高斯核计算并映射到高维空间;在高维空间计算主成分,并生成非线性测试特征空间 Q。通过计算训练特征空间 P与测试特征空间 Q的最小正则角实现分类。
KMSM参数设置为:训练空间特征维数设置为25,构建训练特征空间;测试空间特征维数设置为3,构建测试特征空间,高斯核系数设置为0.1。

3.3 模型对比试验

设计对不同样本数量的试验来验证模型的识别率和识别稳定性;通过与机器学习模型SVM和深度学习模型VGG16、Alexnet、MobileNetV3、DenseNet及 ResNet等的识别率、训练时间及测试时间的对比,验证模型实用性。

3.3.1 样本数量对模型识别率影响试验

为验证CCHKMSM方法在小样本数据集上的识别性能,本研究设置了样本数量对模型识别率影响实验。在PlantVillage数据集中分别选取不同数量的样本进行测试并评估识别效果。样本数量范围为100~1000张图片,每次试验递增50张。从试验结果(图6)可知,当样本数量为100张时,识别率为90%,当样本数量超过150张时识别准确率大于97.27%,其中样本数量为350张时识别准确率最高,达到100%,350张之后识别率稳定在99.18%到99.85%之间,150张到1000张之间测试区间内平均识别率为99.14%。CCHKMSM方法在图片数量较少时仍能实现较高的识别精度,且在图片数量大于150张时,识别效果较为稳定。
图 6 不同样本数量下的本文提出模型的识别率比较

Fig. 6 Comparision of accuracy of the proposed model with different number of samples

3.3.2 CCHKMSM与其他模型对比试验

为探索CCHKMSM模型与SVM和VGG16、Alexnet、MobileNetV3、DenseNet和ResNet等深度学习模型基础网络围绕训练/测试时间及识别精度差异,进行了试验对比。表1给出了不同识别模型的输入、模型参数、识别率、模型训练时间和平均测试时间结果。本研究抽取的图像特征包括颜色距(CM,长度为9),颜色聚合向量(CCV,长度为100)和纹理HOG特征(HOG,长度为324),合并了颜色特征及纹理特征。在对比试验中,SVM及KMSM的输入分别为10×10灰度图像及颜色纹理特征(CM+CCV+HOG);深度学习模型的输入统一为RGB图像,像素为224×224×3。
表 1 不同识别模型对比

Table 1 Comparison of different recognition models

识别模型 图像特征 平均识别率/% 模型训练时间/s 平均测试时间/s
SVM Gray10×10 69.80 4.07 0.001
SVM CM+CCV+HOG 85.14 4.18 0.001
VGG19 224×224×3 91.48 11,453.33 0.048
AlexNet 224×224×3 90.90 16,925,032.00 0.067
MobileNetV3 224×224×3 90.90 8601.50 0.046
DenseNet 224×224×3 93.75 18,891.92 0.110
ResNet 224×224×3 90.90 10,766.76 0.049
KMSM Gray10×10 95.38 0.15 0.004
CCHKMSM CM+CCV+HOG特征 99.14 0.15 0.017

注:研究中将RGB图像转换成256级灰度图,再缩小成像素为10×10小尺寸图像

表1识别结果可知,本研究提出的CCHKMSM方法平均识别率达99.14%,为所有模型中最高;灰度图+KMSM模型识别率为95.38%,VGG19、Alexnet、MobileNetV3、DenseNet和ResNet分类模型识别率分别为91.48%、90.90%、90.90%、93.75%和90.90%。从模型训练时间来看,灰度图+KMSM模型训练时间最短,为0.1523 s,CCHKMSM方法训练时间为0.1540 s,远低于SVM和深度学习识别模型;从平均测试时间来看,CCHKMSM方法为0.017 s,灰度图+KMSM模型为0.004 s,都可以达到实时系统的要求。
上述对比试验中所采用的深度学习模型都为基础网络模型,且数据量相对较小。为更加客观地反映CCHKMSM方法与当前主流深度学习模型的性能对比。本研究以PlantVillage作为验证数据集,且以番茄病害为研究对像的最新成果进行归纳,如表2所示。结果表明,GoogLeNet的识别精度最高,为99.18%,其他网络也均实现了较高的识别精度。相比于基于深度学习的方法,本研究提出的CCHKMSM方法在实现同等精度的前提下,具有计算量小、系统要求低、训练时间短、适应小样本数据等优点。
表2 深度学习方法最新成果对比

Table 2 Comparison with deep learning method

识别模型 识别率/%
ResNet[34] 97.28
SRCNN[20] 90.00
GooleNet[10] 99.18
AlexNet[19] 95.65
VGG16[35] 97.49
CCHKMSM 99.14

3.3.3 CCHKMSM在复杂场景数据集上的试验

在实际环境下采集的番茄病害图像数据背景更为复杂。为了验证本研究提出模型在真实环境下的性能,进行了复杂背景数据集识别实验。

(1)试验样本

本研究实验样本在北京市昌平区小汤山镇国家精准农业小汤山示范基地温室番茄大棚中采用智能手机在自然光照下采集,样本背景复杂,含有大量的重叠的绿色元素,包括地面、地膜、拉的绳子、杆子等复杂背景,如图1所示,与实验室采集的简单背景数据差异较大,导致很多模型无法真正应用到实际场景中。
试验中通过滑动窗口将原始的195张4224×5632 像素图像分割为640×480像素子图片。通过二次采样,选出早疫病病斑、白粉病病斑和斑潜蝇病斑各400张,共计1200张正样本图像,同时准备健康叶片样本图片数量为400张,共1600张样本图像,很大程度上降低了样本的背景,且增加了病斑数据的多样性。

(2)试验流程

在试验中,训练样本与测试样本比例为9:1,训练样本共1440张(360张×4类),测试图像共160张(40张×4类)。试验过程如图7所示:首先通过滑动窗口遍历原始图像,切割小区域图像;其次,对切割的小区域图像进行二次采样,选取试验样本;最后输入到构建好的CCHKMSM进行识别。
图7 CCHKMSM试验流程

Fig. 7 Flow of CCHKMSM

(3)离线试验结果

试验结果如表3所示,3种番茄病害和1种健康叶类的平均识别准确率为96.21%。其中斑潜蝇和健康叶识别率分别为100%,早疫病识别率为88%,白粉病为97%。其中12%的早疫病被误识别为白粉病。本方法通过滑动窗口分割,二次采样数据处理,降低了样本背景的复杂性,增加了样本的多样性,虽然识别率比公开数据集略有降低,但是96.21%的识别率也证明本方法的可行性。
表3 识别率混淆矩阵

Table 3 Confusion matrix of recognition rate

早疫病 白粉病 斑潜蝇 健康叶
早疫病 0.88 0.12 0 0
白粉病 0.03 0.97 0 0
斑潜蝇 0 0 1.0 0
健康叶 0 0 0 1.0

4 总 结

本研究基于核相互子空间法(KMSM),结合颜色特征和纹理特征,构建了CCHKMSM模型用于番茄叶片图像的病害识别。该方法通过高斯核函数将抽取的颜色纹理特征映射到高维特征空间,对生成的高维空间进行主成分分析,建立并生成非线性特征空间,并通过计算特征空间的正则角实现对番茄病虫害进行快速稳定识别。
通过在PlantVillage中9种番茄病害和1种健康对照组样本集试验发现,随着样本数量的增加识别率呈逐渐增高趋势,当样本数量为350张时识别精度最高达到100%;当样本数量在150到1000张之间时,平均识别率为99.14%。从训练测试时间上与其他模型对比可知,当所有模型每类的样本数量为350张时,CCHKMSM方法训练时间为0.1540 s,平均识别时间为0.017 s,远低于VGG19、Alexnet、MobileNetV3、DenseNet和ResNet等深度学习分类模型。
在对实际场景下采集的番茄叶部病害识别实验中,CCHKMSM方法识别准确率达96.21%,显示了本研究提出的CCHKMSM方法可利用小样本进行高效、高准确率识别,克服了大样本难以获取的问题。该方法在未来手持设备、边缘计算终端等低配置的感知系统中具有较高的应用价值。在未来的研究中将进一步扩大复杂环境下的番茄病虫害样本图像集,增加遮挡、弱光等低质量数据;进一步验证并改进识别算法,提高模型的鲁棒性;在手持设备、边缘计算终端等低配置中安装,为真实环境下病斑实时探测提供参考。
1
ERMAYANTI A, NIDIA ENJELITA S, NURAINI S, et al. Dempster-Shafer method for diagnose diseases on vegetable[C]// 2018 6th International Conference on Cyber and IT Service Management (CITSM). Piscataway, New York, USA: IEEE, 2018.

2
刁智华, 袁万宾, 刁春迎, 等. 病害特征在作物病害识别中的应用研究综述[J]. 江苏农业科学, 2019, 47(5): 71-74.

DIAO Z, YUAN W, DIAO C, et al. Review on Application of disease characteristics in crop disease identification[J]. Jiangsu Agricultural Sciences, 2019, 47(5): 71-74.

3
郭小清, 范涛杰, 舒欣. 基于改进Multi-Scale AlexNet的番茄叶部病害图像识别[J]. 农业工程学报, 2019, 35(13): 162-169.

GUO X, FAN T, SHU X.Tomato leaf diseases recognition based on improved Multi-Scale AlexNet[J]. Transactions of the CSAE, 2019, 35(13): 162-169.

4
王艳玲, 张宏立, 刘庆飞, 等. 基于迁移学习的番茄叶片病害图像分类[J]. 中国农业大学学报, 2019, 24(6): 124-130.

WANG Y, ZHANG H, LIU Q, et al. Image classification of tomato leaf diseases based on transfer learning[J].Journal of China Agricultural University,2019, 24(6): 124-130.

5
赵春江. 智慧农业发展现状及战略目标研究[J]. 智慧农业, 2019, 1(1): 1-7.

ZHAO C. State-of-the-art and recommended developmental strategic objectives of smart agriculture[J]. Smart Agriculture, 2019, 1(1): 1-7

6
高万林, 张港红, 张国锋, 等. 核心技术原始创新引领智慧农业健康发展[J]. 智慧农业, 2019, 1(1): 8-19.

GAO W, ZHANG G, ZHANG G, et al. Original innovation of key technologies leading healthy development of smart agricultural[J]. Smart Agriculture, 2019, 1(1): 8-19.

7
黄文江, 师越, 董莹莹, 等. 作物病虫害遥感监测研究进展与展望[J]. 智慧农业, 2019,1(4): 1-11.

HUANG W, SHI Y, DONG Y. Progress and prospects of crop diseases and pests monitoring by remote sensing[J]. Smart Agriculture, 2019, 1(4): 1-11.

8
郭小清, 范涛杰, 舒欣. 基于图像融合特征的番茄叶部病害的识别[J]. 湖南农业大学学报(自然科学版), 2019, 45(2): 212-217, 224.

GUO X, FAN T, SHU X. Recognition of tomato leaf disease based on image fusion feature[J]. Journal of Hunan Agricultural University(Natural Sciences), 2019, 45(2): 212-217, 224.

9
王秀清, 陈琪, 杨世凤. 基于自适应布谷鸟与反向传播协同搜索的病害识别系统[J]. 天津科技大学学报, 2020, 35(2): 69-73.

WANG X, CHEN Q, YANG S. Disease recognition system based on cooperative search of Cuckoo and BP algorithm[J]. Journal of Tianjing University of Science & Technology, 2020, 35(2): 69-73.

10
BRAHIMI M, BOUKHALFA K, MOUSSAOUI A. Deep learning for tomato diseases: Classification and symptoms visualization[J]. Applied Artificial Intelligence Artificial Intelligence, 2017, 31: 299-315.

11
王雪, 马卓, 王欣, 等.基于颜色和形状特征的黄瓜霜霉病自动识别研究[J]. 安徽农业大学学报, 2013, 40(6): 1071-1075.

WANG X, MA Z, WANG X, et al. Automatic recognition of cucumber downy mildew based on color and shape feature[J]. Journal of Anhui Agricultural University, 2013, 40(6): 1071-1075.

12
张红涛, 李艺嘉, 谭联, 等. 基于 CS-SVM 的谷子叶片病害图像识别[J]. 浙江农业学报, 2020, 32(2): 274-282.

ZHANG H, LI Y, TAN L, et al. Image recognition of millet leaf disease based on CS-SVM[J]. Acta Agriculturae Zhejiangensis, 2020, 32(2): 274-282.

13
马晓丹, 朱可心, 关海鸥, 等. 农作物图像特征提取技术及其在病害诊断中的应用[J]. 黑龙江八一农垦大学学报, 2019, 31(2): 93-99.

MA X, ZHU K, GUAN H, et al. Crop image feature extraction and its application in disease diagnosis[J]. Journal of Heilongjiang Bayi Agricultural University, 2019, 31(2): 93-99.

14
阎园园, 陈华, 姜波. 基于群智能算法分类模型的番茄病害识别[J]. 江苏农业科学, 2020, 48(1): 219-224.

YANG Y, CHEN H, JIANG B. Tomato disease recognition based on swarm intelligence algorithm classification model[J]. Jiangsu Agricultural Sciences, 2020, 48(1): 219-224.

15
马超, 袁涛, 姚鑫锋, 等. 基于HOG+SVM的田间水稻病害图像识别方法研究[J]. 上海农业学报, 2019, 35(5): 131-136.

MA C, YUAN T, YAO X, et al. Study on image recognition method of rice disease in field based on HOG + SVM[J]. Acta Agriculturae Shanghai, 2019, 35(5): 131-136.

16
刘翠翠, 杨涛, 马京晶, 等. 基于PCA-SVM的麦冬叶部病害识别系统[J]. 中国农机化学报, 2019, 40(8): 132-136.

LIU C, YANG T, MA J, et al. Identification system for leaf diseases of Ophiopogon japonicus based on PCA-SVM[J]. Journal of Chinese Agricultural Mechanization, 2019, 40(8): 132-136.

17
党满意, 孟庆魁, 谷芳, 等. 基于机器视觉的马铃薯晚疫病快速识别[J]. 农业工程学报, 2020, 36(2): 193-200.

DANG M, MENG Q, GU F, et al. Rapid recognition of potato late blight based on machine vision[J]. Transactions of the CSAE, 2020, 36(2): 193-200.

18
CASTELAO TETILA E, BRANDOLI MACHADO B, BELETE N A, et al. Identification of soybean foliar diseases using unmanned aerial vehicle images[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(12): 2190-2194.

19
DURMUS H, GÜNES E O, KIRCI M. Disease detection on the leaves of the tomato plants by using deep learning[C]// In Proceedings of the 2017 6th International Conference on Agro-Geoinformatics. Piscataway, New York, USA: IEEE, 2017: 1-5.

20
YAMAMOTO K, TOGAMI T, YAMAGUCHI N. Super-resolution of plant disease images for the acceleration of image-based phenotyping and vigor diagnosis in agriculture[J]. Sensors, 2017, 17: 2557.

21
吴华瑞. 基于深度残差网络的番茄叶片病害识别方法[J]. 智慧农业, 2019, 1(4): 42-49.

WU H. Method of tomato leaf diseases recognition method based on deep residual network [J]. Smart Agriculture, 2019, 1(4): 42-49.

22
李淼, 王敬贤, 李华龙, 等. 基于CNN和迁移学习的农作物病害识别方法研究[J]. 智慧农业, 2019, 1(3): 46-55.

LI M, WANG J, LI H, et al. Method for identifying crop disease based on CNN and transfer learning[J]. Smart Agriculture, 2019, 1(3): 46-55.

23
SAKANO H, MUKAWA N, NAKAMURA T. Kernel mutual subspace method and its application for object recognition[J]. Electronics and Communications in Japan (Part II: Electronics), 2005, 88(6): 45-53.

24
MARUKATAT S. Kernel matrix decomposition via empirical kernel map[J]. Pattern Recognition Letters, 2016, 77: 50-57.

25
WOF L, SHASHUA A. Kernel principal angles for classification machines with applications to image sequence interpretation[C]// 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2003). Piscataway, New York, USA: IEEE, 2003: 635-640.

26
HUGHES D P, SALATHE M. An open access repository of images on plant health to enable the development of mobile disease diagnostics[J/OL]. Computer Science, 2015.

27
MAEDA K I, WATANABE S. A pattern matching method with local structure[J]. IEICE Transactions on Information and Systems, 1985, 68(3): 345-352.

28
PVAN OVERSCHEE, DE MOOR B. N4SID: Subspace algorithms for the identification of combined deterministic-stochastic systems[J]. Automatica, 1992, 30(1): 75-93.

29
GAO P, ZHANG Y, ZHANG L, et al. Development of a recognition system for spraying areas from unmanned aerial vehicles using a machine learning approach[J]. Sensors, 2019, 19(2): ID 313.

30
ZHANG Y, AHAMED T, GAO P. Development of a rescue system for agricultural machinery operators using machine vision[J]. Biosystems Engineering, 2018, 169: 149-164.

31
STRICKER M A, Orengo M. Similarity of color images[C]// IS&T/SPIE's Symposium on Electronic Imaging: Science & Technology. International Society for Optics and Photonics, San Jose, CA, United States, 1995: 381-392.

32
PASS G, RAMIN Z, JUSTIN M. Comparing images using color coherence vectors[C]// Fourth ACM international conference on Multimedia. February, New York, NY, USA: the Association for Computing Machinery,1997: 65-73.

33
DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[J]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition, 2005, 1(12): 886-893.

34
ZHANG K, WU Q, LIU A, et al. Can deep learning identify tomato leaf disease?[J]. Advances in Multimedia, 2018: 1-10.

35
ARAVIND K R, RAJA P, ANIIRUDH R. Tomato crop disease classification using pre-trained deep learning algorithm[J].Procedia Computer Science, 2018, 133:1040-1047.

Outlines

/