基于深度残差网络的番茄叶片病害识别方法

doi:10.12133/j.smartag.2019.1.4.201908-SA002

基于深度残差网络的番茄叶片病害识别方法

吴华瑞¹^,²

1. 国家农业信息化工程技术研究中心，北京 100097

2. 农业农村部农业信息技术重点实验室，北京 100097

Method of tomato leaf diseases recognition method based on deep residual network

Wu Huarui¹^,²

1. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China

2. Key Laboratory of Information Technologies in Agriculture, Ministry of Agriculture and Rural Affairs, Beijing 100097, China

收稿日期: 2019-08-14 修回日期: 2019-11-07 网络出版日期: 2019-10-30

基金资助:

国家自然科学基金. (61871041). (61771058). (61571051)
北京市自然科学基金. (4172024). (4172026)

Received: 2019-08-14 Revised: 2019-11-07 Online: 2019-10-30

作者简介 About authors

通信作者:吴华瑞（1975－），男，博士，研究员，研究方向：农业智能系统，电话：13910293903，Email:wuhr@nercita.org.cn。。

摘要

传统深度学习模型在用于蔬菜病害图像识别时，存在由于网络梯度退化导致的识别性能下降问题。为此，本文研究了一种基于深度残差网络模型的番茄叶片病害识别方法。该方法首先利用贝叶斯优化算法自主学习网络中难以确定的超参数，降低了深度学习网络的训练难度。在此基础上，通过在传统深度神经网络中添加残差单元，解决了由于梯度爆炸/消失造成的过深层次病害识别网络模型性能下降的问题，能够实现番茄叶片图像的高维特征提取，根据该特征可进行有效病害鉴定。试验结果表明，本研究中基于超参数自学习构建的深度残差网络模型在番茄病害公开数据集上取得了良好的识别性能，对白粉病、早疫病、晚疫病和叶霉病等4种番茄叶片常见病害的识别准确率达到95%以上。本研究可为快速准确识别番茄叶片病害提供参考。

关键词： 设施蔬菜 ; 病害智能识别 ; 深度学习 ; 残差网络 ; 贝叶斯优化

Abstract

Intelligent recognition of greenhouse vegetable diseases plays an important role in the efficient production and management. The color, texture and shape of some diseases in greenhouse vegetables are often very similar, it is necessary to construct a deep neural network to judge vegetable diseases. Based on the massive image data of greenhouse vegetable diseases, the depth learning model can automatically extract image details, which has better disease recognition effect than the artificial design features. For the traditional deep learning model of vegetable disease image recognition, the model recognition accuracy can be improved by increasing the network level. However, as the network level increases to a certain depth, it will lead to the degradation / disappearance of the network gradient, which degrades the recognition performance of the learning model. Therefore, a method of vegetable disease identification based on deep residual network model was studied in this paper. Firstly, considering that the super parameter value in the deep network model has a great influence on the accuracy of network identification, Bayesian optimization algorithm was used to autonomously learn the hyper-parameters such as regularization parameters, network width, stochastic momentum et al, which are difficult to determine in the network, eliminate the complexity of manual parameter adjustment, and reduce the difficulty of network training and saves the time of network construction. On this basis, the gradient could flow directly from the latter layer to the former layer through the identical activation function by adding residual elements to the traditional deep neural network. The deep residual recognition model takes the whole image as the input, and obtains the optimal feature through multi-layer convolution screening in the network, which not only avoids the interference of human factors, but also solves the problem of the performance degradation of the disease recognition model caused by the deep network, and realizes the high-dimensional feature extraction and effective disease recognition of the vegetable image. Relevant simulation results show that compared with other traditional models for vegetable disease identification, the deep residual neural network shows better stability, accuracy and robustness. The deep residual network model based on hyperparametric self-learning achievesd good recognition performance on the open data set of tomato diseases, and the recognition accuracy of 4 common diseases of tomato leaves reached more than 95%. The researth can provide a basic methed for fast and accurate recognition of tomato leaf diseases.

Keywords： facility vegetable ; disease intelligent recognition ; deep learning ; residual network ; Bayesian optimization

PDF (1077KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

吴华瑞. 基于深度残差网络的番茄叶片病害识别方法[J]. 智慧农业, 2019, 1(4): 42-49 doi:10.12133/j.smartag.2019.1.4.201908-SA002

Wu Huarui. Method of tomato leaf diseases recognition method based on deep residual network[J]. Smart Agriculture, 2019, 1(4): 42-49 doi:10.12133/j.smartag.2019.1.4.201908-SA002

1 引言

设施蔬菜病害是影响大棚蔬菜生产能力的重要因素，一旦作物受到感染，其生产力将下降20%~30%^[1]。因此，为了提高蔬菜经济效益，需要对染病植株进行迅速、准确地判断。传统上蔬菜病害诊断主要依靠专家的现场鉴定或实验室的病原鉴定，但受专业人员数量与咨询成本所限，农业从事者易因经验不足误判作物病害类型，错过植物病害防治有效时间，造成设施蔬菜产量与质量下降^[2]。

视觉技术与数字产品的普及为设施蔬菜图像病害识别带来了新机遇，由计算机自动完成病害诊断，可降低农业人员对植物保护专家的依赖，减少由于病害知识缺乏造成的误判^[3]。如张云龙等^[4]将叶部病斑颜色特征与差直方图作为分类依据，利用支持向量机（Support Vector Machine，SVM）方法自动识别苹果叶部的3种病害，识别率达96%。夏永泉等^[5]引入主颜色符描述病斑颜色特征，同时结合Tamura纹理特征区分小麦的3种病害叶片与健康叶片，实验结果优于同等条件下的SVM。基于高分辨率图像，国外有学者^[6]采用简单线性迭代聚类方法检测大豆叶片的颜色、形状、纹理与梯度等视觉属性特征，描述了植物叶片的物理特性，但该方法计算开销过大。魏丽冉等^[7]则通过图像预处理，增强了病害部分的明显度，使用基于核函数的支持向量机算法进行病害分类。除此之外，文献[8,9,10,11]等研究与上述方法类似，主要通过病害阈值分割构建有效特征矩阵，然后利用不同分类器识别植物病害。但现实中，植物病害形状位置多变，图像背景复杂，人工设计的特征越来越难以准确识别规模庞大的病害图像数据。

深度学习是目前较先进的机器学习方法，它利用具有隐藏层的人工神经网络，不依靠图像分割与特征提取自动完成高层次的特征学习。深度学习在病害诊断方面已取得了较好的研究成果。Zhang等^[12]提出一种基于改进GoogLeNet和Cifar 10网络的深度学习模型用于叶片识别。宋丽娟^[13]结合区分深度置信网络对病斑颜色、形状等底层特征进行高层表示，能够在没有充足标注数据时稳定完成四种枸杞病害识别。王艳玲等^[14]采用了AlexNet卷积神经网络迁移学习，实现了番茄叶片病害图像快速准确分类。文献[15,16,17,18,19]等将离散小波变换、区域生长法等特征提取技术与深度神经网络学习相结合，利用特征提取技术检索病害特征，然后通过概率神经网络对植物疾病成功进行了分类。

基于设施蔬菜病害的海量图像数据和深度学习模型可自动提取图像细节特征，且相较于人工设计特征具有更好的病害识别效果^[20]。但由于大多数蔬菜疾病是由真菌、细菌与病毒引起的，导致很多设施蔬菜病害的表象相似，需要构建较深的神经网络才能取得良好的病害鉴定结果。本研究针对深度学习网络模型因层次过深存在的性能下降问题，提出了一种基于深度残差神经网络的番茄叶片病害鉴定方法，将底层病害特征与高层病害特征合并运算，避免了深度神经网络的梯度消失与梯度爆炸问题。同时通过利用贝叶斯理论优化深度残差网络超参数，降低模型陷入局部最优的概率，从而提高了以番茄叶片为代表的设施蔬菜病害图像的识别准确度。

2 基于深度残差网络的病害图像识别方法

在传统的深度神经网络中，网络深度对视觉识别精度具有重要意义。有学者^[21,22,23]研究建立了更深层次的卷积神经网络模型，证明深度神经网络模型能够比浅层神经网络模型更有效地近似高度复杂的函数，可以捕捉自然图像的复杂统计特性，有助于提高图像识别精度。植物病害种类多样，但许多不同病害外在病斑表现十分相似导致难以准确识别，因此需要构建深层次的学习网络从而对其进行准确识别。但随着深度的急剧增加，越来越多的图像语义信息导致卷积神经网络面临着梯度消失与梯度爆炸等问题，降低了网络性能。深度残差网络则有效克服了神经网络深度较大时性能下降的问题^[24,25]。

2.1　深度残差网络结构

深度卷积神经网络主要由数据输入层、隐藏层与输出层构成。隐藏层中包含多级神经网络，主要依靠Conv卷积层、pooling池化层与全连接层配合搭建，利用卷积特征提取器获得输入图像的边缘、纹理与隐藏的细节特征，最后通过全连接层（Fully Connected layers，FC）根据提取特征进行病害分类，如图1所示。为了提高网络性能，深度卷积神经网络通常都包括非线性激活函数与批量归一化层（Batch Normalization layers，BN）。隐藏层中每层的每个神经单元与下一层所有神经单元相连，所有连接都有一个权值，网络训练过程中，对于每层输出结果需要通过损失函数计算衡量分类错误程度，使用梯度下降更新各层权值。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 卷积神经网络结构

Fig.1 Structure of Convolutional Neural Network

在卷积神经网络中，由于对于一个L层卷积神经网络，它的训练网络梯度计算如公式（1）所示^[26]：

\frac{\partial L_{l o s s}}{\partial x_{1}} = \frac{\partial H_{n} (x_{L_{n}}, W_{L_{n}}, b_{L_{n}})}{\partial x_{L}} \times \dots \times \frac{\partial H_{2} (x_{L_{2}}, W_{L_{2}}, b_{L_{2}})}{\partial x_{1}}

(1)

其中， $L_{l o s s}$ 代表计算损失， $x_{L_{n}}$ 表示第n层的输入， $W_{L_{n}}$ 为第n层的权重矩阵， $b_{L_{i}}$ 是该层的偏置量。 $H_{n} (x_{L_{n}}, W_{L_{n}}, b_{L_{n}})$ 则为第n层的计算损失。

通过式（1）可知，随着网络深度增加，梯度幅度会急剧减小/增大，导致浅层神经元权重更新过慢/快，从而发生梯度消失/梯度爆炸，造成模型性能下降。因此，He和Sun^[22]提出利用残差映射优化深度学习网络，通过利用跳跃连接跳过卷积层形成残差块，在很大程度上解决了网络模型退化问题，并大大提高了训练效率。

基于He和Sun提出的残差网络模型，本研究构建了用于番茄叶片病害鉴定的深度残差网络，其整体框架如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 深度残差网络框架

Fig.2 Framework of deep residual neural network

番茄叶片病害鉴定过程为：将 $32 \times 32$ （宽32像素，高32像素）、通道数为3的RGB番茄叶片图像作为输入，在输入层通过平移、翻转等数据增强方法记忆训练数据的细节特征，扩充作物病害数据集。令扩展训练集依次通过Conv卷积层、ReLU激活函数层与BN批量归一化层，再由多个残差块处理其输出的结果，最后经过平均池化层和全连接层，使用分类器判断蔬菜叶片的健康状态。该模型的具体网络参数如表1所示，它由14个权重层构成，其中包含13个卷积层与一个全连接层，每个残差块有两个残差单元。

表1 网络参数

Table 1 Network parameters

层序号	输出特征图大小	卷积核状态
卷积层1	$32 \times 32$	$[3 \times 3,16]$
残差块1	$32 \times 32$	$4 \times [3 \times 3,16]$
残差块2	$16 \times 16$	$4 \times [3 \times 3,32]$
残差块3	$8 \times 8$	$4 \times [3 \times 3,64]$
平均池化层	$1 \times 1$	$8 \times 8$

新窗口打开| 下载CSV

图2左侧为本研究构建的残差单元，每个残差单元的输入与输出维度相同，BN层用其平均值 $μ_{b}$ 和方差 $σ_{b}^{2}$ ，标准化激活函数输入，然后进一步利用拉伸参数和偏移参数缩放批量归一化结果，令数据在空间内更加分散，更加均匀；激活函数则用于提取数据的复杂特征，增加各层网络的非线性关系。跳跃连接则将残差单元输入与残差单元内第二个卷积的输出批量归一化结果相加，使原始映射函数表示为H(x_k)+x_k，突破了网络深度增加造成的网络退化问题。该深度网络模型中梯度计算公式如下^[27]：

\begin{matrix} \frac{\partial L_{l o s s}}{\partial x_{1}} = (1 + \frac{\partial H_{n} (x_{L_{n}}, W_{L_{n}}, b_{L_{n}})}{\partial x_{L}}) \times \\ \dots \times (1 + \frac{\partial H_{2} (x_{L_{2}}, W_{L_{2}}, b_{L_{2}})}{\partial x_{1}}) \end{matrix}

（2）

深度残差网络在更新叠加层参数的同时更新直接连接的输入数据的参数，将浅层网络得到的低阶病害特征和深层网络提取的高阶病害特征进行合并运算，梯度可以直接通过恒等激活函数从后一层流到前一层，使残差网络具有比传统卷积神经网络更快的收敛速度，更强的特征表达能力。

2.2　基于贝叶斯理论的超参数优化

构建深度残差神经网络往往首先需要确定超参数，这些参数包括网络深度、过拟合正则化参数与学习速率等。超参数值是影响训练时间和分类精度的重要因素，而人工调整需要耗费大量时间。

贝叶斯优化是一种求解未知目标函数极值的有效算法，其利用以往实验获得的信息对任意目标函数进行建模和最小化。贝叶斯优化通过建立和查询代理模型，评估复杂的实际目标函数，根据拟合结果预测参数空间中最具潜力的评估点^[28,29]。换句话说，贝叶斯优化能够在最少数量的目标函数评估下得到复杂函数最优解。

有研究发现残差网络是由若干浅层网络组合而成，优化其网络宽度比增加网络深度更有意义^[14]。因此，如式（3）所示，本研究假设 $Ζ$ 为超参数空间，它包含以下关键参数：网络宽度 $N^{w}$ （残差块1中每个卷积层的滤波器数量），初始化学习速率 $κ$ 、随机梯度下降动量 $λ$ 与L2正则化强度 $η$ 。

F : Ζ (N^{w}, κ, λ, η) \subset R^{4} \to R

（3）

在本研究中，贝叶斯优化通过令验证数据分类误差最小化，确定最佳网络架构和超参数值。寻找最优超参数的目标函数可以被建模为：

z_{*} = \underset{z \in Z}{a r g m i n} F

（4）

其中， $z_{*}$ 即为最优超参数，公式（4）的意义在于评估目标函数F的输入 $z_{i}$ 得到对应输出 $y_{i}$ 。贝叶斯优化算法通过执行一个顺序搜索算法，n次迭代后，在建议的新位置 $z_{n + 1}$ 处评估 $F$ 。根据算法已有的评估结果 $E_{n} = \{(z_{1}, y_{1}), \dots, (z_{n}, y_{n})\}$ ，利用高斯建模在给定 $z_{n + 1}$ 与 $Ε_{n}$ 的基础上得到 $y_{n + 1}$ 。然后，根据似然分布 $p (y_{n + 1} | z_{n + 1}, Ε_{n})$ 计算代理函数。通过评估 $y_{n + 1}$ 对优化目标函数F的贡献，代理函数平衡已知的优秀点和未知点空间，进行全局搜索最小化，从而避免局部最优，保证算法快速收敛。

3 试验结果及分析

通过提取PlantVillag公开数据集中番茄的病害叶片与健康叶片，本研究构建了番茄病害数据库。数据集分布如表2所示。

表2 试验数据库

Table 2 Experimental database

叶片类型	训练数量(张)	验证数量(张)	总数(张)
健康叶片	534	159	693
白粉病叶片	603	184	787
早疫病叶片	316	99	415
晚疫病叶片	569	190	759
叶霉病叶片	259	94	353
总数(张)	2281	726	3007

新窗口打开| 下载CSV

该数据集包含白粉病、早疫病、晚疫病与叶霉病等4种真菌导致的番茄叶片常见病害，病害表现如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 番茄叶片病害类型表现

Fig.3 Types of tomato leaf diseases

基于所选验证集与训练集，分别构建了22层与35层的深度神经网络，其验证集识别准确率如图4所示。由图4可看出，随着网络层数的急剧增加，验证集中叶片病害的识别准确率反而出现了下降的情形。因此，研究残差神经网络防止梯度消失等问题是必要的。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 不同网络深度的识别准确率

Fig.4 Recognition accuracies of different network depths

根据2.2节所述，利用贝叶斯优化算法对网络超参数进行调优，其过程如图5所示。基于高斯过程回归对超参数建模得到目标函数的替代概率模型，在代理模型上找到最佳超参数组合（最小预测点），将该组合用于真正目标函数（验证集分类错误率）获得最小观测值，然后更新包含新最小观测点的代理模型，重复上述步骤，得到最优超参数组合。通过贝叶斯优化，本研究确定训练深度残差网络宽度 $N_{w} = 16$ ，初始化学习速率 $κ = 0.0453$ ，随机梯度下降动量 $λ = 0.8018$ ，L2正则化强度 $η = 7.61 e - 09$ 。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 贝叶斯优化超参数过程

Fig.5 Bayesian optimization process of hyperparameters

基于上述参数，构建第2节所述的深度残差网络和传统卷积神经网络对番茄叶片图像集进行训练分类。利用随机梯度下降算法更新网络权重，通过1360次迭代，可得到深度残差网络与传统卷积神经网络对相同验证数据集的误差曲线。图6中深度残差网络的曲线收敛速度更快。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 病害鉴定误差曲线

Fig.6 Error curve for disease identification

基于相同验证集与测试集，构建番茄叶片图像的灰度和GLCM特征矩阵，并分别利用SVM与含5个隐藏节点的误差反向传播（Back Propagation，BP）神经网络进行病害鉴定，结果如表3所示。

表3 不同识别模型对比

Table 3 Comparison of different recognition models

识别模型	单个病害识别准确率（%）					平均准确率（%）
识别模型	叶片白粉	叶片早疫	叶片晚疫	叶片叶霉	健康叶片	平均准确率（%）
SVM	83.7	52.5	68.9	66.0	92.5	72.7
BP神经网络	78.8	51.5	71.1	60.6	93.7	74.0
DCNN	95.0	99.5	81.8	94.7	94.7	94.2
本研究模型	96.7	98.9	96.0	95.8	95.7	96.8

新窗口打开| 下载CSV

表中DCNN为22层卷积神经网络。本研究模型对比传统SVM与BP神经网络，识别精度有明显提升；对比DCNN学习模型，深度残差网络模型收敛更快，同时识别准确率提高。对健康叶片与感染白粉、早疫、晚疫和叶霉的病害叶片，本研究模型的识别准确率依次是95.7%、96.7%、98.9%、96.0%、95.8%。

4 结论

本研究通过分析深度学习应用于病害鉴定的研究现状，针对目前随着网络深度增加，病害识别模型存在的梯度爆炸与梯度消失问题，研究了基于深度残差网络的番茄叶片病害智能识别方法。同时，考虑到网络模型参数调整的困难，本研究利用贝叶斯优化算法确定了训练网络的最优超参数。由试验结果得到，该深度残差网络模型可对番茄叶片的白粉病、早疫病、晚疫病和叶梅病4种病害进行有效分类，分类准确度达到95%以上。

自然环境中，受光照与遮挡等因素影响，病害叶片图像往往具有复杂背景，所以需要进一步研究有效的背景分割方法以提高病害识别正确率。而由于深度残差网络通过增加跳跃连接改善深度学习模型性能，网络训练时间较长，因此在实际应用中，如何优化深度残差网络的训练时长将是以后的研究方向之一。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Park

, JeeSook

, Kim

S H

Crops disease diagnosing using image-based deep learning mechanism

[C]// IEEE 2018 International Conference on Computing and Network Communications, 2018： 23-26.