Welcome to Smart Agriculture 中文
Topic--Crop Growth and Its Environmental Monitoring

Research Progress of Deep Learning in Detection and Recognition of Plant Leaf Diseases

  • SHAO Mingyue , 1 ,
  • ZHANG Jianhua , 1 ,
  • FENG Quan 2 ,
  • CHAI Xiujuan 1 ,
  • ZHANG Ning 1 ,
  • ZHANG Wenrong 1
Expand
  • 1. Agricultural Information Institute of Chinese Academy of Agricultural Sciences/Key Laboratory of Agricultural Big Data, Ministry of Agriculture and Rural Affairs, Beijing 10081, China
  • 2. School of Mechanical and Electrical Engineering, Gansu Agricultural University, Lanzhou 730070, China

Received date: 2021-09-30

  Online published: 2022-02-18

Highlights

Accurate detection and recognition of plant diseases is the key technology to early diagnosis and intelligent monitoring of plant diseases, and is the core of accurate control and information management of plant diseases and insect pests. Deep learning can overcome the disadvantages of traditional diagnosis methods and greatly improve the accuracy of diseases detection and recognition, and has attracted a lot of attention of researchers. This paper collected the main public plant diseases image data sets all over the world, and briefly introduced the basic information of each data set and their websites, which is convenient to download and use. And then, the application of deep learning in plant disease detection and recognition in recent years was systematically reviewed. Plant disease target detection is the premise of accurate classification and recognition of plant disease and evaluation of disease hazard level. It is also the key to accurately locate plant disease area and guide spray device of plant protection equipment to spray drug on target. Plant disease recognition refers to the processing, analysis and understanding of disease images to identify different kinds of disease objects, which is the main basis for the timely and effective prevention and control of plant diseases. The research progress in early disease detection and recognition algorithm was expounded based on depth of learning research, as well as the advantages and existing problems of various algorithms were described. It can be seen from this review that the detection and recognition algorithm based on deep learning is superior to the traditional detection and recognition algorithm in all aspects. Based on the investigation of research results, it was pointed out that the illumination, sheltering, complex background, different disorders with similar symptoms, different changes of disease symptoms in different periods, and overlapping coexistence of multiple diseases were the main challenges for the detection and recognition of plant diseases. At the same time, the establishment of a large-scale and more complex data set that meets the specific research needs is also a difficulty that need to face together. And at further, we point out that the combination of the better performance of the neural network, large-scale data set and agriculture theoretical basis is a major trend of the development of the future. It is also pointed out that multimodal data can be used to identify early plant diseases, which is also one of the future development direction.

Cite this article

SHAO Mingyue , ZHANG Jianhua , FENG Quan , CHAI Xiujuan , ZHANG Ning , ZHANG Wenrong . Research Progress of Deep Learning in Detection and Recognition of Plant Leaf Diseases[J]. Smart Agriculture, 2022 , 4(1) : 29 -46 . DOI: 10.12133/j.smartag.SA202202005

1 引 言

植物病害是影响植物生长的最复杂多变且难以克服的因素之一,是一种全球农业生产和生态安全的生物灾害。发生植物病害不仅影响植物的正常生长,造成农产品产量与品质的降低,还会带来粮食安全问题1,2。近年来,受全球气候变暖、农业水资源匮乏及农业耕地面积减少等因素影响,植物病害变得更加普遍和频繁3。据报道,每年仅由植物病害造成的全球经济损失高达2,200亿美元4。加强对植物病害的防治和管理是保证农作物高产、农产品优质的关键。
植物病害防治的关键是能够及时准确地检测病害危害区域,并对其病害类型进行辨识5。植物病害种类繁多,全世界已有990多种植物病毒被确认6。植物叶片感染病毒、真菌或生理病变后,感染部位的外部形态特征和内部生理结构均会发生变化,外部发生如形变、褪色、卷曲、腐烂、变色等,内部主要为水分和色素含量变化等7。由于不同病害之间的受害症状呈现模糊性、复杂性和相似性,加之部分农民的科技、文化素质普遍偏低,不能精确诊断并掌握植物病害的发生与发展,往往在植物病害严重时才大剂量地喷洒农药,容易错过病害最佳防治时期,不但造成农作物大量减产,还严重污染环境8,9。因此,如何快速、简便、准确地检测植物病害发生区域并对其病害种类进行识别,为病害防治提供必要信息,已成为植物种植面临的重要问题。
深度学习概念在2006年由深度学习之父Hinton正式提出10,但受当时硬件条件限制,一直未得到学术界重视。直到2012年,Krizhevsky等11在图形处理器(Graphics Processing Unit,GPU)上实现了一种著名的卷积神经网络(Convolutional Neural Networks,CNN)——AlexNet,该网络在当年斯坦福大学主办的图像识别挑战赛(ImageNet Large-Scale Visual Recognition Challenge)上的分类精度碾压了其他早期计算机视觉方法。此后,各种CNN被陆续提出,深度学习得到快速发展。
深度学习是一种模拟人脑进行分析学习的神经网络,通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示,解决很多复杂的模式识别难题12。相对于浅层学习,深度学习具有学习能力强、覆盖范围广、适应性好、性能上限高、可移植性好等优点13。深度学习作为新人工智能崛起的代表,不断取得重大进展,很好地解决了人工智能界很多年来一直努力但仍没有得到重要进展的问题14。近年来,深度学习技术逐渐被引入到植物病害检测与识别,在该领域获得了较快的发展,并涌现出大量的研究成果,已成为本领域研究热点。本文对近年来基于深度学习的植物叶部病害的检测和识别研究进行了综述,分别从植物病害图像数据集、植物病害目标检测研究进展和植物病害识别研究进展等三个方面进行阐述,总结出植物病害检测和识别目前面临的挑战,并对未来的发展趋势进行了展望。

2 植物病害图像数据集

数据集是构建深度学习模型的基础,数据集的质量和大小决定着深度学习模型能否构建成功15。高质量的数据集往往能够提高模型训练的质量和预测的准确率,也可有效地提高神经网络模型的泛化能力。一个更高质量的模型可以更精准地区分植物病害的不同类型及危害程度,从而提供更科学的防治措施。据调查,目前已形成了多个已公开的植物病害图像数据集,具体如表1所示。
表 1 公开的植物病害图像数据集及网址

Table 1 Publicly available plant disease image data sets and websites

区域 数据集名称 数据集网址
国外 PlantVillage https://plantvillage.psu.edu/
CVPR 2020-FGVG7 https://www.kaggle.com/c/plant-pathology-2020-fgvc7/data
Cucumber Plant Diseases Dataset https://www.kaggle.com/kareem3egm/cucumber-plant-diseases-dataset
New Plant Disease Dataset https://www.kaggle.com/vipoooool/new-plant-diseases-dataset
PlantDoc https://github.com/pratikkayal/PlantDoc-Dataset
Rice Diseases Image Dataset https://www.kaggle.com/minhhuy2810/rice-diseases-image-dataset
PlantPathology Apple Dataset https://www.kaggle.com/lextoumbourou/plantvillageapplecolor
New Plant Diseases Dataset (Augmented) https://www.kaggle.com/noulam/tomato
PlantifyDr Dataset https://www.kaggle.com/lavaman151/plantifydr-dataset
Plant disease recognition dataset https://www.kaggle.com/rashikrahmanpritom/plant-disease-recognition-dataset
Corn Leaf Diseases(NLB) https://www.kaggle.com/rabbityashow/corn-leaf-diseasesnlb
国内 PDD271 https://drive.google.com/file/d/1QMR1bUfEuMbZz-Mb3u2IXdbMgz7oj2Pe/view
农业病虫害研究图库(IDADP) http://www.icgroupcas.cn/website_bchtk/index.html
PDDB https://www.digipathos-rep.cnptia.embrapa.br/jspui/
水稻叶病数据集(Rice Leaf Diseases Data Set) https://archive.ics.uci.edu/ml/datasets/Rice+Leaf+Diseases

2.1 国外主要植物病害图像数据集

(1)PlantVillage。该数据集是David Hudhes和Marcel Salathé联合创建的公开数据集,是目前被使用次数最多的数据库之一。PlantVillage囊括了14种植物、26种病害,共38个类别,包含54,036幅图像,非常适用于植物病害检测和识别模型的训练,但PlantVillage中的图像大多是在实验室或单一背景下拍摄的,复杂自然条件下拍摄的图像较少。
(2)Plant Pathology 2020 - FGVC7。主要是高质量带注释的苹果图像,包括苹果黑星病、苹果锈病、多种病害共存和健康叶片共3651张图像。其中苹果黑星病图像1200张,苹果锈病图像1399张,多种病害共存图像187张,健康叶片图像865张。
(3)Cucumber Plant Diseases Dataset。该数据集由Karim Negm分享,共包含695张田间自然条件下拍摄的黄瓜有病的和健康的图像。
(4)New Plant Diseasea Dataset。由Samir Bhattarai使用数据增强技术重新创建的数据集。该数据集由38个不同的类别组成,包括健康叶片和非健康叶片共87,000张,但该数据图像背景为单一背景。
(5)PlantDoc。由Singh等16创建,共包含2598张图像,涵盖13种植物,17种病害类型。
(6)Rice Diseases Image Dataset。涵盖水稻褐斑病、叶斑病、铁甲虫病及健康叶片共5447张图像。
(7)PlantPathology Apple Dataset。由Plantvillage衍生而来,包括苹果黑星病、黑腐病、雪松苹果锈和健康叶片4种,共包含3171张图像。
(8)New Plant Diseases Dataset(Augmented)。该数据集是一个相关番茄的数据集,基于Plantvillage数据,经数据增广技术衍生而来,包括9个番茄病害和1个健康叶片,共22,900张图像。
(9)PlantifyDr Dataset。该数据集包含10种不同植物类型,主要为苹果、甜椒、樱桃、柑橘、玉米、葡萄、桃子、土豆、草莓和番茄。37种植物病害类型共125,000张图像。
(10)Plant Disease Recognition Dataset。该数据集包含健康、粉状、生锈3种共1530张图像。
(11)Corn Leaf Diseases(NLB)。包括患病和健康玉米叶片共4,115张。

2.2 国内植物病害图像数据集

(1)PDD271。Liu等17收集的植物病害数据集PDD271,包括220,592幅植物叶片图像,涵盖271种植物病害类别。其中每个植物病害类别至少包含500张图像,200多株植物。且每张图像采集时都由专家及时标注。采集后,由未参与标注工作的专家进行检查,以保证标签的正确性。
(2)农业病虫害研究图库(IDADP)。该数据集是由中国科学院合肥智能机械研究所、亚热带农业生态研究所和遥感与数字地球研究所共同建设的综合数据库,涵盖大田作物、水果和蔬菜等多种植物类型及真菌、细菌和病毒等多种病害种类。每种病虫害包括几百到几千张图像。图像绝大部分用单反相机拍摄,分辨率不小于两千万像素(6000×4000,5472×3648),少部分用手机拍摄,分辨率像素为4128×2322。而且绝大多数图像都是从自然条件下拍摄的,可应用于复杂自然条件下植物病害的识别和检测。
(3)植物疾病症状图像数据库(PDDB)。该数据集是一个免费的数据库,涵盖21种植物,171种病害类型,共收集接近5万幅图像。85%的图像是在真实条件下拍摄,其他图像在可控条件下拍摄。图像全部由数码相机和移动设备拍摄,分辨率在1~24万像素之间18,且都经过了专家标注。
(4)水稻叶病数据集。该数据集图像是在阳光直射下以白色背景拍摄的,主要为水稻白叶枯病、褐斑病和黑穗病,每种病害均拍摄40张,共120张。

3 植物病害目标检测研究进展

植物病害目标检测是利用计算机视觉技术在复杂自然条件下检测出植物病害侵染区域及其准确位置,是植物病害准确分类识别和病害危害程度评估的前提,也是植物病害区域准确定位并引导植保装备对靶喷药的关键19
早期植物病害目标检测算法采用滑动窗口策略选出候选区域,然后提取候选区域特征,最后使用分类器进行分类,从而获得目标区域,如V-J(Viola-Jones)检测、方向梯度直方图(Histogram of Oriented Gradient,HOG)检测和有关可变形部件模型(Deformable Part Model,DPM)算法等。滑动窗口方法是设置不同的尺度和宽度对图像进行遍历,虽然这种方法应用于病害定位检测可以不错过任何一个病害区域目标,但产生的多余候选窗口会带来较大的计算量,且将病害图像全部遍历一遍要花费较多时间,导致检测的实效性差20。另外,候选区域的特征提取采用手工方式,提取的特征较多集中在病害颜色、形状等底层特征,造成病害检测的鲁棒性差。分类器采用Adaboost、支持向量机(Support Vector Machine,SVM)等进行识别,识别速度慢、准确率低。

3.1 基于目标检测框架的植物病害检测

基于深度学习的R-CNN(Region-CNN)系列、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)以及CenterNet等新检测算法显著优于早期的植物目标检测算法。基于深度学习的目标检测框架可以分为二阶检测器(Two-stage)和一阶检测器(One-stage)两大类10

3.1.1 基于二阶检测器的植物病害检测

二阶检测器首先使用候选框生成器生成稀疏的候选框集,并从每个候选框中提取特征,然后使用区域分类器预测候选框区域的类别(如图1所示)。如基于区域建议的CNN,包括R-CNN、Fast-RCNN、Faster-RCNN及其变体。2014年,Girshick等21在一篇会议论文中提出了R-CNN,首次使用卷积神经网络提取图像特征,开启了利用深度学习进行目标检测的大门。在R-CNN基础上,Girshick22提出了Fast-RCNN,解决了R-CNN在候选区域选择的过程中出现大量重叠框的问题。经过R-CNN和Fast RCNN的积淀,Ren等23在2016年提出了Faster-RCNN,将特征提取、边界框回归和分类集成到一个网络中,使综合性能有较大提高,在检测速度方面尤为明显。Fuentes等24应用Faster-RCNN+VGGNet/ResNet的检测框架对番茄病虫害区域进行定位检测,其图像库中类别有10种病害,平均精度均值(mean Average Precision,mAP)值达到了85.98%,从此Faster-RCNN逐渐被应用到植物病害区域检测上。刘阗宇等25,26采用Faster-RCNN框架,分别采用ZF Net和VGGNet作为骨干网络,能准确定位葡萄叶片和叶片上的病斑。Ozguven和Adem27通过改变Faster-RCNN模型的参数实现对甜菜叶斑病的自动检测,对155幅甜菜图像进行了训练和测试,获得了95.48%的总体分类正确率。Bari等28使用Faster-RCNN对水稻患病叶片图像和健康叶片图像进行检测,识别叶片患病准确率均在98%以上,表明Faster-RCNN可以相对准确实时地检测水稻常见病害。Zhou等29提出了一种基于FCM-KM和Faster-RCNN融合的水稻病害快速检测方法,以3010幅图像为研究基础数据集,得到稻瘟病、白叶枯病和纹枯病的检测精度分别为96.71%、97.53%和98.26%,检测时间分别为0.65、0.82和0.53 s。Xie等30提出了一种基于改进的深度卷积神经网络——Faster DR-IACNN模型,在自建的葡萄叶疾病数据集(Grape Leaf Disease Dataset,GLDD)上展开研究,并引入了Inception-v1模块、Inception-ResNetv2模块和压缩和激励网络(Squeeze-and-Excitation Networks,SENet),该模型具有较高的特征提取能力,mAP精度为81.1%,检测速度为15.01 f/s。上述研究表明,基于二阶检测器的植物病害目标检测,在检测准确度方面获得了较好的病害检测效果,但由于检测速度慢,只能用在实时性要求不高的场景中。
图1 植物病害检测的二阶检测算法流程

Fig. 1 Two-stage detection algorithm diagram of plant disease detection

3.1.2 基于一阶检测器的植物病害检测

一阶检测器直接对特征图上每个位置的对象进行类别预测,不经过二阶检测器中的区域建议步骤(具体步骤见图2),如YOLO、SSD及其变体。YOLO是Redmon等31于2016年提出的一种一阶段检测算法。YOLO的设计不同于Faster-RCNN,它将检测过程整合为单个网络同时实现目标区域预测和分类的回归过程。YOLO并不生成候选框,而是将图像划分成网格,以网格为中心确定目标边界和类别,与Faster-RCNN相比,YOLO在满足更高精度的同时大大提高了检测速度。Bhatt等32在复杂自然条件下的茶园采集图像,并提出了一种基于YOLOv3的病虫害检测方法,在确保系统实时可用性的同时,实现了mAP为86%,交并比(Intersection-over-Union,IOU)为50%。Maski和Thondiyath33提出了几个轻量级的YOLO模型,用于移动农业机器人对植物病害的检测,主要针对木瓜环斑病建立了一个大规模的数据集,在此基础上tiny-YOLOv4算法的mAP最高可达99.9%。MobileNetV2-YOLOv3算法在疾病严重程度检测方面的最高mAP约为98.39%。李昊等34基于改进的YOLOv4实现柑橘病虫害叶片检测,并根据检测目标框实现柑橘病害叶片的局部分割,结合DenseNet算法对分割出来的叶片进行病害检测,检测准确率达到95.46%。
图2 植物病害检测的一阶检测算法图

Fig. 2 One-stage detection algorithm diagram of plant disease detection

针对YOLO的缺陷,Liu等35于2016年提出了SSD。相较于YOLO,SSD的改进主要包括3个方面:一是提取不同尺度的特征图,解决了YOLO不能准确检测小目标的问题;二是设计了多个不同尺度的先验框;三是在VGG16网络中增加6个卷积层来预测边界框偏移量,解决了YOLO定位不准的问题。Sun等36提出了一种可部署在移动设备上的轻量级的MEAN-SSD病害检测模型。MEAN-SSD是通过引入MEAN块(Mobile End AppleNet block)和所有3×3卷积核都替换为MEAN块的Inception模块构建而成,mAP能够达到83.12%,速度达到12.53 f/s。Sun等37提出了一种多尺度特征融合的改进的SSD算法,该方法结合了数据预处理、特征融合、特征共享、疾病检测等步骤,用于检测复杂背景下玉米叶枯病,mAP比原SSD算法的mAP高了20%左右(从71.80%提高到91.83%)。同时传输速度也从24 f/s提高到28.4 f/s,达到了实时检测25 f/s的标准。Selvaraj等38对比了几种著名目标检测框架和不同骨干网络组合对香蕉病虫害检测的效果,数据库包括了10种香蕉病虫害,共3万余张图像,发现SSD框架和MobileNet v1的组合检测总体效果最好。虽然经过不断地改进和优化,一阶段检测算法在植物病害精度和速度上都有所提高,但锚框的存在仍然令这种检测方法不够精简。

3.2 基于无锚框的植物病害检测

2019年,Zhou等39提出了一种无锚框的检测算法——CenterNet,该算法是在CornerNet的基础上改进而来,由原来对两个关键点(即图像的左上角和右下角)的检测改为对图像中心点的估计。由于该算法去掉了生成锚框这一操作,并且由热力图估计损失,省去了一些耗时的操作,所以很大程度上提升了检测性能。目前,基于CenterNet的病害检测研究还较少,但CenterNet已被证明可以应用于自然条件下的目标检测。夏雪等40通过CenterNet检测网络与MobileNet v3相结合,构建一个新的网络——M-CenterNet,对自然条件下果树上的苹果进行检测。并与CenterNet和SSD做对比,发现所提网络不论是检测精度还是检测速度上都比CenterNet和SSD要好很多,尤其是检测速度上,比这两种网络提高了1倍左右。Albattah等41提出了一种改进的CenterNet算法,以PlantVillage Kaggle数据库为主要数据来源,以DenseNet-77为基础网络对深层次关键点进行提取,然后分别对番茄、苹果、葡萄等在内的14种植物26类病害及12类健康叶片进行识别,从多方面分析得出,改进的CenterNet方法比目前最新的EfficientNet方法能够更准确地识别植物病害。无锚框的检测算法在性能上优于基于锚框的检测算法,是今后病害区域检测方面的主要研究方向。

3.3 植物病害目标检测分析与展望

近年来植物病害检测研究进展见表2~表4。可以看出,针对大豆、玉米、马铃薯、苹果、葡萄等植物病害目标检测,一阶段检测算法和二阶检测算法都获得了较好的检测效果。但目前文献表明,在病斑边界框(bounding box)标识时较为混乱,一些文献对一张叶片上大的病斑单独框出,一些文献则对小且多的病斑往往采用一个框,对没有明显边界的病害则往往不考虑在病害检测任务范畴内。同时,对植物生长的复杂自然场景中进行病害目标检测研究较少,这种场景下密集、小目标检测算法有待进一步研究,同时还需应对复杂自然条件下可能出现的光照、阴影、复杂背景、遮挡、叠加、小病斑检测等难点。
表2 近年来基于二阶检测器的植物病害目标检测研究进展

Table 2 Recent advances in plant disease target detection based on second-order detector

编号 作者 年份 植物种类 数据集/幅 获取方法 检测网络框架 最优准确率/%
1 Zhang等42 2021 大豆 2200 田间拍摄 Faster-RCNN 83.34
2 Hu等43 2021 茶叶 398 田间拍摄 Faster-RCNN 84.50
3 Eser44 2021

辣椒

土豆

544 田间拍摄 Faster RCNN-gc 98.06
4 Rehman等45 2021 苹果 1200 PlantVillage Mask RCNN 96.60
5 Anandhan和Singh46 2021 水稻 1500 田间拍摄 Mask R-CNN 96.00
6 Kumar47 2021 甘蔗 2940 田间拍摄 Faster-RCNN 58.13
7 Bari等28 2021 水稻 2400 Kaggle+田间拍摄 Faster-RCNN 99.17
8 李鑫然等48 2020 苹果 2029 田间拍摄 Faster-RCNN 82.28
9 Xie等30 2020 葡萄 4449 田间拍摄 Faster DR-IACNN 81.10
10 Wang等49 2019 番茄 286 线上采集 Mask R-CNN 99.64
11 Ozguven和Adem27 2019 甜菜 155 甜菜叶数据集 Faster-RCNN 95.48
12 Zhou等29 2019 水稻 3010 田间拍摄 Faster-RCNN 98.26
13 乔虹等50 2018 葡萄 2000 田间拍摄 Faster-RCNN 90.90
16 刘阗宇等26 2018 葡萄 6000 田间拍摄 Faster-RCNN 75.52
14 Fuentes等24 2017 番茄 5000 田间拍摄 Faster-RCNN 90.60
15 刘阗宇和冯全25 2017 葡萄 1135 田间拍摄 Faster-RCNN 87.20
表3 近年来基于一阶检测器的植物病害目标检测研究进展

Table 3 Recent advances in plant disease target detection based on first-order detector

编号 作者 年份 植物种类 数据集/幅 获取方法 检测网络框架 最优准确率/%
1 Wang等51 2021 5种植物 3000 可控环境拍摄 DBA_SSD 92.20
2 Shill和Rahman52 2021 13种植物 2598 PlantDoc数据集 YOLOv4 55.45(IoU=50%)
3 Wang和Liu53 2021 番茄 1263 田间拍摄 MP-YOLOv3 95.60
4 He等54 2021 西瓜 529 田间拍摄 SSD768 92.40
5 Atila等55 2021 香蕉 61,486 PlantVillage 改进的YOLO 98.40
6 Maski和Thondiyath33 2021 木瓜 2000 田间拍摄 YOLO 99.90
7 李昊等34 2021 柑橘 392 田间拍摄 YOLOv4 87.72
8 Sun等36 2021 苹果 2230 田间拍摄 MEAN-SSD 83.12
9 Liu和Wang56 2020 番茄 15,000 田间拍摄 YOLOv3 92.39
10 Morbekar等57 2020 14种植物 54,306 PlantVillage YOLO 65.48
11 Ponnusamy等58 2020 多种植物 304 田间拍摄 YOLOv3 82.38
12 Liu和Wang59 2020 番茄 2385 田间拍摄+线上采集 MobileNetv2-YOLOv3 94.13
13 Sun等37 2020 玉米 8152 NLB数据集 SSD 91.83
14 Jiang等60 2019 苹果 26,377 可控环境+田间拍摄 INAR-SSD 78.80
15 Tian等61 2019 苹果 640 田间拍摄+线上采集 YOLOv3-Dense 95.57
16 Ramcharan等62 2019 木薯 2415 田间拍摄 SSD 94.00
17 Bhatt等32 2019 茶叶 4000 田间拍摄+线上采集 YOLOv3 86.00
18 Selvaraj等38 2019 香蕉 18,000 田间拍摄 SSD 99.00
表4 近年来基于无锚框及自建网络的植物病害目标检测研究进展

Table 4 Recent advances in plant disease target detection based on anchor-free and self-built networks

编号 作者 年份 植物种类 数据集/幅 获取方法 检测网络框架 最优准确率/%
1 Albattah等40 2021 14种植物 54,306 PlantVillage CenterNet+DenseNet-77 99.98
2 Kavitha和Savarimuthu63 2021 6种植物 3953 可控环境拍摄 DPD-DS 87.12
3 Liu等64 2021 黄瓜 4788 田间拍摄 EFDet 83.32
4 Dwivedi等65 2021 葡萄 4500 PlantVillage GLDDN 99.93
5 Nihar等66 2021 黄豆番茄 1043 可控环境拍摄 ModCNN 97.69
6 Nagasubramanian等67 2019 大豆 111 可控环境下拍摄 3D DCNN 95.73
如今已提出的病害检测算法均对特定的数据集有较好的检测效果,但若数据集发生了改变,则可能会导致检测效果不佳,所以在未来,提高模型的鲁棒性是值得研究的一个方向。另外,早期病害的检测研究仍处于空白阶段,主要因为数据采集的困难。早期病害部位信息较少,研究者无法保证准确识别病害种类与病斑位置,但早期病害检测更有利于防止病菌的传播与发展,有效防治植物病害,所以今后应重视开展对早期病害检测的开发研究,以期达到及时防治、减少损失的目的。目前对植物的病害检测还处于有人工干预的半自动化过程,探索全自动化的病害检测方法也将是未来主要研究方向之一。

4 植物病害识别研究进展

植物病害识别是指对病害图像进行处理、分析和理解,以辨识不同种类病害对象的技术,是植物病害及时有效防治的主要依据。
早期植物病害识别方法中,病害特征的提取和选择是依据先验经验人工完成的,识别性能好坏主要取决于所提取与选择的特征是否能充分表达待识别特定对象的信息和具有高可分性,以及与后续分类器的匹配性。传统的图像特征包括形状、颜色、纹理特征等,曾被广泛地用于植物病害的分类。形状特征包括基于物体边界形状的方法,如傅里叶形状描述符以及基于区域的形状表示方法,如形状不变矩、小波变换方法、小波轮廓描述符等。颜色特征包括图像各个颜色分量的一阶/二阶灰度、直方图、均值等参数;纹理特征如灰度共生矩阵、分形特征、小波、Gabor等,以及描述分形特征的分形维数,与图像的粗糙程度直接相关,用于对病斑纹理变化的描述。为提高识别性能,常见的策略是采用各种图像特征的组合以及分类器的集成。人工设计提取优秀的识别特征的要求较高,需要从事此项工作的人具有丰富的工程技能和领域专业知识,但受植物类型、生长阶段、病害种类、环境光照等因素的影响,植物病害症状复杂,人工无法对特征设计进行细致的优化,导致复杂场景下的植物病害识别效果不佳。
深度学习可以使用通用学习程序从原始数据(如图像像素)中自动学习特征,能避免人工特征工程的局限。近年来,作为深度学习核心的各种卷积神经网络被陆续提出,如ZF Net(2013)、VGG(2014)、GoogleNet(2014)、ResNet(2015)、DenseNet(2017)、MobileNet(2017)以及EfficientNet(2019)等,同时,各个卷积神经网络都在不断更新与优化中,以适应不同的任务和性能要求。基于深度学习的植物病害识别基本步骤见图3
图3 植物病害识别深度学习网络图

Fig. 3 Deep learning network diagram for plant disease recognition

4.1 基于深度网络的植物病害识别

相较于早期植物病害识别方法,基于深度网络的植物病害识别可以自动对图像进行预处理,不再需要通过人工处理图像,因此大大提高了病害识别的效率。同时,随着网络深度的增加,模型的学习能力更强,提取的特征更丰富。但由于网络深度的增加,训练过程会消耗大量的时间,并且可能会出现在训练时过拟合的问题。不少研究人员尝试在植物病害识别中采用以CNN为主的深度神经网络,以提高识别的准确性。Kawasaki等68最早采用CNN进行病害识别,基于健康叶片与2种病害叶片类型的800幅黄瓜病害图像训练CNN,训练时用4-fold交叉验证,最终获得了94.9%的准确率。Sladojevic等69从互联网上搜集了2589张图像,包括桃、梨、苹果等6种植物叶片的13种病害、正常叶片和背景共计15种类型,通过仿射、投影和旋转等数据增广技术增加了图像数量;采用CaffeNet和迁移学习,特征提取层参数在ImageNet上预训练,只在最后分类的全连接层进行了精调(fine-tuning),该网络的平均分类准确度达到了96.3%。Mohanty等70比较了AlexNet和GoogleNet两种网络性能,训练数据库为PlantVillage,发现当训练数据与测试数据之比是8:2并采用迁移学习时,在GoogleNet上平均识别准确率高达99.34%。Ramcharan等71在田间拍摄了2756张木薯叶片图像,将剪切的15,000张小叶片图像构造数据库,采用了Inception v3和迁移学习网络模型,并与传统的SVM和 K最邻近(KNN,K-NearestNeighbor)分类器进行了对比,识别3种病害和2种虫害,发现Inception v3的平均准确率为93%,高于传统分类器。为解决网络收敛时间长和参数内存需求大的问题,孙俊等72在AlexNet的基础上采用批归一化方法以及加入全局池化层和缩减特征图数目的方法,得到8种改进模型,对PlantVillage中的14种植物共26种病害进行识别,其最优模型的平均测试识别准确率达到99.56%。Lu等73采集了9230张大田小麦图像用于训练和测试,包含6种常见小麦病害,采用深度学习框架基于多实例学习的弱监督方法,在完成诊断功能的同时,可以通过全卷积网络(Fully Convolutional Network,FCN)算法分割出病害区域,平均识别精度为97.95%。Ferentinos74比较了5种典型CNN模型的病害识别精度,该研究使用了一种包括25种植物和57种病害的数据库,共计87,000张叶片病害图像,其中37.3%是在大田条件下拍摄,62.7%是在实验室中拍摄;训练方法是从头训练而非迁移训练,结果表明VGG模型效果最好,平均识别准确率为99.53%。赵建敏等75基于TensorFlow框架,搭建8层CNN+softmax分层卷积神经网络模型,自动学习到256个病害图像特征,采用softmax分类器识别病害,简单背景单一病斑识别准确率达到87%。Xing等76在自然环境下采集了17种柑橘类害虫图像和7种柑橘类病害图像共12,561张,对这些图像进行了增广处理,对比6种网络模型的识别效果,其中在DenseNet基础上做了一些简化的Weakly DenseNet的效果最好,平均准确率为93.42%。曾伟辉等77提出了一种高阶残差和参数共享反馈的卷积神经网络模型,高阶残差子网络为病害表观提供丰富细致的特征表达,以提高模型识别精度,参数共享反馈子网络用来抑制原深层特征中的背景噪声,可提高模型的鲁棒性,该网络在PlantVillage上分类效果优于几种传统的分类器。Ji等78使用多个CNN组成UnitedModel提取互补的病害特征用于葡萄病害的识别,在PlantVillage上取得了很好识别效果。

4.2 基于轻量型网络的植物病害识别

近些年,为了适应复杂自然场景中数据资源有限的局限性,研究人员展开了对轻量型网络的研究。刘洋等79在安卓手机上实现了PlantVillage数据集病害图像识别,比较了MobileNet和Inception v3两种轻量级网络的性能,结果表明两种网络识别精度相差很小,但基于MobileNet模型的程序更小,运行速度更快。王春山等80提出了改进型多尺度残差网络,通过改变残差层连接方式,将大卷积核分解,减少了模型参数,设计了轻量级病害识别模型。Saleem等81利用Xception对PlantVillage中的26种疾病进行分类,通过对先进的CNN体系结构和改进的深度学习模型进行对比分析,选出了识别效果最好的Xception模型,然后通过各种优化器训练,选取提高性能最多的Adam优化器,对数据集中植物病害的识别准确率最终达到99.81%。De Ocamop和Dadios82用轻量型网络MobileNet对植物病害进行分类,证明MobileNet在数据集相对较小的情况下也能有效地对植物病害进行分类。

4.3 植物病害同步检测与识别

植物病害检测和识别不仅可以采取先检测病害区域(即感兴趣区域或IOT区域)再进行病害识别的分步操作,还可以同步进行,即对病害区域检测的同时判别病害种类。De Luna等83以自然条件下采集的4923张患病及健康的番茄叶片图像为研究对象,设计了一个自动图像采集系统和一个番茄病害检测和识别模型。利用以AlexNet为基础特征提取网络的F-RCNN实现病害检测的同时,对番茄叶片病害进行了分类,该模型最终准确率达到95.75%。Rashid等84针对病害检测和识别研究无法检测作物种类和作物病害的问题,建立了一个多层次深度学习模型来识别马铃薯叶片病害,首先使用YOLO v5对马铃薯叶片进行检测,同时使用深度学习技术PDDCNN对马铃薯叶片上的病害进行分类,得到最终准确率为99.75%;同时,他们还与VGG16、InceptionResNetV2、DenseNet_121、DenseNet169、Xception等模型进行了比较,证实该模型在精度和计算代价方面具有优势。Kiratiratanapruk等85使用了4种卷积神经网络预训练模型(Faster-RCNN、RetinaNet、YOLOv3和Mask RCNN)来检测6种常见的水稻病害,以在自然条件下拍摄的6330张照片为数据集,并在该数据集上使用了上述4种模型,同时实现了病叶检测和病害分类功能,YOLOv3模型最终表现良好,准确率达到79.19%。

4.4 植物病害识别分析与展望

根据卷积神经网络模型规模,神经网络可分为深度网络和轻量型网络,近年植物病害识别研究进展总结见表5表6(第40页)。
表5 近年来基于深度网络的植物病害识别研究进展

Table 5 Recent advances in plant disease recognition based on deep network

编号 作者 年份 植物种类 数据集/幅 获取方法 神经网络类型 最高准确率/%
1 Jiang等86 2021

水稻

小麦

水稻:120

小麦:80

田间拍摄 VGG-16

水稻:97.22

小麦:98.75

2 Abbas等87 2021 番茄 16,012 PlantVillage DenseNet121 99.51
3 Chellapandi等88 2021 14种植物 54,306 PlantVillage DenseNet 99.00
4 樊湘鹏等89 2021 葡萄 19,900 田间拍摄 改进VGG16 98.02
5 Jiang等90 2020 水稻 8911 田间拍摄 CNN+SVM 96.80
6 Barman等91 2020 柑橘 2939 田间拍摄 SSCNN 98.00
7 Dang等92 2020 萝卜 40 可控环境下拍摄 GoogLeNet 90.00
8 Ji等78 2020 葡萄 1619 PlantVillage UnitedModel 99.17
9 Howlader等93 2019 石榴 2705 田间拍摄 D-CNN 98.74
10 Coulibaly等94 2019 粟米 124 田间拍摄 VGG16 95.00
11 Hu等95 2019 144 田间拍摄 CIFAR-10Net 92.50
12 Sibiya和Sumbwanyambe96 2019 玉米 100 田间拍摄 50层CNN 92.85
13 王艳玲等97 2019 番茄 14,529 PlantVillage AlexNet 95.62
14 Singh等98 2019 芒果 1070 田间拍摄 MCNN 97.13
15 Picon等99 2019 小麦 8178 田间拍摄 改进ResNet-50 96.00
16 Abdalla等100 2019 油菜籽 400 田间拍摄 VGG16 96.00
17 Xing等76 2019 柑橘 12,561 田间拍摄 Weakly DenseNet 93.42
18 曾伟辉等77 2019 47种植物 56,190 MK- D2、 PlantVillage、 AES- CD9214 HORPSF 96.75
19 Atole和Park101 2018 水稻 227 田间拍摄 AlexNet 91.23
20 Zhang等102 2018 玉米 500 PlantVillage+线上采集 GoogLeNet 98.90
21 Liu等103 2018 苹果 13,689 可控环境下拍摄 AlexNet 97.62
22 张建华等104 2018 棉花 5510 田间拍摄 VGG-16 89.51
23 Rangarajan等105 2018 番茄 13,262 PlantVillage VGG16 97.49
24 Ferentinos74 2018 25种植物 87,000 37.3%田间拍摄,62.7%可控条件拍摄 VGG 99.53
25 赵建敏等75 2018 马铃薯 6000 田间拍摄 8层CNN 87.00
26 De Chant等106 2017 玉米 1796 田间拍摄 CNN 96.70
27 Lu等107 2017 水稻 500 田间拍摄 CNN 95.00
28 Oppenheim和Shani108 2017 马铃薯 2465 可控环境下拍摄 VGG 90.00
29 Ramcharan等71 2017 木薯 2756 田间拍摄 Inception v3 93.00
30 孙俊等72 2017 14种植物 21,917 PlantVillage 改进的AlexNet 99.41
31 Lu等73 2017 小麦 9230 田间拍摄 VGG-FCN-VD16 97.95
32 Fujita等109 2016 黄瓜 7520 田间拍摄 CNN 82.30
33 Sladojevic等69 2016 13种植物 2589 线上采集 Caffe+迁移学习 96.30
34 Mohanty等70 2016 14种植物 54,306 PlantVillage AlexNet 99.35
35 Kawasaki等68 2015 黄瓜 800 田间拍摄 CNN 94.90
表6 近年来基于轻量型网络的植物病害识别以及病害检测与识别同时进行的研究进展

Table 6 Recent advances in plant disease recognition based on lightweight network and disease detection and recognition simultaneously

编号 作者 年份 植物种类 数据集/幅 获取方法 神经网络类型 最高准确率/%
1 Srinidhi等110 2021 苹果 3600 田间拍摄 EfficientNetB7 99.80
2 Zhou等111 2021 番茄、黄瓜 4284 田间拍摄 PRP-Net 98.26
3 Rashid等84 2021 马铃薯 4062 PlantVillage YOLOv5+PDDCNN 99.75
4 Zhang 等112 2020 黄瓜 2816 田间拍摄 EfficientNet-B4 96.00
5 王春山等80 2020 3种植物 19,517 PlantVillage、AI Challenge2018数据集 Multi-scale ResNet 95.95
6 Saleem等81 2020 14种植物 54,306 PlantVillage Xception 99.81
7 Kiratiratanapruk85 2020 水稻 6330 田间拍摄 YOLOv3 79.19
8 刘洋等79 2019 13种植物 54,306 PlantVillage MobileNet、Inception V3

MobileNet:95.02

Inception V3:95.62

9 De Ocamop和Dadios82 2018 5种植物 6970 田间拍摄+线上采集 MobileNet 89.00
10 De Luna等83 2018 番茄 4923 田间拍摄 AlexNet+ F-RCNN 95.75
植物病害图像数据库无论是开放还是私有的,都有一个共同点,即病害部位基本在图像中间,且占据图像的大部分空间,这表明目前的研究似乎集中在人机交互场景,是在部分可控拍摄条件下进行病害识别,与植保机器人面临的实际情况相差较大。大量实验表明,基于数据库识别效果最好的CNN在不同类型病害图像库表现并非始终最好,这表明需要通过大量试验才能为特定场景的病害识别筛选出最适合的网络模型。虽然有学者研究了基于移动设备的病害识别,但处理速度通常在数百毫秒以上,并非实时识别。
从深度学习在植物病害识别的研究进展看,在研究内容和网络模型等方面逐渐发生转变。在研究内容方面,逐渐从提升CNN的病害识别准确率转变成运算速度提升,从实验室单一背景植物病害识别转变成自然条件下复杂背景植物病害识别,从静态的病害图像检测转变成动态的视频检测,从单一植物叶部病害特征提取转变成对根、茎、叶、花、果不同植物器官的病害症状特征提取。在CNN模型方面,从VGG、GoogleNet、ResNet、DenseNet等网络向MobileNet、EfficientNet轻量型网络转变,保持性能不降低情况下尽量压缩模型参数、提升网络运行速度,确保网络模型可在算力有限的人工智能边缘计算平台上运行。

5 面临的挑战与展望

5.1 面临的挑战

虽然近年来国内外研究者基于深度学习技术开展了大量的植物病害目标检测与分类识别研究,推动了检测与识别准确度的提高,但在实际应用场景中,植物病害检测与识别仍然面临着诸多挑战。
(1)光照变化导致目标区域准确定位难。在实际植物种植环境中,一日之内光照变化剧烈、不同背景下的反光、不同气象条件等影响因素,造成植物病斑目标区域难以准确定位。自然光照条件下,拍摄的角度、高度或者地点可能会导致部分图片中病斑位置的颜色深浅不一,使得病斑特征不明显,从而影响分类识别准确度。
(2)背景复杂导致目标的准确检测难度大。在实际植物种植环境中获取的病害图像背景有可能会包括叶片、树干、茎秆、根部、土壤、杂草、秸秆、地膜、落叶、石头、积水、阴影等,在复杂背景条件下获取的植物病害图像对于病斑的目标检测难度较大。同时,植物病斑颜色形状等有可能与背景中的其他对象相似,造成目标检测的准确率降低。
(3)遮挡导致目标特征缺失、噪声重叠。目前,大多数研究者都避免对复杂环境下植物病害的识别,采用直接截取所采集图像感兴趣的区域的方法,很少考虑遮挡问题。遮挡问题在复杂自然环境中普遍存在,包括由叶片姿态变化引起的叶片遮挡、分支遮挡、外部光照引起的光遮挡以及不同遮挡类型引起的混合遮挡。遮挡条件下植物病害识别的难点在于特征缺失和遮挡引起的噪声重叠。不同的遮挡条件对识别算法有不同程度的影响,导致误检甚至漏检。
(4)病害相似性导致错判或者误判。不同的病害引起的症状具有相似性。症状是判断病害种类的主要依据之一,若不同种类病害的发病症状极为相似,通过二维图像无法准确地辨识,需要获取更多维度信息如深度信息、光谱信息、红外信息、荧光信息等,才能准确判断出植物病害类别。
(5)病害症状变化导致病害识别难度大。病原菌可以在植物不同时期进行侵染,发病时又会因植物的品种、生育期和器官表现出不同的症状,同一种病害在不同的危害时期或不同侵染程度下表现出不同症状。同一种病害危害植物的不同组织或植物器官症状会有差异,如嫩芽、子叶、真叶、果实、茎秆、根部等呈现出来的症状各有不同。同一种病害在同种植物器官上也会呈现不同的症状类型,比如棉花黄萎病常见的症状有4种类型,分别为黄斑型、叶枯型、萎蔫型和落叶型,这对病害识别提出了很大的挑战。
(6)多重病害交叠导致植物病害的检测和识别准确率低。目前提到的病害检测和识别都是基于每片叶子上均是一种病害或一种病害特征最为明显的情况而研究的。但在自然条件下,常见多种病害同时存在于单片叶子的情况,还存在病害与虫害相互重叠现象,使植物病害检测和识别成为一项复杂的工作。

5.2 展 望

深度学习作为新一代人工智能技术有着两方面的优势:一是可随着数据规模的增加不断提升其性能;二是可以从数据中直接提取特征,削减对每一个问题设计特征提取器的工作量。因此,作为大数据时代的算法利器,深度学习技术受到各个国家的高度重视,关于卷积神经网络的研究有很多。
基于深度学习的植物病害的检测和识别技术目前已经发展的较为成熟,但在自然条件下依旧面临着很多的挑战。总体而言,难点主要集中于背景和病害本身特性的复杂上,为了克服这些难点,需要性能更好的神经网络和更丰富的数据集。在未来,深度神经网络的性能将不断提升,深度神经网络节点功能不断丰富,深度神经网络工程化应用技术不断深化。数据集也将从单一可控背景下拍摄收集转换为自然条件复杂背景下采集。另外,在数据模态方面,也将从单一模态的视觉通道向拥有近红外光谱、高光谱、红外热图像、深度、荧光等多模态数据转变,病害识别的准确率进一步提升,同时可以利用多模信息开展早期植物病害的判别。随着深度学习技术的快速发展,如何将最新深度学习技术与植物病害检测和识别相结合,解决检测器定位能力差、识别模型精度低、算法泛化性能弱以及构建大规模数据集合难等方面的问题,形成可面向复杂自然条件、多种植物病害、应用于实际大田作业的模型算法,提升田间病害的智能监测水平,创制出适用于田间作业的智能植保机械装备,是该领域未来主要的研究方向。
同时对植物病害的检测和识别并不是一个简单的工作,不能仅靠植物表面图像来获得可靠的结果。并且,在实际应用场景中,植物叶片上时常有多种病害共存,这将对检测和识别产生很大的干扰,未来植物病害检测和识别应该更好地与农业理论基础相结合,在对图像分析的基础上,还要考虑环境因素、作物生长规律以及病菌的生物学特性等多种因素,进一步提高病害识别和检测结果的实用性,同时让多种病害同时检测和识别成为可能。
1
NAVROZIDIS I, ALEXANDRIDIS T K, DIMITRAKOS A, et al. Identification of purple spot disease on asparagus crops across spatial and spectral scales[J]. Computers and Electronics in Agriculture, 2018, 148: 322-329.

2
MA J, DU K, ZHENG F, et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network[J]. Computers and Electronics in Agriculture, 2018, 154: 18-24.

3
CHEN P, XIAO Q, ZHANG J, et al. Occurrence prediction of cotton pests and diseases by bidirectional long short-term memory networks with climate and atmosphere circulation[J]. Computers and Electronics in Agriculture, 2020, 176: ID 105612.

4
张建华, 韩书庆, 翟治芬, 等. 改进自适应分水岭方法分割棉花叶部粘连病斑[J]. 农业工程学报, 2018, 34(24): 165-174.

ZHANG J, HAN S, ZHAI Z, et al. Segmentation of cotton leaf adhesiosis spot by improved adaptive watershed method [J]. Transactions of the CSAE, 2018, 34(24): 165-174.

5
VISHNOI V K, KUMAR K, KUMAR B. Plant disease detection using computational intelligence and image processing[J]. Journal of Plant Diseases and Protection, 2021, 128(1): 19-53.

6
高秀美, 曹长余, 邵增顺, 等. 园林植物病虫害发生特点与防治对策[J]. 中国农学通报, 2001, 17(1): 70-71.

GAO X, CAO C, SHAO Z, et al. Occurrence characteristics and control countermeasures of garden plant diseases and insect pests[J]. Chinese Agricultural Science Bulletin, 2001, 17(1): 70-71.

7
刘媛. 基于深度学习的葡萄叶片病害识别方法研究[D]. 兰州: 甘肃农业大学, 2018.

LIU Y. Research on grape leaf disease identification method based on deep learning[D]. Lanzhou: Gansu Agricultural University, 2018.

8
ZHANG J, KONG F, WU J, et al. Automatic image segmentation method for cotton leaves with disease under natural environment[J]. Journal of Integrative Agriculture 2018, 17(8): 1800-1814.

9
ZHANG J, KONG F, ZHAI Z, et al. Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm[J]. International Journal of Pattern Recognition & Artificial Intelligence, 2018, 32(5): 3671-3678.

10
HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

11
KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information processing systems, 2012, 25: 1097-1105.

12
DARGAN S, KUMAR M, AYYAGARI M R, et al. A survey of deep learning and its applications: A new paradigm to machine learning[J]. Archives of Computational Methods in Engineering, 2020, 27(4): 1071-1092.

13
ZHANG Q, LIU Y, GONG C, et al. Applications of deep learning for dense scenes analysis in agriculture: A review[J]. Sensors, 2020, 20(5): ID 1520.

14
SANTOS L, SANTOS F N, OLIVEIRA P M, et al. Deep learning applications in agriculture: A short review[C]// Iberian Robotics Conference. Berlin,German:Springer, Cham, 2019: 139-151.

15
BARBEDO J G A. Impact of dataset size and variety on the effectiveness of deep learning and transfer learning for plant disease classification[J]. Computers and Electronics in Agriculture, 2018, 153: 46-53.

16
SINGH D, JAIN N, JAIN P, et al. PlantDoc: A dataset for visual plant disease detection[C]// The 7th ACM IKDD CoDS and 25th COMAD. New York, USA: ACM, 2020: 249-253.

17
LIU X, MIN W, MEI S, et al. Plant disease recognition: A large-scale benchmark dataset and a visual region and loss reweighting approach[J]. IEEE Transactions on Image Processing, 2021, 30: 2003-2015.

18
BARBEDO J G A, KOENIGKAN L V, HALFELD-VIEIRA B A, et al. Annotated plant pathology databases for image-based detection and recognition of diseases[J]. IEEE Latin America Transactions, 2018, 16(6): 1749-1757.

19
张文静. 基于卷积神经网络的烟草病害识别与检测[D]. 泰安: 山东农业大学, 2021.

ZHANG W. Tobacco disease recognition and detection based on convolutional neural network[J]. Tai'an: Shandong Agricultural University, 2021.

20
LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521: 436-444.

21
GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, New York, USA: IEEE, 2014: 580-587.

22
GIRSHICK R. Fast r-cnn[C]// The IEEE International Conference on Computer Vision. Piscataway, New York, USA: IEEE, 2015: 1440-1448.

23
REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. Advances in Neural Information Processing Systems, 2015, 28: 91-99.

24
FUENTES A, YOON S, KIM S C, et al. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition[J]. Sensors, 2017, 17(9): ID 2022.

25
刘阗宇, 冯全. 基于卷积神经网络的葡萄叶片检测[J]. 西北大学学报(自然科学版), 2017, 47(4): 505-512.

LIU T, FENG Q. Grape leaf detection based on convolutional neural network[J]. Journal of Northwest University (Natural Science Edition), 2017, 47(4): 505-512.

26
刘阗宇, 冯全, 杨森. 基于卷积神经网络的葡萄叶片病害检测方法[J]. 东北农业大学学报, 2018, 49(3): 73-83.

LIU T, FENG Q, YANG S. Detection of grape leaf diseases based on convolutional neural network[J]. Journal of Northeast Agricultural University, 2018, 49(3): 73-83.

27
OZGUVEN M M, ADEM K. Automatic detection and classification of leaf spot disease in sugar beet using deep learning algorithms[J]. Physica A: Statistical Mechanics and its Applications, 2019, 535: ID 122537.

28
BARI B S, ISLAM M N, RASHID M, et al. A real-time approach of diagnosing rice leaf disease using deep learning-based faster R-CNN framework[J]. PeerJ Computer Science, 2021, 7: ID e432.

29
ZHOU G, ZHANG W, CHEN A, et al. Rapid detection of rice disease based on FCM-KM and faster R-CNN fusion[J]. IEEE Access, 2019, 7: 143190-143206.

30
XIE X, MA Y, LIU B, et al. A deep-learning-based real-time detector for grape leaf diseases using improved convolutional neural networks[J]. Frontiers in Plant Science, 2020, 11: ID 751.

31
REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, New York, USA: IEEE, 2016: 779-788.

32
BHATT P V, SARANGI S, PAPPULA S. Detection of diseases and pests on images captured in uncontrolled conditions from tea plantations[C]// Autonomous Air and Ground Sensing Systems for Agricultural Optimization and Phenotyping IV. International Society for Optics and Photonics. Baltimore, Maryland, United States: SPIE, 2019: ID 1100808.

33
MASKI P, THONDIYATH A. Plant disease detection using advanced deep learning algorithms: A case study of papaya ring spot disease[C]// 2021 6th International Conference on Image, Vision and Computing (ICIVC). Piscataway, New York, USA: IEEE, 2021: 49-54.

34
李昊, 刘海隆, 刘生龙. 基于深度学习的柑橘病虫害动态识别系统研发[J]. 中国农机化学报, 2021, 42(9): 195-201, 208.

LI H, LIU H, LIU S. Development of dynamic recognition system of citrus pests and diseases based on deep learning[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(9): 195-201, 208.

35
LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]// European Conference on Computer Vision. Berlin, German: Springer, Cham, 2016: 21-37.

36
SUN H, XU H, LIU B, et al. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks[J]. Computers and Electronics in Agriculture, 2021, 189: ID 106379.

37
SUN J, YANG Y, HE X, et al. Northern maize leaf blight detection under complex field environment based on deep learning[J]. IEEE Access, 2020, 8: 33679-33688.

38
SELVARAJ M G, VERGARA A, RUIZ H, et al. AI-powered banana diseases and pest detection[J]. Plant Methods, 2019, 15(1): 1-11.

39
ZHOU X, WANG D, KRÄHENBÜHL P. Objects as points[J/OL]. arXiv preprint arXiv:1904.07850, 2019.

40
夏雪, 孙琦鑫, 侍啸, 等. 基于轻量级无锚点深度卷积神经网络的树上苹果检测模型[J]. 智慧农业(中英文), 2020, 2(1): 99-110.

XIA X, SUN Q, SHI X, et al. Apple detection model based on lightweight anchor-free deep convolutional neural network[J]. Smart Agriculture, 2020, 2(1): 99-110.

41
ALBATTAH W, NAWAZ M, JAVED A, et al. A novel deep learning method for detection and classification of plant diseases[J]. Complex & Intelligent Systems, 2021: 1-18.

42
ZHANG K, WU Q, CHEN Y. Detecting soybean leaf disease from synthetic image using multi-feature fusion faster R-CNN[J]. Computers and Electronics in Agriculture, 2021, 183: ID 106064.

43
HU G, WANG H, ZHANG Y, et al. Detection and severity analysis of tea leaf blight based on deep learning[J]. Computers & Electrical Engineering, 2021, 90: ID 107023.

44
ESER S. A deep learning based approach for the detection of diseases in pepper and potato leaves[J]. Anadolu Journal of Agricultural Sciences, 2021, 36(2): 167-178.

45
REHMAN Z, KHAN M A, AHMED F, et al. Recognizing apple leaf diseases using a novel parallel real‐time processing framework based on MASK RCNN and transfer learning: An application for smart agriculture[J]. IET Image Processing, 2021, 15(10): 2157-2168.

46
ANANDHAN K, SINGH A S. Detection of paddy crops diseases and early diagnosis using faster regional convolutional neural networks[C]// 2021 International Conference on Advance Computing and Innovative Technologies in Engineering (ICACITE). Piscataway, New York, USA: IEEE, 2021: 898-902.

47
KUMAR P. Research paper on sugarcane disease detection model[J]. Turkish Journal of Computer and Mathematics Education (TURCOMAT), 2021, 12(6): 5167-5174.

48
李鑫然, 李书琴, 刘斌. 基于改进Faster R_CNN的苹果叶片病害检测方法[J]. 计算机工程, 2021, 47(11): 298-304.

LI X, LI S, LIU B. Detection of apple leaf diseases based on improved Faster R_CNN[J]. Computer Engineering, 2021, 47(11): 298-304.

49
WANG Q, QI F, SUN M, et al. Identification of tomato disease types and detection of infected areas based on deep convolutional neural networks and object detection techniques[J]. Computational Intelligence and Neuroscience, 2019, 2019(2): ID 9142753.

50
乔虹, 冯全, 张芮, 等. 基于时序图像跟踪的葡萄叶片病害动态监测[J]. 农业工程学报, 2018, 34(17): 167-175.

QIAO H, FENG Q, ZHANG R, et al. Dynamic monitoring of grape leaf diseases based on sequential image tracking[J]. Transactions of the CSAE, 2018, 34(17): 167-175.

51
WANG J, YANG J, YU L, et al. DBA_SSD: A novel end-to-end object detection using deep attention module for helping smart device with vegetable and fruit leaf plant disease detection[J]. Information, 2021, 12(11): 474.

52
SHILL A, RAHMAN M A. Plant disease detection based on YOLOv3 and YOLOv4[C]// 2021 International Conference on Automation, Control and Mechatronics for Industry 4.0 (ACMI). Piscataway, New York, USA: IEEE, 2021.

53
WANG X, LIU J. Multiscale parallel algorithm for early detection of tomato gray mold in a complex natural environment[J]. Frontiers in Plant Science, 2021, 12: ID 620273.

54
HE X, FANG K, QIAO B, et al. Watermelon disease detection based on deep learning[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2021, 35(5): ID 2152004.

55
ATILA Ü, UÇAR M, AKYOL K, et al. Plant leaf disease classification using EfficientNet deep learning model[J]. Ecological Informatics, 2021, 61: ID 101182.

56
LIU J, WANG X. Tomato diseases and pests detection based on improved YOLOv3 convolutional neural network[J]. Frontiers in Plant Science, 2020, 11: ID 898.

57
MORBEKAR A, PARIHAR A, JADHAV R. Crop disease detection using YOLO[C]// 2020 International Conference for Emerging Technology (INCET). Piscataway, New York, USA: IEEE, 2020.

58
PONNUSAMY V, COUMARAN A, SHUNMUGAM A S, et al. Smart glass: Real-time leaf disease detection using YOLO transfer learning[C]// 2020 International Conference on Communication and Signal Processing (ICCSP). Piscataway, New York, USA: IEEE, 2020: 1150-1154.

59
LIU J, WANG X. Early recognition of tomato gray leaf spot disease based on MobileNetv2-YOLOv3 model[J]. Plant Methods, 2020, 16: ID 83.

60
JIANG P, CHEN Y, LIU B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019, 7: 59069-59080.

61
TIAN Y, YANG G, WANG Z, et al. Detection of apple lesions in orchards based on deep learning methods of cyclegan and YOLOv3-dense[J]. Journal of Sensors, 2019: ID 7630926.

62
RAMCHARAN A, MCCLOSKEY P, BARANOWSKI K, et al. A mobile-based deep learning model for cassava disease diagnosis[J]. Frontiers in Plant Science, 2019, 10: ID 272.

63
KAVITHA LAKSHMI R, SAVARIMUTHU N. DPD-DS for plant disease detection based on instance segmentation[J]. Journal of Ambient Intelligence and Humanized Computing, 2021: 1-11.

64
LIU C, ZHU H, GUO W, et al. EFDet: An efficient detection method for cucumber disease under natural complex environments[J]. Computers and Electronics in Agriculture, 2021, 189: ID 106378.

65
DWIVEDI R, DEY S, CHAKRABORTY C, et al. Grape disease detection network based on multi-task learning and attention features[J]. IEEE Sensors Journal, 2021: ID 99.

66
NIHAR F, KHANOM N N, HASSAN S S, et al. Plant disease detection through the implementation of diversified and modified neural network algorithms[J]. Journal of Engineering Advancements, 2021, 2(1): 48-57.

67
NAGASUBRAMANIAN K, JONES S, SINGH A K, et al. Plant disease identification using explainable 3D deep learning on hyperspectral images[J]. Plant Methods, 2019, 15(1): ID 98.

68
KAWASAKI Y, UGA H, KAGIWADA S, et al. Basic study of automated diagnosis of viral plant diseases using convolutional neural networks[C]// International Symposium on Visual Computing. Berlin,German: Springer, Cham, 2015: 638-645.

69
SLADOJEVIC S, ARSENOVIC M, ANDERLA A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016, 2016: ID 3289801.

70
MOHANTY S P, HUGHES D P, SALATHÉ M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: ID 1419.

71
RAMCHARAN A, BARANOWSKI, MCCLOSKEY P, et al. Deep learning for image-based cassava disease detection[J]. Frontiers in Plant Science, 2017, 23(10): 1-7.

72
孙俊, 谭文军, 毛罕平, 等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报, 2017, 33(19): 209-215.

SUN J, TAN W, MAO H, et al. Recognition of plant leaf diseases based on improved convolutional neural network [J]. Transactions of the CSAE, 2017, 33(19): 209-215.

73
LU J, HU J, ZHAO G, et al. An in-field automatic wheat disease diagnosis system[J]. Computers and Electronics in Agriculture, 2017, 142: 369-379.

74
FERENTINOS K P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

75
赵建敏, 李艳, 李琦, 等. 基于卷积神经网络的马铃薯叶片病害识别系统[J]. 江苏农业科学, 2018, 46(24): 251-255.

ZHAO J, LI Y, LI Q, et al. Recognition system of potato leaf disease based on convolutional neural network[J]. Jiangsu Agricultural Sciences, 2018, 46(24): 251-255.

76
XING S, LEE M, LEE K K. Citrus pests and diseases recognition model using weakly dense connected convolution network[J]. Sensors, 2019, 19(14): ID 3195.

77
曾伟辉, 李淼, 李增, 等.基于高阶残差和参数共享反馈卷积神经网络的农作物病害识别[J]. 电子学报, 2019, 47(9): 1979-1986.

ZENG W, LI M, LI Z, et al. Recognition of crop diseases based on high-order residual and parameter sharing feedback convolutional Neural network[J]. Acta Electronica Sinica, 2019, 47(9): 1979-1986.

78
JI M, ZHANG L, WU Q. Automatic grape leaf diseases identification via UnitedModel based on multiple convolutional neural networks[J]. Information Processing in Agriculture, 2020, 7(3): 418-426.

79
刘洋, 冯全, 王书志. 基于轻量级CNN的植物病害识别方法及移动端应用[J]. 农业工程学报, 2019, 35(17): 194-204.

LIU Y, FENG Q, WANG S. Plant disease recognition method based on lightweight CNN and its mobile application[J]. Transactions of the CSAE, 2019, 35(17): 194-204.

80
王春山, 周冀, 吴华瑞, 等. 改进Multi-scale ResNet的蔬菜叶部病害识别[J]. 农业工程学报, 2020, 36(20): 209-217.

WANG C, ZHOU J, WU H, et al. Improved multi-scale ResNet for identification of vegetable leaf diseases[J]. Transactions of the CSAE, 2020, 36(20): 209-217.

81
SALEEM M H, POTGIETER J, ARIF K M. Plant disease classification: A comparative evaluation of convolutional neural networks and deep learning optimizers[J]. Plants, 2020, 9(10): ID 1319.

82
DE OCAMPO A L P, DADIOS E P. Mobile platform implementation of lightweight neural network model for plant disease detection and recognition[C]// 2018 IEEE 10th International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control, Environment and Management (HNICEM). Piscataway, New York, USA: IEEE, 2018: 1-4.

83
DE LUNA R G, DADIOS E P, BANDALA A A. Automated image capturing system for deep learning-based tomato plant leaf disease detection and recognition[C]// TENCON 2018-2018 IEEE Region 10 Conference. Piscataway, New York, USA: IEEE, 2018: 1414-1419.

84
RASHID J, KHAN I, ALI G, et al. Multi-level deep learning model for potato leaf disease recognition[J]. Electronics, 2021, 10(17): ID 2064.

85
KIRATIRATANAPRUK K, TEMNIRANRAT P, KITVIMONRAT A, et al., Using deep learning techniques to detect rice diseases from images of rice fields[C]// International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems. Berlin, German: Springer, 2020: 225-237.

86
JIANG Z, DONG Z, JIANG W, et al. Recognition of rice leaf diseases and wheat leaf diseases based on multi-task deep transfer learning[J]. Computers and Electronics in Agriculture, 2021, 186: ID 106184.

87
ABBAS A, JAIN S, GOUR M, et al.Tomato plant disease detection using transfer learning with C-GAN synthetic images[J]. Computers and Electronics in Agriculture, 2021, 187: ID 106279.

88
CHELLAPANDI B, VIJAYALAKSHMI M, CHOPRA S. Comparison of pre-trained models using transfer learning for detecting plant disease[C]// 2021 International Conference on Computing, Communication, and Intelligent Systems (ICCCIS). Piscataway, New York, USA: IEEE, 2021: 383-387.

89
樊湘鹏, 许燕, 周建平, 等. 基于迁移学习和改进 CNN 的葡萄叶部病害检测系统[J]. 农业工程学报, 2020, 37(6): 151-159.

FAN X, XU Y, ZHOU J, et al. Grape leaf disease detection system based on transfer learning and improved CNN[J]. Transactions of the CSAE, 2020, 37(6): 151-159.

90
JIANG F, LU Y, CHEN Y, et al. Image recognition of four rice leaf diseases based on deep learning and support vector machine[J]. Computers and Electronics in Agriculture, 2020, 179: ID 105824.

91
BARMAN U, CHOUDHURY R D, SAHU D, et al. Comparison of convolution neural networks for smartphone image based real time classification of citrus leaf disease[J]. Computers and Electronics in Agriculture, 2020, 177: ID 105661.

92
DANG L M, HASSAN S I, SUHYEON I, et al. UAV based wilt detection system via convolutional neural networks[J]. Sustainable Computing: Informatics and Systems, 2020, 28: ID 100250.

93
HOWLADER M R, HABIBA U, FAISAL R H, et al. Automatic recognition of guava leaf diseases using deep convolution neural network[C]// 2019 International Conference on Electrical, Computer and Communication Engineering (ECCE). Piscataway, New York, USA: IEEE: 2019.

94
COULIBALY S, KAMSU-FOGUEM B, KAMISSOKO D, et al. Deep neural networks with transfer learning in millet crop images[J]. Computers in Industry, 2019, 108: 115-120.

95
HU G, YANG X, ZHANG Y,et al. Identification of tea leaf diseases by using an improved deep convolutional neural network[J]. Sustainable Computing: Informatics and Systems, 2019, 24: ID 100353.

96
SIBIYA M, SUMBWANYAMBE M. A computational procedure for the recognition and classification of maize leaf diseases out of healthy leaves using convolutional neural networks[J]. AgriEngineering, 2019, 1(1): 119-131.

97
王艳玲, 张宏立, 刘庆飞, 等. 基于迁移学习的番茄叶片病害图像分类[J]. 中国农业大学学报, 2019, 24(6): 124-130.

WANG Y, ZHANG H, LIU Q, et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University, 2019, 24(6): 124-130.

98
SINGH U P, CHOUHAN S S, JAIN S, et al. Multilayer convolution neural network for the classification of mango leaves infected by anthracnose disease[J]. IEEE Access, 2019, 7: 43721-43729.

99
PICON A, ALVAREZ-GILA A, SEITZ M, et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild[J]. Computers and Electronics in Agriculture, 2019, 161: 280-290.

100
ABDALLA A, CEN H, WAN L, et al. Fine-tuning convolutional neural network with transfer learning for semantic segmentation of ground-level oilseed rape images in a field with high weed pressure[J]. Computers and Electronics in Agriculture, 2019, 167: ID 105091.

101
ATOLE R R, PARK D. A multiclass deep convolutional neural network classifier for detection of common rice plant anomalies[J]. International Journal of Advanced Computer Science and Applications, 2018, 9(1): 67-70.

102
ZHANG X, QIAO Y, MENG F, et al. Identification of maize leaf diseases using improved deep convolutional neural networks[J]. IEEE Access, 2018, 6: 30370-30377.

103
LIU B, ZHANG Y, HE D J, et al. Identification of apple leaf diseases based on deep convolutional neural networks[J]. Symmetry, 2018, 10(1): ID 11.

104
张建华, 孔繁涛, 吴建寨, 等. 基于改进VGG卷积神经网络的棉花病害识别模型[J]. 中国农业大学学报, 2018, 23(11): 161-171.

ZHANG J, KONG F, WU J, et al. Cotton disease recognition model based on improved VGG convolutional neural network[J]. Journal of China Agricultural University, 2018, 23(11): 161-171.

105
RANGARAJAN A K, PURUSHOTHAMAN R, RAMESH A. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science, 2018, 133: 1040-1047.

106
DE CHANT C, WIESNER-HANKS T, CHEN S, et al. Automated identification of northern leaf blight-infected maize plants from field imagery using deep learning[J]. Phytopathology, 2017, 107(11): 1426-1432.

107
LU Y, YI S, ZENG N, et al. Identification of rice diseases using deep convolutional neural networks[J]. Neurocomputing, 2017, 267: 378-384.

108
OPPENHEIM D, SHANI G. Potato disease classification using convolution neural networks[J]. Advances in Animal Biosciences, 2017, 8(2): 244-249.

109
FUJITA E, KAWASAKI Y, UGA H, et al. Basic investigation on a robust and practical plant diagnostic system[C]// 2016 15th IEEE International Conference on Machine Learning and Applications (ICMLA). Piscataway, New York, USA: IEEE, 2016: 989-992.

110
SRINIDHI V V, SAHAY A, DEEBA K. Plant pathology disease detection in apple leaves using deep convolutional neural networks: Apple leaves disease detection using EfficientNet and DenseNet[C]// 2021 5th International Conference on Computing Methodologies and Communication (ICCMC). Piscataway, New York, USA: IEEE, 2021: 1119-1127.

111
ZHOU J, LI J, WANG C, et al. A vegetable disease recognition model for complex background based on region proposal and progressive learning[J]. Computers and Electronics in Agriculture, 2021, 184: ID 106101.

112
ZHANG P, YANG L, LI D. EfficientNet-B4-Ranger: A novel method for greenhouse cucumber disease recognition under natural complex environment[J]. Computers and Electronics in Agriculture, 2020, 176: ID 105652.

Outlines

/