欢迎您访问《智慧农业(中英文)》官方网站! English
专题--农业人工智能与大数据

基于深度学习与特征可视化方法的草地贪夜蛾及其近缘种成虫识别

  • 魏靖 , 1 ,
  • 王玉亭 1 ,
  • 袁会珠 2 ,
  • 张梦蕾 1 ,
  • 王振营 2
展开
  • 1. 深圳市识农智能科技有限公司,广东 深圳 518063
  • 2. 中国农业科学院 植物保护研究所,北京 100193
1. 王玉亭(1985-),女,博士,助理研究员,研究方向为人工智能识别。电话:0755-86727800。E-mail:yuting.wang@

senseagro.com;2. 王振营(1961-),男,博士,研究员,研究方向为农业害虫防治。电话:010-62815945。E-mail:。魏靖、王玉亭对本文有同等贡献,并列第一作者。

魏 靖(1987-),男,博士,研究方向为农业害虫防治研究。E-mail:

收稿日期: 2020-08-01

  修回日期: 2020-08-31

  网络出版日期: 2020-09-27

基金资助

中央级公益性科研院所基本科研业务费专项(Y2019YJ06)

中国农业科学院重大科研任务(CAAS-ZDRW202007)

Identification and Morphological Analysis of Adult Spodoptera Frugiperda and Its Close Related Species Using Deep Learning

  • WEI Jing , 1 ,
  • WANG Yuting 1 ,
  • YUAN Huizhu 2 ,
  • ZHANG Menglei 1 ,
  • WANG Zhenying 2
Expand
  • 1. Shenzhen SenseAgro Technology Co. , Ltd, Shenzhen 518063, China
  • 2. Institute of Plant Protection, Chinese Academy of Agricultural Sciences, Beijing 100193, China

Received date: 2020-08-01

  Revised date: 2020-08-31

  Online published: 2020-09-27

本文亮点

草地贪夜蛾是对粮食安全具有巨大威胁的害虫,早发现、早防治对虫情控制具有重要意义。目前,利用深度学习方法进行草地贪夜蛾及其近缘种成虫识别的相关研究存在数据量严重偏小的情况,有可能造成模型未能真正学习到草地贪夜蛾及其近缘种成虫的环形纹、肾形纹等关键视觉特征。针对上述问题,本研究在建立包含草地贪夜蛾在内的7种夜蛾科成虫,10,177幅图像组成的数据库基础上,采用迁移学习方式建立了VGG-16、ResNet-50和DenseNet-121,3种夜蛾成虫识别深度学习模型,并用相同的测试集测试了所有模型。结果表明,构建的模型识别准确率均超过了98%。此外,本研究用特征可视化技术展现了模型习得的特征,并验证了这些特征和专家进行人工识别的关键视觉特征的一致性——ResNet-50和DenseNet-121的平均特征识别率在85%左右,进一步支持了用深度学习进行草地贪夜蛾成虫实时识别的可行性。研究发现,不同模型对夜蛾科成虫视觉特征的学习能力不一样,在评价模型时不能仅看识别率,还需要加入视觉特征识别率指标对模型的学习内容进行评价。本研究通过试验证明可视化分析可以直观认识模型的特征学习情况,可为行业内或其他领域的研究人员提供参考。

本文引用格式

魏靖 , 王玉亭 , 袁会珠 , 张梦蕾 , 王振营 . 基于深度学习与特征可视化方法的草地贪夜蛾及其近缘种成虫识别[J]. 智慧农业, 2020 , 2(3) : 75 -85 . DOI: 10.12133/j.smartag.2020.2.3.202008-SA001

Highlights

Invasive pest fall armyworm (FAW) Spodoptera frugiperda is one of the serious threats to the food safety. Early warning and control plays a key role in FAW management. Nowadays, deep learning technology has been applied to recognize the image of FAW. However, there is a serious lack of training dataset in the current researches, which may mislead the model to learn features unrelated to the key visual characteristics (ring pattern, reniform pattern, etc.) of FAW adults and its close related species. Therefore, this research established a database of 10,177 images belonging to 7 species of noctuid adults, including FAW and 6 FAW close related species. Based on the small-scale dataset, transfer learning was used to build the recognition model of FAW adults by employing three deep learning models (VGG-16, ResNet-50 and DenseNet-121) pretrained on ImageNet. All of the models got more than 98% recognition accuracy on the same testing dataset. Moreover, by using feature visualization techniques, this research visualized the features learned by deep learning models and compared them to the related key visual characteristics recognized by human experts. The results showed that there was a high consistency between the two counterparts, i.e., the average feature recognition rate of ResNet-50 and DenseNet-121 was around 85%, which further demonstrated that it was possible to use the deep learning technology for the real-time monitoring of FAW adults. In addition, this study also found that the learning abilities of key visual characteristics among different models were different even though they have similar recognition accuracy. Herein, we suggest that when evaluating the model capacity, we should not only focus on the recognition rate, the ability of learning individual visual characteristics should be allocated importance for evaluating the model performance. For those important taxonomical traits, if the visualization results indicated that the model didn't learnt them, we should then modify our datasets or adjusting the training strategies to increase the learning ability. In conclusion, this study verified that visualizing the features learnt by the model is a good way to evaluate the learning ability of deep learning models, and to provide a possible way for other researchers in the field who want to understand the features learnt by deep learning models.

1 引 言

草地贪夜蛾(Spodoptera frugiperda,J. E. Smith)原生于美洲热带和亚热带地区,2018年12月11日从缅甸侵入中国,到2019年10月已扩散至26个省(区、市)1。目前草地贪夜蛾已经完成了在中国南方和周边热带、亚热带国家的入侵和定殖过程,形成了稳定的每年春季向北方广大地区迁飞为害的虫源基地。草地贪夜蛾具有寄主种类多、繁殖力强、迁飞能力强和对作物危害性强的特点2,如控制不力,极易造成粮食安全问题。根据联合国粮食及农业组织FAO统计,2018年草地贪夜蛾在非洲造成玉米损失达1770万吨1。据专家研判,2020年起,在中国和周边国家定殖的草地贪夜蛾已经进入暴发期,已经成为中国当前需要重点控制的害虫,因此做好其监测预警是应急防控工作的基础。当前,中国采用的监测手段主要为采用性信息素诱捕器和灯光诱捕后分类鉴定进行统计,以及田间调查3种方法1。然而,这些监测方法耗力、费时且数据的收集具有滞后性,不能及时反馈草地贪夜蛾的迁飞扩散信息。另一方面,斜纹夜蛾(S. litura,Fabricius)和甜菜夜蛾(S. exigua,Hübner)与草地贪夜蛾同为灰翅夜蛾属昆虫,成虫形态特征相似,其中斜纹夜蛾与草地贪夜蛾还在玉米田混合发生,基层农技工作者在田间调查监测和防治过程中,极易将二虫混淆3而造成误报、漏报和错报的情况,对监测数据的准确性造成影响。
随着深度学习技术的不断发展,基于深度学习技术的图像识别已经应用于病虫害智能识别领域。例如,美国的PlantVillage项目建立了含14种作物26种病害叶片及12种健康叶片的图像数据集,并构建了卷积神经网络(Convolutional Neural Network,CNN)病害识别模型,测试集识别准确率超过了98%4。目前,国内外已有一些基于深度学习技术的草地贪夜蛾图像识别研究,但普遍存在着数据量极小(几十张)或反例(除了草地贪夜蛾外的其余类别)不符合实际应用场景的问题,严重制约了其实际应用5-7。例如,研究者通过性诱剂陷阱捕捉到草地贪夜蛾后,每只蛾会从不同角度拍摄照片,总的训练集图片只有100幅5,且未对反例进行说明;另一项研究中6,研究者通过田间拍摄、实验室获取以及网上下载的方式来构建草地贪夜蛾训练集,在60%的数据都来自于数据增强(原始图片随机旋转、随机垂直翻转等)的情况下,训练集中的草地贪夜蛾仅有780幅,用作反例的其它类别包括了非洲棉铃虫、非洲苍蝇、蚊子、玉米螟等容易和草地贪夜蛾同时被诱捕器捕捉到的昆虫,这些类别组成了训练集中的反例,一共也仅400幅;而在发表于2019年的一项研究中7,研究者希望构建模型区分采集自中国不同地区的草地贪夜蛾幼虫及成虫的图片,每个类别的图像幅数以个位数居多,并最终都通过数据增强的方式扩充至30幅每类作为训练集,用作反例的数据来源仅有17幅玉米黏虫,也是通过数据增强的方式扩充至30幅。因此,建立一个数据量大、可用于实际监测的草地贪夜蛾真实数据集至关重要。此外,虽然深度学习技术在图像分类领域效果突出4,8,但其黑盒化的工作模式也一直为人所诟病,难以满足模型的判断过程尽可能透明且具有充分的可解释性这一要求。为了满足模型要求,迄今已有导向反向传播梯度值可视化(Guided Back-propagation,GB)9、梯度值加权的类别激活映射(Gradient-weighted Class Activation Map,Grad-CAM)10和增强版梯度值加权的类别激活映射(Grad-CAM++)11等成熟的特征可视化技术,可从不同角度来探究深度学习模型做出分类决策判断的视觉特征依据。
综上所述,本研究建立了104数量级的图像数据集,为了更充分地提取图像特征,采用了深度学习领域在小规模数据集分类问题上常见的迁移学习(Transfer Learning)的方式,建立了用于识别草地贪夜蛾、斜纹夜蛾、甜菜夜蛾、棉铃虫(Helicoverpa armigera)、黄地老虎(Agrotis seqetum)、小地老虎(Agrotis ypsilon)和粘虫(Mythimna separata)共7种相似夜蛾科害虫的卷积神经网络模型,并将特征可视化技术应用于该识别模型的性能评估上,为快速、准确、自动识别草地贪夜蛾提供技术支持,为其防控提供准确的数据参考,提升草地贪夜蛾的监测效率和精准率。

2 材料与方法

2.1 数据采集与特征标注

2.1.1 供试图像数据库与样本组织

本研究通过网络获取(https://www.gbif.org/https://eol.org/)和实际拍摄建立了草地贪夜蛾及其近缘种(斜纹夜蛾、甜菜夜蛾、棉铃虫、黄地老虎、小地老虎和粘虫)共7种害虫、10,177幅图像的数据集。其中,黄地老虎样本最少,为377幅;粘虫样本数量最多,为2523幅。样本数据量能满足迁移学习的要求。原始数据集中每个类别挑选80%的图像组成训练集。考虑到粘虫样本数量为黄地老虎的6.69倍,为避免模型倾向于学习数据量更多的类别的特征,故采用平衡采样策略来处理训练集,即过采样和欠采样的融合模式,具体操作如下。
在模型的每个训练周期(epoch)中,保持每个类别的训练集数量相等(这里设为800幅),其中原始数量超过800幅的,随机采样800幅(欠采样);而原始数量少于800幅的,不足部分再在原始数据集里进行随机采样补足(过采样)。具体数据信息和采样细节见表1
表 1 模型样本量和采样方法表

Table 1 Information of sample size and sampling method

物种名(均为成虫) 图片总数目/幅 训练集数目(80%)/幅 训练集平衡采样策略
草地贪夜蛾(雄虫) 850 680 680 + 120的过采样
棉铃虫 1438 1150 800的欠采样
甜菜夜蛾 731 585 585 + 215的过采样
斜纹夜蛾 2282 1826 800的欠采样
粘虫 2523 2019 800的欠采样
小地老虎 1976 1581 800的欠采样
黄地老虎 377 302 302 + 498的过采样

注:所选的7种夜蛾科成虫里只有草地贪夜蛾雌虫和雄虫外表差异大(指翅上的视觉特征),且雌虫的特征不太明显,故本项目选择草地贪夜蛾雄虫进行研究

2.1.2 7种夜蛾科成虫图像关键视觉特征标注

为验证模型是否学习到了7种夜蛾科成虫的特征,两位昆虫学专业的作者根据文献资料3,12-14描述的7种夜蛾科成虫的特征,商定了统一的判断标准,绘制表2,并在图1中进行了标注。原始数据集中每个类别挑选10%的图像组成测试集。模型训练完成后对测试集进行测试,将模型识别结果和真实结果一致的图像定义为模型正确识别的图像。从测试集中挑选出所有模型均正确识别的图像按识别结果归类,每类随机选择30幅用于后续模型特征识别率的统计及比较。
表2 7种夜蛾科成虫主要的视觉特征

Table 2 Key visual characteristics of 7 species of noctuid moths

物种 视觉特征
草地贪夜蛾(雄虫)

特征1:环形纹黄褐色,边缘内侧较浅,外侧为黑色至黑褐色;

特征2:肾形纹明显,颜色灰褐色;

特征3:环形纹上方有一个黑褐色至黑色斑纹;

特征4:前翅顶角处有一个较大白色斑纹;

特征5:肾形纹靠前缘脉一侧有一个白斑;

特征6:亚端线白色;

特征7:肾形纹靠臀脉侧白斑可与环形纹相连,渐变为黄褐色

棉铃虫

特征1:前翅中横线有肾形纹,边褐色,中央深褐色斑;

特征2:环形纹褐边,中央有一个褐色点;

特征3:中横线由肾形纹内侧斜至后缘,末端达环形纹的正下方;

特征4:亚端线的锯齿纹较均匀,距外缘的宽度大致相等。

甜菜夜蛾

特征1:前翅中央近前缘外方有一个肾形斑;

特征2:内方有一个环形斑

斜纹夜蛾

特征1:前翅翅基部前半部有白线条数条,内、外横线之间有灰白色宽带,自内横线前缘斜伸至外横线近内缘1/3处;

特征2:灰白色宽带中有2条褐色线纹(雄蛾不显著);

特征3:复杂的黑褐色斑纹;

特征4:翅基部前半部有白线数条

粘虫

特征1:前翅中央近前缘处有2个淡黄色圆斑;

特征2:外方圆斑下有一个小白点;

特征3:外方圆斑两侧各有一小黑点;

特征4:前翅顶角有一条向后缘的黑色斜纹

小地老虎

特征1:前翅环形纹黑色,有一个圆灰环;

特征2:肾形纹黑色黑边;

特征3:肾形纹外方有一个黑色楔形黑斑;

特征4:黑边楔状纹;

特征5:亚外缘线上有2个尖端向内的楔形黑斑

黄地老虎

特征1:前翅环形纹暗褐色黑边,圆形或微呈椭圆形;

特征2:肾形纹棕褐色黑边,较大;

特征3:清晰黑边楔状纹

图1 7种夜蛾科成虫的视觉特征标注图

Fig. 1 Visual characteristics annotation of 7 species of noctuid moths

2.2 深度学习模型训练实验设计

因本研究数据集规模较小(10,177幅图像),为更充分地提取图像特征,采用深度学习领域在小规模数据集分类问题上常见的迁移学习方式进行模型训练。经初步对比实验,选择带有批归一化层的VGG-16 (Visual Geometry Group Network-16)15、ResNet-50 (Residual Network-50)16和DenseNet-121173种深度学习模型架构,该3种模型均在ImageNet18数据集上进行了预训练,本研究基于草地贪夜蛾及其近缘种图像数据集进一步在预训练的模型上继续训练。
本研究利用PyTorch深度学习框架进行模型训练,训练过程中所有层的参数均设为可学习,3种模型训练时使用的超参数(hyper-parameters)均相同,如表3(见79页)所示。
表3 模型训练策略及超参数设置

Table 3 Model training strategy and hyper-parameters settings

序号 训练策略或超参数 设置
1 优化器类型 随机梯度下降(Stochastic Gradient Descent)
2 学习率调整策略 带热重启的随机梯度下降(Stochastic Gradient Descent with Warm Restart)[19,20],基本周期为1,倍率为2,每个周期开始时学习率为基础学习率,结束后学习率降为0
3 学习率退火方式 余弦退火(Cosine Annealing)[21]
4 基础学习率 0.01
5 动量因子 0.9
6 权重衰减 0.0005
7 批大小 32
8 训练集数据增强策略 维持图片宽高比,最短边调整为224像素;中心裁剪224×224像素图像块;随机水平翻转;随机垂直翻转;随机平移;随机旋转;像素值按照ImageNet数据集进行归一化
9 总训练周期数 200
对上述3种模型进行训练、测试时,数据训练集、验证集和测试集均按照80%、10%和10%的比例组织样本。验证集以数量最少的黄地老虎(37幅)为基准,其余类别每个训练周期均从本类别验证集中随机抽取37幅进行模型测试。本研究所有实验均设定了200个训练周期,对每个实验所有训练周期的验证集损失值和准确率进行统计,若数据趋于平稳表明模型性能基本达到稳定,在此情况下,选择验证集损失值和准确率尽可能小的模型作为分类模型。为了考察数据不平衡对模型性能的影响,训练集采取随机洗牌和平衡采样两种方式。此外,数据增强(Data Augmentation)可在数据量偏小的情况下提升模型的泛化能力,因此设计了数据增强和不增强两组实验。研究共设计12组实验(3种模型×2种训练集采样×2种增强与否),按“深度学习模型_训练集采样策略_数据增强”方式来描述每组实验。例如,“VGG-16_随机洗牌_数据未增强”代表用在ImageNet上预训练的VGG-16模型利用随机洗牌且不进行任何数据增强操作的训练集进行模型训练。

2.3 特征可视化技术选择

导向反向传播梯度值可视化(GB)9、梯度值加权的类别激活映射(Grad-CAM)10和增强版梯度值加权的类别激活映射(Grad-CAM++)113种特征可视化技术,可直观地了解模型做出决策的核心图像区域。
上述3种技术中,GB方法具有细粒度的像素级别的特征描述能力,但它对于具体识别的类别不敏感,体现的是模型整体的特征学习能力;而Grad-CAM对类别敏感,不同类别在同一幅图像上的激活热点不同,正是本研究所需要的特性,但它通常是在最后一层卷积层生成类别激活映射,此时该映射矩阵很小,通过线性插值的方式将映射矩阵和原图叠加最终会造成激活热点范围大,达不到识别草地贪夜蛾关键特征所需的细粒度要求;Grad-CAM++是对Grad-CAM的改进,从梯度值加权开始便保证只有正梯度值参与计算,针对单个目标的激活范围更大。此外,与Grad-CAM相比,Grad-CAM++能识别同一幅图像上的多个相同类别的目标。基于这3种可视化方法的特点,为同时达到细粒度和类别敏感的识别目标,本研究最终采用GB和Grad-CAM相结合(命名为Grad-CAM_GB)以及GB和Grad-CAM++相结合(命名为Grad-CAM++_GB)的方式来定义模型习得的关键视觉特征。

2.4 夜蛾科成虫识别和特征可视化

利用CNN进行图像识别和特征可视化流程如图2(a)所示。首先训练一个CNN使其能正确分类含草地贪夜蛾在内的7种夜蛾科成虫,分类结果以百分比给出,并定义其为识别置信度,简称置信度。所有7种类别的置信度之和为1,置信度最大的类别是模型识别的类别。CNN主要由特征提取和特征分类两部分组成,针对特定类别的可视化技术(Grad-CAM和Grad-CAM++)10,11对特征提取的最后一层(通常是卷积层)的特征映射进行类别激活,最终获得梯度值加权的特征映射,一般以热图的形式展现,深蓝色取值为0,深红色取值为1,颜色越红代表该区域对模型做出特定类别的决策所占权重越大。利用GB方法计算输入图片的正梯度,该梯度映射大小和原始图像一致,故其拥有细粒度的像素级别的特征描述能力,但其对具体识别的类别不敏感。为了结合Grad-CAM与GB、Grad-CAM++与GB的优点,将Grad-CAM矩阵与GB矩阵点乘、Grad-CAM++矩阵与GB矩阵点乘11并分别可视化,获得Grad-CAM_GB和Grad-CAM++_GB特征图像。在人工标注过程中,对于同一张测试图片,将Grad-CAM_GB和Grad-CAM++_GB上均出现的特征定义为模型习得的特征。如图2(b)所示,人工根据原图可识别出表2中草地贪夜蛾的7种视觉特征,根据Grad-CAM_GB和Grad-CAM++_GB均可识别出6种视觉特征,其中特征3(红色虚线箭头指示。环形纹上方有一个黑褐色至黑色斑纹)模型未能识别到。
图2 夜蛾科成虫识别和特征可视化流程

Fig. 2 Flowchart of the image identification and feature visualization of noctuid moths

因存在图像拍摄角度、距离等差异,并非所有特征均在原始图像上清晰展现。因此,定义特征有效样本数为原始图像上该特征能被人工清楚识别的图像数量,记为N。对于夜蛾的某一特征,若能被人工同时从Grad-CAM_GB 和Grad-CAM++_GB 图像中观察到,则判定在当前测试图片中该特征可被模型识别。特征被模型识别出的图像幅数总和记为M。本研究用特征识别率P来衡量模型对人工认为的关键视觉特征的学习能力,则P可定义为:
P=M/N×100%

3 结果与分析

用同一测试样本对构建的12种识别模型进行测试,结果如表4所示。分析结果可知,12种模型正确识别率均高于98%,表明用深度学习方法可成功对夜蛾成虫图像进行识别。
表4 不同卷积神经网络模型训练实验结果

Table 4 Experimental results of different CNN models

模型结构 平衡采样 数据增强

每类测试样本数

(共7类)

准确率/%

epochth

(总数200)

VGG-16 38 98.46 108
99.22 104
98.07 116
99.61 99
ResNet-50 99.22 50
99.61 103
98.45 91
99.61 116
DenseNet-121 99.22 116
99.22 110
98.45 96
99.22 64

3.1 数据增强和采样策略对夜蛾识别率的影响

数据增强的效果均好于未增强的效果,识别准确率最多提升1.54%(“VGG-16_平衡采样_数据增强”与“VGG-16_平衡采样_数据未增强”)。12组实验如果仅考虑数据是否增强可分成6组实验,数据增强平均能带来0.77%的识别准确率的提升,进一步验证了对有限样本进行数据增强可提高识别准确率。此外,本研究构建的7类夜蛾科成虫组成的图像数据集中,按类别来看,图像幅数最大值和最小值的比值为6.69,没有极端不平衡,可观察到采样策略对识别率的影响并不明显,仅在“VGG-16_平衡采样_数据增强”与“VGG-16_随机洗牌_数据增强”这两组实验上有0.39%的识别率的提升。而“ResNet-50_平衡采样_数据增强”与“ResNet-50_随机洗牌_数据增强”和“DenseNet-121_平衡采样_数据增强”与“DenseNet-121_随机洗牌_数据增强”这两对实验上识别率均无差异。综上,在后续统计和比较特征识别率的过程中,拟选择数据增强的6个模型,即“VGG-16_随机洗牌_数据增强”“VGG-16_平衡采样_数据增强”“ResNet-50_随机洗牌_数据增强”“ResNet-50_平衡采样_数据增强”“DenseNet-121_随机洗牌_数据增强”以及“DenseNet-121_平衡采样_数据增强”,后续为了简化描述,省略了“_数据增强”。

3.2 形态特征可视化分析

为了评价构建的模型是否习得关键特征,本研究从测试集中挑选出6个模型均正确识别的图像,每类各30幅(黄地老虎28幅)统计模型特征识别率,如表5所示。可以看出,在相同测试集上6个模型识别率接近,但特征识别率差别很大:“DenseNet-121_随机洗牌”的特征识别率平均值最高,为85.5%,而“VGG-16_平衡采样”平均值最低,为53.8%。相同深度学习模型架构下不同的采样策略对特征识别率无显著影响。各模型的特征识别率中位数分别为:“DenseNet-121_平衡采样”91.7%,“DenseNet-121_随机洗牌”93.3%,“ResNet-50_平衡采样”92.3%,“ResNet-50_随机洗牌”90.7%,“VGG-16_平衡采样”59.3%和“VGG-16_随机洗牌”59.3%。这表明:①采用VGG-16的2个模型特征识别率较低,这可能是因为VGG-16仅学到部分关键特征;②在模型评价中,只考察测试集识别率一个指标并不全面,应结合特征识别率进行考量。DenseNet-121和ResNet-50的4个模型对于草地贪夜蛾7个特征的识别结果为特征4(前翅顶角处有一较大白色斑纹)平均特征识别率最低仅为34.1%,其他6个特征的平均特征识别率在66.7%以上,特征7(肾形纹)和特征1(环形纹)分别达到97.8%和94.6%。这表明对于同一物种,不同特征的特征识别率差异很大,该现象也许代表不同特征在模型决策过程中所占权重不同,需进一步研究。综合考虑所有7个物种不同特征的识别情况,对每组实验的所有特征识别率取平均值,ResNet-50和DenseNet-121的平均特征识别率在85%左右,但VGG-16的平均特征识别率小于60%。前人研究表明CNN中特征提取部分的卷积层很好地保留了特征的定位信息,但特征分类部分的全连接层丢失了这些定位信息22。本研究使用的3种深度学习模型架构中,只有VGG-16有3层全连接层且全连接层的参数量占据了整个网络参数量的绝大部分,因此怀疑VGG-16的全连接层影响了特征定位进而影响了特征识别率。
表5 不同卷积神经网络模型对夜蛾科成虫关键特征识别率的比较

Table 5 The comparison of noctuid moths key feature recognition rate of different CNN models

物种 特征索引 有效样本数/总样本数 特征识别率/%
DenseNet-121 ResNet-50 VGG-16
平衡采样 随机洗牌 平衡采样 随机洗牌 平衡采样 随机洗牌
草地贪夜蛾(雄虫) 1 30/30 95.0 96.7 91.7 95.0 93.3 86.7
2 16/30 87.5 87.5 84.4 90.6 37.5 40.6
3 20/30 77.5 75.0 67.5 60.0 10.0 10.0
4 26/30 30.8 23.1 40.4 42.3 3.9 0.0
5 27/30 81.5 85.2 85.2 90.7 44.4 59.3
6 24/30 52.1 64.6 75.0 75.0 8.3 8.3
7 29/30 96.6 96.6 100.0 98.3 65.5 63.8
棉铃虫 1 27/30 98.2 100.0 100.0 100.0 77.8 83.3
2 24/30 97.9 100.0 95.8 93.8 68.8 87.5
3 16/30 87.5 84.4 75.0 81.3 15.6 34.4
4 20/30 22.5 52.5 47.5 80.0 12.5 32.5
甜菜夜蛾 1 29/30 89.7 86.2 94.8 87.9 13.8 25.9
2 30/30 91.7 93.3 93.3 100.0 68.3 86.7
斜纹夜蛾 1 30/30 100.0 100.0 100.0 100.0 96.7 98.3
2 18/30 100.0 100.0 100.0 100.0 86.1 83.3
3 30/30 100.0 100.0 98.3 100.0 26.7 41.7
4 23/30 67.4 73.9 67.4 76.1 32.6 28.3
粘虫 1 4/30 75.0 75.0 50.0 75.0 50.0 0.0
2 30/30 95.0 98.3 95.0 95.0 86.7 96.7
3 28/30 98.2 100.0 96.4 96.4 83.9 100.0
4 17/30 73.5 55.9 58.8 55.9 38.2 23.5
小地老虎 1 15/30 90.0 80.0 86.7 56.7 43.3 46.7
2 27/30 100.0 96.3 96.3 85.2 90.7 85.2
3 30/30 100.0 100.0 100.0 95.0 98.3 100.0
4 27/30 90.7 88.9 87.0 74.1 59.3 64.8
5 24/30 95.8 95.8 93.8 95.8 31.3 54.2
黄地老虎 1 25/28 80.0 74.0 74.0 68.0 64.0 58.0
2 26/28 92.3 96.2 92.3 94.2 80.8 84.6
3 27/28 98.2 100.0 96.3 98.2 72.2 85.2
特征识别率平均值/% 85.0 85.5 84.2 84.8 53.8 57.6

4 结论与讨论

为实现对草地贪夜蛾及其近缘种的监测预警,本研究将深度学习技术应用于草地贪夜蛾及其近缘种的智能识别,并在依据传统的识别准确率进行模型性能判别的标准上,进一步引入了特征可视化技术以探究模型习得的视觉特征是否和人工决策依据的视觉特征一致23,主要结果如下。
(1)建立了一个含草地贪夜蛾在内的7种易混夜蛾科图像数据集,利用代表性的卷积神经网络VGG-16、ResNet-50和DenseNet-121分别构建识别模型,在相同测试集上均能取得超过98%的识别准确率,证明了深度学习技术可应用于草地贪夜蛾的智能识别。
(2)利用特征可视化技术GB、Grad-CAM和Grad-CAM++展现模型做出决策的视觉特征,并结合传统分类学定义的7种夜蛾关键特征提出了特征识别率指标,发现ResNet-50和DenseNet-121的平均特征识别率在85%左右,但VGG-16的平均特征识别率不到60%。这说明识别率相当的模型对关键特征的识别能力有很大差异,在评价模型性能时应同时考虑特征识别率。
本研究的不足之处在于:研究过程中发现在识别准确率相当的前提下,VGG-16的平均特征识别率显著低于ResNet-50和DenseNet-121,然而本研究当前的实验设计无法深入解释该现象。下一步的研究计划将运用特征可视化技术,依据本研究提出的特征识别率这一新的模型性能评测指标对模型进行评价,该指标越大说明模型的学习能力越好。另一方面,将特征可视化方法Grad-CAM或Grad-CAM++嵌入模型的训练过程,利用特征可视化热图来指导模型训练24
1
吴孔明. 中国草地贪夜蛾的防控策略[J]. 植物保护, 2020, 46(2): 1-5.

WU K. Management strategies of fall armyworm (Spodoptera frugiperda) in China[J]. Plant Protection, 2020, 46(2): 1-5.

2
张磊, 柳贝, 姜玉英, 等. 中国不同地区草地贪夜蛾种群生物型分子特征分析[J]. 植物保护, 2019, 45(4): 20-27.

ZHANG L, LIU B, JIANG Y, et al. Molecular characterization analysis of fall armyworm populations in China[J]. Plant Protection, 2019, 45(4): 20-27.

3
赵胜园, 罗倩明, 孙小旭, 等. 草地贪夜蛾与斜纹夜蛾的形态特征和生物学习性比较[J]. 中国植保导刊, 2019, 39(5): 26-35.

ZHAO S, LUO Q, SUN X, et al. Comparison of morphological and biological characteristics between Spodoptera frugiperda and Spodoptera litura[J]. China Plant Protection, 2019, 39(5): 26-35.

4
MOHANTY S P, HUGHES D P, SALATHÉ M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7(1419): 1-10.

5
CHIWAMBA S H, PHIRI J, NKUNIKA P O Y, et al. An application of machine learning algorithms in automated identification and capturing of fall armyworm (FAW) moths in the field[C]// 2018 Ictsz International Conference In Icts (ICICT). Lusaka, Zambia: ICICT. 2019: 119-124.

6
CHULU F, PHIRI J, NKUNIKA P, et al. A convolutional neural network for automatic identification and classification of fall army worm moth[J]. International Journal of Advanced Computer Science and Applications, 2019, 10(7): 112-118.

7
于业达, 顾偌铖, 唐运林, 等. 基于深度学习的草地贪夜蛾自动识别 [J]. 西南大学学报(自然科学版), 2019, 41(9): 24-31.

YU Y, GU R, TANG Y, et al. A CNN-based automatic identification system for Spodoptera frugiperda[J]. Journal of Southwest University (Natural Science), 2019, 41(9): 24-31.

8
ESTEVA A, KUPREL B, NOVOA R A, et al. Dermatologist-level classification of skin cancer with deep neural networks [J]. Nature, 2017, 542(7639): 115-118.

9
SPRINGENBERG J T, DOSOVITSKIY A, BROX T, et al. Striving for simplicity: The all convolutional net[C]// 2015 International Conference on Learning Representations (ICLR). San Diego, CA, USA: ICLR. 2015: 1-14.

10
SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]// 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway, New York, USA: IEEE. 2017: 618-626.

11
CHATTOPADHYAY A, SARKAR A, HOWLADER P, et al. Grad-CAM++: Generalized gradient-based visual explanations for deep convolutional networks[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). Piscataway, New York, USA: IEEE. 2018: 839-847,

12
朱弘复, 陈一心. 中国经济昆虫志[M]. 北京: 科学出版社, 1963: 23-23.

ZHU H, CHEN Y. Economic insects of China[M]. Beijing: China Science Publishing & Media Ltd., 1963: 23-23.

13
洪晓月, 丁锦华. 农业昆虫学(第二版)[M]. 北京: 中国农业出版社, 2007: 46-235.

HONG X, DING J. Agricultural entomology (2nd ed)[M]. Beijing: China Agriculture Press Co., Ltd., 2007: 46-235.

14
孔德英, 孙涛, 滕少娜, 等. 草地贪夜蛾及其近似种的鉴定[J]. 植物检疫, 2019, 33(4): 37-40.

KONG D, SUN T, TENG S, et al. Identification of fall armyworm, Spodoptera frugiperda, and its similar species in morphology [J]. Plant Quarantine, 2019, 33(4): 37-40.

15
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]// 2015 3rd IAPR Asian Conference on Pattern Recognition (ACPR), Piscataway. New York, USA: IEEE. 2015, 730-734.

16
HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// 2016 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New York, USA: IEEE. 2016: 770-778.

17
HUANG G, LIU Z, MAATEN L V D, et al. Densely connected convolutional networks[C]// 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New York, USA: IEEE. 2017: 2261-2269.

18
DENG J, DONG W, SOCHER R, et al. Imagenet: A large-scale hierarchical image database[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New York, USA: IEEE. 2009: 248-255.

19
LOSHCHILOV I, HUTTER F. SGDR: Stochastic gradient descent with warm restarts[C]// 2017 International Conference on Learning Representations (ICLR). Toulon, France: ICLR. 2017: 1-16.

20
GOTMARE A, KESKAR N S, XIONG C, et al. A closer look at deep learning heuristics: Learning rate restarts, warmup and distillation[C]// 2019 International Conference on Learning Representations (ICLR). New Orleans, LA, USA: ICLR. 2019: 1-16.

21
SMITH L N. Cyclical learning rates for training neural networks[C]// 2017 IEEE Winter Conference on Applications of Computer Vision (WACV). Piscataway, New York, USA: IEEE. 2015: 464-472.

22
ZHOU B, KHOSLA A, LAPEDRIZA, et al. Learning deep features for discriminative localization[C]// 2016 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New York, USA: IEEE. 2016: 2921-2929.

23
PARK J, KIM D I, CHOI B, et al. Classification and morphological analysis of vector mosquitoes using deep convolutional neural networks[J]. Scientific Reports, 2020, 10(1): 1-12.

24
LI K, WU Z, PENG K, et al. Tell me where to look: guided attention inference network[C]// 2018 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New York, USA: IEEE. 2018:9215-9223.

文章导航

/