欢迎您访问《智慧农业(中英文)》官方网站! English
专刊--作物信息监测技术

基于深度学习ImCascade R-CNN的小麦籽粒表形鉴定方法

  • 泮玮婷 ,
  • 孙梦丽 ,
  • 员琰 ,
  • 刘平
展开
  • 山东农业大学 机械与电子工程学院/智能化农业机械与装备实验室,山东 泰安 271000
刘 平,博士,教授,研究方向为智能农机装备研发及作物表型解析技术。E-mail:

泮玮婷,研究方向为农业信息化与智能检测技术。E-mail:

收稿日期: 2023-04-11

  网络出版日期: 2023-11-10

基金资助

山东省重点研发计划项目(2022LZGCQY002)

山东省自然科学基金重点项目(ZR2020KF002)

Identification Method of Wheat Grain Phenotype Based on Deep Learning of ImCascade R-CNN

  • PAN Weiting ,
  • SUN Mengli ,
  • YUN Yan ,
  • LIU Ping
Expand
  • College of Mechanical and Electronic Engineering/ Intelligent Agricultural Machinery and Equipment Laboratory, Shandong Agricultural University, Taian 271000, China

Received date: 2023-04-11

  Online published: 2023-11-10

Supported by

Shandong Provincial Key Research and Development Program(2022LZGCQY002)

The Natural Science Foundation of Shandong Province(ZR2020KF002)

Copyright

copyright©2023 by the authors

摘要

[目的/意义] 培育优质高产的小麦品种是小麦育种的主要目标,而小麦籽粒完整性直接影响小麦育种进程。完整籽粒与破损籽粒的部分特征差异较小,是限制基于深度学习识别破损小麦籽粒精准度的关键因素。 [方法] 为解决小麦籽粒检测精度低的问题,本研究建立ImCascade R-CNN模型,提出小麦籽粒表形鉴定方法,精准检测小麦籽粒完整性、分割籽粒并获取完整籽粒表形参数。 [结果和讨论] ImCascade R-CNN模型检测小麦籽粒完整性的平均精度为90.2%,与Cascade Mask R-CNN、Deeplabv3+模型相比,能更好地识别、定位、分割小麦籽粒,为籽粒表形参数的获取提供基础。该方法测量粒长、粒宽的平均误差率分别为2.15%和3.74%,测量长宽比的标准误差为0.15,与人工测量值具有较高的一致性。 [结论] 研究结果可快速精准检测籽粒完整性、获取完整籽粒表形数据,加速培育优质高产小麦品种。

本文引用格式

泮玮婷 , 孙梦丽 , 员琰 , 刘平 . 基于深度学习ImCascade R-CNN的小麦籽粒表形鉴定方法[J]. 智慧农业, 2023 , 5(3) : 110 -120 . DOI: 10.12133/j.smartag.SA202304006

Abstract

[Objective] Wheat serves as the primary source of dietary carbohydrates for the human population, supplying 20% of the required caloric intake. Currently, the primary objective of wheat breeding is to develop wheat varieties that exhibit both high quality and high yield, ensuring an overall increase in wheat production. Additionally, the consideration of phenotype parameters, such as grain length and width, holds significant importance in the introduction, screening, and evaluation of germplasm resources. Notably, a noteworthy positive association has been observed between grain size, grain shape, and grain weight. Simultaneously, within the scope of wheat breeding, the occurrence of inadequate harvest and storage practices can readily result in damage to wheat grains, consequently leading to a direct reduction in both emergence rate and yield. In essence, the integrity of wheat grains directly influences the wheat breeding process. Nevertheless, distinguishing between intact and damaged grains remains challenging due to the minimal disparities in certain characteristics, thereby impeding the accurate identification of damaged wheat grains through manual means. Consequently, this study aims to address this issue by focusing on the detection of wheat kernel integrity and completing the attainment of grain phenotype parameters. [Methods] This study presented an enhanced approach for addressing the challenges of low detection accuracy, unclear segmentation of wheat grain contour, and missing detection. The proposed strategy involves utilizing the Cascade Mask R-CNN model and replacing the backbone network with ResNeXt to mitigate gradient dispersion and minimize the model's parameter count. Furthermore, the inclusion of Mish as an activation function enhanced the efficiency and versatility of the detection model. Additionally, a multilayer convolutional structure was introduced in the detector to thoroughly investigate the latent features of wheat grains. The Soft-NMS algorithm was employed to identify the candidate frame and achieve accurate segmentation of the wheat kernel adhesion region. Additionally, the ImCascade R-CNN model was developed. Simultaneously, to address the issue of low accuracy in obtaining grain contour parameters due to disordered grain arrangement, a grain contour-based algorithm for parameter acquisition was devised. Wheat grain could be approximated as an oval shape, and the grain edge contour could be obtained according to the mask, the distance between the farthest points could be iteratively obtained as the grain length, and the grain width could be obtained according to the area. Ultimately, a method for wheat kernel phenotype identification was put forth. The ImCascade R-CNN model was utilized to analyze wheat kernel images, extracting essential features and determining the integrity of the kernels through classification and boundary box regression branches. The mask generation branch was employed to generate a mask map for individual wheat grains, enabling segmentation of the grain contours. Subsequently, the number of grains in the image was determined, and the length and width parameters of the entire wheat grain were computed. [Results and Discussions] In the experiment on wheat kernel phenotype recognition, a comparison and improvement were conducted on the identification results of the Cascade Mask R-CNN model and the ImCascade R-CNN model across various modules. Additionally, the efficacy of the model modification scheme was verified. The comparison of results between the Cascade Mask R-CNN model and the ImCascade R-CNN model served to validate the proposed model's ability to significantly decrease the missed detection rate. The effectiveness and advantages of the ImCascade R-CNN model were verified by comparing its loss value, P-R value, and mAP_50 value with those of the Cascade Mask R-CNN model. In the context of wheat grain identification and segmentation, the detection results of the ImCascade R-CNN model were compared to those of the Cascade Mask R-CNN and Deeplabv3+ models. The comparison confirmed that the ImCascade R-CNN model exhibited superior performance in identifying and locating wheat grains, accurately segmenting wheat grain contours, and achieving an average accuracy of 90.2% in detecting wheat grain integrity. These findings serve as a foundation for obtaining kernel contour parameters. The grain length and grain width exhibited average error rates of 2.15% and 3.74%, respectively, while the standard error of the aspect ratio was 0.15. The statistical analysis and fitting of the grain length and width, as obtained through the proposed wheat grain shape identification method, yielded determination coefficients of 0.9351 and 0.8217, respectively. These coefficients demonstrated a strong agreement with the manually measured values, indicating that the method is capable of meeting the demands of wheat seed testing and providing precise data support for wheat breeding. [Conclusions] The findings of this study can be utilized for the rapid and precise detection of wheat grain integrity and the acquisition of comprehensive grain contour data. In contrast to current wheat kernel recognition technology, this research capitalizes on enhanced grain contour segmentation to furnish data support for the acquisition of wheat kernel contour parameters. Additionally, the refined contour parameter acquisition algorithm effectively mitigates the impact of disordered wheat kernel arrangement, resulting in more accurate parameter data compared to existing kernel appearance detectors available in the market, providing data support for wheat breeding and accelerating the cultivation of high-quality and high-yield wheat varieties.

1 引 言

小麦作为人类饮食中碳水的主要来源,为日渐增长的人口提供了所需总热量的20%1。培育优良小麦品种,保障小麦产量,已成为当前育种工作者的研究重点。在小麦育种中,收获与存储不当均易造成小麦籽粒破损2。破损籽粒会直接降低出苗率,导致产量减少。此外,粒重是小麦产量的主要决定因素,是提高产量以保障粮食安全的关键育种目标。小麦籽粒大小和形状与籽粒重量呈显著正相关,关注小麦粒长、粒宽等表形参数,也是引进、筛选、评价种质资源的重要依据3。因此,检测小麦籽粒完整性,获取完整籽粒表形参数可从根本上提高育种效率4
传统方法对小麦籽粒外观、品质鉴定多以人工检测为主5, 6。这种方法主观性强且费时费力,无法满足大规模小麦籽粒快速准确检测的要求。近年来,以卷积神经网络(Convolutional Neural Networks,CNN)为代表的深度学习技术发展迅速。CNN被广泛应用于图像识别领域7-9。相较于传统的机器学习技术,CNN所具有的特征学习部分,可明显提高检测性能10。宋怀波等11设计了一种YOLOv5 MDC轻量型网络,用于检测重度粘连小麦籽粒,其平均精度均值相比于YOLOv5s模型降低0.06%,但其所占存储空间更小。籽粒的表形是评价籽粒质量的标准之一。对于籽粒完整性的识别,Huang等12将CNN和迁移学习引入籽粒缺陷检测中,并与支持向量机(Support Vector Machines,SVM)算法进行比较,准确率提高了15.8%。祝诗平等13设计的基于CNN的小麦籽粒完整性图像检测系统,相较于SVM和反向传播(Back Propagation,BP)神经网络所建模型,籽粒完整性识别准确率最大提高5.77%。Gao等5提出一种基于Res24_D_CBAM_Atrous的小麦籽粒完整性检测方法,检测精度在原Res34的基础上提高3%~4%,能够满足对小麦外观品质的快速准确评价。上述研究虽进行小麦籽粒完整性识别,但均未能精准分割小麦籽粒轮廓以便获取籽粒粒长和粒宽参数。
综合化、规模化和多尺度的小麦籽粒外观、品质鉴定平台正快速发展14。赵华民等15开发的基于图像分析的小麦籽粒高通量表型系统,可测量小麦籽粒长径、短径、长宽比等表形参数。市场上现有的SC-M型籽粒外观品质分类识别检测仪、SC-G自动种子考种分析仪均不能识别小麦籽粒的完整性,且以籽粒外接矩形框来确定粒长、粒宽参数的方法易受籽粒排列方向影响。
随着区域卷积神经网络(Region-CNN,R-CNN)结构的出现,结合候选框检测器和区域分类器解决目标检测问题已成为主流16。为减少R-CNN中的冗余计算,SPP-Net(Spatial Pyramid Pooling-Network)17和Fast R-CNN18被引入区域特征提取,显著加快了检测速度,但其训练步骤依然繁琐。后来,Faster R-CNN18-20引入区域候选网络(Region Proposal Network,RPN),进一步减少运行时间,该网络成为目标检测的最优方案,但存在RPN接受域与实际对象尺度不匹配问题。Cascade R-CNN由一系列经过不断提高交并比(Intersection over Union,IoU)阈值训练的检测器组成,避免了训练时的过拟合和推理时的质量不匹配问题16
为解决小麦籽粒完整性识别精度低、无法分割籽粒轮廓以及籽粒表形参数获取受限的问题,本研究通过对Cascade Mask R-CNN模型进行改进,建立ImCascade R-CNN模型,提出一种新型小麦籽粒表形鉴定方法。该方法可在实现快速、精准检测小麦籽粒完整性的同时,精准分割籽粒轮廓并获取完整籽粒表形参数,同时降低了粘连籽粒漏检率。所获取的参数值与人工测量值具有较高一致性,能够满足小麦考种需求,加速培育优质高产小麦品种。

2 材料与方法

2.1 数据采集

实验数据采集于山东农业大学小麦育种全国重点实验室,所用小麦品种为Fielder。采集装置如图1所示,平台表面为黑色纸板,摄像头选用杰锐微通DW800_2.9 mm型摄像头,分辨率像素为800×600,与采集平台间的距离固定为21 cm。通过采集装置拍摄得到图像共300幅,每幅图片包含60~120粒不等小麦籽粒。
图1 小麦籽粒表形鉴定图像采集装置

注: 1.采集平台;2.摄像头;3.上位机;4.stm32单片机;5.HX711模块;6.电阻应变式传感器

Fig. 1 Image acquisition device for wheat grain phenotypic identification

使用LabelMe标注完整小麦籽粒和破损小麦籽粒。为了提升模型的鲁棒性,将图像与标签同时通过随机翻转、随机旋转、随机裁剪、增减亮度、对比度、增加高斯噪声等图2所示方式扩增数据集。随机选取30张原图像用于测试,其余图像进行数据扩增至1,620张,按照2∶1的比例分为训练集和验证集,同时确保每幅图像及其扩增图像同属训练集或验证集。
图2 数据集扩增方式展示图

Fig. 2 Dataset amplification mode display graph

2.2 小麦籽粒表形鉴定方法

为了检测小麦籽粒完整性,获取完整小麦籽粒表形参数(粒长和粒宽),本研究建立ImCascade R-CNN模型,提出小麦籽粒表形鉴定方法。完整流程如图3所示。
图3 小麦籽粒表形鉴定方法流程图

Fig. 3 Flow chart of wheat grain phenotypic identification method

首先将小麦籽粒图像输入ImCascade R-CNN模型,提取小麦籽粒关键特征,通过分类分支和边界框回归分支,识别小麦籽粒完整性;掩码生成分支得到单个小麦籽粒的掩码图,从而分割小麦籽粒轮廓,最终获取图像中籽粒数量,计算完整小麦籽粒粒长和粒宽参数。

2.2.1 小麦籽粒完整性检测模型

为了提高破损小麦籽粒的检测精准度,建立如图4所示适用于小麦籽粒完整性检测的ImCascade R-CNN模型。该模型在Cascade Mask R-CNN模型基础上提出如下改进策略:将骨干网络改为ResNeXt,防止模型产生梯度弥散和减少参数量;将激活函数改为Mish,提高模型检测效率和通用性;检测器引入多层卷积结构,充分挖掘小麦籽粒隐藏特征;采用软非极大值抑制(Soft-Non Maximum Suppression,Soft-NMS)算法确定候选框,实现小麦籽粒粘连区域的精准分割。
图4 ImCascade R-CNN网络图

Fig. 4 Network diagram of ImCascade R-CNN

(1)骨干网络改进。Cascade Mask R-CNN模型采用ResNet网络结构作为骨干网络,其基本模块如图5(a)所示,通常加深或加宽网络层数来提升模型准确度,但当ResNet网络深度较深、卷积核尺寸较大或参数较多时,会增大模型设计难度以及计算成本,易产生梯度弥散。为提高模型对小麦籽粒的特征提取精度,防止产生梯度弥散、减少参数量,构建的ImCascade R-CNN模型采用group convolution的ResNeXt网络进行特征提取,以此减少参数量和计算量。该网络的基本结构如图5(b)所示,每个group都对输入进行与ResNet相同的张量计算,然后对转换后的各特征向量进行拼接,合并后作为输出结果。
图5 ResNet和ResNeXt网络基本模块

Fig. 5 Basic modules of ResNet and ResNeXt network

ResNeXt既对网络中的层进行残差计算,又进行了分割-变换-融合。该网络结构内部采用分支策略,选用一致的拓扑结构实现超参数共享,以组数改变分支数量,极大提升了模型的可扩展性及准确率。ResNeXt的分割-变换-融合结构如公式(1)所示。
F y = F x + i = 1 c T i F x
其中, F y表示输出特征; F x表示输入特征; T i表示相同的分支结构; c表示分支数目(本模型中共32个)。
与ResNet对比,因其拓扑结构相同,但ResNeXt中参数量更少,因此ResNeXt移植性更好,同时避免了特征数据的过度拟合,适应性也更强。因此,ImCascade R-CNN模型采用ResNeXt作为骨干网络。
(2)残差模块改进。在深度神经网络中,每一层输入都是上一层的输出,下层节点由激活函数对上层节点作用所得。在检测差异较小的对象时,多数情况下线性模型会出现欠拟合。为解决此问题,ImCascade R-CNN模型在激活函数线性模型中融合非线性因素。
激活函数可增强网络表达能力,非线性激活函数可极大提升网络的特征表达能力。ResNeXt的基础残差块包括两个权重层,如图6(a)所示。然而,位于主路径上的ReLU函数消除负信号时易导致信息丢失。由于ReLU激活函数反向传播性能较差,因此重新设计残差模块,将注意力集中在ResNeXt中的恒等映射操作上,在整个网络中进行信息传播。
图6 残差模块改进

Fig. 6 Improvements of Residual module

残差模块的主要分支为残差分支和标识分支。标识分支采用ResNeXt的标准块,其在反向传播中更迭较慢,因此修改ResNeXt结构的残差分支,以创建一条直接路径来传播信息并控制信号。改进后的残差模块如图6(b)所示,与原始的ResNeXt结构相比,改进后的残差模块不仅准确度更高,参数量和模型复杂度也未增加。
(3)检测器结构改进。Cascade Mask R-CNN模型中先通过ROI Align层处理得到特征层,然后在检测器中进行分类和回归。其检测器结构如图7(a)所示,仅包含两个全连接层,所提取的图像特征直接输入至全连接层完成分类和回归任务,导致检测器对目标的大小、位置、方向等输入特征敏感度较高,分类回归性能低、检测精度差。为解决以上问题,引入CNN的多层卷积结构,改进了Cascade Mask R-CNN模型的检测器。改进后的检测器如图7(b)所示,包含5个卷积层和1个全连接层,在ROI Align层和全连接层之间增加一系列卷积计算。其中,前端的卷积层提取局部区域的浅层特征,后端的卷积层则用来提取更抽象的深层特征。多层卷积可自动提取不同层次的特征,充分挖掘隐藏特征,极大提高了模型的检测性能,进而解决小麦籽粒检测过程中定位不准确的问题。
图7 检测器结构改进

Fig. 7 Improvements of detector structure

(4)非极大值抑制改进。Cascade Mask R-CNN模型中采用非极大值抑制(Non Maximum Suppression,NMS)算法,基于重叠度 I o U值选择局部检测分数最高的候选框,确定目标的最佳检测位置。但在图像中多数小麦籽粒相距较近甚至粘连,当籽粒的候选框存在大部分重叠时,会造成籽粒的漏检。针对此问题,对NMS算法进行优化,Soft-NMS算法基于重叠部分的大小为相邻候选框的检测分数设置一个权重函数。当候选框 b i与得分最高候选框 M I o U值超过重叠阈值 μ t时,候选框的检测分数呈线性衰减,且与 M重叠度越高衰减程度越大。Soft-NMS的置信度重置函数如公式(2)所示。
s i = s i e - i o u M , b i 2 σ
其中, s i表示候选框 b i的检测分数; i o u M , b i表示 M b i的重叠度。当 s i μ t时,保留候选框;当 s i < μ t时,候选框直接去除。
Soft-NMS算法不需要对所有候选框进行操作,计算量并未增加。

2.2.2 完整小麦籽粒表形参数获取方法

小麦籽粒表形参数是反映小麦籽粒外观品质和形态特征的重要评价指标。本研究提出的完整小麦籽粒表形参数获取方法以小麦籽粒的千粒重、粒长、粒宽和长宽比为主要研究对象,通过ImCascade R-CNN模型对小麦籽粒完整性进行检测和分割,得到如图8(b)所示的掩码图,对图像进行连通域标记,如图8(c)所示。对于得到的单个小麦籽粒连通域逐个进行处理,根据连通域和边界特性来提取完整小麦籽粒的表形参数。
图8 小麦籽粒计数过程

(a)原图 (b)掩码 (c)连通域标记

Fig. 8 Wheat grain counting process

采集小麦籽粒图像时,为得到小麦籽粒的实际表形参数,放入大小为20 mm×30 mm的参照物,用于确定固定拍摄距离下图像中的目标长度与像素点个数的对应关系。小麦籽粒面积可通过与参照物的比例关系进行计算。各个表形参数的计算方法如下。
千粒重(Thousand-Grain Weight,TGW)表示一千粒小麦籽粒的重量。小麦籽粒数量如图8所示过程获得。通过测量小麦籽粒样本的重量并按比例进行换算,多次测量取平均值,如公式(3)所示。
T G W = W g r a i n × 1000 M
其中, W g r a i n表示小麦籽粒重量,g; M表示小麦籽粒数量,粒。
小麦籽粒近似形状如图9,通过掩码获取籽粒边缘曲线,遍历所有点得到两点间最远距离,即连通域内籽粒粒长,小麦籽粒实际粒长计算如公式(4)公式(5)
d h ' = m a x i , j = 1,2 . . . , n [ ( x i - x j ) 2 + ( y i - y j ) 2 ]
d h = c h c h ' × d h '
其中, d h ' d h 分别为连通域内小麦籽粒粒长、实际小麦籽粒粒长,mm; x i x j y i y j分别为小麦籽粒掩码边缘曲线任意两点的横、纵坐标; c h ' c h分别为图片中参照物长度、实际参照物长度,mm。
图9 小麦籽粒粒长、粒宽示意图

Fig. 9 Diagram of length and width of wheat grain

小麦籽粒实际面积计算如公式(6),实际小麦籽粒粒宽计算如公式(7)
S = S p h p × h w
d w = 4 × S d h × π
其中, S表示实际小麦籽粒面积,mm2 S p表示参照物实际面积600 mm2 h w表示单个小麦籽粒连通域内像素点个数,个; h p表示参照物连通域内像素点个数,个; d w 表示实际小麦籽粒粒宽,mm; π取3.14。

3 结果与分析

3.1 籽粒完整性检测结果与分析

3.1.1 评价指标

平均均值精度(Mean Average Precision, m A P)是目标检测模型中的评价指标。本研究用其衡量ImCascade R-CNN检测小麦籽粒完整性的能力。 m A P值越高,表示模型识别、定位性能越强。其由精确率(Precision, P)和召回率(Recall, R)估算。主要计算如公式(8)~公式(11)所示。
P = T P T P + F P
R = T P T P + F N
A P = 0 1 P R d R
m A P = 1 n i = 1 n A P
其中, T P表示小麦籽粒被正确预测为小麦籽粒的数量,个; F P表示背景物体被错误预测为小麦籽粒的数量,个; F N表示小麦籽粒被错误预测为背景物体的数量,个;n表示类别数,个。

3.1.2 ImCascade R-CNN模型改进前后结果对比

为验证ImCascade R-CNN模型检测性能,对比了ImCascade R-CNN模型与Cascade Mask R-CNN模型小麦完整性检测结果,如图10所示,模型改进前后均以候选框框选小麦籽粒类别并以掩码形式分割小麦籽粒轮廓,细节可见部分漏检现象。同时,在测试集中任选10张图像统计小麦籽粒识别结果,如表1所示。
图10 Cascade Mask R-CNN模型与ImCascade R-CNN模型的籽粒检测结果图

Fig. 10 Grain detection results of Cascade Mask R-CNN model and ImCascade R-CNN model

表1 Cascade Mask R-CNN模型改进前后的籽粒识别结果

Table 1 Results of grain recognition before and after the improvement of Cascade Mask R-CNN model

序号 籽粒数量/粒 Cascade Mask R-CNN ImCascade R-CNN
识别籽粒数量/粒 漏检率/% 识别籽粒数量/粒 漏检率/%
1 85 73 14.1 85 0.0
2 87 80 8.0 87 0.0
3 106 87 17.9 106 0.0
4 85 74 12.9 85 0.0
5 90 81 10.0 89 1.1
6 81 67 17.3 80 1.2
7 65 53 18.5 65 0.0
8 91 70 23.1 91 0.0
9 97 82 15.5 96 1.0
10 72 60 16.7 70 2.8
Cascade Mask R-CNN模型能较好地检测小麦籽粒完整性,区分完整小麦籽粒与破损小麦籽粒,但仍存在漏检现象,其平均漏检率为15.4%。漏检的主要原因为:一是仅有两个全连接层的检测器,对于分辨率低的小麦籽粒定位不准确;二是NMS算法将小麦籽粒粘连时形成的相邻候选框的分数均强制归零,造成粘连麦粒检测失败。针对上述漏检原因,ImCascade R-CNN模型在原有检测器的基础上添加新的卷积层,同时将NMS算法更改为Soft-NMS算法,不再将重叠部分的相邻候选框直接归零,而是设置衰减函数保留相邻候选框。由表1可知,ImCascade R-CNN模型能准确检测小麦籽粒完整性并完成粘连麦粒的分割,有效避免漏检现象,并且分割轮廓更精准,实现对完整小麦籽粒与破损小麦籽粒的分类,为后续获取完整小麦籽粒表形参数提供基础。
为对比Cascade Mask R-CNN模型和ImCascade R-CNN模型对检测小麦籽粒完整性的能力,绘制了模型训练时的Loss曲线图(图11)。Loss曲线图可表明模型是否收敛、收敛速度以及模型训练情况。由图11可知,在同样的迭代次数下,ImCascade R-CNN模型收敛速度更快且最终训练的Loss值更低。与Cascade Mask R-CNN模型相比,ImCascade R-CNN模型训练效果更优。
图11 籽粒识别、分割实验的Cascade Mask R-CNN模型与ImCascade R-CNN模型的Loss曲线图

Fig. 11 Loss curves of Cascade Mask R-CNN model and ImCascade R-CNN model for grain recognition and segmentation experiment

为分析ImCascade R-CNN模型的检测性能,本研究选取P-R曲线和mAP_50曲线进行对比研究。P-R曲线是衡量模型检测性能的重要指标,能够反映模型的计算精度和召回率。P-R曲线上凸程度越大,说明模型既保持较高的查全率又保持较高的查准率,即模型的检测性能越好。Cascade Mask R-CNN模型与ImCascade R-CNN模型的P-R曲线如图12。随检测精度的上升,ImCascade R-CNN模型召回率下降更不明显,说明ImCascade R-CNN模型定位性能更好;随召回率的上升,ImCascade R-CNN模型精度下降更不明显,说明ImCascade R-CNN模型分类性能更好。对比分析mAP_50曲线(图13),ImCascade R-CNN模型的mAP_50值明显提升。ImCascade R-CNN模型相比于Cascade Mask R-CNN模型,在定位和分类两方面均有明显优势。
图12 籽粒识别、分割实验的Cascade Mask R-CNN模型与ImCascade R-CNN模型的P-R曲线图

Fig. 12 P-R curves of Cascade Mask R-CNN model and ImCascade R-CNN model for grain recognition and segmentation experiment

图13 籽粒识别、分割实验的Cascade Mask R-CNN模型与ImCascade R-CNN模型的mAP_50曲线图

Fig. 13 MAP_50 curves of Cascade Mask R-CNN model and ImCascade R-CNN model for grain recognition and segmentation experiment

3.1.3 消融实验

为验证所提出的ImCascade R-CNN模型对小麦籽粒完整性检测性能的有效性,本实验以Cascade Mask R-CNN模型为基准模型,分别通过将骨干网络更改为ResNeXt、检测器引入多层卷积(Convolution,CONV)结构、增加Mish为激活函数以及采用Soft-NMS算法4种模式来验证模型性能,实验结果如表2所示。
表2 改进Cascade Mask R-CNN模型的消融实验结果

Table 2 The ablation results of Cascade Mask R-CNN model were improved

序号 模型 精确率 召回率 mAP_50
1 Cascade Mask R-CNN 0.768 0.680 0.757
2

Cascade Mask R-CNN

(ResNeXt)

0.859 0.711 0.806
3

Cascade Mask R-CNN

(Mish)

0.761 0.681 0.762
4

Cascade Mask R-CNN

(CONV)

0.812 0.732 0.796
5

Cascade Mask R-CNN

(Soft-NMS)

0.830 0.770 0.802
6 ImCascade R-CNN 0.931 0.854 0.902
表2可知,在Cascade Mask R-CNN模型基础上,改进骨干网络、增加Mish为激活函数、检测器引入多层卷积结构以及采用Soft-NMS算法后,模型对小麦籽粒完整性的检测性能均有明显提升。最终,ImCascade R-CNN模型相较于Cascade Mask R-CNN模型的精确率、召回率和mAP_50分别提升16.3%、17.4%和14.5%。基于此结果,ImCascade R-CNN模型更适用于小麦籽粒的识别、定位和分割。

3.1.4 不同模型性能对比实验

为进一步分析所建模型的检测性能,将本研究构建的ImCascade R-CNN模型与Cascade Mask R-CNN模型、Deeplabv3+模型的语义分割检测结果进行比较,结果如表3所示。
表3 籽粒识别、分割实验的不同模型语义分割检测结果对比

Table 3 Comparison of semantic segmentation detection results of different models in grain recognition and segmentation experiments

模型 精确率 召回率 mAP_50
Cascade Mask R-CNN 0.768 0.680 0.757
Deeplabv3+ 0.535 0.623 0.622
ImCascade R-CNN 0.931 0.854 0.902
相比于Cascade Mask R-CNN模型和Deeplabv3+模型的语义分割检测结果,ImCascade R-CNN模型在精确率、召回率、mAP值上均有较高优势。综合结果表明,ImCascade R-CNN模型在小麦籽粒完整性识别、籽粒定位以及籽粒分割方面具有明显优势。

3.2 表形参数获取结果与分析

完整小麦籽粒表形参数获取方法试验的评价指标主要是参数测量误差。测量值与实际值一致性程度用决定系数 R 2表示。
对提出的表形参数获取方法所得结果与人工测量值进行比较,粒长和粒宽的平均误差率分别为2.15%和3.74%。长宽比的标准误差为0.15。对提出的小麦籽粒表形鉴定方法所得到的粒长、粒宽进行统计和拟合,所得回归方程参数如图14所示,该方法测量粒长和粒宽的R 2分别为0.9351和0.8217,说明本研究所提出的小麦籽粒表形鉴定方法对小麦籽粒表形参数的测量与人工测量值具有较高的一致性,能够满足小麦考种的需求。
图14 系统测量与人工测量结果对比及相关性线性拟合

Fig.14 Comparison of system measurement and manual measurement results and correlation linear fitting

4 结 论

人工鉴定小麦籽粒表形参数效率低、主观性强。为实现大规模小麦籽粒快速精准检测,提取小麦籽粒表形参数,加快小麦育种进程,本研究建立ImCascade R-CNN模型,提出小麦籽粒表形鉴定方法。
针对Cascade Mask R-CNN模型检测过程中存在的漏检、定位精度低的问题,ImCascade R-CNN模型改进骨干网络为ResNeXt、增加Mish为激活函数、检测器引入多层卷积结构以及采用Soft-NMS算法,对比原始Cascade Mask R-CNN模型的精确率、召回率和mAP_50,分别提升16.3%、17.4%和14.5%。对比分析ImCascade R-CNN模型与Deeplabv3+模型,结果表明,ImCascade R-CNN模型对小麦籽粒完整性的平均检测精度为90.2%,能更好地识别、定位、分割小麦籽粒,为小麦表形参数的获取提供基础。
通过小麦籽粒表形鉴定方法获取的小麦籽粒表形参数,与人工测量值进行对比,结果显示:小麦籽粒粒长和粒宽的平均误差率分别为2.15%和3.74%,长宽比的标准误差为0.15,同时该方法测量粒长、粒宽的决定系数分别为0.9351和0.8217。充分说明,本研究所提出的小麦籽粒表形鉴定方法与人工鉴定具有较高的一致性,能够满足小麦考种的需求,加速培育优质高产小麦品种。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
NAGY É, LEHOCZKI-KRSJAK S, LANTOS C, et al. Phenotyping for testing drought tolerance on wheat varieties of different origins[J]. South African journal of botany, 2018, 116: 216-221.

2
陈进, 练毅, 邹容, 等. 基于机器视觉技术的水稻籽粒破碎率监测方法[J]. 农业工程技术, 2020, 40(30): ID 94.

CHEN J, LIAN Y, ZOU R, et al. Real-time grain breakage sensing for rice combine harvesters using machine vision technology[J]. Agricultural engineering technology, 2020, 40(30): ID 94.

3
GAO L, YANG J, SONG S J, et al. Genome-wide association study of grain morphology in wheat[J]. Euphytica, 2021, 217(8): 1-12.

4
李海泳, 殷贵鸿. 从国家粮食安全角度探讨我国小麦育种发展趋势[J]. 江苏农业科学, 2022, 50(18): 36-41.

LI H Y, YIN G H. On development trend of China's wheat breeding from perspective of national grain security[J]. Jiangsu agricultural sciences, 2022, 50(18): 36-41.

5
GAO H, ZHEN T, LI Z H. Detection of wheat unsound kernels based on improved ResNet[J]. IEEE access, 2022, 10: 20092-20101.

6
SHAHIN M A, SYMONS S J. Detection of fusarium damage in Canadian wheat using visible/near-infrared hyperspectral imaging[J]. Journal of food measurement & characterization, 2012, 6(1/2/3/4): 3-11.

7
冯继克, 郑颖, 李平, 等. 基于特征选择的小麦籽粒品种识别研究[J]. 中国农机化学报, 2022, 43(7): 116-123.

FENG J K, ZHENG Y, LI P, et al. Research on the identification of wheat grain varieties based on feature selection[J]. Journal of Chinese agricultural mechanization, 2022, 43(7): 116-123.

8
ZHAO W Y, LIU S Y, LI X Y, et al. Fast and accurate wheat grain quality detection based on improved YOLOv5[J]. Computers and electronics in agriculture, 2022, 202(11): ID 107426.

9
王莹, 李越, 武婷婷, 等. 基于密度估计和VGG-Two的大豆籽粒快速计数方法[J]. 智慧农业(中英文), 2021, 3(4): 111-122.

WANG Y, LI Y, WU T T, et al. Fast counting method of soybean seeds based on density estimation and VGG-two[J]. Smart agriculture, 2021, 3(4): 111-122.

10
刘欢, 王雅倩, 王晓明, 等. 基于近红外高光谱成像技术的小麦不完善粒检测方法研究[J]. 光谱学与光谱分析, 2019, 39(1): 223-229.

LIU H, WANG Y Q, WANG X M, et al. Study on detection method of wheat unsound kernel based on near-infrared hyperspectral imaging technology[J]. Spectroscopy and spectral analysis, 2019, 39(1): 223-229.

11
宋怀波, 王云飞, 段援朝, 等. 基于YOLO v5-MDC的重度粘连小麦籽粒检测方法[J]. 农业机械学报, 2022, 53(4): 245-253.

SONG H B, WANG Y F, DUAN Y C, et al. Detection method of severe adhesive wheat grain based on YOLO v5-MDC model[J]. Transactions of the Chinese society for agricultural machinery, 2022, 53(4): 245-253.

12
HUANG S, FAN X F, SUN L, et al. Research on classification method of maize seed defect based on machine vision[J]. Journal of sensors, 2019, 2019: 1-9.

13
祝诗平, 卓佳鑫, 黄华, 等. 基于CNN的小麦籽粒完整性图像检测系统[J]. 农业机械学报, 2020, 51(5): 36-42.

ZHU S P, ZHUO J X, HUANG H, et al. Wheat grain integrity image detection system based on CNN[J]. Transactions of the Chinese society for agricultural machinery, 2020, 51(5): 36-42.

14
徐凌翔, 陈佳玮, 丁国辉, 等. 室内植物表型平台及性状鉴定研究进展和展望[J]. 智慧农业(中英文), 2020, 2(1): 23-42.

XU L X, CHEN J W, DING G H, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart agriculture, 2020, 2(1): 23-42.

15
赵华民, 葛春静, 贾举庆, 等. 基于图像分析的小麦籽粒高通量表型系统研究[J]. 山东农业科学, 2021, 53(6): 113-120.

ZHAO H M, GE C J, JIA J Q, et al. Study on high-throughput phenotyping system of wheat grains based on image analysis[J]. Shandong agricultural sciences, 2021, 53(6): 113-120.

16
CAI Z W, VASCONCELOS N. Cascade R-CNN: Delving into high quality object detection[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2018: 6154-6162.

17
PURKAIT P, ZHAO C, ZACH C. SPP-net: Deep absolute pose regression with synthetic views[EB/OL]. arXiv: 1712.03452, 2017.

18
GIRSHICK R. Fast R-CNN[C]// 2015 IEEE International Conference on Computer Vision (ICCV). Piscataway, New Jersey, USA: IEEE, 2016: 1440-1448.

19
REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137-1149.

20
WU W Q, YIN Y J, WANG X G, et al. Face detection with different scales based on faster R-CNN[J]. IEEE transactions on cybernetics, 2019, 49(11): 4017-4028.

文章导航

/