欢迎您访问《智慧农业(中英文)》官方网站! English
专刊--农业信息感知与模型

基于改进YOLOv8s的玫瑰鲜切花分级方法

  • 张玉玉 ,
  • 邴树营 ,
  • 纪元浩 ,
  • 严蓓蓓 ,
  • 许金普
展开
  • 青岛农业大学动漫与传媒学院,山东 青岛 266109,中国
许金普,博士,副教授,研究方向为智慧农业、农业信息技术。E-mail:

张玉玉,研究方向为农业工程与信息技术。E-mail:

收稿日期: 2024-01-07

  网络出版日期: 2024-05-16

基金资助

山东省自然科学基金面上项目(ZR2022MC152)

山东省重大科技创新工程项目(2021LZGC014-3)

青岛市产业培育计划科技惠民专项(23-1-3-6-zyyd-nsh)

Grading Method of Fresh Cut Rose Flowers Based on Improved YOLOv8s

  • ZHANG Yuyu ,
  • BING Shuying ,
  • JI Yuanhao ,
  • YAN Beibei ,
  • XU Jinpu
Expand
  • College of Animation and Media, Qingdao Agricultural University, Qingdao 266109, China
XU Jinpu, E-mail:

ZHANG Yuyu, E-mail:

Received date: 2024-01-07

  Online published: 2024-05-16

Supported by

Shandong Province Natural Science Foundation General Project(ZR2022MC152)

Shandong Province Major Science and Technology Innovation Project(2021LZGC014-3)

Qingdao City Industrial Cultivation Plan Science and Technology Benefit People Special Project(23-1-3-6-zyyd-nsh)

Copyright

copyright©2024 by the authors

摘要

[目的/意义] 针对当前玫瑰鲜切花分级仍依赖人工进行简单分级,造成效率低、准确率低等问题,提出一种新的模型Flower-YOLOv8s来实现玫瑰鲜切花的分级检测。 [方法] 以单一背景下单支玫瑰花的花头作为检测目标,将鲜切花分为A、B、C、D四个等级,对YOLOv8s(You Only Look Once version 8 small)模型进行了优化改进。首先,构建了一个全新的玫瑰鲜切花分级检测数据集。其次,在YOLOv8s的骨干网络分别添加CBAM(Convolutional Block Attention Module)和SAM(Spatial Attion Module)两个注意力机制模块进行对比实验;选择SAM模块并对其进一步优化,针对模型轻量化需求,再结合深度可分离卷积模块一起添加到C2f结构中,形成Flower-YOLOv8s模型。 [结果和讨论] 从实验结果来看YOLOv8s添加SAM的模型具有更高的检测精度,mAP@0.5达到86.4%。Flower-YOLOv8s相较于基线模型精确率提高了2.1%,达到97.4%,平均精度均值(mAP)提高了0.7%,同时降低了模型参数和计算量,分别降低2.26 M和4.45 MB;最后使用相同的数据集和预处理方法与Fast-RCNN、Faster-RCNN、SSD、YOLOv3、YOLOv5s和YOLOv8s进行对比实验,证明所提出的实验方法综合强于其他经典YOLO模型。 [结论] 提出的基于改进YOLOv8s的玫瑰鲜切花分级方法研究能有效提升玫瑰鲜切花分级检测的精准度,为玫瑰鲜切花分级检测技术提供一定的参考价值。

本文引用格式

张玉玉 , 邴树营 , 纪元浩 , 严蓓蓓 , 许金普 . 基于改进YOLOv8s的玫瑰鲜切花分级方法[J]. 智慧农业, 2024 , 6(2) : 118 -127 . DOI: 10.12133/j.smartag.SA202401005

Abstract

[Objective] The fresh cut rose industry has shown a positive growth trend in recent years, demonstrating sustained development. Considering the current fresh cut roses grading process relies on simple manual grading, which results in low efficiency and accuracy, a new model named Flower-YOLOv8s was proposed for grading detection of fresh cut roses. [Methods] The flower head of a single rose against a uniform background was selected as the primary detection target. Subsequently, fresh cut roses were categorized into four distinct grades: A, B, C, and D. These grades were determined based on factors such as color, size, and freshness, ensuring a comprehensive and objective grading system. A novel dataset contenting 778 images was specifically tailored for rose fresh-cut flower grading and detection was constructed. This dataset served as the foundation for our subsequent experiments and analysis. To further enhance the performance of the YOLOv8s model, two cutting-edge attention convolutional block attention module (CBAM) and spatial attention module (SAM) were introduced separately for comparison experiments. These modules were seamlessly integrated into the backbone network of the YOLOv8s model to enhance its ability to focus on salient features and suppressing irrelevant information. Moreover, selecting and optimizing the SAM module by reducing the number of convolution kernels, incorporating a depth-separable convolution module and reducing the number of input channels to improve the module's efficiency and contribute to reducing the overall computational complexity of the model. The convolution layer (Conv) in the C2f module was replaced by the depth separable convolution (DWConv), and then combined with Optimized-SAM was introduced into the C2f structure, giving birth to the Flower-YOLOv8s model. Precision, recall and F1 score were used as evaluation indicators. [Results and Discussions] Ablation results showed that the Flower-YOLOv8s model proposed in this study, namely YOLOv8s+DWConv+Optimized-SAM, the recall rate was 95.4%, which was 3.8% higher and the average accuracy, 0.2% higher than that of YOLOv8s with DWConv alone. When compared to the baseline model YOLOv8s, the Flower-YOLOv8s model exhibited a remarkable 2.1% increase in accuracy, reaching a peak of 97.4%. Furthermore, mAP was augmented by 0.7%, demonstrating the model's superior performance across various evaluation metrics. The effectiveness of adding Optimized-SAM was proved. From the overall experimental results, the number of parameters of Flower-YOLOv8s was reduced by 2.26 M compared with the baseline model YOLOv8s, and the reasoning time was also reduced from 15.6 to 5.7 ms. Therefore, the Flower-YOLOv8s model was superior to the baseline model in terms of accuracy rate, average accuracy, number of parameters, detection time and model size. The performances of Flower-YOLOv8s network were compared with other target detection algorithms of Fast-RCNN, Faster-RCNN and first-stage target detection models of SSD, YOLOv3, YOLOv5s and YOLOv8s to verify the superiority under the same condition and the same data set. The average precision values of the Flower-YOLOv8s model proposed in this study were 2.6%, 19.4%, 6.5%, 1.7%, 1.9% and 0.7% higher than those of Fast-RCNN, Faster-RCNN, SSD, YOLOv3, YOLOv5s and YOLOv8s, respectively. Compared with YOLOv8s with higher recall rate, Flower-YOLOv8s reduced model size, inference time and parameter number by 4.5 MB, 9.9 ms and 2.26 M, respectively. Notably, the Flower-YOLOv8s model achieved these improvements while simultaneously reducing model parameters and computational complexity. [Conclusions] The Flower-YOLOv8s model not only demonstrated superior detection accuracy but also exhibited a reduction in model parameters and computational complexity. This lightweight yet powerful model is highly suitable for real-time applications, making it a promising candidate for flower grading and detection tasks in the agricultural and horticultural industries.

0 引 言

玫瑰鲜切花产业近年来持续发展,展现出积极的增长态势。云南、山东和甘肃等地在玫瑰种植上占据重要地位。甘肃省拥有全国26.44%的玫瑰种植企业数量,山东省占据22.47%,云南省占据13.62% 1。云南作为花卉产业的重要省份,其玫瑰鲜切花产业也发展得相当成熟。云南年产鲜切花已达180亿枝,并出口到40多个国家和地区2。在玫瑰鲜切花产业中,分级检测是玫瑰花质量评价的关键环节,对于提高玫瑰花的市场竞争力和种植效益具有重要意义。当前人工分级玫瑰花需要大量的人力,而且人工进行分级容易受到疲劳和主观因素的影响,存在分级效率低、精度不足等问题。近年来,计算机视觉技术在各种智能农业设备中的应用日益普及,利用机器视觉和深度学习技术进行玫瑰鲜切花的自动分级也成为可能。与传统的分级方法相比,基于机器视觉和深度学习的分级方法可以提高分级的准确性和效率,降低成本,且适用于大规模的农业生产3
早在1994年,Stenmetz等4参照人工检测分类的标注结果,对玫瑰鲜切花的质量分级进行了研究,该研究对枝条长度和直径测量的相对误差较低,仅为2.2%和16%。Hiary等5提出一种基于全卷积神经网络(Fully Convolutional Neural Network, FCN)和VGG(Visual Geometry Group Network)预训练模型的分类方法,在鲜花数据集中的识别准确率达到97%。Mete和Ensari6利用深度卷积网络和机器学习算法对鲜花图像进行识别和分类,将卷积网络提取的特征与支持向量机分类器相结合,在102-flower数据集上,可以实现高达96%以上的准确率。赵晓龙7在基于神经网络的玫瑰花图像等级分类识别研究中,利用人工神经网络与特征提取相结合的方法,使得玫瑰花的等级分类平均识别率达到94.45%。孙鑫岩8基于InceptionV3为主干网络的改进网络中对花蕾开放程度进行分级,取得的最佳分类准确率达到了98%。吴宇9基于机器视觉和深度迁移学习对玫瑰鲜切花进行分级研究,最终模型在测试集上的准确率均值达92.81%。
综合来看,虽然利用神经网络和机器视觉算法在鲜切花分级任务中取得了较高的识别率,但是传统模型体积比较大,为了适应移动终端设备,满足实时性和便携性的需求,仍需要进行优化。本研究提出了一种基于改进YOLOv8s10(You Only Look Once)模型的玫瑰鲜切花分级方法Flower-YOLOv8s,旨在实现分级任务实时性与高精度识别的双重优化。相较于其他分级方法,Flower-YOLOv8s模型可以在不损坏花朵外观的前提下同时检测并分级多个目标花朵,为玫瑰花种植产业的智能化分级提供了切实可行的解决方案,同时也为其他品类鲜切花和其他农产品的分级检测提供新的思路和方法,推动农产品分级的进步。

1 材料与方法

1.1 数据集制作

根据标准GBT—18247.1-2000《主要花卉产品等级 第1部分:鲜切花》11,玫瑰鲜切花的品质分级一般从花朵开放程度、花头大小、枝条长度、有无病虫害、花朵有无弯头等多个方面进行,把玫瑰花分为A、B、C、D四个等级。分级标准如表1所示。
表1 玫瑰花分级标准GBT—18247.1-2000

Table 1 Rose grading standards GBT—18247.1-2000

等级 分级标准
A 花头大,花色花型正常;无弯头,开放度基本一致,基本无色差;叶片无损伤,无虫害,成熟度达到季节采收要求;茎秆粗细均匀,叶面清秀无污染
B 花头大,花色花型正常,有轻微损伤;无弯头,开放度大部分一致,基本无色差;叶片基本无损伤,无虫害,成熟度达到季节采收要求;茎秆粗细均匀,叶面清秀无污染
C 花色、花型有偏差,可能有双心花,花头、花径、叶有轻微损伤;轻微病虫害、弯头、缺陷,开放度大部分一致;部分茎秆弯曲,粗细不均匀,叶面有轻微药斑、病斑
D 花色、花型有畸形或擦痕,花头、花径、叶片有损伤;大部分为侧枝切花,有病虫害、弯头、缺陷,开放度一般;茎秆多数细短弯曲,叶面有药斑病斑
实验数据集构建选用山东省日照市莒县招贤镇所种植的法国红玫瑰花,又名法兰西,于2023年4月12日进行采集拍摄。图像采集设备采用型号为A3A20CG8的大华工业相机进行,配置8 mm镜头,环形光源置于视场上方,整个装置使用高精度可微调支架固定,采用黑色幕布作为拍摄背景,图像采集装置如图1所示。共获得分辨率像素为4 000×3 000的A、B、C、D 4个等级花朵图像324张,从花朵图像中可以获得整枝花的开放程度、花头大小、有无病虫害和有无弯头等数据信息,部分鲜花分级信息如图2所示。利用开源标注工具LabelImg对采集到的玫瑰花朵进行人工标注,并将标注结果保存为PASCAL VOC格式,生成的*.xml格式文件保存至预先设置的文件夹中。接着对玫瑰花图像进行数据增强,对鲜切花进行随机缩放、随机裁剪、随机排布,使用mosaic拼接法,随机截取并混合四张具有不同语义信息的图像,可以丰富数据集,让模型检测超出常规情况下的鲜花目标,还可以达到加强批归一化层(Batch Normalization)的效果,结合所标注的原始样本,最终获得778张花朵图像,具体数据如表2所示。图像数据集被随机分为三组,分别组成模型训练集、验证集和测试集,比例分别为7∶2∶1。这些数据集将用于模型的训练和参数的优化,并与预测结果进行比较,以评估模型性能。
图1 玫瑰花图像采集装置图

注: 1. 计算机; 2. 高度调节装置; 3. 大华工业相机; 4. 光源; 5. 工作平台; 6. 采集对象。

Fig. 1 Rose image acquisition device diagram

图2 玫瑰鲜切花分级示意图

Fig. 2 Schematic diagram of the grade of fresh cut rose flowers

表2 玫瑰鲜切花图像数据增强结果

Table 2 Enhancement results of rose fresh cut flower image data

过程 A级/张 B级/张 C级/张 D级/张 合计/张
增强前 46 95 107 76 324
增强后 114 231 244 189 778

1.2 实验环境

采用Windows10版本,64位操作系统进行模型训练,CPU为Intel(R) Core(TM) i7 12700 CPU@1.60 GHz,GPU为NVIDIA GeForce GTX 3080,显存为16 GB,深度学习框架为TensorFlow2.7.1,编程语言为Python3.8.0。研究过程中的算法对比均在该硬件环境下进行。
实验训练过程中使用的训练参数如表3所示。
表3 玫瑰鲜切花分级研究训练参数

Table 3 Training parameters for grading fresh cut rose flowers

参数 数值
学习率(Learning Rate) 0.000 1
图像大小(Image Size)/像素 640×640
梯度动量(Momentum) 0.937
Batch Size 16
迭代轮数(Epochs) 200
优化器(Optimizer) Adam

1.3 模型原理及评估指标

1.3.1 优化骨干网络

骨干网络是实现特征提取的关键环节。本研究首先针对YOLOv8s的骨干网络进行优化改进。注意力机制近几年来在图像、自然语言处理等领域中都取得了重要的突破,被证明有益于提高模型的性能。SAM(Spatial Attention Module)12和CBAM(Convolutional Block Attention Module)13都是优秀的注意力机制,它们都可以用于增强卷积神经网络(Convolutional Neural Networks, CNN)的性能。其中SAM是一种空间注意力机制,是对输入特征图不同位置进行加权处理的机制,通过加权处理来强调输入特征图上与任务相关的重要区域。这种机制可以帮助模型更好地关注输入特征图的局部区域,从而更好地完成任务。SAM通常由两部分组成:卷积层和全连接层。卷积层用于提取输入数据的特征,全连接层用于将特征映射到输出空间,并生成加权值。相较于CBAM注意力机制,SAM的计算效率更高,因为它不需要额外的卷积层和全连接层来生成注意力权重。这使得SAM在处理相同大小的输入时,能够更快地生成注意力权重,减少计算时间和资源消耗。

1.3.2 Optimized-SAM模块

为了进一步提升模型的性能,使SAM注意力机制能够更好地理解图像中的空间关系,增强模型对空间位置信息的注意,本实验对选取的SAM注意力机制模块进行了优化,定义为Optimized Spatial Attention Module(Optimized-SAM),其核心思想是将特征图中的每个像素视为一个独立的通道,通过对这些像素进行加权组合来生成最终的特征表示。这种加权组合是通过一个卷积层和一个反卷积层实现的,其中卷积层用于提取局部特征,反卷积层用于将局部特征映射回原始的空间尺寸。具体优化如下:1)缩小卷积核。采用较小的卷积核3×3,在保持性能的同时显著减少参数数量,从而实现高效的空间注意力机制。2)引入深度可分离卷积(Depthwise Separable Convolution, DWConv)14。通过将传统卷积分解为深度卷积和逐点卷积两个步骤,不仅降低了计算复杂度,而且有效减少了参数数量,进而提升了模型的效率和泛化能力。3)缩减输入通道数。在SAM模块中,原本采用平均池化和最大池化作为输入通道,为了降低参数复杂度,仅选择平均池化作为输入,能够简化模型复杂度,降低输入维度,进而减少计算效率,提升模型效率。同时平均池化相对于最大池化更为稳定,能减少噪声和异常值的影响,增强模型的鲁棒性。Optimized-SAM结构如图3所示。
图3 Optimized-SAM结构图

Fig. 3 Optimized-SAM structure diagram

1.3.3 优化C2f模块

为了减少模型参数数量和目标检测中模型的计算量和内存消耗,同时提高模型的精度和泛化能力,选用DWConv对模型进行进一步优化。DWConv是一种特殊的卷积类型,特点是将卷积核分解成两部分:逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)。在DWConv中,首先对通道(深度)分别进行空间卷积,并对输出进行拼接,随后使用单位卷积核进行通道卷积以得到特征图。相比普通卷积,DWConv通过减少输入通道数量、精简计算模型,有效地减少了卷积层所需的参数,可以在较小的设备上实现高精度的运算。此外,其运行速度比传统卷积更快、计算量更小,更易于实现和部署在不同的平台上。本实验将C2f模块中的卷积层(Conv)替换为了深度可分离卷积(DWConv),然后结合Optimized-SAM一起引入到C2f结构中,从而降低模型参数量和计算量,提升整体模型性能的作用。C2f结构改进前后对比如图4所示,其中图4a为改进前的C2f结构,图4b为改进后的C2f结构。
图4 C2f结构改进前后对比

Fig. 4 Comparison of C2f structure before and after improvement

1.3.4 Flower-YOLOv8s模型构建

YOLO15模型是当前工业、农业领域使用较多的检测网络,其采用one-stage算法,具有网络运行速度快,占内存小等优点。YOLOv8模型是目前YOLO系列的新成果,汲取了前几代网络的优秀特性,整个网络分为Backbone骨干网络部分和Head头部网络16部分,遵循CSP(Cross Stage Partial Connection)的思想。骨干网络是模型的基础,负责从输入图像中提取特征,这些特征是后续网络层进行目标检测的基础。在YOLOv8中,骨干网络采用了类似于CSPDarknet的结构。头部网络是目标检测模型的决策部分,负责产生最终的检测结果。骨干网络和Neck部分将YOLOv517中的C3模块替换成了梯度流更稳定的C2f模块,去掉YOLOv5中路径集成特征金字塔结构(Path Aggregation Network-Feature Pyramid Network, PAN-FPN)18上采样阶段中的卷积结构,将Backbone不同阶段输出的特征直接送入了上采样操作。YOLOv8模型采用了多尺度特征融合的策略,通过在不同层级的特征图上进行目标检测,可以有效地捕捉不同尺度的目标信息,这使得模型对于小目标和大目标都能有较好的检测效果。YOLOv8提供了YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l等不同尺度大小的模型,这些模型在精度和速度之间做出了不同的权衡,以适应不同的应用场景。其中,YOLOv8s是该系列中的一个中等规模模型,它在保持较高检测精度的同时,也具备相对较快的检测速度,适用于对实时性和准确性都有一定要求的场景。因此,本研究使用了更适合鲜切花实时检测的YOLOv8s版本,在骨干网络的部分C2f模块中添加Optimized-SAM注意力机制,然后对C2f进行整体优化,获得改进后的模型Flower-YOLOv8s,结构如图5所示。
图5 本研究提出的Flower-YOLOv8s模型结构图

Fig. 5 Structure diagram of Flower-YOLOv8s model proposed in this research

1.3.5 评估指标

为了评估算法的性能,使用准确率(Precision)、召回率(Recall)和F 1值(F 1-Score)作为评估指标。AP表示单个类别的P-R曲线的面积,F 1值是精确率和召回率的调和平均数,TP表示正类数预测为正类数的个数,FP为负类数预测为正类数的个数,FN为正类数预测为负类数的个数。计算如公式(1)~公式(4)所示:
P r e c i s i o n = T P T P + F P
R e c a l l = T P T P + F N
A P = 0 1 P · ( R ) d R
F 1 = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l

2 结果与分析

2.1 消融实验

本实验在YOLOv8s模型基础上分别引入SAM注意力机制和CBAM注意力机制进行对比。把标注好的鲜切花花朵数据集分别输入YOLOv8s、YOLOv8s+CBAM和YOLOv8s+SAM三个模型中,在其他训练条件保持一致的情况下,初始学习率为0.001,Epochs设置为200,根据图6结果显示,YOLOv8s+SAM模型平均精度mAP@0.5达到86.4%,优于其他两个模型,效果更好,具有一定的检测优势。因此,添加SAM注意力机制的模型更适合本实验。
图6 改进两种注意力机制进行玫瑰鲜切花分级的平均精度对比图

Fig.6 Comparison of average accuracy of two improved attention mechanisms in the classification of fresh cut rose flowers

对Optimized-SAM和SAM分别应用到C2f模块中的精确度进行对比,结果如图7所示。在迭代次数和初始学习率相同的情况下,Optimized-SAM的精确率高于SAM,证明Optimized-SAM的性能优于SAM,因此将Optimized-SAM运用到后续实验中。
图7 Optimized-SAM和SAM在C2f模块中精确度对比

Fig.7 Comparison of precision between Optimized SAM and SAM in C2f Module

优化后的模型与基线模型YOLOv8s在精确率、召回率、平均精度均值、参数量、检测时间和模型大小方面的对比如表4。结果显示,本研究所提出的Flower-YOLOv8s模型YOLOv8s+DWConv+Optimized-SAM召回率为95.4%,相较于YOLOv8s单独添加DWConv,提高了3.8%,平均精度均值提升了0.2%,证明了添加Optimized-SAM的有效性。从整体实验结果上来看,改进后的 Flower-YOLOv8s模型在自建数据集上的平均准确率为83.1%,相较于基线模型YOLOv8s提高了0.7%;精确率提升了2.1%,达到97.4%。Flower-YOLOv8s的参数量较基线模型YOLOv8s减少了2.26 M,推理时间上也由15.6 ms减少到5.7 ms。因此,Flower-YOLOv8s模型在精确率、平均精度均值、参数量、检测时间和模型大小方面都优于基线模型,说明改进的DWConv在保证模型精度和泛化能力的同时也大大减少了模型计算量、参数量和推理时间。
表4 优化模型分级玫瑰鲜切花结果对比

Table 4 Comparison of optimization model results for rose fresh cut flower grading

模型名称 精确率/% 召回率/% mAP@0.5/% 参数量/M 推理时间/ms 模型大小/MB
YOLOv8s 95.3 96.5 82.4 11.13 15.6 22.5
YOLOv8s+DWConv 97.2 91.6 82.9 11.13 9.2 22.6
YOLOv8s+DWConv+Optimized-SAMFlower-YOLOv8s) 97.4 95.4 83.1 8.87 5.7 18.0

2.2 不同模型的对比实验

为了验证本研究提出的Flower-YOLOv8s网络相较于其他目标检测算法的优越性,在其他训练参数保持一致的情况下,将相同的玫瑰鲜切花数据集分别输入到主流二阶段目标检测模型Fast-RCNN、Faster-RCNN19和一阶段目标检测模型SSD20、YOLOv321、YOLOv5s和YOLOv8s中进行对比实验,利用精确率、召回率、平均精度均值、F 1值、模型大小、推理时间和参数量对模型整体性能进行评估,结果如表5所示。
表5 不同模型检测玫瑰鲜切花整体性能对比结果

Table5 Comparison of overall performances of different models for detecting fresh cut rose flowers

模型名称 准确率/% 召回率/% mAP@0.5/% mAP@0.5∶0.95/% F 1值/% 参数量/106 推理时间/ms 模型大小/MB
Fast-RCNN 86.8 81.4 80.5 76.1 0.55 193.9 36.5 102.35
Faster-RCNN 93.3 87.2 63.7 58.9 0.49 254.6 48.8 142.08
SSD 95.8 80.6 76.3 68.8 0.66 106.4 25.3 97.42
YOLOv3 93.6 76.9 81.4 71.8 0.74 207.8 22.6 103.67
YOLOv5s 86.1 74.4 81.2 71.0 0.75 22.2 5.9 10.92
YOLOv8s 95.3 96.5 82.4 72.2 0.75 22.5 15.6 11.13
Flower-YOLOv8s 97.4 95.4 83.1 72.5 0.77 18.0 5.7 8.87
通过分析表5可以得出,本研究所提出的Flower-YOLOv8s模型与Fast-RCNN、Faster-RCNN、SSD、YOLOv3、YOLOv5s和YOLOv8s的平均精度均值分别高2.6%、19.4%、6.5%、1.7%、1.9%和0.7%;相比于召回率更高的YOLOv8s,Flower-YOLOv8s的模型大小、推理时间和参数量分别减少4.5 MB、9.9 ms和2.26 M。所以,本研究提出的Flower-YOLOv8s在玫瑰鲜切花分级检测上体现出一定程度的优越性,可以提高分级检测的效率,更满足鲜切花分级设备的需求。

2.3 复杂背景下鲜切花实例检测

为进一步验证改进模型Flower-YOLOv8s在复杂背景下的实际分级检测性能,使用YOLOv8s和Flower-YOLOv8s分别对相同的16朵玫瑰鲜切花进行目标检测,这些图像存在亮度不足、背景和检测对象区分度不明显、因拍摄时长问题花朵间新鲜度不一致等情况。检测结果如图8所示。从实例检测图可以看出,YOLOv8s出现误检现象,其中6朵玫瑰鲜切花被错误地识别为其他类别,而Flower-YOLOv8s检测时,仅有1朵鲜花被错误检测。说明本研究提出的Flower-YOLOv8s在复杂背景下,检测准确率更高,这进一步验证了Flower-YOLOv8s在提升检测性能方面的有效性。
图8 部分玫瑰鲜切花分级实例检测

Fig. 8 Detection example of flower grading for some fresh cut rose

3 讨 论

随着现代农业的发展,机器学习和深度学习技术在水果分级与品质检测的研究中得到了广泛应用22-24,但在玫瑰鲜切花的品质检测及分级方面的探索相对较少,其研究更多聚焦于花卉种类的识别和分类任务6, 8。然而这些方法虽然准确率高,但是模型参数繁多、运行耗时,并且对设备性能要求高。而本研究在原有基础上,不仅显著提升了准确率,而且在优化模型结构方面取得了显著进展,有效减少了模型参数量、节省了运行时间,使得模型在实时性和响应速度上得到了极大的提升。更为重要的是,这种优化后的模型特别适用于移动终端分级设备,能够充分发挥其便携、灵活、实时反馈等优势。
据统计,鲜切花采后加工损失可达31.88%,其中分级损失占21.74%25,凸显了加工效率对鲜切花品质控制的重要性。鉴于鲜切花易腐、易损的特性,本研究提出了一种基于改进YOLOv8s模型的玫瑰鲜切花分级方法,通过引入SAM注意力机制和对C2f模块进行优化,提升了模型的检测速度和精度,大大降低了模型参数量,实现了检测的实时性与高精度识别的双重优化,极大地提高了分级工作的效率和准确性。这有助于确保鲜切花符合市场标准,提升产品竞争力。
但本研究仍有不足,在以下方面需要进一步的完善与探索。
1)Flower-YOLOv8s在具体应用中还需要根据鲜切花的特点进行针对性地优化和调试,以达到最佳的分级效果。
2)由于目标检测算法对于数据质量和数量要求较高,加上在实际生产环境中,鲜切花的状态可能会受到多种因素的影响,如光照、角度、遮挡等。因此如何进一步提高模型的鲁棒性和泛化能力是未来研究的重要方向,以便能够应对各种复杂情况。
3)仅对玫瑰花朵进行分级检测来评判整枝花的等级还存在一定的片面性,在后续实验中还要加入到对花茎花杆的检测分级,最终两者结合得出整枝花的等级。
4)还可以针对不同品种、不同生长环境的玫瑰花展开深入研究,完善和拓展玫瑰花分级检测的方法和技术体系。

4 结 论

本研究针对玫瑰鲜切花进行品质分级,提出了一种基于Flower-YOLOv8s的玫瑰鲜切花分级检测模型,主要研究结论如下。
1)对YOLOv8s模型进行改进,添加SAM注意力机制进行特征提取,有效提升了模型在鲜切花分级检测任务中的精确度。同时,对C2f模块进行了优化,将卷积层(Conv)替换为深度可分离卷积(DWConv),并与优化的SAM一同嵌入到C2f结构中,大大减少了模型的参数数量和计算负载,从而提升了检测速度,达到5.7 ms。
2)实验结果表明,改进后的Flower-YOLOv8s模型在自建数据集上的平均准确率为83.1%,相较于基线模型YOLOv8s精确率提升了2.1%。此外,模型大小、推理时间和参数量相较YOLOv8s分别减少4.5 MB、9.9 ms和2.26 M。充分验证了模型改进的优越性,为玫瑰鲜切花分级检测提供了一种高效、准确的方法,并为其他农产品分级检测研究提供了参考。在复杂背景下的检测也取得了较好的准确度,进一步验证了Flower-YOLOv8s在提升检测性能方面的有效性。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
中国报告大厅. 2022年玫瑰行业分析[EB/OL]. [2023-12-02].

2
光明网. 年产量达180亿枝:探索云南鲜切花产业背后的科技力量[EB/OL]. (2023-08-22).

3
DENG L M, LI J, HAN Z Z. Online defect detection and automatic grading of carrots using computer vision combined with deep learning methods[J]. LWT-food science and technology, 2021, 149: ID 111832.

4
STEINMETZ V, DELWICHE M J, GILES D K, et al. Sorting cut roses with machine vision[J]. Transactions of the ASAE, 1994, 37(4): 1347-1353.

5
HIARY H, SAADEH H, SAADEH M, et al. Flower classification using deep convolutional neural networks[J]. IET computer vision, 2018, 12(6): 855-862.

6
METE B R, ENSARI T. Flower classification with deep CNN and machine learning algorithms[C]// 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT). Piscataway, New Jersey, USA: IEEE, 2019: 1-5.

7
赵晓龙. 基于神经网络的玫瑰花图像等级分类识别研究[D]. 昆明: 云南大学, 2021.

ZHAO X L. Research on classification and recognition of rose image based on neural network[D]. Kunming: Yunnan University, 2021.

8
孙鑫岩. 基于深度学习的鲜切花分级算法[D]. 南京: 南京林业大学, 2022.

SUN X Y. Fresh cut flower grading algorithm based on deep learning[D]. Nanjing: Nanjing Forestry University, 2022.

9
吴宇. 基于深度学习的玫瑰鲜切花分级研究[D]. 昆明: 云南大学, 2021.

WU Y. Quality Grading Evaluation of Cut Rose based on Deep Learning[D]. Kunming: Yunnan University, 2021.

10
JOCHER G, CHAURASIA A, QIU J. YOLO by Ultralytics[EB/OL]. (2023-06-30) [2023-12-31].

11
国家质量技术监督局. 主要花卉产品等级 第1部分:鲜切花: GB/T 18247.1—2000 [S]. 北京: 中国标准出版社, 2001.

State Bureau of Quality and Technical Supervision of the People's Republic of China. Product grade for major ornamental plants-Part 1: Cut flowers: GB/T 18247.1—2000 [S]. Beijing: Standards Press of China, 2001.

12
FU J, LIU J, TIAN H J, et al. Dual attention network for scene segmentation[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New Jersey, USA: IEEE, 2019: 3141-3149.

13
WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]// European Conference on Computer Vision. Berlin, German: Springer, 2018: 3-19.

14
SIFRE L. Rigid-motion scattering for image classification[D]. Paris: École Polytechnique, 2014.

15
REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, New Jersey, USA: IEEE, 2017: 6517-6525.

16
JIANG Z, ZHAO L, LI S, et al. Real-time object detection method based on improved YOLOv4-tiny[EB/OL]. arXiv: 2011.04244, 2020.

17
GLENN J.YOLOv 5. [EB/OL]. Git Code,2020. [2023-12-31]

18
LIU S, QI L, QIN H F, et al. Path aggregation network for instance segmentation[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2018: 8759-8768.

19
REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]// Advances in Neural Information Processing Systems. Cambridge, USA: MIT Press, 2015: 91-99.

20
LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]// European Conference on Computer Vision. Berlin, German: Springer, 2016: 21-37.

21
REDMON J, FARHADI A. YOLOv3: An incremental improvement[EB/OL]. arXiv: 1804.02767, 2018.

22
高芳芳, 武振超, 索睿, 等. 基于深度学习与目标跟踪的苹果检测与视频计数方法[J]. 农业工程学报, 2021, 37(21): 217-224.

GAO F F, WU Z C, SUO R, et al. Apple detection and counting using real-time video based on deep learning and object tracking[J]. Transactions of the Chinese society of agricultural engineering, 2021, 37(21): 217-224.

23
施行. 基于视觉技术的红提串品质无损检测与分级[D]. 武汉: 华中农业大学, 2021.

SHI H. Non-destructive detection and grading of the quality of red grape strings based on visual technology[D]. Wuhan: Huazhong Agricultural University, 2021.

24
王俊杰. 基于深度学习的红枣缺陷检测分级技术研究[D]. 西安: 陕西科技大学, 2020.

WANG J J. Research on defect detection and classification of jujube based on deep learning[D]. Xi'an: Shaanxi University of Science & Technology, 2020.

25
AMAN M. Postharvest loss estimation of cut rose (Rosa hybrida) flower farms: Economic analysis in East Shoa Zone, Ethiopia[J]. International journal of sustainable economy, 2014, 6(1): ID 82.

文章导航

/