欢迎您访问《智慧农业(中英文)》官方网站! English
专刊--光智农业创新技术与应用

基于改进YOLOv8的果蔬品质劣变荧光成像嵌入式检测系统

  • 高陈宏 ,
  • 朱启兵 ,
  • 黄敏
展开
  • 江南大学 物联网工程学院,江苏 无锡 214122,中国
朱启兵,博士,教授,研究方向为信息感知与智能处理、物联网系统集成。E-mail:

高陈宏,硕士研究生,研究方向为传感器与检测技术、嵌入式技术。E-mail:

收稿日期: 2025-05-30

  网络出版日期: 2025-09-04

基金资助

国家自然科学基金(62273166)

Embedded Fluorescence Imaging Detection System for Fruit and Vegetable Quality Deterioration Based on Improved YOLOv8

  • GAO Chenhong ,
  • ZHU Qibing ,
  • HUANG Min
Expand
  • School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China
ZHU Qibing, E-mail:

GAO Chenhong, E-mail:

Received date: 2025-05-30

  Online published: 2025-09-04

Supported by

National Natural Science Foundation of China(62273166)

Copyright

copyright©2025 by the authors

摘要

[目的/意义] 新鲜果蔬在贮藏、运输过程中容易因微生物繁殖、酶活性变化等发生品质劣变,传统检测方法具有破坏性、耗时长且难以满足实时监测需求。本研究旨在开发基于荧光成像与嵌入式技术的果蔬品质劣变检测系统,解决现有光学检测设备价格昂贵、便携性不足的问题。 [方法] 开发的荧光成像检测系统采用现场可编程门阵列板(型号:ZYNQ XC7Z020)为主控单元,紫外发光二极管灯珠(365 nm, 10 W)为激发光源,互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor, CMOS)相机为荧光图像采集传感器,实现荧光图像的采集和处理;在此基础上,构建了一种基于改进YOLOv8的轻量化目标检测模型。改进模型以MobileNetV4为主干网络,通过批归一化层(Batch Normalization, BN)的通道剪枝技术实现了模型的轻量化;结合ZYNQ硬件资源特性,采用动态16位定点数量化硬件加速优化方法,从而加快实现果蔬品质的等级分类。 [结果和讨论] 以葡萄和菠菜两种常见果蔬为样本,通过检测其荧光图像中劣变特征,系统对新鲜、次新鲜、腐败三级分类平均精确度达95.91%。 [结论] 开发的荧光成像检测系统具有较高的精度与良好的响应速度,为果蔬品质的无损检测提供了一种低成本、高效率的方案。

本文引用格式

高陈宏 , 朱启兵 , 黄敏 . 基于改进YOLOv8的果蔬品质劣变荧光成像嵌入式检测系统[J]. 智慧农业, 2025 , 7(5) : 146 -155 . DOI: 10.12133/j.smartag.SA202505038

Abstract

[Objective] Fresh fruits and vegetables are prone to quality deterioration during storage and transportation due to microbial proliferation and changes in enzyme activity. Although traditional quality detection methods (e.g., physicochemical analysis and microbial culture) offer high accuracy, they are destructive, time-consuming, and require expert operation, making them inadequate for the modern supply chain's demand for real-time, non-destructive detection. While advanced optical detection technologies like hyperspectral imaging provide non-destructive advantages, the equipment is expensive, bulky, and lacks portability. This study aimed to integrate fluorescence imaging technology, embedded systems, and lightweight deep learning models to develop an embedded detection system for fruit and vegetable quality deterioration, addressing the bottlenecks of high cost and insufficient portability in current technologies, and providing a low-cost, efficient solution for non-destructive quality detection of fruits and vegetables. [Methods] An embedded quality detection system based on fluorescence imaging and a ZYNQ platform was developed. The system adopted the Xilinx ZYNQ XC7Z020 heterogeneous SoC as the core controller and used 365 nm, 10 W ultraviolet LED beads as the excitation light source. A CMOS camera served as the image acquisition sensor to capture and process fluorescence images. Algorithmically, an improved, lightweight object detection model based on YOLOv8 was developed. The improved model replaced the original YOLOv8 backbone network with MobileNetV4 to reduce computational load. To further achieve lightweighting, a channel pruning technique based on the batch normalization (BN) layer's scaling factor (γ) was employed. During training, L1 regularization was applied to γ to induce sparsity, after which channels with small γ values were pruned according to a threshold (γ_threshold = 0.01), followed by fine-tuning of the pruned model. Finally, in accordance with the hardware characteristics of the ZYNQ platform, a dynamic 16-bit fixed-point quantization method was adopted to convert the model from 32-bit floating point to 16-bit fixed point, and the FPGA's parallel computing capability was utilized for hardware acceleration to improve inference speed. [Results and Discussions] Grapes and spinach were used as experimental samples in a controlled laboratory setting (26 °C; 20%~40% humidity) over an eight-day storage experiment. Fluorescence images were collected daily, and physicochemical indices were measured simultaneously to construct ground-truth labels (spinach: chlorophyll, vitamin C; grapes: titratable acidity, total soluble solids). K-means clustering combined with principal component analysis (PCA) was used to categorize quality into three levels, "fresh" "sub-fresh" and "spoiled", based on changes in physicochemical indices, and images were labeled accordingly. In terms of system performance, the improved YOLOv8-MobileNetV4 model achieved a mean average precision (mAP) of 95.91% for the three-level quality classification. Ablation results showed that using only the MobileNetV4 backbone or applying channel pruning to the original model each reduced average detection time (by 14.0% and 29.0%, respectively) but incurred some loss of accuracy. In contrast, combining both yielded a synergistic effect: precision reached 97.04%, while recall and mAP increased to 95.24% and 95.91%, respectively. Comparative experiments indicated that the proposed model (8.98 MB parameters) outperformed other mainstream lightweight models (e.g., Faster R-CNN and YOLOv8-Ghost) in mAP and also exhibited faster detection, demonstrating an excellent balance between accuracy and efficiency. [Conclusions] Targeting practical needs in detecting fruit and vegetable quality deterioration, this study proposed and implemented an efficient detection system based on fluorescence imaging and an embedded platform. By integrating the MobileNetV4 backbone with the YOLOv8 detection framework and introducing BN-based channel pruning, the model achieved structured compression and accelerated inference. Experimental results showed that the YOLOv8-MobileNetV4 plus pruning model significantly reduced model size and hardware resource consumption while maintaining detection accuracy, thereby enhancing real-time responsiveness. The system's low hardware cost, compact size, and portability make it a practical solution for rapid, non-destructive, real-time quality monitoring in fruit and vegetable supply chains. Future work will focus on expanding the sample library to include more produce types and mixed deterioration levels and further optimizing the algorithm to improve robustness in complex multi-target scenarios.

0 引 言

果蔬产业是农业的重要组成部分,其发展可促进农业结构调整、优化居民饮食结构、增加农民收入。提供丰富、新鲜、营养健康的果蔬产品是满足人民对美好生活向往的物质基础1。在生鲜果蔬的供应链流转过程中,品质劣变现象常由微生物侵染、内源酶作用或机械损伤等因素诱发。随着消费者对食品安全关注度的日益提升,特别是对生鲜果蔬腐败变质的实时检测需求不断增加,建立快速高效的果蔬品质检测系统已成为当务之急2。传统检测方法如理化分析、微生物培养等虽然精度较高3,但存在破坏性强、检测周期长等缺陷4,同时容易加速其品质劣变,并增加食品间交叉污染的风险,难以满足供应链中实时快速筛查的需求5。光学检测技术因其无损、快速的特性成为研究热点6, 7。目前主要的光学检测技术包括近红外光谱技术、荧光光谱和高光谱技术(Hyperspectral Imaging, HSI)8-10。HSI相机由于价格高昂且缺乏便携性,难以满足食品行业对果蔬品质实时快速检测的需求。而荧光成像技术凭借高灵敏度(可检测纳克级荧光物质)和低成本优势11,在食品品质评估中展现出独特潜力。荧光的基本原理为某些物质在受到特定波长的光激发后,能够在极短时间内发射出波长大于激发波长的光,这种光被称为荧光12。Gorji等13使用荧光成像技术结合深度学习算法,利用EffcientNet-B0模型和U-Net模型,实现肉类表面粪便污染的高精度自动检测与分割,助力食品安全保障。但是其网络模型由于网络层数的加深,模型体量较大,通常只在PC机上实现。
赛灵思(Xilinx)的Zynq-7000全可编程片上系统(Xilinx Zynq-7000 All Programmable SoC)平台作为集成进阶精简指令集机器(Advanced RISC Machines, ARM)处理器与FPGA(Field Programmable Gate Array)的异构架构,为解决上述问题提供了理想的硬件部署平台。其PS(Processing System)端可实现系统控制与算法调度,可编程逻辑(Programmable Logic, PL)端通过硬件加速优化卷积计算等耗时操作,结合低功耗设计,被广泛应用于各种轻量级神经网络加速器设计中14。为了更进一步优化性能,可采用可分离卷积等技术来降低模型的参数,如旷视的ShuffleNet15和Google提出的MobileNet系列16-18,但其特征连续性破坏导致小目标漏检且轻量化操作与检测头适配性不足。而YOLO系列19, 20专为实时目标检测设计,通过联合优化检测头与主干网络,减少计算步骤,实现高效推理,检测精度与速度均优于MobileNet和ShuffleNet。同时,考虑到嵌入式端部署需求,本研究采用基于YOLOv8的网络模型,其具备检测速度快、精度高、轻量化等优势。与传统目标检测算法相比,YOLOv8所采用的无锚框机制,将目标检测简化为一个直接的预测过程,从设计上规避了基于锚框方法固有的样本不平衡缺陷,从而在应用中兼顾了高效率与高精度,但其参数量依旧很大,无法在嵌入式端发挥最佳性能。在YOLOv8的Backbone中,卷积层提取的目标特征往往包含冗余信息,表现为部分特征图高度相似。这种冗余不仅增加了计算量和资源消耗,也降低了模型效率。为了提升模型效率并实现轻量化,本研究采用剪枝技术对模型进行优化。
剪枝技术的核心机制在于通过结构化或非结构化方式移除模型中的冗余参数或神经元连接,从而有效降低计算资源的消耗与内存占用需求,并直接提升模型在推理阶段的执行效率。2016年,Li等21提出一种专门针对卷积核的神经网络剪枝方法,该方法借助L1范数来度量每个卷积核对网络的贡献程度,并依据贡献度的大小来对卷积核实施裁剪操作。然而,这种裁剪方式存在信息损失较大的问题。2017年,He等22提出了一种基于Lasso回归的通道稀疏化剪枝策略,通过回归和优化手段,实现了相较于直接裁剪更低的信息损失。Liu等23, 24提出并进一步改进了一种基于稀疏化训练和通道剪枝的模型裁剪方法,依据批归一化层(Batch Normalization, BN)的γ参数对通道进行裁剪,在训练阶段有效减少了模型的信息损失,以及参数冗余情况。本研究采用基于BN层的通道剪枝技术对YOLOv8-MobileNetV4进行针对性剪枝。
综上所述,本研究针对果蔬供应链中无损、快速、便携检测的迫切需求,开发了一套嵌入式荧光成像检测系统。该系统以现场可编程门阵列板(型号:ZYNQ XC7Z020)异构片上系统(System on Chip, SoC)为核心,集成ARM与FPGA架构,构建了包括紫外激发光源(365 nm UV-LED)、互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor, CMOS)图像采集、液晶显示器(Liquid Crystal Display, LCD)显示与存储功能于一体的便携式检测装置。在算法层面,提出基于MobileNetV425主干的轻量化YOLOv8检测模型,结合BN层的通道剪枝技术,减少了模型参数规模并提升推理效率。关于硬件加速优化,结合ZYNQ平台硬件资源特性,采用动态16位定点数量化方法,充分利用FPGA的并行处理能力和数字信号处理器(Digital Signal Processor, DSP)资源,实现了低延迟的实时检测。通过软硬件协同优化,实现了从荧光图像采集、品质等级分类到结果输出的端到端实时检测解决方案。

1 系统总体方案设计

1.1 总体设计方案

本研究设计的基于改进YOLOv8的果蔬品质劣变荧光成像嵌入式检测系统主要由主控模块、激发光源模块、电源模块、图像采集模块、触控板显示模块和数据存储模块构成。系统总体设计方案如图1所示。
图1 荧光图像采集装置

Fig. 1 Fluorescence image acquisition device

其中,采用12 V锂电池作为电源为电路供电;采用UV-LED灯珠紫外光源作为激发光源;采用ZYNQ硬件平台作为嵌入式主控制板、CMOS摄像头进行图像采集、LCD触控显示屏作为人机交互的媒介和SD存储卡用于数据存储。
ZYNQ主板作为控制核心,负责UV紫外光源的开关,读取CMOS摄像头采集的图像数据,输出相机采集和检测结果到LCD触控屏上显示和SD存储卡之间的数据读取和结果储存的功能调控。

1.2 ZYNQ硬件平台及总线技术

ZYNQ硬件平台是一个集成ARM处理器和FPGA可编程逻辑的混合架构平台,通过AXI(Advanced Extensible Interface)总线技术进行高速通信和数据交互,来发挥处理器的通用计算能力和FPGA的并行处理能力的优势,这种集成度不仅提高了系统的整体性能,还简化了系统的设计和布线,提供了更好的性能优化。ZYNQ异构系统架构通过将处理器的软件可编程性与FPGA的硬件可编程性完美结合的同时,还兼具了内部高速通信总线、多种存储器接口和多样式的外设接口,从而具备高度的灵活性和卓越的计算存储性能,在实现高性能的同时保持更低的设备功耗。
在ZYNQ7020 SoC板设计中AXI协议版本为AXI4。AXI4协议可以从内存中读取或传输大量的数据,常被用于连接高性能的处理器、内存和其他关键的IP核。通过AXI总线技术,ARM处理器和FPGA可以进行高速通信和数据交互,实现高性能的计算和数据处理。

1.3 人机交互界面设计

ARM芯片可以运行Linux操作系统,结合Qt框架下丰富的应用程序编程接口(Application Programming Interface, API)和工具进行人机交互界面设计是一种高效、便捷的方法。在Linux环境下,Qt通过其qmake构建系统,可以方便地进行项目的配置和编译。Qmake能够自动适应不同的目标平台,生成适用于目标平台的可执行文件,实现ARM-Linux交叉编译。在Qt中进行人机交互界面的设计,首先,使用Qt Designer可视化工具来设计和布局界面,将设计好的界面转换为代码,嵌入到应用程序中。其次,利用标志位翻转控制摄像头的开关,以时间戳的形式保存图像,通过信号与槽机制实现摄像头的开关、新鲜度检测和图像保存等按钮功能。果蔬荧光图像新鲜度检测人机交互界面如图2所示。
图2 果蔬荧光图像新鲜度检测人机交互界面

Fig. 2 Human-computer interaction interface of fruit and vegetable fluorescence image freshness detection

1.4 系统检测原理

按下电源开关后,系统随机开启初始化,散热风扇开始运转,LED激发光源启动照射;同时,主控板的PS端将训练好的算法模型参数从SD卡读取到DRAM(Dynamic Random Access Memory)中,PL(Programmable Logic)端电路启动摄像头,进行荧光图像的采集,并将获取到的图像数据存储在DDR3(Double Data Rate 3)存储器中。然后,系统通过AXI总线将存储的权重参数数据和荧光图像数据读入算法电路中进行前向推理;随后推理结果在PS端做后处理,将结果图像显示在LCD屏幕上。底层设计逻辑的伪代码如表1所示。
表1 果蔬品质劣变荧光成像嵌入式检测系统底层设计逻辑的伪代码

Table1 False code of underlying design logic of fluorescence imaging embedded detection system for fruit and vegetable quality deterioration

底层设计逻辑的伪代码
Sys_init(); //系统以及光源、屏幕、摄像头等各外设初始化
Load_sd_data(); //加载SD卡数据
Camerathread(){ //相机线程
Video_format(); //相机设置
Video_capture(){ //图像采集
emit send_image(); //通过信号把图像数据发送到屏幕上显示
}}
Imageshow = fromImage(); //屏幕显示
Freshness_detection(){ //果蔬荧光图像的新鲜度检测
Read_sd_data(); //读取SD卡中检测模型的权重数据
Read_image_data(); //读取采集的图像数据
YOLOv8-MobileNetV4_model(); //YOLOv8-MobileNetV4 模型进行前向推理
SaveImageToLocal(); //保存图像到本地,SD卡中

2 检测网络模型

2.1 YOLOv8-MobileNetV4 网络结构

本研究提出的目标检测模型以YOLOv8为基础,采用MobileNetV4作为骨干网络,利用其轻量化设计与多尺度特征融合特性,使得模型在有限的计算资源下,依然能够有效增强对图像细节特征的提取能力,实现了模型的轻量化与高效性。模型整体结构如图3所示。
图3 YOLOv8-MobileNetV4网络架构

Fig. 3 YOLOv8-MobileNetV4 network architecture

2.2 模型改进方案

2.2.1 MobileNetV4主干网络

MobileNetV4是新一代的MobileNet模型,集成了通用倒瓶颈块UIB(Universal Inverted Bottleneck),移动多查询注意力MQA(Multi Query Attention)和改进的神经架构搜索NAS(Neural Architecture Search)。该模型在移动CPU、DSP、GPU,以及专用加速器上通常表现为帕累托最优25。其中UIB的结构如图4所示,UIB结构通过引入两个可选的深度卷积层来优化特征提取流程:其中一个对扩展层前的输入特征进行预处理以捕获低层信息,另一个则置于扩展层与投影层之间以强化高层特征的提取。该双卷积设计在增强模型表达能力和特征提取灵活性的同时,也有效地权衡了参数量与性能,使其特别适合移动端部署。
图4 通用倒置瓶颈结构图

注: IB为反向瓶颈。

Fig. 4 Universal inverted bottleneck (UIB) structure diagram

2.2.2 网络剪枝

通道剪枝技术近年来发展迅速,涌现出多种方法。基于注意力机制的通道剪枝(Attention-based Channel Pruning)26是一类受到广泛关注的技术。这类方法通常通过引入额外的注意力模块[如SE(Squeeze-and-Excitation)模块、CBAM(Convolutional Block Attention Module)模块等],依据计算每个通道的注意力权重进行剪枝,在复杂背景或高剪枝率(>50%)下具有较好的鲁棒性。但其计算量较高,需额外计算注意力图(增加15%~25% FLOPs和参数量),且注意力权重增加计算不规则,硬件适配性较低。因此,虽然基于注意力的方法在特定场景下展现出潜力,但在满足本系统核心需求——嵌入式端低功耗、高实时性的前提下,BN剪枝以其较低的额外计算开销、良好的硬件适配性,成为本研究实现模型轻量化的更优选择。
图5所示,首先在模型训练阶段,对所有BN层的缩放因子γ添加L1正则化项(正则化强度系数λ=0.001),共训练100个Epoch,使得部分通道的γ参数趋近于0,从而实现BN层参数的稀疏化。稀疏训练完成后,收集所有BN层的γ参数,并对它们进行排序。随后可根据想要保留的通道比例,设定1个阈值(γ_threshold=0.01),同时遍历每一层BN的γ参数,生成剪纸掩码(Mask),当γ参数大于设定阈值的通道,则Mask为1(保留);当γ参数小于等于阈值的通道,则Mask为0(剪掉)。最后根据每1层的Mask,重新构建网络结构,只保留Mask为1的通道,且将原模型中被保留通道的卷积层、BN层、全连接层(Linear)的权重和偏置,复制到新模型对应位置,用原始数据对剪枝后的新模型进行微调训练(微调50个Epoch),以恢复精度损失。
图5 基于BN层的通道剪枝流程图

Fig. 5 Channel pruning flow chart based on BN layer

2.3 YOLOv8-MobileNetV4的硬件加速优化方法

在FPGA实现中,卷积操作主要依赖于DSP资源,而本设计采用ZYNQ7020上的DSP模块为DSP48E1,DSP48E1模块支持较高位宽的乘法运算,若直接采用32位浮点数进行乘加操作,通常需要多个DSP协同完成,导致资源利用率低、功耗高。而定点数运算结构更为简单,仅需单个DSP即可完成一次乘加操作,能够大幅提升硬件资源利用率和运算速度。卷积神经网络在推理阶段对参数精度具有一定的鲁棒性,因此将32位浮点数据量化为16位定点数,能够在基本不损失精度的前提下,显著降低模型的存储需求和计算复杂度。
本研究采用动态16位定点量化方法,根据不同特征层和权重参数的数据分布范围,动态调整定点小数位数,实现更高的量化精度。具体实现过程中,PS端首先将32位浮点数据转换为16位short类型,并通过移位操作确定小数位数;PL端则利用高层次综合(High-Level Synthesis, HLS)工具的ap_fixed任意精度数据类型,实现高效的定点运算。量化后的卷积、加法等操作均以定点格式进行,进一步降低了存储带宽和功耗。

3 实验方法

3.1 实验材料

采用葡萄和菠菜两种常见果蔬为实验样本,从无锡盒马鲜生超市购买同批次新鲜采摘的葡萄(阳光玫瑰)4串和菠菜20捆后,在1 h内送至室内温度恒定为26 ℃且湿度范围为20%~40%的实验室。所有实验样本经筛选后,均符合以下要求:外形完整无缺损,表皮光滑,呈现该品种特有的鲜亮色泽,无畸形或病斑,并处于完全成熟期,然后用去离子水快速洗净果蔬上残留的农药。最后共得到100个葡萄实验样本和100个菠菜实验样本。实验控制的一个核心环节是确保环境参数的稳定。为此,通过布设温湿度记录仪,使存储环境始终处于受控的实时监控之下,从而有效排除外界气候波动对实验数据的潜在干扰。

3.2 图像采集

荧光图像采集装置搭配1个高度为100 mm的黑色遮光罩,以减少外部光源干扰。同时采用中值滤波和高斯滤波的方法去除噪声,实现数据信号的平滑处理,随后将采集好的果蔬荧光图像以时间戳命名保存到SD卡中。
果蔬的品质测定实验共进行了8 d。在第0天(果蔬采购当天),共采集了100张葡萄荧光图像和100张菠菜荧光图像。为量化果蔬的新鲜程度,在获取荧光图像后,需据此对每个样本执行系统的品质评估。本研究选择叶绿素和维生素C作为菠菜的新鲜度评价指标27;选择可滴定酸度和总可溶性固形物作为葡萄的新鲜度评价指标28。随机抽取4个菠菜样本和4个葡萄样本进行新鲜度指标的测定,其余样本用自封袋密封,放入4 °C的冷藏箱中冷藏。以此类推,重复上述步骤共进行8 d,共获得688张菠菜荧光图像(228个新鲜样本图像、242个次新鲜样本图像和218个腐败样本图像)和688张葡萄荧光图像(236个新鲜样本图像、254个次新鲜样本图像和198个腐败样本图像)。所有样本图像按3∶1的比例分为训练样本和测试样本,其中516个菠菜训练样本和516个葡萄训练样本用于YOLOv8-MobileNetV4检测模型的训练,172个菠菜测试样本和172个葡萄测试样本用于模型性能的评估。

3.3 果蔬新鲜度分级方法

本研究综合运用K-means聚类29与主成分分析法(Principal Component Analysis, PCA)30以构建果蔬新鲜度的分级体系。K-means算法主要依据样品的贮藏天数及其对应指标进行客观等级划分;PCA则负责对多维指标降维,将贮藏过程中的品质变化映射至低维空间,从而通过数据点分布直观揭示其随时间演变的趋势。最终,两种方法得出的结论被用于相互印证,以确保所建立分级标准的科学性与合理性。

3.4 模型性能评价指标

为全面评估模型在果蔬品质实时检测中的性能,本研究建立了一套综合评估体系,主要涵盖检测精度与速度两个方面。检测精度评估引入精准度(Precision, P)、召回率(Recall, R)、平均精度(Average Precision, AP),以及平均精度均值(Mean Average Precision, mAP)进行多维度度量。速度评估则核算平均检测时间(Average Detection Time, ADT)和参数量(Params),以衡量其计算复杂度与推理速度。其中,精准度指正确预测的正样本占所有被预测为正样本的比例;召回率指正确预测的正样本占所有实际正样本的比例;mAP则是所有类别检测精度的算术平均值;参数量指模型中所有可学习参数的总和,它是模型复杂度的直接规模体现,并共同决定了模型训练所需的计算量及其最终的推理速度;ADT用来评估模型检测速度。参数量和ADT越低,算法复杂度越低,模型越轻量化。具体如公式(1)~公式(4)所示。
P = T P T P + F P
R = T P T P + F N
A P = 0 1 P ( R ) d R
m A P = 1 c i = 1 c A p i
式中:FP为正确预测的负样本数;TP为正确预测的正样本数;FN为错误预测的正样本数;c为目标检测的总类别数;PR)为以召回率为X轴,精度为Y轴绘制的曲线,该曲线与坐标轴围成的面积即为平均精度。精确度和召回率的阈值设置为0.5; A p i表示第i个类别对应的AP值。

3.5 运行环境

试验环境操作系统为Ubuntu 18.04.2,显卡为NVIDIA GeForce RTX 3090,显存为24 GB,CPU为Intel(R)Core(TM)i9-10900X(3.70 GHz)。采用Pytorch 1.12.1框架,编程语言为Python 3.9,同时安装了CUDA 9.1以支持GPU的使用。本实验的关键训练超参数设定如下:输入像素尺寸为416×416,批大小设定于16,模型在此配置下持续进行了300个epoch的训练。

4 实验结果分析

4.1 果蔬新鲜度分级结果

图6所示,K-means聚类分析结果表明,样本在预设的3个组别下呈现良好的聚类特性。据此,本研究将葡萄样品按照贮藏时间划分为3组:0~2 d为“新鲜”,3~5 d为“次新鲜”,6~7 d为“腐败”;将菠菜样品同样按照贮藏时间划分为3组:0~2 d为“新鲜”,3~4 d为“次新鲜”,5~7 d为“腐败”。此分级标准被直接转换为图像数据的标签,用于后续检测模型的验证。
图6 葡萄和菠菜的K-means聚类与主元分析结果图

Fig. 6 K-means clustering and principal component analysis results of grape and spinach

在采集实验果蔬荧光图像的8 d中(在4 ℃存储条件下),每天葡萄和菠菜各取4个样品进行新鲜度指标的测定。两种常见果蔬的指标含量测定值如图7所示。
图7 第0~7天菠菜和葡萄新鲜度指标变化折线图

注: 叶绿素和维生素C属于菠菜指标,可滴定酸度和总可溶性固形物属于葡萄指标。

Fig. 7 Line chart of freshness index changes of spinach and grape from day 0 to day 7

图7展示了贮藏过程中每天所有样本的新鲜度指标平均值及标准差。从图7中可以看出,在整个贮存过程中,叶绿素、维生素C和可滴定酸度各自的变化趋势一致,但速率略有不同,总可溶性固形物的变化趋势则与前三者不同。在前3 d内,菠菜和葡萄均保持新鲜,指标变化缓慢。从第3天开始,菠菜的数据变化加剧,表现出明显的失水皱缩;到第5天,菠菜已经出现明显的颜色变化,此时菠菜为腐败等级。而葡萄从第3天开始,颜色开始暗淡,数据加速变化;到第6天,葡萄已失去光泽,出现外表皮皱缩。至第7天,所有果蔬完全失去食用价值,试验终止数据记录。

4.2 果蔬新鲜度检测结果

为了研究果蔬样本随时间的变化趋势,每24 h收集1次样本的紫外荧光图像。图8显示了两种果蔬的荧光图像随时间的变化及相应的新鲜度检测结果。
图8 葡萄和菠菜的荧光图像检测

Fig. 8 Fluorescence image detection of grape and spinach

果蔬新鲜度检测模型性能如表2所示。YOLOv8-MobileNetV4检测果蔬鲜度的平均准确率较高,能正确识别不同鲜度等级的果蔬。当类别为新鲜和腐败时,性能指标良好,平均精度分别为96.71%和97.45%。次新鲜的果蔬检测,平均精度稍低,但也在93%以上。整个模型的平均精度达到95.91%。
表2 YOLOv8-MobileNetV4模型检测果蔬荧光图像新鲜度的性能

Table 2 Performance of YOLOv8-MobileNetV4 model in detecting the freshness of fruit and vegetable fluorescence images

检测对象 新鲜度等级 P/% R/% mAP/%
葡萄 新鲜 99.03 98.18 97.32
次新鲜 94.09 90.51 93.99
腐败 99.56 98.34 97.65
菠菜 新鲜 97.39 96.86 96.1
次新鲜 93.69 89.91 93.17
腐败 98.48 97.64 97.25
果蔬 新鲜 98.21 97.52 96.71
次新鲜 93.89 90.21 93.58
腐败 99.02 97.99 97.45

4.3 消融实验结果

表3的消融实验结果揭示了不同改进策略对模型性能的影响。单独应用通道剪枝技术虽在精准度、召回率和mAP上略有牺牲,但换取了29%的显著提速;而单独采用MobileNetV4作为主干网络,在提升平均精度的同时,将检测时间缩短了约14%。当将MobileNetV4与通道剪枝技术结合时,模型取得了最优性能,精准度、召回率和mAP分别达到97.04%、95.24%和95.91%。这充分证明了两种技术在平衡检测精度、效率与计算成本方面存在显著的协同效应。
表3 改进YOLOv8模型的消融实验

Table 3 Ablation experiment results of the improved YOLOv8 model

MobileNetV4 通道剪枝技术 P/% R/% mAP/% ADT/ms
× × 93.13 91.02 91.99 942
× 93.85 91.81 92.51 814
× 92.09 90.89 91.01 669
97.04 95.24 95.91 585

注:×表示不使用该模块,√表示使用该模块。

4.4 不同目标检测模型性能对比

在本研究中,所提出的YOLOv8-MobileNetV4+通道剪枝在模型压缩与加速方面表现出显著优势。如表4所示,数据集统一使用本实验所采集的荧光图像,与传统的单发多框检测器(Single Shot MultiBox Detector, SSD)和Faster RCNN神经网络相比,本研究模型不仅大幅度减小了模型尺寸,还显著提升了推理速度,极大地降低了对硬件资源的依赖,适合在嵌入式和移动端等资源受限的场景下部署。同时,与YOLOv5和YOLOv8-Ghost等主流轻量级检测网络相比,本研究模型在保持较小模型尺寸和高推理速度的同时,依然能够获得更高的检测精度。这得益于MobileNetV4主干网络的高效特征表达能力,以及BN通道剪枝技术对网络冗余的有效去除。实验结果表明,YOLOv8-MobileNetV4+通道剪枝方法在参数量、平均精度和检测时间3方面均取得了良好的平衡,兼顾了实际应用中的高效性与准确性,具有较强的工程应用价值。
表4 目标检测领域主流算法的参数量、精度与速度性能对比结果

Table 4 Performance comparison results of mainstream algorithms in the field of target detection in terms of parameter size, accuracy, and speed

模型 参数量/MB mAP/% ADT/ms
SSD 30.51 87.91 1 104
YOLOv4-tiny 14.24 86.59 995
Faster RCNN 75.02 88.62 1 203
YOLOv5 18.95 90.13 982
YOLOv8-Ghost 16.21 91.46 891
本研究模型 8.98 95.91 585

5 结 论

本研究针对果蔬品质劣变检测的实际需求,提出并实现了一种基于荧光成像与嵌入式平台的高效检测系统。通过将MobileNetV4主干网络与YOLOv8目标检测框架相结合,并引入基于BN层的通道剪枝技术,实现了模型的结构化压缩与推理加速。实验结果表明,所设计的YOLOv8-MobileNetV4+剪枝模型在保证检测精度的前提下,显著降低了模型体积和硬件资源消耗,提升了系统的实时响应能力。结合ZYNQ异构平台的高效并行计算与低功耗特性,系统整体具备成本低、体积小、便携性强、检测速度快等优势,能够为果蔬供应链中对品质实时监测提供新选择。同时,为提升系统在复杂实际场景下的适应性与鲁棒性,后续研究将重点优化多目标同步检测能力,并拓展覆盖多品类果蔬及混合劣变程度的样本库。

本研究不存在研究者以及与公开研究成果有关的利益冲突。

[1]
郭志明, 王郡艺, 宋烨, 等. 果蔬品质劣变传感检测与监测技术研究进展[J]. 智慧农业(中英文), 2021, 3(4): 14-28.

GUO Z M, WANG J Y, SONG Y, et al. Research progress of sensing detection and monitoring technology for fruit and vegetable quality control[J]. Smart agriculture, 2021, 3(4): 14-28.

[2]
LI R, WANG S C, FENG H Y, et al. An intelligent chitosan/gelatin film via improving the anthocyanin-induced color recognition accuracy for beef sub-freshness differentiation monitoring[J]. Food hydrocolloids, 2024, 146: ID 109219.

[3]
SUN Q, ZHANG M, MUJUMDAR A S. Recent developments of artificial intelligence in drying of fresh food: A review[J]. Critical reviews in food science and nutrition, 2019, 59(14): 2258-2275.

[4]
XIONG X, TAN Y Q, MUBANGO E, et al. Rapid freshness and survival monitoring biosensors of fish: Progress, challenge, and future perspective[J]. Trends in food science & technology, 2022, 129: 61-73.

[5]
WANG D Y, ZHANG M, ADHIKARI B, et al. Determination of polysaccharide content in shiitake mushroom beverage by NIR spectroscopy combined with machine learning: A comparative analysis[J]. Journal of food composition and analysis, 2023, 122: ID 105460.

[6]
SUN Q, ZHANG M, MUJUMDAR A S, et al. Combined LF-NMR and artificial intelligence for continuous real-time monitoring of carrot in microwave vacuum drying[J]. Food and bioprocess technology, 2019, 12(4): 551-562.

[7]
CHEN J L, ZHANG M, XU B G, et al. Artificial intelligence assisted technologies for controlling the drying of fruits and vegetables using physical fields: A review[J]. Trends in food science & technology, 2020, 105: 251-260.

[8]
贾文珅, 吕浩林, 张上, 等. 利用便捷式可见-近红外光谱仪和机器学习分辨霉变小麦及霉变程度[J]. 智慧农业(中英文), 2024, 6(1): 89-100.

JIA W S, H L, ZHANG S, et al. Using a portable visible-near infrared spectrometer and machine learning to distinguish and quantify mold contamination in wheat[J]. Smart agriculture, 2024, 6(1): 89-100.

[9]
CHENG J H, SUN D W. Partial least squares regression (PLSR) applied to NIR and HSI spectral data modeling to predict chemical properties of fish muscle[J]. Food engineering reviews, 2017, 9(1): 36-49.

[10]
沈艳艳, 赵玉涛, 陈庚申, 等. 玉米典型叶部病害高光谱识别及其烈度分类[J]. 智慧农业(中英文), 2024, 6(2): 28-39.

SHEN Y Y, ZHAO Y T, CHEN G S, et al. Identification and severity classification of typical maize foliar diseases based on hyperspectral data[J]. Smart agriculture, 2024, 6(2): 28-39.

[11]
ABAMBA OMWANGE K, SAITO Y, FIRMANDA AL RIZA D, et al. Japanese dace (Tribolodon hakonensis) fish freshness estimation using front-face fluorescence spectroscopy coupled with chemometric analysis[J]. Spectrochimica acta part A: Molecular and biomolecular spectroscopy, 2022, 276: ID 121209.

[12]
杨春晟, 李国华, 徐秋心. 原子光谱分析[M]. 北京: 化学工业出版社, 2010.

YANG C S, LI G H, XU Q X. Atomic spectral analysis[M]. Beijing: Chemical Industry Press, 2010.

[13]
GORJI H T, SHAHABI S M, SHARMA A, et al. Combining deep learning and fluorescence imaging to automatically identify fecal contamination on meat carcasses[J]. Scientific reports, 2022, 12(1): ID 2392.

[14]
HUANG J Y, LIU X, GUO T D, et al. A high-performance FPGA-based depthwise separable convolution accelerator[J]. Electronics, 2023, 12(7): ID 1571.

[15]
ZHANG X Y, ZHOU X Y, LIN M X, et al. ShuffleNet: An extremely efficient convolutional neural network for mobile devices[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2018: 6848-6856.

[16]
HOWARD A G, ZHU M, CHEN B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[EB/OL]. arXiv: 1704.04861, 2017.

[17]
SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2018: 4510-4520.

[18]
HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Piscataway, New Jersey, USA: IEEE, 2019: 1314-1324.

[19]
BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. arXiv:2004.10934, 2020.

[20]
LI N, YE T R, ZHOU Z H, et al. Enhanced YOLOv8 with BiFPN-SimAM for precise defect detection in miniature capacitors[J]. Applied sciences, 2024, 14(1): ID 429.

[21]
LI H, KADAV A, DURDANOVIC I, et al. Pruning filters for efficient convnets[EB/OL]. arXiv:1608.08710, 2016.

[22]
HE Y H, ZHANG X Y, SUN J. Channel pruning for accelerating very deep neural networks[C]// 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway, New Jersey, USA: IEEE, 2017: 1398-1406.

[23]
LIU Z, LI J G, SHEN Z Q, et al. Learning efficient convolutional networks through network slimming[C]// 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway, New Jersey, USA: IEEE, 2017: 2755-2763.

[24]
LIU Z, SUN M, ZHOU T, et al. Rethinking the value of network pruning[EB/OL]. arXiv: 1810.05270, 2018.

[25]
QIN D F, LEICHNER C, DELAKIS M, et al. MobileNetV4: Universal models for the mobile ecosystem[M]// Computer Vision-ECCV 2024. Cham: Springer Nature Switzerland, 2024: 78-96.

[26]
WANG Y C, GUO S, GUO J C, et al. Towards performance-maximizing neural network pruning via global channel attention[J]. Neural networks, 2024, 171: 104-113.

[27]
ISIK B S, ALTAY F. Freshness and spoilage indicators of spinach for waste valorization: A review[J]. Bioresource technology reports, 2025, 31: ID 102171.

[28]
JIA H J, WU C L, HUANG M, et al. TTI and pH-responsive dual colorimetric sensor arrays combined with a cascaded deep learning approach for dynamic monitoring of freshness of fresh-cut fruits[J]. Food chemistry, 2025, 492: ID 145495.

[29]
VINUÉ G, SIMÓ A, ALEMANY S. The k-means algorithm for 3D shapes with an application to apparel design[J]. Advances in data analysis and classification, 2016, 10(1): 103-132.

[30]
陈玉昇, 杨燕华, 林萌, 等. 基于主元分析法的核反应堆关键参数提取研究[J]. 核动力工程, 2019, 40(S2): 35-38.

CHEN Y S, YANG Y H, LIN M, et al. Research on key parameters extraction of nuclear reactor based on principal component analysis[J]. Nuclear power engineering, 2019, 40(S2): 35-38.

文章导航

/