Welcome to Smart Agriculture 中文
Topic--Agricultural Remote Sensing and Phenotyping Information Acquisition Analysis

A fast extraction method of broccoli phenotype based on machine vision and deep learning

  • Zhou Chengquan ,
  • Ye Hongbao ,
  • Yu Guohong ,
  • Hu Jun ,
  • Xu Zhifu
Expand
  • Institute of Agricultural Equipment, Zhejiang Academy of Agricultural Sciences, Hangzhou 310000, China

Received date: 2019-12-10

  Revised date: 2020-01-17

  Online published: 2020-04-17

Highlights

How to accurately obtain the area and freshness of broccoli head in the field condition is the key step to determine broccoli growth. However, the rapid segmentation and grading of broccoli ball remains difficult due to the low equipment development level. In this research, we combined an advanced computer vision technique with a deep learning architecture to allow the acquisition of real-time and accurate information about broccoli ball. By constructing a private image dataset with 442 of broccoli-ball images (acquired using a self-developed imaging system) under controlled conditions, a deep convolutional neural network named “Improved ResNet” was trained to extract the broccoli pixels from the background. The technical process of our method includes: (1) take the orthophoto images of broccoli head based on a near-ground image acquisition platform and establish the original data set; (2) preprocess the training images and input the model for segmentation; (3) use the PSOA and Otsu algorithm for fine segment based on color characteristics to obtain the freshness information. The experimental results demonstrated that the precision of the segmentation model is about 0.9 which is robust to the interference of soil reflectance fluctuation, canopy shadow, leaf occlusion and so on. Our experiments showed that a combination of improved ResNet and PSOA method got higher broccoli balls segmenting and grading precision. One major advantage of this approach is that dealing with only a few images, reducing the data volume and memory requirements for the image processing. All of the methods were evaluated using ground-truth data from three different varieties, which we also make available to the research community for subsequent algorithm development and result comparison. Compared with other 4 approaches, the evaluation results shows better performance regarding the segmentation and grading accuracy. The results of SSIM, precision, recall and F-measure by using Improved ResNet were about 0.911, 0.897, 0.908 and 0.907 respectively, which were 10%~15% higher than the traditional approaches. In addition, on the basis of the segmentation results, PSO-Otsu method was proved that it can be used to achieve a quickly analysis to the freshness of the ball, with the mean accuracy of 0.82. Overall, the proposed method is a high-throughput method to acquire multi-phenotype parameters of broccoli in field condition, which can support the research of broccoli field monitoring and traits tracking.

Cite this article

Zhou Chengquan , Ye Hongbao , Yu Guohong , Hu Jun , Xu Zhifu . A fast extraction method of broccoli phenotype based on machine vision and deep learning[J]. Smart Agriculture, 2020 , 2(1) : 121 -132 . DOI: 10.12133/j.smartag.2020.2.1.201912-SA003

1 引言

西兰花是十字科一、二年生草本植物,其蛋白质含量高并富含多种维生素和多酚类物质,具有较高的种植效益和经济价值[1]。中国是西兰花生产与消费大国,据“国家西兰花良种重大科研联合攻关”项目调研结果,中国目前种植面积和产量均居世界首位。因西兰花是选择性收获作物,同一地块上不同个体花球大小及新鲜水平呈现较大差异,如何精确地对每个花球大小及新鲜度进行评估,是提高采收效率、保证采收质量的关键。过去对西兰花花球检测主要依靠人工,即通过农艺人员定期在田间对不同个体进行花球大小、圆度等参数测量。但传统人工田间调查存在效率低下、主观性强、不能提供实时数据和成本高等问题,影响了西兰花产业智能化发展。
当前,计算机视觉技术被广泛应用于田间复杂环境下的果实提取和分析研究,以实现作物生长的动态监控;而图像分割作为计算机视觉技术的前提和关键,其精度的高低直接影响到后续工作的精度和效率。在自然环境下对目标果实进行准确分割主要包括以下3类方法:(1)基于颜色空间变换和阈值分割方法。这类方法的核心思想是在RGB、Lab、HSV等颜色空间中寻找差异较大的通道并对其进行阈值分割运算。夏永泉等[2]基于HIS颜色空间对叶片病斑进行了提取;高理文和林小桦[3]利用颜色空间变换和最大类间方差法进行全图分割;董晓辉[4]提出了一种基于颜色空间变换的绿色植被快速分割方法,其精度可达到80%以上。但是,该类算法存在动态光照和土壤反射率条件下鲁棒性不足等问题,难以对自然环境下景物实现有效分离。(2)基于浅层模型的机器学习方法。通过人工筛选并提取果实和背景部分的颜色、纹理、性状等特征,生成可准确区分二者的高阶特征矩阵并对分类器进行训练从而获得分割模型。魏丽冉等[5]提出了一种基于核函数支持向量机的植物叶片病害多分类检测模型;周俊等[6]根据K均值聚类算法和直推式支持向量机进行训练,准确获取了农田自然地块中的各种绿色植物;李先锋等[7]提出了一种基于特征优化和最小二乘支持向量(Least Square Support Vector Regression Machine,LS-SVM)实现棉田杂草识别的方法,通过粒子群算法(Particle Swarm Optimization Algorithm,PSOA)对提取到的特征进行优化后输入LS-SVM进行训练以实现杂草识别,其试验精度可达95%以上。然而,浅层模型在实际应用中往往出现对目标特征表达不完整、提取过程和检测过程分离等情况,从而造成分割和识别性能下降。(3)基于深度学习模型的机器学习方法。深度学习由大数据集驱动,不需要设定具体的目标特征即可进行高维数据判别,具有强大的信息处理优势[8]。Lee等[9]通过对AlexNet进行微调,自动提取叶片特征以解决传统方法依赖人工监督导致模型偏差等问题,使用该网络准确率可达99.6%;Dyrmann等[10]利用含残块支路模块的卷积神经网络模型(Convolutional Neural Networks,CNN)在一个包含有20多种作物及杂草的图片数据集上进行分类测试,精度达到了86.2%;Too等[11]对多种经典网络进行参数微调后对PlantVillage数据集中的植物和病虫害进行识别,发现DenseNets-121在迭代次数增加时精度提升最为明显,且所需参数数量最少;Fuentes等[12]将3种分类网络Faster R-CNN,SSD和R-FCN与不同特征提取网络(VGG和ResNet)相结合,提出了一种可以实时定位和识别番茄病虫害种类的系统;李淼等[13]、陈桂芬等[14]开展了基于CNN和迁移学习的农作物病害识别方法研究。上述研究将深度学习模型应用于田间表型信息获取,但因光照、角度和相机规格难以统一等问题均缺乏移动平台试验;且前述研究大多面向大田作物,鲜有对西兰花等作物进行深度学习框架下表型信息提取的研究。
本研究结合机器视觉和深度学习技术,提出了一种西兰花长势信息的高通量获取方法。首先,利用自主研发的地面平台,获取了西兰花多个生育期的冠层正射影像;利用本研究提出的基于改进的深度残差网络(ResNet)对标注数据进行训练学习建立快速、高通量的西兰花球分割模型;并在该模型分割基础上,利用PSOA技术和大津法(Otsu)对花球部位进行二次分割,以实现花球新鲜度分析。试验结果表明,与经典ResNet和GoogleNet以及传统基于颜色空间变换和阈值分割方法相比,本研究提出的方法精度较高且具有较强鲁棒性,对未来田间西兰花的表型分析具有一定的参考价值。

2 材料与方法

2.1 研究区域及试验设计

研究区域与数据采集平台设计如图1所示。试验所用西兰花品种为“浙青452”“台绿1号”和“台绿2号”,花冠层图像拍摄于浙江省嘉兴市浙江省农业科学院杨渡科研创新基地(北纬30°27′,东经120°25′)。试验小区为3个长宽分别为30m和20m的温室大棚种植区,西兰花株距约为30cm,所有田间管理均按照正常水平进行,不设置养分及水分试验对照组。用架设在田间移动平台(FieldScan Pro)上的两台高速工业相机分别从左右两个方向对西兰花花球进行拍摄,拍摄焦距为5mm,镜头保持垂直向下距地面约0.8m。拍摄时间为2018年9月15日上午9点至下午4点之间。将两部相机同步获取的影像利用尺度不变特征变换(Scale-invariant Feature Transform,SIFT)算法进行拼接,得到广角照片以保证花球结构信息的完整性。
图1 研究区域与数据采集平台设计

Fig.1 Study area and the design of image data acquisition platform

2.2 试验平台研发

对西兰花表型信息进行提取除了需要对花球部位进行准确定位和分割,还应该根据其头部“黄—绿”颜色占比对新鲜度进行估计。本研究采用由浙江省农业科学院农业装备研究所研发的FieldScan Pro试验平台采集模型训练所需彩色数码图片,试验平台由田间移动平台和图像采集系统两部分组成。

2.2.1 田间移动平台

FieldScan Pro包括轮式底座、3自由度支架和自动控制装置。轮式底座采用中控设计,由后部搭载的锂电池提供电能,在前后轮处分别装有4个24V直流伺服电机,通过改变信号电压控制其行驶和转向;后轮处安装有电涡流缓速器可以在行驶状态下进行辅助制动。3自由度支架为铝合金材料的刚性装置,可以在X、Y、Z向进行任意位置调节固定,配合具有减震功能的相机支架可实现田间图片的连续稳定拍摄。自动控制装置以可编程逻辑控制器(Programmable Logic Controller,PLC)为核心,共有Y0-Y4五路信号输出:其中Y4端口与继电器共同作用可以触发工业相机快门实现自动、同步拍摄;Y0-Y3端口分别输出两路脉冲信号,控制拍摄支架进行升降。

2.2.2 图像采集系统

图像采集系统由2台高速工业相机及1台高性能移动工作站组成。工业相机由德国BASLER公司研发,型号为MV-SUF1200M-T,采用1″CMOS传感器,像素1200万,帧率30.5 FPS,所有拍摄图片格式存储为JPEG。采集的图像信号通过USB 3.0 Micro-B接口传输至工作站。工作站预装有pylon 5相机软件套件(由BASLER Inc.提供),可对获取的影像进行实时查看以保证质量。

2.3 试验方法

本试验中共获取西兰花花球图像442张,其中“浙青452”花球图像132张,“台绿1号”花球图像141张,“台绿2号”花球图像169张。首先,基于田间拍摄的西兰花花球正射影像,通过人工筛选去除存在失焦、模糊等问题的照片,将剩余每个品种100张照片作为输入数据建立原始影像集,训练集和测试集比例设为4:1,即训练集中包含240张图片,测试集中包含60张图片。经过数据增广和人工标记等预处理手段,将原始数据转化为适合模型训练的大小并提高训练结果的泛化能力[15]。然后利用改进的ResNet对模型进行训练实现西兰花花球分割,并进一步对分割结果采用PSOA和Otsu算法进行二次分割建立西兰花新鲜度评估模型。技术路线如图2所示。
图2 技术路线图

Fig.2 Technology roadmap

2.3.1 图像预处理

(1)数据增广

基于CNN的图像分割算法性能主要取决于训练数据集的规模、质量和多样性,即训练数据集可以覆盖足够多的实际场景或类似环境[13]。然而,要获取足够多不同条件下的西兰花花球图片需要消耗大量的人工成本和时间。为解决样本稀缺造成的过拟合,提高训练网络对对象差异的鲁棒性,使用平移、缩放、旋转、添加噪声等数据增广技术进一步扩充数据集[16]。为提高模型训练效率、降低GPU内存使用率[17],通过Photoshop CS6 软件将240张原始影像裁剪为500×500像素的子图样本(patch),并对这些样本进行上下翻转、旋转、缩放、加入椒盐噪声等增广操作,最终得到2131幅样本。

(2)人工标记

对上述增广结果通过人工筛选出显示效果较好的2000幅样本借助labellmg工具进行样本标记,本研究中的数据集格式为POSCAL VOC2007。

2.3.2 基于改进的ResNet的西兰花花球分割模型

传统卷积网络在信息传递过程中会存在信息丢失和损耗,同时出现梯度消失或梯度爆炸,导致训练网络的深度受到限制。为解决这一问题,微软亚洲研究院的何凯明博士等[18]2015年提出ResNet,该模型可以在加快网络训练速度的同时提升模型准确率并保持较好的推广性,其主要思想是通过在网络中增加直连通道从而保留之前网络层一定比例的输出,使得原始输入信息可以直接传输到后面的层中。然而,经典ResNet卷积层的滤波器作用于局部,获取特征图相互独立且权重相等[19]。实际上这些特征图的重要程度并不相同,采用这一操作会影响训练结果的精度。通过添加Squeeze-and-Excitation(SE)模块可以对特征按照其重要性进行重新调整[20],并用全局信息作为衡量单个特征重要性的标准。图3为将SE模块嵌入ResNet的示例,方框右下角维度信息代表本层输出。使用全局池化(Global Average Pooling)进行遍历(Squeeze)操作[21],然后用两个全连接层Fully Connected(FC)[22]组成Bottleneck结构[23]对通道间的相关性进行建模的同时输出与输入特征相同数量的权重。先将特征维度降低到原来的1/16,再通过模型的ReLU激活函数[24]进行激活输入一个全连接层中返回原来的维度。最后通过Sigmoid函数进行归一化运算获得0-1之间的权重数值,用Scale操作将该权重加权到每个特征图上。由于像素二分类任务(分割)较为简单,本研究设计了一个20层的ResNet,实心曲线为shortcut连接,虚线模块C20、C21通过含有大小1×1、步幅为2的卷积核实现降维。模块C1-C20的卷积核大小为3×3,C9和C16中卷积核步幅为2,其他模块步幅为1。输入图像通过C1-C19,然后经过一个全局平均层最后进入softmax分类层得到其对应标签。
图3 改进的ResNet 模型

Fig.3 Improved ResNet model

遍历待分割图像的每一个像素点,提取以每一个像素点为中心的尺寸为18×18的方形图像块,将这些图像块输入改进的ResNet模型中,得到每一个像素的分类标签,再将其进行重建即可得到最终的分割结果。

2.3.3 基于PSO-Otsu算法的花球新鲜度分析及分级标准

西兰花头部新鲜度的区分和筛选对评估收获品质、提升贸易价值有重要意义。通过机器视觉技术,可以从图像中获取西兰花“黄—绿”颜色区域占比,并以此为依据对花球新鲜度进行评价和分级。像素二分法中较为经典的Otsu算法[25]的主要思想是计算背景和目标区域的方差值 σ 2,使 σ 2最大的灰度值被判定为最佳分割阈值。然而,Otsu算法在处理较为复杂和数量较多的图像时需要遍历所有灰度级来确定阈值,其计算量极大,难以满足实时处理的要求。针对Otsu算法运算复杂、时间复杂度高等缺点,在传统Otsu算法基础上基于PSOA技术进行最佳阈值搜索[26]
(1)在一维平面上均匀投下N个粒子;
(2)计算每个粒子灰度值对应的方差,获取最大方差值 σ 1 2
(3)根据PSOA算法更新粒子的速度和位置,反复迭代实现阈值寻优;
(4)达到最大迭代次数后,将迭代中出现的最大方差 σ N 2所对应灰度值作为图像最佳分割阈值。
PSO-Otsu(Particle Swarm Optimization-Otsu)算法流程如图4所示。
图4 PSO-Otsu算法流程

Fig.4 Flowchart of PSO-Otsu

通过上述PSO-Otsu算法可以对分割出的西兰花头部实现二次分割,从而得到其中“黄—绿”像素占比情况作为新鲜度评价依据。李长缨等[27]根据西兰花花球的视觉黄度对其新鲜度进行了分级,具体分级标准如下:
等级0——肉眼无法检测出黄色区域;
等级1——仅仅有1-3个花苞呈现黄色;
等级3——检测出黄色区域面积小于5%;
等级5——黄色区域面积≤50%;
等级7——检测出的黄色区域占比不超过75%;
等级9——花球所有部位均显示黄色;
黄度计算如公式(1)所示。
Y = ( Y m × N m ) \ ( Y h × N a )
上式中,Y表示花球黄度等级,Ym表示单个花球的黄度,Nm为该等级内包含的花球总数,Yh为最高黄度等级,Na为参与分级的西兰花花球总个数。然而在实际生产中不需要进行如此精细的分级,因为当黄色区域面积超过10%时西兰花对消费者来说已经不具有购买价值(视为不新鲜)。基于这种考虑,并参考[2]的划分标准,本研究将西兰花花球新鲜度分为5个等级,如表1所示。
表1 西兰花花球新鲜度评价指标

Table 1 Evaluation index of fresh degree of broccoli ball

分级 黄色区域占比(%)
Level 0 0
Level 1 <1
Level 2 <5
Level 3 5-10
Level 4 >10

2.4 算法精度评估

本研究使用结构相似性指数(Structural Similarity Index Measurement,SSIM)、精度(Precision)、召回(Recall)和F-度量(F-measure)4个指标评估分割的质量[25]。SSIM描述了分割图像和真实图像之间的相似度,值越高表示图像之间的相似性越高;Precision表示分割算法的准确性;Recall表示分割图像的完整性;F-measure用来平衡Precision和Recall这两个指标,F-measure的值越高,分割结果越好4个指标计算方法见公式(2),(3),(4),(5)
S S I M ( x , y ) = ( 2 μ x μ y + c 1 ) ( 2 σ x y + c 2 ) ( μ x 2 + μ y 2 + c 1 ) ( σ x 2 + σ y 2 + c 2 )
P r e c i s i o n = T P T P + F P
R e c a l l = T P T P + F N
F - m e a s u r e = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l × 100 %
其中xy是比较的两幅图像; μ xx的平均值; μ yy的平均值; σ x 2x的方差; σ y 2y的方差; σ x yxy的协方差;c 1c 2是用来维持稳定的常数。TP表示预测结果和相应的真实结果都是花球像素,FP表示被分类为西兰花花球的像素,但这些像素的真实结果是背景,FN表示属于真实结果但未被正确区分的像素。

3 结果与分析

本研究试验环境为Ubuntu 16.04,操作系统为64位,采用Tensorflow框架。计算机配置为双GTX-1080显卡,8GB显存,内存为16GB,处理器型号为Intel(R) Core (TM) i7-8700K,主频3.7GHz,训练模型均基于Python 3.6.8编写。

3.1 花球分割结果

为进一步分析网络性能,将改进的ResNet与传统ResNet、GoogleNet以及基于颜色空间变换和阈值分割两种方法:植被提取颜色指数(Color Index of Vegetation Extraction,CIVE)和超绿指数(Excess Green Index,ExG)进行比较[28]。其中,CIVE和ExG常被用于植被提取当中,通过区分绿色作物和背景不同的颜色信息实现图像分割和目标提取,计算公式如下。
C I V E = 0.441 R - 0.811 G + 0.385 B + 18.78745
E x G = 2 G - R - B
上式中,RGB分别表示像素的红、绿、蓝通道值。各算法的分割结果和精度评价如图5表2所示。
图5 西兰花花球分割结果

Fig.5 Results of broccoli ball segmentation under different models

表2 西兰花花球分割精度评价

Table 2 Evaluation results of the segmentation accuracy of broccoli ball

指标 处理方法
改进ResNet ResNet GoogleNet CIVE ExG
SSIM 0.911 0.778 0.762 0.771 0.802
Precision 0.897 0.797 0.659 0.789 0.801
Recall 0.908 0.801 0.712 0.821 0.793
F-measure 0.907 0.788 0.701 0.808 0.797
表2可以看出,对于测试的60张西兰花图片,4个指标值相比于两种基于颜色空间变换和灰度阈值分割技术精度提高了25%~30%,比传统ResNet网络也提高了15%~20%,说明利用本方法进行西兰花头部分割结果相对更准确。分析主要原因为:(1)图像中花球表面局部存在叶片遮挡使得叶片表面与西兰花花球表面颜色接近无法单纯依靠颜色特征区分,而深度学习可以对像素不同维度的特征进行主动提取从而有效分离非花球部位;(2)田间光照条件的改变会影响植物冠层的反射率,不同时间段拍摄影像间存在色差,依靠传统图像分割手段处理影像的鲁棒性不足而采用深度学习构建分割模型可以有效克服这一干扰因素;(3)相比于传统ResNet和GoogleNet,在卷积层中加入SE模块减少了参数数量,优化了调参过程并可以提升训练速度,在更深层次的神经网络训练中有效避免过拟合的出现,从而大大提高模型精度。

3.2 花球新鲜度分析结果

在上述花球分割的基础上,利用PSO-Otsu算法对得到的花球区域进行二次分割,实现各品种西兰花新鲜度分析。
图6为西兰花花球新鲜度统计结果,(a)-(c)分别代表3个不同品种的新鲜情况。可以看出,在同一养分水平下“台绿1号”处于Level 0-2新鲜度下的个体比例最高,表明该品种成熟速率较为接近;而“台绿2号”新鲜度呈现两端分布的情况(Level 0占比为26.2%,Level 4占比为30%),说明该品种成熟速率差异性较大。此外,“台绿2号”和“浙青452”花球发黄程度较“台绿1号”偏重,表明这两个品种在相同养分条件下成熟时间早,变质情况严重,对采摘后保存环境要求高。
图6 西兰花新鲜度分级结果

(a)“浙青452”新鲜度分析 (b)“台绿1号”新鲜度分析 (c)“台绿2号”新鲜度分析

Fig.6 Grading results of broccoli ball according to the freshness

为了验证本研究基于PSO-Otsu算法对花球新鲜度评价精度,对二次分割结果与人工标记结果进行了比较和进一步分析。对该方法在300张花球图片上进行了测试,平均相似性指数SSIM为0.847,Precision为0.864、Recall为0.857,F-measure的平均值为0.879, 说明利用本研究方法进行花球新鲜度评价结果较为准确。对3个选定品种西兰花的具体测试结果如表3所示。
表3 基于PSO-Otsu算法的不同品种西兰花花球新鲜度分析精度比较

Table 3 Analysis accuracies of the freshness of different varieties broccoli ball based on PSO-Otsu algorithm

指标 西兰花品种
浙青452 台绿1号 台绿2号
SSIM 0.865 0.856 0.824
Precision 0.825 0.894 0.899
Recall 0.838 0.841 0.873
F-measure 0.851 0.865 0.895

3.3 西兰花花球分割方法鲁棒性分析

3.3.1 光照强度分析

为了研究该方法对光照变化的鲁棒性及最佳工作亮度,采用Photoshop CS6软件的图像亮度调节工具对影像的亮度分量进行调整。将原始图像亮度(3000 lx)作为亮度调节的中心值,从暗到亮均匀模拟出5种不同亮度条件 (1000-5000 lx)。利用本研究方法分别作用于这些不同亮度下的影像,可以模拟出田间不同光照强度对总体识别精度的影响。不同光照条件对分割结果的影响结果如图7所示。
图7 光照条件变化对分割结果的影响分析

Fig. 7 Analysis of the influence of illumination condition on segmentation results

图7中可以看出,识别精度在L2-L4亮度区间内达到最高。这一区间对应于实际拍摄中的中等强度光照。这样的亮度条件可以避免出现过度曝光,同时保证花球和背景间具有足够差异。因此,在实际操作中应尽量将背景灯光亮度控制在L2-L4范围内,以保证试验结果的稳定。
接着,在真实场景中针对不同程度光照条件作用下本模型分割精度进行研究,分别在4种情况下获取测试图片进行分割并与人工标记结果进行对比:(1)晴天顺光;(2)晴天逆光;(3)阴天顺光;(4)阴天逆光。测试图片数量与分析结果如表4所示。
表4 不同光照条件下分割精度评估结果

Table 4 Segmentation accuracy evaluation results of broccoli ball under different light conditions

指标 晴天顺光(83张) 晴天逆光(86张) 阴天顺光(81张) 阴天逆光(94张)
SSIM 0.877 0.856 0.918 0.874
Precision 0.853 0.848 0.901 0.864
Recall 0.876 0.837 0.913 0.857
F-measure 0.895 0.859 0.915 0.873
表4可以看出,本研究方法在晴天和阴天两种不同光照条件以及顺光、逆光两种光线照射方式下精度均高于0.8,且精度变化幅度小于10%。表明该方法不仅适用于阴天采集的光照均匀的图像,也适用于晴天强光照射条件下采集的图像,且对于顺光条件下的图像及逆光条件下的图像均能得到有较好的分割结果。

3.3.2 不同“训练—测试”图像比例分析

通过调整总图像集中“训练集—测试集”的比例对本研究提出的模型在缺乏先验知识情况下的处理精度进行研究,并追踪模型是否发生过拟合。具体调整比例如下:(1)训练集80%—测试集20%;(2)训练集60%—测试集40%;(3)训练集50%—测试集50%;(4)训练集40%—测试集60%;(5)训练集20%—测试集80%。分割结果的影响如图8所示。
图8 “训练-测试”图像比例对分割结果的影响分析

Fig. 8 Influence of training test image proportion on segmentation results

图8中不同“训练—测试”比例下的各指标变化上可以看出,本研究提出的算法在(1)~(5)情况下都表现出良好的分割效果,在Precision和F-measure两个最重要指标上都高于0.8,此外SSIM和Recall值也均高于0.75。其中,SSIM最高的情况(1)相比于最低的(5)增长幅度小于10%;Precision最高的情况(2)比Precision最低的(5)仅仅提升了5%左右。这一结果表明本研究提出的方法对训练集大小变化不敏感。

4 总结和展望

本研究以西兰花花球作为研究对象,提出了一种基于改进ResNet的西兰花长势监测方法。通过自主设计的影像获取平台得到的西兰花冠层正射影像进行分析,可以准确提取西兰花花球并对其新鲜度进行判定。本研究主要贡献如下。
(1)基于传统ResNet架构,设计了适合进行西兰花田间实时分析的改进ResNet,通过加入SE模块减少了网络参数个数,达到平衡各特征图之间的权重并加快了训练速度的目的。
(2)在现有西兰花分级标准的基础上,结合实际蔬菜贸易需求,提出了一种新的西兰花新鲜度分级标准。以该标准为依据,利用基于粒子群模型改进的Otsu算法实现了西兰花球不同颜色区域面积比估算,将该比值与新的分级标准一一对应,从而实现收获前西兰花品质的判定并为自动采收提供技术支撑。
(3)与传统ResNet、GoogleNet以及CIVE、ExG等基于颜色空间变换和阈值分割的方法相比,本研究提出的方法在各评价指标上有了较大幅度的提升,可以有效克服传统方法存在的训练效率低、鲁棒性差等问题。
虽然本研究提出的方法在以上方面取得了一些进展,但仍然存在模型复杂、硬件门槛高和训练数据量偏少等问题。在今后的研究中需要进一步简化网络,并进行大数据下的精度验证;实现以相关结果为基础开发便携式终端产品,方便广大农户使用。
1
郭香凤, 向进乐, 李秀珍, 等. 贮藏温度对西兰花净菜品质的影响[J]. 农业机械学报, 2008, 39(2): 201-204.

2
夏永泉, 李耀斌, 曾莎. 基于HSI颜色空间的植物叶片病斑提取方法[J]. 江苏农业科学, 2015(08): 420-422.

3
高理文, 林小桦. 基于L*a*b*彩色空间和局域动态阈值的药用植物叶片图像分割[J]. 计算机应用与软件, 2014, (1): 232-235.

Gao L, Lin X. Segmentation of images of medicinal plant leaves based on L*a*b* colour space and local dynamic threshold[J]. Computer Applications and Software, 2014, (1): 232-235.

4
董晓辉. 基于多彩色空间的麦田监控图像分割技术研究[D]. 开封: 河南大学, 2015.

Dong X. Wheat mornitoring image segmatation technology using variety of color spaces[D]. Kaifeng: Henan Agricultural University, 2015.

5
魏丽冉, 岳峻, 李振波, 等. 基于核函数支持向量机的植物叶部病害多分类检测方法[J]. 农业机械学报, 2017, (S0): 166-171.

Wei L, Yue J, Li Z, et al. Multi-classification detection method of plant leaf disease based on kernel function SVM[J]. Transactions of the CSAM, 2017, (S0): 166-171.

6
周俊, 刘丽川, 杨继平. 基于K-均值聚类与小波分析的声发射信号去噪[J]. 石油化工高等学校学报, 2013, 26(3): 69-73.

Zhou J, Liu L, Yang J. Acoustic emission signal denoising based on K-means clustering and wavelet analysis[J]. Journal of Petrochemical Universities, 2013, 26(3): 69-73.

7
李先锋, 朱伟兴, 纪滨, 等. 基于图像处理和蚁群优化的形状特征选择与杂草识别[J]. 农业工程学报, 2010, 26(10): 178-182.

Li X, Zhu W, Ji B, et al. Shape feature selection and weed recognition based on image processing and ant colony optimization[J]. Transactions of the CSAE, 2010, 26(10): 178-182.

8
袁定帅, 陈洁, 赖晓芳, 等. 不同贮藏条件对西兰花感官品质及抗氧化物质的影响[J]. 食品科技, 2017, (4): 40-45.

Yuan D, Chen J, Lai X, et al. Effects of diifferent storage conditions on sensory quality and antioxidants of broccoli[J]. Food Science and Techonology, 2017, (4): 40-45.

9
Lee S H, Chan C S, Wilkin P, et al. Deep-plant: Plant identification with convolutional neural networks[C]// IEEE International Conference on Image Processing (ICIP), 2015: 452-456.

10
Dyrmann M, Karstoft H, Midtiby H S. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

11
Too E C, Li Y, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2018, 161: 272-279.

12
Fuentes A, Yoon S, Kim S C, et al. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition[J]. Sensors, 2017, 17: 2022-2042.

13
李淼, 王敬贤, 李华龙, 等. 基于 CNN 和迁移学习的农作物病害识别方法研究[J]. 智慧农业, 2019, 1(3): 46-55.

Li M, Wang J, Li H, et al. Method for identifying crop disease based on CNN and transfer learning[J]. Smart Agriculture, 2019, 1(3): 46-55.

14
陈桂芬, 赵姗, 曹丽英, 等. 基于迁移学习与卷积神经网络的玉米植株病害识别[J]. 智慧农业, 2019, 1(2): 34-44.

Chen G, Zhao S, Cao L, et al. Corn plant disease recognition based on migration learning and convolutional neural network[J]. Smart Agriculture, 2019, 1(2): 34-44.

15
Fu Z, Robles-Kelly A. A quadratic programming approach to image labelling[J]. IET Computer Vision, 2009, 2(4): 193-207.

16
刘万军, 梁雪剑, 曲海成. 不同池化模型的卷积神经网络学习性能研究[J]. 中国图象图形学报, 2016, 21(9): 1178-1190.

Liu W, Liang X, Qu H. Learning performance of convolutional neural networks with different pooling models[J]. Journal of Image and Graphics, 2016, 21(9): 1178-1190.

17
李林, 顾进锋, 宋安捷, 等. 基于GPU的生态环境遥感评价模型并行化研究[J]. 农业机械学报, 2017(5): 140-146.

Li L, Gu J, Song A, et al. Parallelization on model of ecological environment remote sensing evaluation based GPU[J]. Transactions of the CSAM, 2017(5): 140-146.

18
He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[J]. Computer Science, 2016: 630-645.

19
Wang Y, Yang A, Chen X, et al. A deep learning approach for blind drift calibration of sensor networks[J]. IEEE Sensors Journal, 2017, 17(13): 4158-4171.

20
Gong L, Jiang S, Yang Z, et al. Automated pulmonary nodule detection in CT images using 3D deep squeeze-and-excitation networks[J]. International Journal of Computer Assisted Radiology and Surgery, 2019, 14(11): 1969-1979.

21
Zhou X, Jin K, Shang Y, et al. Visually interpretable representation learning for depression recognition from facial images[J]. IEEE Transactions on Affective Computing, 2018, DOI: 10.1109/TAFFC.2018.2828819.

22
Wurfl T, Hoffmann M, Christlein V, et al. Deep learning computed tomography: Learning projection-domain weights from image Domain in limited angle problems[J]. IEEE Transactions on Medical Imaging, 2018, 37(6): 1454-1463.

23
Fan Y C, Chen Y C, Chou S Y. Vivid-DIBR based 2D-3D image conversion system for 3D display[J]. Journal of Display Technology, 2017, 10(10): 887-898.

24
Philipp P, Felix V. Optimal approximation of piecewise smooth functions using deep ReLU neural networks[J]. Neural Networks, 2018, 108: 296-330.

25
Cai H, Yang Z, Cao X, et al. A new iterative triclass thresholding technique in image segmentation[J]. IEEE Transactions on Image Processing, 2014, 23(3): 1038-1046.

26
Hao G, Xu W. Image segmentation using Quantum-behaved partical swarm optimization algorithm[J]. Computer Engineering and Applications, 2007, 43(33): 831-835.

27
李长缨, 简元才, 杜广岑, 等. 青花菜耐贮性鉴定方法和标准[J]. 华北农学报, 1999, 14(4):134-136.

Li C, Jian Y, Du G, et al. Appraising method and standard for storage durability in broccoli[J]. Acta Agriculturae Boreali-Sinica, 1999, 14(4): 134-136.

28
侯格贤, 吴成柯. 图像分割质量评价方法研究[J]. 中国图象图形学报, 2000, 5A(1): 39-43.

Hou G, Wu C. Researches on evaluation methods for images segmentation[J]. Journal of Image and Graphics, 2000, 5A(1): 39-43.

Outlines

/