1 引言
国内外众多学者在果实目标识别领域已经开展了大量的研究工作,现有识别算法基本可以分为两类。一是利用果实自身颜色特性,结合灰度阈值分割的算法。例如黄小玉等[6]提出判别区域特征集成算法与颜色等相结合的识别算法,有效解决了近景色与果叶遮挡问题,识别率达91.7%;钱建平等[7]提出一种基于R/B值和V值的混合颜色空间识别算法,在小幅度降低识别成功率的同时大幅度降低误识率,误识率降低6.4%;针对果叶大面积遮挡,Wang等[8]提出了一种基于凸壳原理的苹果目标识别算法;司永胜等[9]利用归一化红绿色差（R-G）/（R+G）和随机圆环算法对不同光照下苹果图像进行识别分割,识别率高达92%;熊俊涛等[10]提出了基于双边滤波的Retinex图像增强并结合HSI和YCbCr颜色模型的分割算法,避免光照对结果的影响,分割正确率为90.9%。二是利用形状纹理等属性特点实现识别定位。李寒等[11]结合果实纹理和形状特性提出了基于FCNN和霍夫圆变换的识别算法,可有效应对光线、遮挡等影响,检测正确率为86.7%;Sun等[12]提出融合模糊集理论与流形排序法的方法,针对枝叶遮挡、果实与背景色相近的果实进行识别,准确率达90.87%;Seng和Mirisaee[13]提出一种基于最近邻分类并结合果实形状、大小及颜色的识别算法,识别准确率较高;Rakun等[14]将果实颜色、纹理、3D形状三种特性结合实现果实目标识别定位;宋怀波等[15]提出一种基于凸壳原理的遮挡苹果目标识别算法,平均定位误差为4.28%;杨庆华等[16]采用Hough变换结合果实颜色与形状特征实现果实目标识别,识别成功率为90%。
自然场景下的果实识别与定位除了易受枝叶遮挡干扰外,还会受到光照、果实成熟程度等因素影响。大部分研究仅针对于其中某个或某两个因素开展,算法的环境适应性较低。鉴于此,本研究提出基于凸壳原理结合K-means颜色聚类分割算法的识别方法,该算法不仅可应用于枝叶遮挡的情况,还可对受到光照及着色不均等多重因素影响的果实进行识别与定位。
2 测试图像及算法运行环境说明
为测试算法有效性和环境适应性,采集了157幅图像作为测试样本。在自然条件下进行果实识别,影响因素主要为光照、颜色（成熟度）、背景和枝叶遮挡程度。测试图像涵盖这4种影响因素,具体分类如表1 所示。光照因素按照果实表面有无高亮与阴影区域进行分类;颜色与成熟度相关,深红色和红色都属于着色良好,苹果表面含有青色或白色区域属于着色不完全;果实轮廓或果实表面被遮挡三分之一,属于严重遮挡;果实背景按照枝叶、天空、土壤归为三类。
表 1 测试图像分类Table 1 Classification of test images |
| 影响因素 | 数量/（幅） | |
|---|---|---|
| 光照 | 含高亮与阴影 | 69 |
| 无高亮与阴影 | 88 | |
| 颜色 | 深红色 | 29 |
| 红色 | 81 | |
| 着色不完全 | 47 | |
| 枝叶遮挡程度 | 未遮挡 | 36 |
| 部分遮挡 | 64 | |
| 大面积遮挡 | 57 | |
| 背景 | 枝叶 | 48 |
| 枝叶与天空 | 93 | |
| 枝叶与土地 | 16 | |
本研究算法运行于Microsoft Windows 10操作系统,Matlab R2016a版本软件,内存12G,硬盘空间239G。
3 基于凸壳原理的目标识别算法
基于凸壳原理的目标识别算法包括苹果目标提取、卷包裹凸壳算法处理和圆拟合定位三部分。首先提取苹果目标,利用凸壳原理处理得到更接近真实果实面积的凸壳多边形,最后使用最小二乘法对其进行圆拟合,实现果实目标定位。
3.1 苹果目标提取方法研究
苹果目标提取是进行目标识别定位的前期准备。为了获取果实目标,对原图进行图像增强后,利用K-means聚类算法得到目标的大致位置,然后进行目标预处理操作达到去除冗杂干扰信息的目的。
3.1.1 图像增强
图像采集过程中会引入噪声点,导致部分传递信息损失,需要对其进行图像增强。高斯滤波可有效抑制图像噪声,因此本研究选择高斯滤波去除图像噪声,增强有用信息、抑制无关信息,达到图像增强的目的。图1（a） 为原图,含有被枝叶遮挡的果实区域和因光照造成的光斑及阴影,图1（b） 是经过高斯滤波去噪后的图像,图像变得较平滑。
3.1.2 基于K-means聚类分割算法的苹果目标分割
K-means聚类算法是一种无指导学习算法,通过迭代搜索将单一数据划分为指定的簇[17]。假设要将目标聚成k类,则K-means聚类算法步骤如下：
1）选取k类的初始聚类中心分别为：Z1(1),Z2(1),…,Zk(1);
2）在第n次迭代时,对样本集{Z}用如下方法分类：对i,j=1,2…k,i≠j,若||Z-Zj(n)||<||Z∈Zi(n)||,则Z∈Sj(n);
3）令由2）得到的新类中心为Zj(n+1),使得$\sum\limits_{j=1}^{k}{\sum\limits_{Z\in {{s}_{j}}(n)}{{{\left\| Z-{{Z}_{j}}(n+1) \right\|}^{2}}}}$达到最小;
4）对于所有的j=1,2,…,k,若Zj(n+1)=Zj(n)则迭代结束;否则,n=n+1,转到步骤2）继续执行。
在K-means聚类算法中,分类数k会对图像聚类效果产生影响。本研究中聚类数k设为3,将图像分为果实、枝叶和土壤/天空三类。图1（b） 进行K-means颜色聚类处理的结果如图2 所示,背景与果实目标已初步分割,提取出了未被枝叶遮挡的果实部分。
3.1.3 目标预处理
K-means聚类算法处理后得到的目标图像含有枝叶等冗杂信息可能导致后续处理步骤出错,需要转换为二值图像并做进一步处理,为后期分割果实目标做准备工作,这个过程称为目标预处理过程,具体步骤如图3 所示。利用最大类间方差算法对图2 中的果实与背景作进一步分割,分割后的结果见图3（a） ,目标图像中含有因光斑导致的孔洞、边缘毛刺和小面积未连通区域等。为避免后续步骤出错,需对图3（a） 进行图像填充、图像开运算及去除未连通小区域等预处理,处理结果见图3（b） ,孔洞和非目标小区域被消除,图像边缘变平滑,确保了识别算法后期处理运行的准确高效。
3.2 卷包裹凸壳算法处理
（1）对目标图像边缘进行标记,按照标记大小顺序逐一提取其凸壳;
（2）搜寻给定标记值的目标轮廓点集S中纵坐标最小的点p1,过点p1做水平直线 ,令p1为凸壳的初始顶点;
（3）绕p1点逆时针旋转直线L将首先触及到的S中的点p2作为凸壳的第二个顶点,线段p1p2则构成凸壳的第一条边;
（4）重复（3）,直到使L绕顶点pn按逆时针旋转回到p1,则线段pnp1构成凸壳的第n条边;
（5）由封闭折线p1p2,p2p3,…,pn-1pn,pnp1构成的凸多边形就是点集S的凸壳。
3.3 圆拟合定位
利用凸壳原理得到目标区域之后,进行圆拟合处理,实现苹果目标定位。曲线拟合采用最小二乘法,通过凸壳多边形各点到未知拟合圆边缘对应点的距离平方和的最小化,求出未知拟合圆半径圆心的最佳匹配值。对凸壳多边形进行曲线拟合处理,为方便观察凸壳多边形与圆曲线的拟合程度,将其在直角坐标系中显示如图5（a） ,横纵坐标表示该点的像素坐标,根据黑色凸壳多边形各点拟合得到蓝色拟合圆。将拟合圆在原图中显示,识别与定位效果如图5（b） 所示,本算法处理目标图像最终得到蓝色拟合圆,这个圆与苹果真实轮廓基本重合,被枝叶遮挡的果实区域也被识别出来,算法受到各种因素影响较小,识别效果较好。
4 对比方法
为对比并验证本文算法的目标识别效果,提出两种对比方法,基于去伪轮廓的目标识别方法和全轮廓拟合目标识别方法。
4.1 基于去伪轮廓的目标识别算法
基于去伪轮廓的目标识别算法包括目标图像前期处理和去伪轮廓后果实目标的圆拟合两部分。目标前期处理得到果实目标的全轮廓后,去除伪轮廓并用最小二乘法进行圆拟合,实现果实目标定位。
（1）目标图像前期处理
目标图像前期处理旨在得到凸壳拟合圆的圆心与目标全轮廓,为后续去伪轮廓拟合做准备。经3.1节获取苹果目标图像之后,对目标图像分别进行2步处理：
a. 对目标图像进行凸壳多边形拟合得到圆心,具体处理方式前文已经详述,此处不再赘述。
b. 利用边界跟踪算子提取目标边界,此边界为目标全轮廓。
（2）去伪轮廓后果实目标的圆拟合
目标图像前期处理得到凸壳拟合圆的圆心与目标全轮廓后,需要去除伪轮廓并进行圆拟合定位。由图5（b） 可以看出凸壳拟合圆的圆心基本在果实目标的中心位置,枝叶遮挡等因素造成的伪轮廓,一般为凹陷部分,与圆心距离较近。本算法中伪轮廓的判定准则为：目标轮廓点到圆心的距离小于各轮廓点到圆心距离均值的0.9倍,即为伪轮廓点。按照判定准则,图6（a） 中蓝色轮廓为伪轮廓,目标全轮廓由蓝色伪轮廓和红色非伪轮廓组成,该算法去除了大量的伪轮廓,仅有一小部分未能识别去除。
去除所有伪轮廓点并拟合其余轮廓点,实现目标定位。为方便观察,将去伪轮廓拟合结果在坐标系中显示,如图6（b） 所示,红色去伪轮廓段与黑色拟合圆曲线大部分重叠,拟合程度较好。
4.2 全轮廓拟合目标识别算法
5 测试结果与分析
5.1 评价指标
重叠率OI是真实苹果面积（S）与拟合圆（S1）的重叠面积（S1∩S）占真实苹果面积的比例,体现真实苹果与拟合圆的重合程度,该值越高,拟合识别定位的准确度越高。重叠率OI[20]的计算公式如（1）所示。
$OI=\frac{\left| S\bigcap {{S}_{1}} \right|}{S}\times 100%$
假阴性率FN[8]是真实苹果目标的面积与重叠面积的差值（S-|S1∩S|）占真实苹果面积的比例,表示未被识别出的真实苹果区域的大小程度。该值越小,说明未被识别出的目标面积越小,拟合定位效果越好,计算公式如（2）所示。
$FN=\frac{S-\left| {{S}_{1}}\bigcap S \right|}{S}\times 100%$
假阳性率FP[15]是拟合圆面积与重叠面积的差值（S1-|S1∩S|）占真实苹果面积的比例,表示拟合圆所定位的区域中不是真实目标的程度,即误识程度。假阳性率FP值越小,则拟合圆中非真实果实的面积越小,误识程度越低,计算公式如（3）所示。
$FP=\frac{{{S}_{1}}-\left| {{S}_{1}}\bigcap S \right|}{S}\times 100%$
其中利用Photoshop软件处理获取真实苹果目标面积。拟合圆面积、重叠面积、假阴面积及假阳面积用MATLAB运行代码得到,面积的单位均为像素数。
5.2 试验结果
在前文所述的运行环境下,用本研究提出的算法和两种对比算法处理157幅测试图像,每幅图像的平均运行时间分别为12.2s、14.4s和12.0s,运行速率较慢,算法有待优化以提高运行效率。
所有测试结果如图8 所示,图中横坐标是图像序号,纵坐标是测试指标数值,可直观地反映各个图像的指标值。经过计算,基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法的重叠率均值分别为83.7%、79.5%和70.3%,假阴性率均值分别为16.3%、20.5%和29.7%,假阳性率均值分别为2.9%、1.7%和1.2%。总体而言,与两种对比算法相比较,本研究提出的算法可有效实现自然场景下的果实识别,识别与定位结果更精确。
本研究按照影响因素将测试图像分为四大类,其中果实表面含高亮与阴影与无高亮阴影相比,三种算法的重叠率平均下降了6%;颜色为红色的苹果图像指标结果在三种着色分类情况中最好;未遮挡果实图像由本研究算法处理得到的重叠率均值为89.6%,遮挡程度为1/3的图像重叠率均值为85%,遮挡程度超过1/3的图像重叠率均值为78.5%;由于聚类数为3,当背景仅为枝叶时,三种算法识别定位效果与另两种背景相比稍差。三种算法针对不同分类图像测试得到的假阳性率均值大致相同,该值较为稳定。
本研究方法与两个对比方法的部分测试过程如图9 所示,蓝色拟合圆、粉色拟合圆和绿色拟合圆分别由基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法处理得到,直角坐标系中黑色轮廓为伪轮廓。从图9 中可以看出,结合K-means聚类算法与大津阈值法能较好的将果实从背景中分割出来,识别与分割的准确程度较高。与两种对比算法相比,基于凸壳原理的目标识别算法的拟合圆与苹果轮廓最贴合,该算法定位准确度最高。
5.3 结果分析与讨论
（1）遮挡程度是影响本研究算法重叠率和假阴性率的重要因素。由试验结果可知,遮挡程度为1/3的图像重叠率均值较未遮挡情况下降了约6%,遮挡程度超过1/3的图像下降了11.1%。若枝叶遮挡程度较低,大部分真实轮廓被保留,获取的凸壳多边形能体现苹果部分轮廓特征,则拟合效果较好。若遮挡面积过大,果实目标的凸壳多边形与真实果实轮廓相差较大,拟合效果较差。
（2）本研究算法利用拟合圆定位,但苹果轮廓并非绝对圆形,拟合圆中会包括果柄果蒂等不规则部分,导致假阳性率升高。
（3）影响结果的另一因素是光照。在提取果实目标时,光照造成的果实阴影部分无法被识别出或者识别不全,分割得到的目标图像与原始图像相差较大导致后续拟合效果较差,定位准确性较低。
（4）自然场景下果实的精准定位是智能农业机械采摘的关键环节,本研究以自然场景下的苹果图像为测试对象,以K-means聚类分割算法为基础并融合凸壳原理,提出基于凸壳原理的目标识别算法,将果实定位问题转化为圆拟合问题。
（5）基于凸壳原理的目标识别算法重叠率为83.7%,分别高出两种对比算法结果的4.2%、13.4%;本研究算法和两种对比算法的假阳性率都较低,分别为2.9%、1.7%和1.2%;基于凸壳原理的目标识别算法的假阴性率最低,为16.3%;
（6）苹果遮挡程度与光照是影响识别效果的主要因素。如何减小遮挡与光照影响,使拟合圆更贴合果实真实轮廓尚需深入研究。
