自然环境中鲜食葡萄快速识别与采摘点自动定位方法

doi:10.12133/j.smartag.SA202304001

自然环境中鲜食葡萄快速识别与采摘点自动定位方法

朱衍俊^,¹, 杜文圣¹^,², 王春颖¹, 刘平^,¹, 李祥^,³

1.山东农业大学机械与电子工程学院/智能化农业机械与装备实验室/山东省园艺机械与装备重点实验室，山东泰安 271018

2.山东交通学院工程机械学院，山东济南 250357

3.山东农业大学生命科学学院小麦育种全国重点实验室，山东泰安 271018

Rapid Recognition and Picking Points Automatic Positioning Method for Table Grape in Natural Environment

ZHU Yanjun^,¹, DU Wensheng¹^,², WANG Chunying¹, LIU Ping^,¹, LI Xiang^,³

1.Shandong Agricultural Equipment Intelligent Engineering Laboratory/ Shandong Provincial Key Laboratory of Horticultural/ Machinery and Equipment, College of Mechanical and Electronic Engineering, Shandong Agricultural University, Taian 271018, China

2.College of Construction Machinery, Shandong Jiaotong University, Jinan 250357, China

3.National Key Laboratory of Wheat Improvement, College of Life Sciences, Shandong Agricultural University, Taian 271018, China

通讯作者: 刘平，博士研究生，教授，研究方向为农业智能控制技术、机器人控制与导航、目标检测与识别。E-mail：liupingsdau@126.com；李祥，博士研究生，研究方向为作物高产相关性状的发育生物学、表型组学的研究与应用。E-mail：lixiang@sdau.edu.cn

收稿日期: 2023-04-04

基金资助:

山东省重点研发计划项目 (2022TZXD0010) (2022LZGCQY002) (2021TZXD001)

Received: 2023-04-04

作者简介 About authors

朱衍俊，研究方向为农业信息化。E-mail：zhu__yanjun@163.com E-mail：zhu__yanjun@163.com

摘要

［目的/意义］ 自然环境中鲜食葡萄的快速识别与精准定位是实现鲜食葡萄机器人自动采摘的先决条件。 ［方法］ 本研究基于改进的K-means聚类算法和轮廓分析法提出一种鲜食葡萄采摘点自动定位的方法。首先，采用加权灰度阈值作为聚类算法相似度的判定依据，并以此为基础提出一种自适应调整K值的K-means聚类算法，实现鲜食葡萄的快速有效识别检测；然后，利用提出的轮廓分析法获得果梗轴和采摘点感兴趣区域，利用几何方法实现鲜食葡萄采摘点快速准确定位；最后，利用采集的917张鲜食葡萄图像对本研究提出的算法进行实验验证。［结果和讨论］本研究提出算法定位的鲜食葡萄采摘点与最优采摘点的误差小于12个像素的成功率为90.51%，平均定位时间为0.87 s，实现鲜食葡萄采摘点的快速准确的定位。在篱壁式种植方式与棚架式种植方式下分别进行50次模拟仿真试验，结果表明，篱壁式紫葡萄采摘点定位成功率为86.00%，棚架式紫葡萄识别定位成功率达到92.00%，篱壁式绿葡萄采摘点定位成功率为78.00%，棚架式绿葡萄识别定位成功率为80.00%，整体试验效果较好。 ［结论］ 本研究可为鲜食葡萄采摘机器人实现精准采摘葡萄提供技术支撑。

关键词： 鲜食葡萄 ; K-means聚类算法 ; 轮廓分析法 ; 果梗轴 ; 采摘点 ; 采摘机器人

Abstract

[Objective] Rapid recognition and automatic positioning of table grapes in the natural environment is the prerequisite for the automatic picking of table grapes by the picking robot. [Methods] An rapid recognition and automatic picking points positioning method based on improved K-means clustering algorithm and contour analysis was proposed. First, euclidean distance was replaced by a weighted gray threshold as the judgment basis of K-means similarity. Then the images of table grapes were rasterized according to the K value, and the initial clustering center was obtained. Next, the average gray value of each cluster and the percentage of pixel points of each cluster in the total pixel points were calculated. And the weighted gray threshold was obtained by the average gray value and percentage of adjacent clusters. Then, the clustering was considered as have ended until the weighted gray threshold remained unchanged. Therefore, the cluster image of table grape was obtained. The improved clustering algorithm not only saved the clustering time, but also ensured that the K value could change adaptively. Moreover, the adaptive Otsu algorithm was used to extract grape cluster information, so that the initial binary image of the table grape was obtained. In order to reduce the interference of redundant noise on recognition accuracy, the morphological algorithms (open operation, close operation, images filling and the maximum connected domain) were used to remove noise, so the accurate binary image of table grapes was obtained. And then, the contours of table grapes were obtained by the Sobel operator. Furthermore, table grape clusters grew perpendicular to the ground due to gravity in the natural environment. Therefore, the extreme point and center of gravity point of the grape cluster were obtained based on contour analysis. In addition, the linear bundle where the extreme point and the center of gravity point located was taken as the carrier, and the similarity of pixel points on both sides of the linear bundle were taken as the judgment basis. The line corresponding to the lowest similarity value was taken as the grape stem, so the stem axis of the grape was located. Moreover, according to the agronomic picking requirements of table grapes, and combined with contour analysis, the region of interest (ROI) in picking points could be obtained. Among them, the intersection of the grapes stem and the contour was regarded as the middle point of the bottom edge of the ROI. And the 0.8 times distance between the left and right extreme points was regarded as the length of the ROI, the 0.25 times distance between the gravity point and the intersection of the grape stem and the contour was regarded as the height of the ROI. After that, the central point of the ROI was captured. Then, the nearest point between the center point of the ROI and the grape stem was determined, and this point on the grape stem was taken as the picking point of the table grapes. Finally, 917 grape images (including Summer Black, Moldova, and Youyong) taken by the rear camera of MI8 mobile phone at Jinniu Mountain Base of Shandong Fruit and Vegetable Research Institute were verified experimentally. Results and Discussions] The results showed that the success rate was 90.51% when the error between the table grape picking points and the optimal points were less than 12 pixels, and the average positioning time was 0.87 s. The method realized the fast and accurate localization of table grape picking points. On top of that, according to the two cultivation modes (hedgerow planting and trellis planting) of table grapes, a simulation test platform based on the Dense mechanical arm and the single-chip computer was set up in the study. 50 simulation tests were carried out for the four conditions respectively, among which the success rate of localization for purple grape picking point of hedgerow planting was 86.00%, and the average localization time was 0.89 s; the success rate of localization for purple grape identification and localization of trellis planting was 92.00%, and the average localization time was 0.67 s; the success rate of localization for green grape picking point of hedgerow planting was 78.00%, and the average localization time was 0.72 s; and the success rate of localization for green grape identification and localization of trellis planting was 80.00%, and the average localization time was 0.71 s. [Conclusions] The experimental results showed that the method proposed in the study can meet the requirements of table grape picking, and can provide technical supports for the development of grape picking robot.

Keywords： table grape ; K-means ; contour analysis method ; fruit stem axis ; picking point ; picking robot

PDF (2122KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

朱衍俊, 杜文圣, 王春颖, 刘平, 李祥. 自然环境中鲜食葡萄快速识别与采摘点自动定位方法[J]. 智慧农业（中英文）, 2023, 5(2): 23-34. doi:10.12133/j.smartag.SA202304001

ZHU Yanjun, DU Wensheng, WANG Chunying, LIU Ping, LI Xiang. Rapid Recognition and Picking Points Automatic Positioning Method for Table Grape in Natural Environment[J]. Smart Agriculture, 2023, 5(2): 23-34. doi:10.12133/j.smartag.SA202304001

1 引言

近年来，中国葡萄种植面积和产量逐年增长，但鲜食葡萄采摘仍以人工为主，采摘机器人发展缓慢^［1-3］。鲜食葡萄采摘点的自动定位是采摘机器人实现精确采摘的关键，但自然环境中鲜食葡萄生长环境复杂，外形不规则，果梗颜色与鲜食葡萄树枝干、叶片颜色相似，枝叶、光照等环境因素导致葡萄采摘点的定位难以实现。

国内外众多学者对葡萄的识别采摘展开了研究。早在1995年，Kondo等^［4-6］提出一种多功能葡萄农业机器人，利用果穗的光谱反射及形状识别检测葡萄，但光谱反射受外界湿度、天气等因素影响，约束条件复杂，在自然环境中葡萄识别准确度波动较大。Liu等^［7］结合颜色与纹理特征对葡萄进行识别试验，准确率为88%。Reis等^［8］基于彩色葡萄图像识别分类红、白葡萄，其成功率分别为97%和91%。雷旺雄与卢军^［9］利用YUV颜色模型中的U分量实现葡萄串的分类，并利用角点检测算法实现葡萄采摘点的定位。Perez-zavala等^［10］利用纹理与形状给特征，并结合聚类算法实现葡萄的识别。由于葡萄与枝干、枯叶像素值相近，且伴随外界光照等环境因素影响，其特定颜色准则波动范围较大，以上研究普适性低。Berenstein等^［11］利用统计学测量与形状匹配算法实现葡萄分割定位，识别成功率达90%。刘平等^［12］对自然环境下贴叠葡萄进行了识别分割，识别分割成功率为89.71%。Miao等^［13］运用边缘检测和轮廓拟合实现重叠葡萄果粒的检测与数据测量，平均误差率为1.5%；并进一步地实现贴叠葡萄的采摘点定位^［14］。相较定位葡萄采摘点而言，这些葡萄的识别与分割相对简单，且由于葡萄的形态多变，导致葡萄采摘点定位难度远大于葡萄的分割与识别。

目前，有学者对葡萄类簇状果实采摘点的定位展开研究。罗陆锋等^［15］利用HIS彩色空间中的H分量进行葡萄识别，结合重心确定采摘点，定位成功率为88.03%。Xiong等^［16］旋转RGB颜色通道中的R分量，结合一种改进的Chan-Vese（C-V）水平模型方法进行葡萄背景分离，利用最小外接矩阵与霍夫直线检测定位采摘点，识别精度为80%~92.5%。利用单一颜色通道实现的目标识别与分割受外界扰动影响严重，自然环境中准确率降低。进一步地，熊俊涛等^［17］对非结构环境下的扰动葡萄进行研究，通过Otsu阈值分割得到果实果梗，利用点线结合和霍夫直线拟合进行采摘点识别，但是由于葡萄果梗与果实、枯叶、枝干、叶子之间的颜色相近，阈值分割较难达到预期效果，定位采摘点准确率仅为80%。Luo等^［18］提出了一种基于双目立体视觉的葡萄串空间信息获取方法，实现葡萄串的快速定位，但准确率仅为87%。袁妍^［19］提出一种基于深度视觉的棚架葡萄采摘机器人手眼系统，利用深度相机获得图像并进行背景分离，通过深度点云实现葡萄果梗与果穗的分离，然而其目标葡萄要求无遮挡，且葡萄果穗的高度近似一致，自然环境下葡萄难以满足其实施条件。

近年来，深度学习的发展为水果的识别及采摘点的定位带来新的机遇，罗庆等^［20］改进YOLOv5s算法实现了毛桃及套袋桃的识别与检测。同期，商枫楠等^［21］利用改进的YOLOX实现自然环境中的火龙果快速检测；周文静等^［22］利用Mask R-CNN实现红提葡萄果穗的背景分离，并通过Hough进行果粒分割。宁政通等^［23］利用Mask R-CNN进行葡萄果梗的识别与分割，最终利用区域生长算法精准分割果梗实现采摘点定位，准确率达99.43%。孙碧玉^［24］改进Cascade RCNN网络与E-Net网络，实现重叠番茄串的准确分割。然而采用深度学习方法需花费大量的时间与精力完成图像标注，且深度学习在网络训练过程以及移动端的部署时对设备性能要求较高，成本较高。

针对上述问题，本研究基于改进的K-means聚类算法和轮廓分析法提出了一种鲜食葡萄采摘点自动定位方法，提高鲜食葡萄采摘点定位鲁棒性和精度，为鲜食葡萄采摘机器人实现精准采摘葡萄提供理论支撑。

2 数据与材料

2019年10月18日上午07∶30~11∶30，于山东省果蔬研究所金牛山基地（117.18°E，36.16°N）采集鲜食葡萄图像（如图1），天气晴，气温12~23℃。葡萄品种为夏黑、摩尔多瓦、尤勇，相机采用MI8手机的后置摄像头，采集图像约1200万像素（3024×4032），水平与垂直分辨率为72 dpi，光圈值为f/1.8，曝光时间为1/100 s，共拍摄图像917张。获得的图像由于像素较高，后期图像处理过程中耗费时间较长，因此采用临近插值算法将图像缩放至原图像的0.08倍，像素约为7.8万（242×322），提高算法运行速度与实用性。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 鲜食葡萄样本图像

Fig.1 Image of table grape sample

3 研究方法

首先采用加权灰度阈值作为聚类算法相似度的判定依据，并以此为基础提出一种自适应调整K值的K-means聚类算法，实现鲜食葡萄的快速有效分割。其次利用自适应阈值算法获得鲜食葡萄二值化图像，并根据形态学处理、填充孔洞等操作进行除噪，最终基于最大连通域获得精准目标鲜食葡萄图像及其轮廓。然后利用改进的轮廓分析法获得果梗轴和采摘点感兴趣区域，并利用几何方法实现鲜食葡萄采摘点快速准确定位。鲜食葡萄采摘点的定位算法流程如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 鲜食葡萄采摘点定位流程图

Fig. 2 Flowchart of picking point positioning for table grapes

3.1　鲜食葡萄的检测方法

3.1.1　鲜食葡萄的聚类分割

K-means聚类算法^［25-28］是基于原型划分的算法，根据欧式距离评价图像中各聚类簇的相似度，距离越近，目标相似度越大，反之越小，最终将聚类结束后独立且紧凑的区域作为聚类的最终结果。通过分析发现该算法有2个明显的缺陷：一是聚类算法的K值为随机给定的固定值，而每一张图像都有独立的特点，固定K值难以满足每张图像的聚类要求。二是欧氏距离为自定义或固定值，不能根据图像的改变进行自适应变化，且每次计算各点之间的欧氏距离消耗时间较长，难以实现鲜食葡萄的快速分割。

针对上述问题，本研究对K-means进行改进，提出一种可自适应改变的K值和加权灰度阈值 $D i s$ 作为评价依据的K-means聚类算法，实现鲜食葡萄快速有效地识别分割。改进后的聚类流程如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 改进K-means后聚类算法流程图

Fig. 3 Flow chart of improved K-means clustering algorithm

基于K-means算法的聚类原理，首先将RGB图像转为灰度图像，并设定初始K值。然后按照灰度等级对灰度图像进行K个簇的划分，且单个簇中灰度等级像素数最多的任意点作为初始聚类的中心点，当完成首次聚类后，获得聚类后每个簇的聚类中心点平面坐标信息，为提高聚类准确率，根据公式（1）完成图像栅格化，实现图像初始聚类。

\{\begin{matrix} G r a y = m a x_{i} - m i n_{i} \\ c l u s t e r = \frac{G r a y}{K}, m o d (G r a y, K) = 0 \\ c l u s t e r = \frac{G a r y}{K - 1}, m o d (G r a y, K) \neq 0 \end{matrix}

（1）

其中， $m a x_{i}$ 为i图像中灰度值的最大值； $m i n_{i}$ 为i图像中灰度值的最小值；cluster为每个簇的灰度等级数。

需要注意，当 $m o d (G r a y, K) \neq 0$ 时，第K个为 $m o d (G r a y, K)$ 个灰度等级。

当图像栅格化完成后，获得初始聚类簇及初始聚类中心（见图4）。并通过公式（2）与公式（3）计算每个初始聚类簇像素所占总像素的比例及相邻初始聚类中心灰度值的差值。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 鲜食葡萄图像的初始聚类中心及坐标信息

Fig. 4 Initial cluster center and its coordinate information for images of table grape

P e r_{i} = \frac{N u m_{_c l u s t e r (i)}}{N u m_{_i m g}} \times 100 %, i \in [1, K]

（2）

D_{i} = G r a y_{i + 1} - G r a y_{i}, i \in [1, K - 1]

（3）

其中， $N u m_{_c l u s t e r (i)}$ 为单个聚类簇的像素数，个； $N u m_{_i m g}$ 为图像总像素数，个； $D_{i}$ 为相邻两个聚类中心的灰度阈值； $G r a y_{i}$ 为第 $i$ 个簇聚类中心的灰度值； $P e r_{i}$ 为每个聚类簇中像素数所占图像总像素数的百分比。

为提高聚类算法的鲁棒性，参照公式（4）与公式（5）求取加权灰度阈值 $D i s$ 。

\{\begin{array}{l} D i s_{1} = \sum_{i = 1}^{K - 1} D_{i} \times (P e r_{i} + P e {r_{i}}_{+ 1}) \\ D i s_{2} = D_{1} \times P e r_{1} \end{array}

（4）

D i s = \frac{D i s_{1} + D i s_{2}}{2}

（5）

经多次试验，并对试验数据进行统计分析，发现 $P e r_{1}$ 值总大于 $\sum_{i = 2}^{K} P e r_{i}$ 的数值。进一步分析发现，由于鲜食葡萄颜色较深导致其第1个聚类簇像素数较多，且由于鲜食葡萄多位于图像中间位置，其余聚类中心皆呈圆形包围趋势收敛于鲜食葡萄所在聚类中心，如图4所示。最终根据每个聚类簇所占比例 $P e r$ 与相邻两个聚类重心的灰度差值 $D$ 获得整个图片的加权灰度阈值。特别说明，为保证数据真实有效性，特别增加公式（5）完成第1个与第K个聚类簇的计算。

通过两个相邻簇的聚类中心的灰度差值 $D_{i}$ 与灰度阈值 $D i s$ 相比较，得到：①当 $D_{i} > D i s$ 时，判定两个聚类簇为不同的两类；②当 $D_{i} \leq D i s$ 时，判定两个聚类簇为同一类，并将两个簇合并，且两个簇的聚类的中点作为新的聚类中心，并更新K值。如此循环，直至加权灰度阈值 $D i s$ 不再改变时，聚类结束，如公式（6）计算 $J e_{j}$ ，并输出簇的划分，聚类结果如图5所示。

J e_{j} = \sum_{x \in K_{j}} \frac{1}{N (K_{j})} | g_{i} - u_{j} |^{2}

（6）

其中， $J e_{j}$ 为每个簇的误差平方和，其数值大小在一定程度上可衡量单个簇内数据点的紧密程度，一般 $J e_{j}$ 数值越小代表第j个簇内数据紧密程度越高，聚类效果越好； $g_{i}$ 为第j个簇中的簇内数据点灰度值； $u_{j}$ 为第j个簇的聚类中心灰度值； $N (K_{j})$ 为第j个簇中样本数据点的个数。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 鲜食葡萄的聚类识别结果图

Fig.5 Results of table grapes' clustering recognition image

3.1.2　目标葡萄的获取

分析聚类结果（图5），发现葡萄枝干枯叶等颜色与鲜食葡萄相近，灰度值与鲜食葡萄相似，导致在属于鲜食葡萄的簇中包含较多的细小噪音。本研究采用自适应Otsu对聚类结束后的灰度图像进行图像分割，获得二值图像如图6（a）所示，观察发现仍有较多噪音，运用形态学开闭运算、图像填充以及提取最大连通域，获得精准目标葡萄二值图像，如图6（b）所示。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 鲜食葡萄二值图像

Fig. 6 Binary image of table grapes

3.2　采摘点的定位方法

3.2.1　轮廓分析法

利用Canny算子求取鲜食葡萄区域轮廓，如图7（a）所示。分析获得轮廓左右极值点A、B，将轮廓上所有点认定为质点，如公式（7）求取鲜食葡萄重心点C，结果如图7（b）所示。在无外力干扰情况下，鲜食葡萄由于重力作用悬于空中，果梗轴所在直线穿过重心，而鲜食葡萄果梗必然介于极值点A、B之间，因此根据极值点A、B获得果梗轴感兴趣轮廓，鲜食葡萄果梗一定位于轮廓感兴趣轮廓内，如图7（c）所示。

\{\begin{array}{l} X_{m} = \frac{\sum m_{i} x_{i}}{\sum m_{i}} \\ Y_{m} = \frac{\sum m_{i} y_{i}}{\sum m_{i}} \end{array}

（7）

其中，以图像左上角为原点，纵向为Y轴正方向，横向为X轴正方向； $X_{m}$ 为重心点横坐标； $Y_{m}$ 为重心点纵坐标； $x_{i}$ 为轮廓各点横坐标； $y_{i}$ 为轮廓各点纵坐标； $m_{i}$ 为各点质量，默认轮廓上的点为质点，质量为1。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 鲜食葡萄的轮廓及轮廓信息图

注： A为左极值点；B为右极值点；C为重心

Fig. 7 Contour and contour information image of table grapes

3.2.2　果梗轴的获取

由于果梗轴穿过重心C，所以从左至右将感兴趣轮廓上的点与重心C依次连接，组成待验证线束，如图8（a）所示，待验证线束中一定包含果梗轴。待验证线束的每条直线将鲜食葡萄区域分为左右两个区域，如图8（b）和图8（c）所示，将图8（b）中鲜食葡萄左半区域绕待验证线旋转180°得到图8（d）所示图像，根据图8（c）、图8（d）的平面坐标信息求取两幅依像素相似度P值^［29］，如公式（8），翻转后的左半区域与右半区域相似度越高，P值越小；取P值的最小值对应的待验证线作为果梗轴。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 鲜食葡萄的待验证线束及果梗轴

注： C为重心

Fig. 8 Images of lines bundles of the stem axis to be verified

P = \frac{\sum_{x, y} {[(x_{l}, y_{l}) - (x_{r}, y_{r})]}^{2}}{\sqrt[]{\sum_{x, y} {(x_{l}, y_{l})}^{2} \cdot {(x_{r}, y_{r})}^{2}}}

（8）

其中，P为待验证线右半区域与翻转后的左半区域的像素的相似度值； $(x_{l}, y_{l})$ 为左半区域翻转后点的像素的坐标； $(x_{r}, y_{r})$ 为右半区域点的像素坐标。

3.2.3　目标葡萄采摘点的定位

通过相似度P值确定果梗轴如图9（a）所示，为精准定位采摘点，降低环境对采摘点定位的干扰，根据鲜食葡萄轮廓与果梗轴交点D，轮廓左右极值点A、B及重心C确定采摘点感兴趣区域，感兴趣区域的长度ROI_L为 $0.8 \times L__{A B}$ ，高度ROI_H为 $0.25 \times L__{C D}$ ，如图9（c）所示。其中， $L__{A B}$ 为极值点A、B横坐标轴轴向距离； $L__{C D}$ 为重心C与果梗轴与鲜食葡萄轮廓交点D纵坐标轴轴向距离。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 鲜食葡萄采摘点感兴趣轮廓图

注： D为果梗轴与葡萄轮廓交点；M为果梗轴与采摘点感兴趣区域上边界交点

Fig. 9 Region of interest of picking point for table grapes

其中，采摘点感兴趣区域所在位置的两个约束条件如下：①点D为感兴趣区域矩形底边必过点；②点D为感兴趣区域矩形底边中点。依据公式（9）求取采摘点感兴趣区域的中心O，并获取点O到果梗轴最近的距离的点E，将点E作为最终采摘点，结果如图10所示。

\{\begin{array}{l} X_{O} = \frac{\sum_{i = 1}^{4} x_{i}}{4} \\ Y_{O} = \frac{\sum_{i = 1}^{4} y_{i}}{4} \end{array}

（9）

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 鲜食葡萄的采摘点识别结果图

注： O为采摘点感兴趣区域中心；E为采摘点

Fig. 10 Recognition results of picking point for table grapes

其中， $X_{O}$ 为点O横坐标； $Y_{O}$ 为点O纵坐标； $x_{i}$ 为外接矩形四个顶点的横坐标； $y_{i}$ 为外接矩形四个顶点的纵坐标。

定位采摘点E的两种情况为：①中心O位于果梗轴外，求取果梗轴至点O的最短距离的点E，并将点E作为最终采摘点；②中心O位于果梗轴上，将点O作为采摘点。

4 结果与分析

4.1　试验数据与误差分析

采用像素定位误差^［15］方法分析采摘点定位的准确度，并通过采摘点像素定位误差e评价采摘点定位的精准度，如公式（10）所示：

\{\begin{array}{l} e_{x} = m i n | X - x | \\ e_{y} = m i n | Y - y | \\ e = \sqrt[]{e_{x}^{2} + e_{y}^{2}} \end{array}

（10）

其中，X为最优采摘点像素区域横坐标；Y为最优采摘点像素区域纵坐标；x为所求的采摘点横坐标；y为所求的采摘点纵坐标；e_x 为得到的采摘点到最优采摘点像素区域的行方向坐标误差；e_y 为得到的采摘点到最优采摘点像素区域的列方向误差；e为采摘点像素定位误差。

为保证试验数据真实有效，最优采摘点的坐标范围选自采摘点感兴趣区域内的果梗直线所在区域，根据点D和点M人工设置最优采摘点的坐标范围，以点D和点M的中点为基点，在像素6×30范围内为最优采摘点的区域；计算本研究所提出方法定位的采摘点与人工确定的最优采摘点之间的误差。

为验证本研究所提出的方法，对采集的鲜食葡萄图像进行识别试验，并随机抽取10个样本进行细致分析。表1为10张图像的聚类信息统计。通过分析试验样本，发现当 $K \in [18,22]$ 时，总体聚类效果最佳，因此设置初始K值于 $[18,22]$ 区间内产生，通过分析聚类结果（表1），本研究所提出的K-means方法与原始聚类算法相比，在聚类效果相差无几情况下，聚类速度得到明显提升。表2为10个目标葡萄采摘点定位信息，特别说明第8个试验：由于果梗感兴趣区域上边界超出纵坐标正向区域，从而出现点M纵坐标为负值情况，但并未影响采摘点的准确定位，其中图11为10组试验结果图。

表1 目标葡萄的聚类信息

Table 1 Clustering information of target grapes

样本号	初始K值	最终K值		改进后聚类时间/s	改进前目标簇的误差平方和	改进后目标簇的误差平方和
1	18	7	2.65	0.66	0.0101	0.0098
2	20	8	3.23	0.77	0.0092	0.0110
3	19	7	2.35	0.65	0.0083	0.0083
4	20	7	2.21	0.58	0.0053	0.0066
5	21	4	3.68	1.40	0.0122	0.0115
6	21	6	2.68	0.67	0.0152	0.0147
7	18	3	2.64	0.64	0.0110	0.0113
8	18	8	2.69	0.65	0.0115	0.0101
9	20	9	3.01	0.63	0.0093	0.0100
10	20	8	3.77	1.26	0.0082	0.0090

新窗口打开| 下载CSV

表2 鲜食葡萄采摘点定位信息表

Table 2 Localization information of table grapes

样本号	点D坐标	点M坐标	最优采摘点范围			点E坐标			与最优采摘点的误差			运行时间/s
样本号	$(x_{D}, y_{D})$	$(x_{M}, y_{M})$	X	Y		x	y		e_x	e_y	e	运行时间/s
1	（157，145）	（155，122）	155		133	146		128	9	5	10.3	0.68
2	（155，133）	（153，116）	153		124	148		119	5	5	7.1	0.78
3	（160，143）	（159，116）	159		129	155		133	4	4	5.7	0.66
4	（142，52）	（142，19）	142		35	149		40	7	5	8.6	0.59
5	（152，115）	（151，91）	151		102	136		134	15	32	35.3	1.42
6	（172，149）	（169，1230）	170		135	176		139	6	4	7.2	0.68
7	（163，38）	（161，7）	161		22	165		28	4	6	7.2	0.65
8	（155，26）	（156，-14）	155		6	148		13	7	7	9.9	0.67
9	（204，187）	（204，172）	204		179	199		170	5	9	10.3	0.64
10	（209，55）	（208，20）	208		37	201		43	7	6	9.2	1.28

新窗口打开| 下载CSV

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 部分葡萄定位结果图

Fig.11 Part of grape positioning results

对抽取的10个试验数据进行定位误差分析。鉴于采摘机器人末端采摘装置具有一定的容错范围，因此本方法计算得到的鲜食葡萄采摘点与最优采摘点之间在12个像素认为定位成功，分析表2发现有且仅有一个采摘点误差大于12个像素，抽取的10个样本的平均定位时间为0.74 s。通过表2发现，当鲜食葡萄出现误判时导致鲜食葡萄采摘点定位失败。对拍摄的917张图像试验结果进行统计分析，共有87张图像鲜食葡萄采摘点定位失败，因此整体定位成功率为90.51%，平均定位时间为0.87 s。对定位失败案例的进行统计分析，结果表明光照是导致采摘点定位失败最主要因素，枝叶的遮挡和鲜食葡萄间相互贴叠是导致采摘点定位失败的次要因素。

4.2　对比分析

对本研究提出的算法进行对比分析，主要对改进后的K-means算法与初始K-means算法进行对比，结果如图12所示。其中图12（a）为初始K-means聚类算法的聚类与定位失败案例，由于采取欧式距离作为聚类结果的评判标准，聚类迭代次数多，聚类过程计算复杂，导致聚类时间较长。通过统计，初始K-means聚类算法的平均聚类时间为2.37 s；由于K值的为固定值，导致聚类结果有较多不确定性，如图12（a）与图12（b）都为同一张图像初始K-means聚类的聚类及定位结果。分析发现，由于K值的固定性以及位置的随机性导致聚类结果的差异性较大，难以适应多种环境下的鲜食葡萄检测及定位，影响后续定位的精度及准确率。而本研究提出的算法中，图像栅格化在节约了大量时间的同时，也完成了适用于相应图像的K值赋值与部署，同时采取灰度阈值作为评判标准，在保证精度的前提下，极大提高聚类速度，为采摘点快速定位提供基础，图12（c）为改进K-means后的聚类与定位结果。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 改进K-means方法的结果对比图

（a）初始聚类与定位失败案例（b）初始聚类与定位成功案例（c）改进聚类与定位成功案例

Fig.12 Contrasting results of improved K-means method

4.3　模拟试验

模拟试验以Denso机械臂为平台，以32单片机为控制核心，如图13所示，在模拟环境下验证本研究所提出的方法。试验结果如图14所示，定位数据如表3，在篱壁式种植方式与棚架式种植方式下分别进行50次模拟试验，结果表明，篱壁式紫葡萄采摘点定位成功率为86.00%，棚架式紫葡萄识别定位成功率达到92.00%，篱壁式绿葡萄采摘点定位成功率为78.00%，棚架式绿葡萄识别定位成功率为80.00%，整体试验效果较好。进一步分析发现，由于篱壁式葡萄受枝叶的干扰（遮挡、支撑等），致使篱壁式葡萄采摘点识别成功率略低于棚架式葡萄采摘点识别成功率；由于绿色葡萄受光照及枝叶遮挡影响较为严重（如图14（d）），因此绿葡萄定位采摘成功率明显低于紫葡萄定位成功率，但仍满足多数情况下的采摘点定位。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 鲜食葡萄采摘试验平台

注： 1.末端夹持装置；2.末端剪切装置；3.目标葡萄；4.相机；5.末端电机；6.末端控制器

Fig.13 Picking test platform of table grapes

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 鲜食葡萄采摘试验结果图

Fig. 14 Picking test result of table grapes

表3 鲜食葡萄采摘模拟试验数据

Table 3 Simulation test data for picking of table grapes

种植模式	试验次数	成功率/%	平均时间/s
篱壁式紫葡萄	50	86.00	0.89
棚架式紫葡萄	50	92.00	0.67
篱壁式绿葡萄	50	78.00	0.72
棚架式绿葡萄	50	80.00	0.71

新窗口打开| 下载CSV

5 结论与讨论

本研究基于改进的K-means聚类算法和轮廓分析法提出了一种鲜食葡萄采摘点自动定位的方法，实现自然环境中鲜食葡萄的快速准确定位，具体内容如下：

（1）改进K-means聚类算法。采用加权灰度阈值作为聚类算法相似度的判定依据，并以此为基础提出一种自适应调整K值的K-means聚类算法，满足自然环境中鲜食葡萄的聚类要求，实现鲜食葡萄的快速有效分割。

（2）提出一种基于轮廓分析与点线结合的鲜食葡萄采摘点定位方法。通过轮廓分析法获得果梗轴感兴趣区域，并利用相似度P值定位果梗轴所在直线；进一步利用轮廓分析与点线结合法获得采摘点感兴趣区域，最终快速准确地定位采摘点。

（3）以夏黑、摩尔多瓦及尤勇等鲜食葡萄进行算法验证，结果表明，本研究所提出的方法获得的鲜食葡萄采摘点与最优采摘点的误差小于12个像素的平均成功率为90.51%，平均定位时间0.87 s。（4）经模拟试验验证，篱壁式紫葡萄采摘点定位成功率为86.00%，棚架式紫葡萄识别定位成功率达到92.00%，篱壁式绿葡萄采摘点定位成功率为78.00%，棚架式绿葡萄识别定位成功率为80.00%，整体试验效果较好，表明所提出的方法能够快速准确地实现鲜食葡萄采摘点的自动定位，为鲜食葡萄采摘机器人实现精准采摘鲜食葡萄提供理论依据。

本研究暂未考虑针对鲜食葡萄的贴叠问题，今后将针对光照及枝叶遮挡情况进行深入研究。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

皆彦吉

果蔬采摘机器人的研究现状、问题及对策

[J]. 时代农机, 2018, 45(9): ID 42.