Welcome to Smart Agriculture 中文
Special Issue--Agricultural Robot and Smart Equipment

Research Status and Development Direction of Design and Control Technology of Fruit and Vegetable Picking Robot System

  • WU Jianqiao , 1 ,
  • FAN Shengzhe 2 ,
  • GONG Liang 2 ,
  • YUAN Jin 3 ,
  • ZHOU Qiang 4 ,
  • LIU Chengliang , 2
Expand
  • 1. Shanghai Agricultural Machinery Research Institute, Shanghai 201106, China
  • 2. School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China
  • 3. College of Mechanical and Electronic Engineering, Shandong Agricultural University, Tai'an 271018, China. 4. Shanghai Academy of Agriculture, Shanghai 201403, China

Received date: 2020-11-20

  Revised date: 2020-12-25

  Online published: 2021-02-05

Highlights

Vegetable and fruit harvesting is the most difficult production process to achieve mechanized operations. High-efficiency and low-loss picking is also a worldwide problem in the field of agricultural robot research and development, resulting in few production and application equipment currently on the market. In response to the demand for picking vegetables and fruits, to improve the time-consuming, labor-intensive, low-efficiency, and low-automation problems of manual picking, scholars have designed a series of automated picking equipment in the recent 30 years, which has promoted the development of agricultural robot technology. In the research and development of fresh vegetable and fruit picking equipment, firstly, the harvesting object and harvesting scene should be determined according to the growth position, shape and weight of the crop, the complexity of the scene, the degree of automation required, through complexity estimation, mechanical characteristics analysis, pose modeling and other methods clarify the design requirements of agricultural robots. Secondly, as the core executor of the entire picking action, the design of the end effector of the picking robot is particularly important. In this article, the structure of the end effector was classified, the design process and method of the end effectors were summarized, the common end effector driving methods and cutting methods were expounded, and the fruit collection mechanism was summarized. Furthermore, the overall control scheme of the picking robot, recognition and positioning method, adaptive control scheme of obstacle avoidance method, quality classification method, human-computer interaction and multi-machine cooperation scheme were summarized. Finally, in order to evaluate the performance of the picking robot overall, the indicators of average picking efficiency, long-term picking efficiency, harvest quality, picking maturity rate and missed picking rate were proposed. The overall development trend was pointed that picking robots would develop toward generalization of picking target scenes, diversified structures, full automation, intelligence, and clustering were put forward in the end.

Cite this article

WU Jianqiao , FAN Shengzhe , GONG Liang , YUAN Jin , ZHOU Qiang , LIU Chengliang . Research Status and Development Direction of Design and Control Technology of Fruit and Vegetable Picking Robot System[J]. Smart Agriculture, 2020 , 2(4) : 17 -40 . DOI: 10.12133/j.smartag.2020.2.4.202011-SA004

1 引 言

机器人和机械手通常被用来代替人类完成枯燥、重复、肮脏或危险的工作1-3。在过去的四十余年中,机器人经历了蓬勃的发展4-6。但受限于当前技术水平,很多人类可以轻易完成的工作,例如拾起和放置形状、大小、材料和表面特性差异很大的物体,对于机器人而言仍具有挑战性7,8
机械手是一种安装在机器人上的工具,用于抓紧、搬运和放置目标,是机器人的重要执行器之一9。区别于单独的机械末端,机械手是包括设计目标、机械结构、驱动方式、控制方案、视觉算法、评价体系等一系列相关领域的系统结合。自1975年以来,由于在多个领域出现了大量对机器手的不同需求,其设计和制造技术得到了迅速的发展10。Festo、Schunk、BTM等公司已经开发了许多机械结构、驱动形式各异的商用机械手。为了将人力从繁重、重复、低效的工作中解放出来,作为农业机器人最重要的组件之一,机械手已经应用到了农业的各个领域,例如收获水果和蔬菜11-14、嫁接15-17、移植18-20和修剪21-23等。但目前,机器手在农业、食品和生物等领域的发展尚不如在制造业中成熟10,24-26,这主要是由于以下几点原因造成:一是农业环境具有非结构化或半结构化的特点,导致其场景复杂度远远高于工业环境27,28,对采摘机械算法的鲁棒性以及机械的稳定性都提出了很高的要求;二是农产品通常具有质地脆弱、易擦伤、易粘附和难以被夹紧的特点,其抓取复杂度远高于简单的工件;三是农业产品的果实的形态特征、生长发育情况各异,且个体之间也有较大差异29;四是农产品通常具有较为固定的采摘时机,不当的采摘时间将大大影响农产品的质量水平,对采摘机械的智能化与工作效率提出了较高要求;五是采摘机械的服务对象大多是农民,因此采摘机械要具有工作可靠、操作简单的特点。除此之外,考虑到农产品的利润较低、季节性较强等特点,需要严格控制采摘机械的成本。由于上述因素的存在,应用在农业中的机械手对材料的选择、抓取方式的设计,控制和识别算法的设计都提出了更高的要求。
目前已有许多专门针对采摘机器人,如完整采摘机器人系统6,30和收获机器人5,31,32技术等方面的综述;针对水果和蔬菜的采摘与加持机器手2,机械末端的设计和优化33、机械末端及其应用1,或针对机器人的某些子任务的综述,如控制、导航34-36和果实定位37,38等。本文在前人综述的基础之上,针对应用于果蔬采摘的机器手系统,从采收对象和场景、采摘机械结构、采摘控制方案,以及系统评价指标四大方面展开综述,分析了目前采摘机械手主流的采摘目标、应用场景,总结了目前采摘机械手主要的机械结构形式和抓取方式,概括了刚性采摘机械手的设计流程,梳理了目前采摘机械手系统主流的总控方案、识别定位方法和避障算法,归纳了采摘机械手系统的评价指标,并针对未来采摘机械手的发展方向和趋势进行了展望。

2 采收对象和场景

鉴于目前采摘机器人能力的限制,市面上没有能够适应所有种类、所有场景的作物采摘器械。因此,在采摘机械机械手设计之初,设计者必须针对不同的采摘目标和采摘场景进行分析,因地制宜地进行设计采摘机械。总体而言,影响机器人采收目标的设计包括采收对象的特征和机器人运行的场景两方面因素。

2.1 采摘果实的种类

智能采摘机械与传统农机在采摘目标上有很大不同,这是由于它的高成本和工作的高复杂性决定的。智能采摘机械的目标作物通常是水果、花卉、蔬菜、香料等高价值作物。这类作物比主食作物的收获过程更为复杂,且要求更高。但与此同时,这类作物也具有更高的价值和利润,因此,针对这些作物的智能采摘机械具有较高的市场需求和良好的发展前景。为开发出足够智能的采摘机械,国内外学者已经进行了长时间的探索。
国外在采摘机械的研制方面起步较早,欧美和日本等发达国家在采摘机械方面的研究始于上个世纪,目前已经有比较高的水平。为缓解劳动力短缺对农业可持续发展带来的不良影响,Preter等39设计了一种无损伤草莓采摘机械,其原型机可以在4 s内完成一颗草莓的采摘。为解决人工采摘草莓耗时较多、人工成本过高的问题,Xiong等40设计了一种草莓采摘机器人,使用电缆驱动的手指包裹草莓果实完成采摘,对于单独的草莓的采摘成功率接近96.8%,但在实际农场中仅能达到59%。为解决劳动力匮乏的问题,并提高生物产品质量,20世纪70年代后期,日本已研制出如嫁接机器人、扦插机器人、移栽机器人和采摘机器人等多种农业机器人41。20世纪90年代,日本研制出了能够应用于农业生产的机器人。但这些机器人大多只能完成特定的一项工作。为解决这个问题,日本冈山大学的Monta等42设计了一种多功能葡萄采摘机器人,可以完成收割、浆果稀释、喷洒农药、果实装袋四种任务。为解决茄子收获过程复杂、占用时间多的问题,日本蔬菜与茶科学研究所的Hayashi43研制了一种可以完成识别、处理和拣选任务的茄子收获机器人,成功收获率为62.5%,每收获一个茄子耗时64.1 s。日本京都大学的Kondo团队一直致力于采摘机械的研究,已成功研制出了番茄44、草莓45,46]、菊花47等采摘机器人。
国内采摘机械研制虽与国外顶尖水平仍有一定差距,但在近些年已有较大进展。为解决手工收割番茄费时费力且不利于大规模种植的问题,Wang等48设计了一种具有四轴独立转向系统、五自由度收割系统以及双目立体视觉导航系统的温室番茄收割机器人,其识别成功率高达99.3%,采摘成功率为86%,且每个番茄采摘时间仅需15 s。为解决柑橘废弃严重及机械化收获水平低的问题,霍银龙等49设计了一种全自动旋转式柑橘机械采摘机,实现了柑橘果实的采摘、收集和自动装箱;为制造出低成本和高效的采桃机械,Yu等50设计了一种六自由度采桃机械手,结合核相关滤波算法(Kernel Correlation Filter,KCF)高速跟踪算法和高精度测距算法,该机械目标检测速度约为14 帧/s,平均识别率超过90%,目标跟踪速度约为40 帧/s。
目前主流的采摘果实目标为苹果、草莓、茄子、柑橘等。这类果实具有体积较小、颜色鲜艳、生长位置适合机械化采摘的特点,为识别和采摘带来了很大便利。对于西瓜、甜瓜等果实,由于其具有体积较大、成熟度难以区分、果实颜色与叶片及藤蔓接近等特点,对识别和采摘造成了很大困难,相关的研究较少,目前没有十分有效的采摘方案;而对于花生、土豆一类果实生长在地下的作物,由于其果实的识别和摘取难度过高,目前也没有合适的采摘方案。
除此之外,当前的采摘机械手具有很强的专用性。而同种果实在一年中的采摘季节通常是短暂而固定的,这种专用型采摘机械无疑降低了使用率、增加了成本。因此设计多功能采摘机械和通用型采摘机械将大大提升采摘机械的使用率和降低使用成本,也必然是农业未来的重点研究方向之一。

2.2 采摘对象的力学特性

为在力学方面对采摘机械设计提供理论指导,国内外学者对被采摘果实的力学特性进行了一系列研究。刘继展等51对不同成熟期的番茄果实进行了挤压实验,对番茄的果梗进行折断和拉断实验,对番茄及其果梗的力学特性进行了分析,得出了折断方式比拉断方式更适合番茄采摘的结论。为研究灵武长枣硬脆性所带来的易损问题,刘博翰52根据不同成熟度灵武长枣的力学行为,使用多种实验仪器对枣的动压机械损伤和冲击机械损伤进行深入分析,得到了对应的弹塑性力学方程,为采摘执行机构的设计提供了理论依据。
除此之外,由于包裹型抓手对于抓取力有较为严格的限制,部分学者在设计包裹型抓手前会对果实的某一项力学性能进行测试或试验。Dimeas等53在设计草莓采摘抓手时采用两种抓取方案对草莓的摘取力、拉力、弯曲力进行了一系列测试,得出侧面夹取是最优抓取姿势。为获取气吸式采摘枸杞的最佳工作参数,王荣炎等54对枸杞进行了力学实验,使用FLUENT软件对气吸式采摘装置的管道进行建模仿真,得到管道的气体压力和速度云图,并通过气吸采摘实验得出了该设备的最佳工作参数,为气吸式枸杞采摘装置的研制提供了指导。
总体而言,目前国内外学者对果实的力学特性虽有所探索,但大多比较简单和片面,缺乏系统的研究和理论支撑。这主要是由于果实作为一种生物材料,在力学特性与传统材料上有很大区别。目前果实力学特性方面缺乏完整的理论体系,相关领域的进步仍需要依靠生物力学的进一步发展。

2.3 对位姿的建模方法

位姿建模指的是对采摘目标的位置和姿态进行估算,从而为采摘机器人的运动路径规划、姿态规划提供指导。
为解决苹果视觉定位中对获取果实的姿态信息较少、影响采摘成功率的问题,张高阳55基于粒子滤波理论结合双目视觉信息和运动中的单目信息完成了对苹果的定位,并通过花萼遗迹是否可见将苹果姿态分为两种模型,从而完成苹果姿态的测量,对每幅图像进行姿态测量需4 s左右,抓取每个苹果需要30 s左右。为解决水果分级生产过程中姿态的识别问题,姚立健等56设计了一种采用惯性主轴方法计算水果果轴的算法,测得果轴正投影倾角的误差为4.4°,果轴检测正确率为86%,可有效检测分级生产中水果的姿态。为解决位姿识别问题对柑橘采摘造成的困难,张哲57通过对采摘机器人进行正逆运动学求解,获得了机器人采摘姿态的目标函数,提出了一种采摘序列规划方法,通过搭建实验平台进行测试实验,得出采摘机器人在室内外环境下末端执行器包含柑橘的成功率分别为89.47%和70%。
总之,目前主流的位姿建模方法是基于视觉识别和空间几何计算的方法,即通过对果轴、质心或采摘点等特征的识别,结合几何计算得到目标的位置和姿态。但是由于果实结构各不相同,通常需要对每一种果实各设定一套算法,研发成本较高。此外,同种水果的不同个体也存在一定的形状差异,从而对算法的精确性造成影响。未来的主要研究方向是设计一套通用、精确的采摘目标姿态建模方法。
受制于传统卷积神经网络对位姿信息的忽略,深度学习方法在果实位姿检测这一领域应用较少。Sabour等58曾提出CapNet网络结构。相较于传统卷积神经网络(Convolutional Neural Networks,CNN),CapNet网络对物体的姿势和相互位置更加敏感,且被认为在物体姿态描述领域具有重大潜力。除此之外,为解决物体姿态估计问题,Hu等59提出了一种姿态估计网络。该网络由图像分割流和关键点检测流组成。对于网络获取的关键点对,利用基于RANSAC的PnP产生姿势估计。经试验测定,该算法在遮挡较少和物体大小适中的情况下具有较好的性能。相关的研究工作将把深度学习引入对位姿的建模成为可能。

2.4 采摘场景

采摘场景总体可分为实验室环境、大棚内环境和露天实景,还可以继续根据场景的复杂性进行分类。场景复杂度指果实的疏密情况、相互遮挡情况、果树的布局情况以及光照气候的变化情况等。综合文献[31],并考虑场景深度和背景复杂度,将几种典型的因素对场景复杂度影响归结如表1
表 1 典型场景复杂度对采摘性能的影响

Table 1 The impact of typical scene complexity on picking performance

因素 生产环境
果园 温室 室内 开放的野外
风云防护 + ++
可控照明 ++
植物生长一致性 +/- + ++
对象可见性 + +/-
导航难度 + ++
固定机器人适用性 +/- ++
场景深度 + ++
背景复杂度 + ++

注:“-”表示对采摘性能具有负面影响,“+”表示对采摘性能具有正面影响

对提及采摘成功率的文献进行统计,发现目前大多数采摘机械针对孤立的果实能够取得很好的识别和抓取效果,在实验室或大棚中表现相对较好,而在实际农田中工作的机械由于其场景的复杂性,采摘的成功率不高,真正能够投入商用的较少。因此,在设计采摘末端时,通常在实验室环境下,会影响到如表1所示的七个指标,从而导致采摘成功率将明显高于大棚内和室外环境。

2.5 采摘可行性分析

采摘可行性指的是采摘机械对周围场景进行感知和分析后,综合考虑机器人的作业能力,对所有检测到的果实中具有足够采摘成功率的果实进行筛选。本质上,采摘可行性分析实际是去除所有检测到的目标中那些采摘成功率过低的个体。合理地评判采摘可行性,有利于使采摘机械将注意力集中在更高成功率的采摘对象上,提升采摘机械的工作效率,提高采摘顺序规划的质量。场景复杂度是影响果实采摘成功率的重要原因之一,它主要通过影响机器人的识别定位系统、加大避障系统和路径规划系统的工作难度来影响果实的采摘成功率。
对于采摘可行性问题,已有学者提出了一些初步想法。为提高采摘机器人的作业效率,Xiong等40曾提出了一种判断草莓可采摘性的方法,使用深度图估计目标果实与末端执行器之间的距离,当物体过远或过近时会对视觉系统的性能造成干扰,需要去除这些物体。该方法的优点在于可以在采摘前对草莓的可采性进行粗略估计,缺点在于受遮挡物影响大,且三维视觉系统相对复杂。
目前学者所提出的方案仅仅考虑了某一个或某几个影响因素,这对于复杂的实际情况远远不够。由于机器的作业能力不可被完全严格地描述,因此“可行性”是一个模糊数学概念,且尚没有学者对其进行明确定义。 果蔬采摘可行性分析潜在的解决方案包括尝试通过模糊数学建模采摘效果、强化学习获取经验知识、注意力机制引导可采性机理分析等实现。首先,提出一种基于模糊数学理论的定义方式:若以 D = { d 1 , d 2 , . . . , d n } 表示视觉系统检测到的 n个目标果实,则可被采摘的目标果实组成论域 D上的一个模糊子集 A,且模糊子集 A由论域 D到区间 [ 0,1 ]的映射 μ A确定。在数学上 μ A也称为 A的隶属函数。故判断采摘可行性的问题可以转化为确定隶属函数 μ A的问题。显然确定隶属函数 μ A的方法并不唯一,它取决于设计者对各个影响因素的重视程度。比如当设计者考虑果实在所采集图像中的显著性水平时(由于图像中显著性更高的果实通常更容易采摘,所以这种考虑是合理的),将图像输入显著性检测算法当中并得到输出的显著性热图,统计果实区域的热图响应,将其归一化作为隶属函数 μ A。这种算法只考虑了显著性水平这一个因素,对于多个影响因素,可以设计综合评价算法对其进行评分,也可以使用深度神经网络完成综合评价这一任务。但是这种评价方式往往受制于有限的考虑因素以及固定的某些场景,缺乏对新场景的学习和自适应能力。将可行性与强化学习相结合将是未来采摘可行性分析最有前景的发展方向。
在强化学习中,采摘过程可被建模为一个马尔可夫决策过程(Markov Decision Process,MDP)。为每一个果实被采后的状态设置状态价值函数 V,为采摘每一个果实的动作设置动作价值函数Q。当成功摘取果实后,将获得回报 R。假设摘取每一个果实的回报是相同的,由于衰减因子 γ的存在,使用较少动作摘取果实将获得更大的回报。若使用贪心算法引导决策,则机器人将更倾向于完成“更加容易”的采摘动作。在多次采摘动作完成后,容易采摘的果实将被采摘殆尽,留下难以采摘的果实,则可以认为采摘这些果实的动作是低回报、不可行的。但是受制于复杂的工作环境和算法的局限性,目前使用强化学习算法进行果实采摘仍是一项十分艰难的任务,仍需要国内外学者的进一步探索。
总体而言,采摘可行性分析仍然是果蔬采摘研究领域的空白,仍然缺乏一套系统地评判采摘场景复杂度的可行理论,对采摘场景的复杂度进行建模评价将是未来重要的研究方向之一。考虑到目前大多数采摘机械使用基于视觉的控制方案,关于“视觉注意力机制”和“显著性水平”方向的研究将很有可能带动这方面的发展。除此之外,为应对复杂多变的实际情况,使用深度网络对采摘成功率进行学习可能会成为采摘可行性分析的一个突破点。

3 采摘机械结构

作为采摘机械的主要执行装置,采摘机械结构至关重要。本节讨论了主流的采摘机械抓手结构并对其进行了分类。针对主流的刚性机械抓手总结了设计的流程。并讨论了采摘机械手的驱动方式和切割方案。针对于采后的收集和分类装置进行了总结和归纳。

3.1 抓手结构

3.1.1 抓手结构的分类

机械抓手也称为末端执行器,用来完成与目标果实对接和果实采摘动作。目前主流的采摘抓手可以分为包裹型抓手和夹持型抓手。它们最大的区别是与作用对象的对接方式不同。本文将抓手与果实的对接方式称之为仿形结构。包裹型抓手的作用对象是果实的整个外表面,这种对接方式称之为面仿形,如图1(a)图1(b)所示。而夹持型抓手的作用对象通常是果实母枝的某个采摘点,这种对接方式称之为点仿形,如图1(c)图1(d)
图 1 包裹型抓手和夹持型抓手

Fig. 1 Face profile gripper and point profile gripper

汇总两种仿形设计典型的抓手如下表2所示。
表 2 面仿形和点仿形两种仿形设计典型抓手汇总

Table 2 Typical gripper summary of face profile gripper and point profile gripper

仿形类别 用途 设计者
面仿形 番茄采摘 Yaguchi等[63]
Yeshmukhametov等[64]
草莓采摘 Xiong等[40]和De Preter等[65]
苹果采摘 Zhao等[66]和Setiawan等[67]
水果采摘 Kaur和Kim[68]、Xie等[69]
甜椒采摘 Cho等[70]
李子采摘 Brown和Sukkarieh[71]
点仿形 园艺学作物采摘 Ceccarelli等[72]
草莓采摘 Dimeas等[73]、Hayashi等[74]和Han等[75]
甜椒采摘 Bachche和Oka[76]、Hemming等[77]、Lehnert等[78]
桔子采摘 Shah等[79]
桃子采摘 Yu等[50]
柑橘采摘 Wang等[80]
夹持型抓手主要为切割式采摘,大多为刚性结构。例如为实现草莓的机械化采摘,史慧文等81设计了一种草莓采摘机械手爪。该手爪上安装有摄像头,使用电机驱动,采用齿轮传动,并采用丝杠控制手指的闭合,具有简单可靠的特点。包裹型抓手主要是拟人手采摘,其形式非常多样。传统的包裹型抓手是刚性材料制成的,为避免对果实的损伤,部分抓手还会增加一些缓冲材料。为解决传统机械抓取草莓时极易损伤果实的问题,Dimeas等73设计了一种草莓采摘抓手,对草莓进行了力学分析,并最终确定侧面夹取式为最佳方案。他还对采摘过程进行了运动学分析,确定了抓手的参数,并采用3D打印技术制造抓手进行试验,这种抓手在刚性材料的基础上增加了缓冲材料,能在一定程度上减少对果实的损伤。
除传统的刚性机械手外,还有许多软体抓手,软体抓手与刚性抓手最大的不同是施力部分完全采用软体材料。为实现苹果的机械化采摘并减少对果实的损伤,Setiawan等67设计了一种气动控制的苹果采摘装置,该装置能在0.4 bar的气压下夹住苹果,且几乎不会对苹果造成损伤。但是严格而言这种装置是圆柱形的夹具,体积较大且笨重,与理想的末端执行器还有所差距。作为流体领域的先驱,德国的Festo82公司曾设计过一种带有微小吸盘的仿章鱼触手,这种抓手能够适应各种形状的物体表面,在缠绕物体的同时吸附物体的表面,具有很好的自适应性和稳定性。国内方面,北京软体机器人有限公司与北京航空航天大学合作,曾设计了一款气动抓手,该抓手的手指由硅胶注塑而成,由气动控制弯曲程度,能够快速、准确地抓取苹果、巧克力球,以及手机零件等物体,具有良好的通用性83。除上述软体抓手之外,近年来,科学家还探索了使用其他方式驱动的软体抓手。Pettersson等11设计了一种磁流变机器人抓手并挑选了苹果、胡萝卜和草莓等多种目标进行试验,均没有发现明显损伤。2015年,Shintake等84设计了一种静电软体抓持器,兼顾电吸附、电驱动和自感应功能,可无伤害地夹持水球、生鸡蛋,以及白纸等物品。Bogue85总结了近年来拟人手和软体抓手的发展情况与趋势,指明未来将有越来越多的软体抓手投入商用。软体抓手将在水果采摘、产品包装,以及零件挑选等领域有重大应用价值。Liu等86设计了一种3D打印的欠驱动水果抓取器,该装置制作方便且具有一定的适应性,能够有效抓取易碎易损伤的目标。
包裹型和夹持型两种抓手结构设计各有利弊:包裹型抓手的作用对象是水果本身,由于水果体积较大、颜色鲜艳,为识别和定位系统的设计带来了很大方便。但是由于部分果实质地柔软、容易瘀伤的特点,包裹型抓手需要对包裹力进行严格控制,无疑加大了设计的难度,因此这种抓手目前主要应用于较硬水果的采摘。夹持型抓手主要作用对象是果实的母枝,由于母枝具有纤细、易被遮挡的特点,其定位和识别具有比较高的挑战性。但由于其不直接作用于果实本身,这种抓手不易对果实造成损伤。
传统包裹型抓手采用刚性材料,很难对包裹力进行控制,且抓手的形状固定,缺乏足够的自适应能力。近几年软体机器人的不断发展为解决这一问题带来了可能性。然而,目前软体机器人的设计和控制仍是机械领域的一项前沿课题,这一领域的不断发展将会为水果采摘机械的末端执行器带来更优异的性能。

3.1.2 刚性抓手的设计流程

高质量机械手设计过程应当遵从标准的基于环境的设计范式87。总体而言,刚性抓手的设计流程需要经历需求分析、目标力学特性分析、仿形结构设计、切割方案设计、构型综合、尺寸综合、力学综合、虚拟仿真、材料选择和样机制作几个阶段。下面对各个阶段分别进行简要介绍。
为保证机械手能够满足设计需要,应当在设计初期进行需求分析。需求分析指的是通过市场调研的方式确定采摘的对象。通常需要考虑市场经济需求和设计难度等因素。
为给机械手的结构设计、切割方案和力学综合提供足够的数据引导,需要进行目标力学特征分析。目标力学特性分析指的是对需要采摘对象的抗压力、抗剪力、抗扭力、表面摩擦力以及果梗的抗拉力、抗剪力、抗扭力进行全面的实验。由于目前对于生物材料的理论研究仍缺乏系统性研究,该阶段目前仅能通过设计实验完成。
在力学测试完成后,需要确定机械手操作的部位,即仿形结构的设计。当果梗的强度较低时,应当选择果梗为工作对象,即选择点仿形。当果实较大且颜色鲜艳便于识别时,应当选择果实为工作对象,即选择面仿形。
仿形结构设计完成后,需要对果实的切割方案进行设计。当果梗的强度较高而果实的强度较低时,应当使用刀片切割。当果梗的强度较低而果实的强度较高时,应选用拟人手切割。
切割方案确定后,需要对机械手的结构进行设计,即构型综合。构型综合包括自由度的选取、驱动器和驱动方式选择、传动链的设计,应当依照操作对象的大小和形状具体分析和设计。除此之外,当果实表面易伤时,应当选用软体材料或缓冲材料。
为确定机械手具体的尺寸,需要对其进行尺寸综合。尺寸综合的方法主要是图解法、解析法和实验法。具体要考虑到机械手的工作范围、灵敏性和大小的合适性。
为保证设计的机械手满足力学要求,需要利用末端动力学方法对机械手进行力学综合。主要需要考虑机构的传动角、对目标的作用力和表面的摩擦力等。需要保证既满足工作力需要求,又不能对目标水果造成伤害。力学综合可以采用解析法和实验法。对于形状结构复杂的机械手,单纯使用解析法求解已经不太现实,多采用虚拟样机或实体样机实验求解。
机械手的仿真完成后,需要根据仿真结果和有限元计算结果确定机械手的材料,在保证材料强度的情况下,尽可能减小机械手的重量。
选择材料后,需要进行机械手的样机制作,以进行实际实验。

3.2 驱动方式

目前机械手主流的驱动方式包括单一驱动、复合驱动和欠驱动方式等。其中单一驱动和欠驱动方式在机械手领域应用较多,而复合驱动方式由于其驱动原理复杂,且液压、磁吸等驱动源的特性与采摘机械的要求并不匹配,故很少在果蔬采摘机械手领域应用。
单一驱动主要采用电机为原动件,通过一系列传动链完成驱动。根据电机的多少,又可分为单电机驱动和多电机驱动。单电机驱动方式通常需要设计复杂的传动机构,以满足各个部分的运动需求,但复杂的传动链也增加了末端执行器的体积,影响其灵敏度。为改善传统单一驱动齿轮传动引起的空间占用问题,Xiong等40设计了一种线缆驱动的草莓采摘抓手。这种驱动方式仅仅需要一个多转向伺服电机就能够同时控制三根抓手工作,体积小、质量轻、具有足够的灵巧性,对单个的草莓采摘成功率高达96.8%,但实地采摘成功率仅有53.6%。多电机驱动方式通常需要安装多个电机,同时控制多个电机为控制系统的设计带来了挑战,但同时使得机构能够完成更加复杂的运动。由于其控制复杂,且增加末端执行器的重量,这种方案在采摘末端执行器领域很少被采用。
相较于单一驱动方式,欠驱动是一种更加新兴的驱动方式。为提高机构的自适应性,欠驱动机构的传动链的自由度数多于原动机的驱动自由度数,从而使得抓手能够根据果实复杂的表面形状进行一系列调整。为了减少采摘过程中对果实的损伤,Davidson和Mo88设计了一种欠驱动末端执行器,并进行了动力学、静力学分析,讨论了其控制方法。Sakai等89设计了一种线性二次型(Linear Quadratic Control,LQ)控制的欠驱动物料搬运农业机器人,能够完成西瓜的采摘,且具有很好的鲁棒性。
总而言之,目前采摘机械手相对主流的驱动方式是单一驱动方式。相比于单一驱动方案,欠驱动方式是一种新兴的驱动方式。由于欠驱动的自由度数少于机构的总自由度数,该机构通常具有较强的自适应性,能够应对果实复杂的形状。也正因为这样的特点,欠驱动机械手将成为未来比较有潜力的发展方向。

3.3 切割方案

目前主流的切割方案可以分为刀片切割和拟人手切割两种方式。刀片切割是直接使用刀片切断果梗或母枝,而拟人手切割通常是先对果实进行紧密固定,再通过撕扯、旋扭的方式切断果梗,从而达到采摘的目的。
为解决目前大多数收获机器人切削工具沉重、昂贵的问题,Jia等90设计了一种多功能集成夹持器与切割器。该切割器设计有平行的双层结构,内层为剪刀而外层为夹具,能够在切断果梗后夹住果梗,以便果实的装箱入库,可以采摘苹果、葡萄、樱桃、西红柿等多种果实,平均每次采摘需37 s,成功率几乎达到100%,且具有重量轻、成本低的特点。为开发一款高效、精准的甜椒采摘设备,Bachche等91设计了一种由单电机驱动、齿轮传动的切割与夹取设备,并进行了有限元仿真,验证了该设备的可靠性。实际制作的样机对于没有叶片的甜椒和带叶片的甜椒能够轻易地完成采摘,对于部分重叠的甜椒和与叶片重叠的甜椒,该设备偶尔会出现采摘失败的情况。
除刀片切割和拟人手切割两种主流的方式外,少数学者还研制了抽吸式的抓取工具。这种工具采用气泵连接管道和末端执行器,由管道中的负压将目标从树上吸下,达到采摘的目的。2017年,为实现山地贡菊的机械化采摘,姬长英等92设计了一种梳割气吸一体式贡菊采摘机。该机械利用采摘梳齿与分花齿之间的相对运动,将目标花朵从花托处碰撞拉断,并使用负风压机将花朵运送到集花箱,采摘率能够达到90%左右,漏摘率可控制在5%以内。
总体而言,刀片切割和拟人手切割两种方式各有利弊。刀片切割具有简单、快速、高效的特点。它仅需要对果实进行简单的夹持和固定,便可以对果梗进行切割和分离。相比之下,拟人手采摘机械通常需要对果实进行紧密包裹以保证拉动力、撕扯力或扭断力,而紧密包裹的包裹力通常难以控制,容易对果实造成表面瘀伤或损伤。但刀片切割容易造成植物伤口,为植物染病患病留下隐患,且刀片容易被酸性的果实汁液腐蚀,需要频繁更换,从而增加人力、物力和时间成本。相比于以上两种切割方案,抽吸式方案是一种更加柔和的摘取方式。但是对于果实表面凹凸不平的目标,装置的气密性往往存在问题,使得采摘的负压难以产生。除此之外,负压的大小也是控制的一大难点。目前这种装置仅仅能够应用于花朵一类质量较小的目标,而对于质量较大的果实很难应用。这种弊端也使得抽吸式采摘装置的应用远远不及其他两种切割方案。

3.4 果蔬收集机构

收集机构可以分为缓冲收集机构和入库收集机构。它们的容量差别很大,也具有不同的作用。缓冲收集机构是为提升采摘连续性而设计的,它通常位于末端执行器内部或附近,其容量能够容纳数个果实。2019年,Xiong等40在用于草莓采摘的机械手中设计了内置暂存式容器,根据草莓果实的大小,该容器可以容纳7~12个草莓。这种容器的设计使得机械手可以连续采摘数个草莓,待到缓冲容器满后,将缓冲容器内的果实清空至入库收集机构,再重新开始新一轮的采摘。
入库收集机构是为下一步检测做准备的,它的容量和重量通常较大,因此一般位于采摘机器人的底部。例如Davidson等93设计了一种风道式归仓收集机构导引果实直接进入收储容器。

3.5 检测与分类机构

为实现已采摘果实的自动化分类,目前主要有基于硬件和基于软件的两种检测方案。基于硬件的检测方案使用机械机构,利用果实的质量、惯性、重心、大小等物理特征,对果实完成筛选工作。而基于软件的检测系统通常基于视觉系统对果实的外观进行判断(将在4.4节中详述)。
Karis等94提出了一种基于图像增强、形态学和颜色空间转换的水果分类方法,并对影响算法精度的因素进行了分析。Patil等95设计了一种机器视觉的水果分级方法,并将算法部署在Arduino控制器上,其便携性和经济性使得该算法能够很容易地被广大农民所使用。Chithra和Henila96提出了一种利用阈值和面积算法对苹果进行分级的方法——全局阈值算法(Global Thresholding Algorithm,GTA),准确率达到96.67%,超过Kapur算法和Otsu算法。2019年,Nasiri等97设计了一种基于深度学习的枣类筛选算法,能够达到96.98%的准确率。Dewi等98设计了一种果实分拣机器人。该机器人基于果实的颜色和尺寸信息完成果实分拣。可对番茄和葡萄两种果实完成分拣任务,且耗时均在10 s左右。
仅使用机械结构进行分类在其他领域已有所应用(例如医院使用离心机对血液分类,银行使用机械对硬币进行分类),但用于果实分类的较少。这主要是由于果实的形状不规则,且个体之间差异较大,不易使用统一模板完成分类。除此之外,果实的质量较大且容易瘀伤,使用离心技术进行分类也不可行。因此,大量的分级机器仍基于视觉技术完成分类。

4 采摘控制方案

按照机器人的自动化程度,目前已研发出的采摘机器人有半自动采摘机器人(又称为采摘辅助装置)和全自动采摘机器人两种。全自动采摘机器人应当能够自主完成果实识别、果实成熟度判断、果实定位、采摘路径导航、采摘顺序规划、采摘动作执行、果实收集、果实品种筛选、果实自动装箱入库等一系列动作。而半自动采摘机器人(采摘辅助装置)仅能自主完成上述的某一项或某几项任务,其他任务需要工人辅助完成或者人工完成。目前所研发出的采摘机器人大部分是采摘辅助装置。国内外学者在全自动采摘机器人方面虽有所探索,但是由于采摘过程的复杂度过大,全自动采摘机械暂时难以获得非常好的作业效果。
决定采摘机器人自动化程度主要因素是控制系统的设计。为使得采摘机械更加自动化、智能化,国内外学者在如下几个方面做了很多探索。

4.1 总体控制方案

对于一台全自主采摘机器人而言,其控制系统主要由感知信息、认知与响应、产生决策结果三个阶段组成,如图2所示。所感知的信息包括深度/距离信息、位置/定位信息、视觉/多光谱信息、物理/生物信息;认知与响应阶段主要包括环境重建、目标识别定位、作业协调与优化、选择性(变量)作业评估、知识推理、知识图谱构建、控制模型切换;产生决策结果阶段包括产生环境地图、产生目标3D坐标集、产生作业路径和作业参数、产生控制序列、模型库更新和控制策略更新。
图 2 采摘机器人的总体控制框架

Fig. 2 Overall controller framework of the picking robot

为使苹果采摘更简单高效,顾宝兴99设计了一种智能移动的苹果采摘机器人。该机器人的控制系统主要由上位机、下位机、传感器系统和软件系统组成。上位机采用研华IPC610-H型工控机,下位机控制器包括机械臂控制器、末端执行器控制器及移动平台控制器,传感器系统主要由双目摄像机、全球定位系统、力传感器和滑觉传感器等组成。该机械能够完成图像采集、视觉定位、路径规划、位姿规划,以及末端控制等功能。
虽然目前主流的控制方案是视觉伺服控制,但是也有学者采用了其他种类的控制方案,例如Xiong等40在机械手夹具里设置了三个红外传感器,采集的信息能够为控制系统提供反馈,从而提高采摘的成功率。这种控制方案既能够提高处理速度、避免采摘过程中果实的相互碰撞,也能验证采摘过程的成功与失败。
由此可见,在视觉控制方案的基础上,结合其他控制方法,将有助于提高机器人的感知能力,也将提升机器人的环境自适应能力和控制系统的鲁棒性。

4.2 识别定位方法

4.2.1 基于特征提取的方法

为提高工作效率以及为采摘机械提供作业目标的位置信息,需要对果实进行识别和定位。果实的识别指的是判断所采集的图像中是否存在果实,传统的方法是通过判断目标图像是否能够分割出果实区域而实现这一目标的。果实的定位指的是获取果实的位置信息,一般用包围盒(Bounding Box)或果实的质心等特征作为定位结果输出。目前,国内外的各位学者主要利用果实独特的颜色(颜色阈值分割)和外形特征(形态学检测)完成果实的识别和定位任务。
Liu等100通过将RGB颜色空间转换到HIS颜色空间(Hue-Intensity-Saturation),结合Otsu算法获得分割阈值,实现有效识别出成熟西红柿。Feng等101使用结构光加HIS颜色阈值开发了番茄机器人,单个收获周期的执行时间约为24 s,收获成功率为83.9%。Feng等102研制的升高型槽草莓收获机器人,在HSV颜色空间提取出色度和饱和度特征用来识别成熟果实,并且使用双目立体视觉对目标果实进行定位和采摘。Lyu等103采用Otsu动态阈值分割方法实现了苹果果实的识别和提取。Arefi等104利用R-G方法去除背景,通过形态学特征定位番茄目标,实现了96.36%识别准确率。
Wang等105则结合K-means聚类算法与颜色空间转换模型,实现从图像中提取苹果果实。Wang等106基于提出的网状灰阶特征开发了一种新型的绿色柑橘果实检测算法。Linker等107基于区域生长算法和KNN算法实现了针对绿色苹果的检测。Song等108结合支持向量机与词袋技术,在辣椒采摘中达到了94.6%识别率。Ling等109基于AdaBoost分类器并使用RGB 图像检测成熟番茄,检测成功率为95%。
在果实颜色与其他部分差别明显时,颜色分割法通常能够对果实区域完成分割,并得到果实的边界轮廓。利用这个边界轮廓,便很容易得到Bounding Box并完成果实的定位。但是颜色阈值分割法仅对果实颜色特征进行了提取而缺少对果实形状特征的描述,因此该方法针对相互重叠遮挡的多个果实通常提取效果比较一般。
为在形状方面描述果实的特征,以及恢复被遮挡果实的形状,学者们提出了形态学检测的方法。2018年,为解决传统机器人使用Hough变换识别类球状果实耗时长、准确率低的问题,初广丽等110提出了一种基于最小二乘法的圆检测算法,平均处理时间为53.548 ms,且准确率达95%以上。但算法没有对密集生长的果实进行测试,且仅仅针对类圆形果实,具有一定局限性。
除此之外,还有学者提出过基于纹理和混合特征的检测方法。为估计树上苹果的直径与数量,Stajnko等111设计了一种基于颜色和纹理特征分割苹果,并使用圆形Hough变换拟合苹果形状的算法。该算法选用两个特征检测候选区域的交集作为检测结果,最大限度地降低了检测的错误率。经测试,该算法的水果检测准确率为89%,总误差率为2.2%。
虽然学者们对颜色、形状、纹理等特征已有多年的研究,且取得了一定成果,但这些特征都属于低级特征。随着研究的深入,设计师们发现,仅仅依靠这些低级特征易引起以下几个方面的问题。
(1)容易受光照影响。上面多篇文献提到,使用颜色阈值分割方法进行图像分割,当光源变化较大时,结果极易受到干扰,引起分割精度下降或者出现错误。
(2)拟合精度有限。果实的形状各不相同且并不规则,形状拟合法对部分形状较为规则的果实效果较好,但对于茄子、黄瓜等形状较为特殊的果实难以起到良好的效果。
(3)对复杂场景的处理能力有限。传统方法在果实孤立、背景简单的情况下表现出了优异的能力,且具有较高的实时性。但在果实排列密集、枝叶繁茂、相互遮挡情况严重的情况下,传统方法往往性能下降甚至失灵。
(4)专用性较强。传统果实的识别、定位算法往往是对某一种果实专门设计的,难以直接应用在其他种类的果实上。且需要设计者反复调节模型参数以应对复杂多变的情况。

4.2.2 基于深度学习的方法

为解决以上问题,国内外学者尝试使用深度学习方法完成果实的检测、识别、定位、分割等任务。深度神经网络(Deep Neural Networks,DNN)方法凭借其强大的特征提取能力和自主学习能力被广泛应用于农作物目标检测48,112。与传统算法相比,神经网络模型能够提取出图像的隐性特征(无明显实际含义的特征),并通过自我学习和迭代得出划分的依据。Sa等113受Faster R-CNN启发,研发了一种基于深度学习的水果检测算法,通过同时从RGB图像和红外图像中提取特征,实现了甜椒等7种果蔬检测,该算法的召回率为0.838。傅隆生等114则基于LeNet卷积神经网络识别多簇生长的猕猴桃,在速度与准确性方面均超越了传统方法。Rahnemoonfar和Sheppard115基于Inception-ResNet架构搭建了一个CNN模型用于计算水果的数量。周云成等116对VGGNet进行优化,对番茄的主要器官如茎、花和果实分别识别。Stein等117设计了一种芒果果实检测、定位和产量估算的网络。该网络使用R-CNN检测水果,使用LiDAR组件将检测到的水果与对应的树相关联。在此基础上,该算法可以完成果树产量的统计,对单棵树的统计错误率为1.36%。Khan等118提出了一种称为相关系数和深层特征(Correlation Coefficient and Deep Features,CCDF)的水果作物病害自动识别和分割系统,分类准确率为98.60%。

4.2.3 深度学习方法的局限性

从上述实例可见,深度学习方法在计算机视觉领域应用比较广泛的是卷积神经网络。卷积神经网络不仅能提取低级特征,还能够提取很多人类无法直观理解的高级特征,故相比于传统方法,深度学习方法具有更好的鲁棒性、更高的准确性,且模型参数大多为算法自动学习得到,尤其是传统人为设计的特征工程由网络自动学习完成,需要人工干预的部分较少,同时也降低了使用者的技术门槛。在采摘机器人领域,深度学习应用较为广泛的是基于图像的果实识别、定位与语义分割技术,而对于植物的其他部分鲜有涉及。目前,影响深度学习在采摘机械领域应用的因素包括以下方面。
(1)需要的数据量较大,缺乏图像标准库。目前主流的基于深度学习的图像处理方式是强监督学习方式,需要大量的训练数据来训练模型的参数。在计算机视觉任务中,对于图像分类任务有ImageNet等标准库,街景图像分割有Cityscapes等数据集,而农业场景缺乏大量带标签的数据,难以评判各种算法的优劣性。建立标准的图像数据库将会对上述问题有较大改善。
(2)场景复杂度较高。植株密集程度高、相互遮挡情况严重是农业场景的一大特点,也是影响果实定位和识别的主要因素之一。相比于传统方法,深度学习方法的引进虽然一定程度上缓解了这个问题,但是对于复杂场景的性能仍有提升的空间。如何提高密集遮挡情况下的果实识别与定位的准确率将是未来采摘机器人视觉控制的研究重点之一。
(3)图像标注成本高。用于视觉控制的图像样本通常是农田的实景图片,其实例个数多、场景复杂度高,对于目标检测定位、语义分割,以及实例分割任务而言仅靠手工标注难度较大,且耗费大量的人力物力。随着半监督学习或非监督学习方法的发展,这一问题将有所改善。
(4)存在实时性问题。卷积神经网络的参数量较大,其计算量较大,对于设备的计算能力要求很高。如何在保证设备体积较小的情况下同时提高计算的实时性,仍是目前亟待解决的一大问题。人工智能算法在嵌入式设备领域的应用将是未来研究的热点之一。
(5)网络训练成本高。从完全随机的初始化参数开始训练网络将耗费大量的时间和计算力。为解决这个问题,设计者通常使用经过预训练的网络进行再次训练(例如迁移学习技术和fine-tune技术)。虽然一定程度上减少了网络训练的时间,但是由于反向传播算法在速度、内存占用上的劣势,以及容易引起梯度消失、梯度爆炸的问题,网络的训练并不是非常简单。为解决反向传播所带来的一系列问题,Kurt119提出了一种网络训练的希尔伯特·施密特独立准则(Hilbert-Schmidt Independence Criterion,HSIC),并在MNIST和CIFAR10数据集上对含有5个卷积残差块的ResNet进行训练,得到其训练速度和准确率均高于反向传播算法。更多类似算法的提出将有助于降低网络的训练成本。
(6)网络结构仍有提升的空间。近几年,深度卷积神经网络依靠结构的不断改进,其性能有很大提升。但试验发现,CNN对于结构之间的相关关系、结构的方向性辨别能力十分有限,这使得视觉系统对于正常生长的植株与堆砌的植株残骸缺乏辨别力。CapsNet网络更改了传统CNN的结构,为解决网络辨别能力差的问题提供了可能性。随着神经网络的不断发展,网络结构性能还有很大的提升空间。
(7)仍有一定的专业门槛。深度学习网络通常需要不断调节参数以最大化性能。目前虽有Adam等几乎无需手动调参的优化器,但在训练进行一段时间后,Adam优化器的效果不及合理手动调参的随机梯度下降(Stochastic Gradient Descent,SGD)优化器。除此之外,模型和超参数的选择也需要一定的专业门槛,限制了深度学习的应用。自动机器学习(Auto Machine Learning,AML)技术的不断发展将有助于进一步降低深度学习应用技术门槛。
除基于二维图像的视觉技术之外,还有部分学者尝试使用三维立体视觉技术完成目标的识别和定位。为识别仅部分可见的苹果和果实簇中的苹果,Silwal等120使用RGBD相机,结合全局相机和眼手协同控制系统,结合颜色特征和3D点云对水果进行识别和定位。将苹果果实进行人工分散后,对193个水果识别准确率达到100%。为有效指导番茄采摘避障路径规划,熊龙烨等121利用Kinect v2获取柑橘树的彩色图像与深度图像,设计了自然场景下利用泊松曲面柑橘树的三维重建以及利用颜色信息对成熟柑橘进行识别的方法,对柑橘树重建的精度达到94.83%,成熟番茄的识别率达到94.72%。
受限于成本和计算性能,二维视觉仍然是目前主流的识别和定位方式。除此之外,深度学习技术在三维视觉领域虽有所突破,如Li等122提出了三维深度学习的Point-CNN网络结构,但远没有深度学习在二维图像的应用更加成熟,受制于算法和设备计算能力,所能完成的任务也比较局限。随着计算机性能的不断提升、三维视觉设备成本的不断下降以及三维深度学习技术的不断发展,未来基于三维立体视觉的深度学习技术将很有可能成为新兴的主流视觉方案。

4.3 避障方法

对许多机器人系统来说,避障是一项至关重要的任务。由于农业采摘环境复杂,果实分布在枝条、叶片和枝干之间,某些作物种类的果实挨叠生长,如西红柿、苹果等。当识别定位系统对果实以及周围障碍物进行识别、定位后,还需要对末端执行器进行避障规划才能成功抓取果实。为在复杂环境的农业采摘果蔬,国内外学者提出了许多方法和策略,来解决不确定环境和动态障碍环境下多自由度机器人作业的避障路径123,主要可分为基于网格的方法、基于势场的方法、基于采样的方法,以及智能算法四个类别124
在基于网格的方法中,作业环境被映射为网格组。网格组中的每个单元格都代表了环境中某一元素的位置125,例如障碍、目标物或空旷区域的位置。对于移动机器人或空中机器人,环境被映射为二维或三维的网格组。图搜索法(如Johnson126、Hart等127、Stentz128等)被用于在网格组中搜索一条路径以连接初始位置的单元格与代表目标位置的单元格。然而,图搜索法多用于对移动机器人的导航,如农业地面机器人导航129,对于多自由度机械臂的路径规划,环境需要被映射到关节空间中的网格组。由于关节空间维数较高,基于网格方法的计算成本将大幅增加。
在基于势场的方法中,Khatib130最先提出了基于人工势场的路径规划算法,通过在目标点和障碍物处分别施加抽象的吸引力和排斥力来引导路径前进方向。Gai等131使用人工势场进行六自由度机器人避障路径规划。Rasekhipour等132实现了基于人工势场的车辆避障规划控制。然而,人工势场法的致命缺陷为容易陷入局部最优,导致无法到达目标点。
在基于采样的方法中,Kuffner和Lavelle133提出的基于随机采样的快速探索随机树(Rapidly-exploration Random Tree,RRT)算法已广泛应用于复杂环境中的高维机器人操纵器的动态路径规划。在RRT算法基础上发展了多种改良算法,例如Karaman和Frazzoli134提出的RRT*算法,使用最佳邻近搜索和树重构以提高路径的质量,Islam等135提出的RRT*-Smart等算法使用智能采样和路径优化来提高收敛速度。Wei和Ren136提出了一种基于改进的RRT算法的机器人操纵器自主避障动态路径规划方法。Han和Liu137应用RRT*算法实现了六自由度机械手的避障路径规划。然而,基于采样的方法并不保证一定能够成功。在复杂场景中,受限于随机采样的不确定性,基于采样的方法有较大几率失效。
在智能算法中,遗传算法、粒子群算法、蚁群算法和人工神经网络等受自然启发的智能算法是在早期文献中经常提到的研究方法,同时也被证明能够在机器人路径规划中获得良好效果。Mac等138详细介绍了上述自然启发型路径规划方法的文献。
近年来,随着深度学习的发展,深度强化学习(Deep Reinforcement Learning,DRL)成为避障规划算法研究领域的热点。Chiang等139将RL与RRT算法结合,设计了更加高效的路径规划器。James和Johns140基于Q学习(Q-Learning)在3D仿真中控制机器人抓取,利用深度学习,将图像作为位移输入,并经过适当的设置最后输出用于定位和抓取立方体任务的电机动作。虽然仿真具有可扩展性,但现实环境的复杂环境会为机器人成功抓取物体造成不可预知的障碍,在果蔬采摘领域鲜有实际应用。
为解决强化学习在果蔬采摘机械手控制领域的应用困难,有学者提出了示教与学习相结合的控制方法。Vecerik等141设计了一种通用无模型的强化学习算法。该过程由人工控制的机器人进行示教,利用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法完成演示,以替代传统的奖励机制。但这种方法仍在初期研究阶段,虽对使用强化学习解决复杂的机械手连续作业行为决策问题有所帮助和指导,仍难以应对多变的环境。
此外,在果蔬采摘的一些实际应用中,为使机械手在甜椒收获过程中避免与植物茎碰撞,Bac等142提出了使用支撑线作为视觉提示的甜椒植物茎的定位。为进行无损葡萄收获,Luo等143在葡萄簇的花梗上定位切割点空间坐标,并确定葡萄簇的边界体积,从而完成末端执行器的路径规划。Luo等144使用的三维模型解决了黄瓜采摘机器人和茎之间的碰撞问题,但碰撞计算量非常大。为解决番茄采摘过程中轨迹规划的快速性和精确性问题,波兰的Boryga145提出了一种规划直线弧多项式轨迹方法(Planning Rectilinear-Arc Polynomial Trajectory,PR-APT),规划的路径由直线段和弧组成,保证了位移、速度、切向加速度的连续性,快速而有效。
目前,采摘末端执行器的避障算法真正应用的并不多。这主要是由于目前的识别与定位系统性能有限,难以处理被遮挡和密集的果实,使得避障系统发挥作用的空间十分有限。随着后续识别与定位系统的不断提升,末端执行器的避障将会成为一项非常重要的研究领域。随着相关算法在自动控制领域的发展,强化学习将有望进入采摘机器人控制领域。

4.4 采后品质分类方法

前文所述仅使用机械结构对果实进行分类,此处所述的分类为结合控制系统完成果实品质分类。对于果实品牌公司而言,通常需要设计不同层次的产品满足不同等级的市场需求。果实采摘完毕需要依照果实的品质对果实进行分级。传统的品质分级是依靠工人对果实的颜色、外观质地进行视觉、触觉、听觉上的考察,依照这些信息进行分级。人工分级往往费时费力,且不同检验员的标准不一,容易造成误分的现象,从而影响产品整体质量。为解决产品分级耗时、费力的问题,国内外学者进行了探索。例如,Guo等18,146设计了一种基于直方图匹配的草莓果实形状判别算法,通过计算待检测草莓的直方图与标准形状草莓的直方图之间的相似性判断目标草莓的形状是否正常,能够达到90%以上的准确率。
目前主流的采后品质分类是基于视觉的分类方案。这主要是由于图像数据具有容易获取、包含信息量大的特点。这些算法一定程度上达到了比较好的效果,但是受制于视觉技术的瓶颈,其准确率仍有进步的空间。相比之下,由于声音信号的处理和获取具有难度,模仿人类手段对果实进行分类的案例很少。例如江南大学汪迪松等147曾使用击拍声判别西瓜的成熟度,研究过声振与西瓜含糖量的关系。随着技术的发展,将这些信息结合起来,与图像信息一同作为分类依据,将有可能对分类准确率进一步提高。

4.5 人机交互与多机协作

受制于作业能力,单个机器人在水果采摘方面的效率和工作强度都有限。为提升采摘工作整体的效率,需要多台机器人一同协作进行工作。理想状态下,果园中的机器人应当能够相互交互信息和相互协作,达到互利共赢。目前在协作方面仅仅能够实现工人与机器人的相互辅助,因此需要研究人机交互设计。
Ceres等148设计了一种由工人驾驶操作的采摘机器原型。在操作员的驾驶下,该机器能够自动检测水果并定位,规划采摘顺序并分离水果。这种机器人是一种采摘辅助装置,虽然能够达到高于纯人工采摘的效率,但仍需要工人完成操作,从而增加了采摘的成本消耗。Zhao等149设计了一种大棚番茄采摘机器人。该机器人需要操作人员在图形用户界面中对目标番茄进行标记,从而完成识别和定位工作。该机器人的交互界面能够交互操作员的命令和显示机器人的运行状态,以帮助操作员进行状态监控。Huang和Mutlu150设计了一种预测控制方法,使得机器人能够预测控制者的意图,从而提高响应速度和交互效率。Adamides等151评估了屏幕输出类型、视图数量和机器人输入设备三方面因素对葡萄园机器人交互效率的影响。2019年,Vasconez152针对农业领域的人机交互问题做出了综述,指出农业中的事故大多是由于碰撞或认为错误引起的,因此设计人机交互系统将有效降低事故率。虽然目前在农业中利用交互的道路仍然很长,但这些技术将在未来带来可观的生产率和经济效益。
在多机协作方面,Arguenon等153提出一种多智能体的农业机器人原型,提出了针对每个机器人的行为、交互作用以及一些用于系统测试的方案,能够一定程度上提高农业机器人协作的效率。除此之外,关于多机协作的理论研究虽有所进展,但将其应用于农业采摘的案例较少。
可见,目前机器人与人类的相互协作虽已有一些应用,但仍需大量的人工操作,效率仍不够理想,无法达到大大提升工作质量的要求,相关技术也并不够成熟。而多机协作方面,由于单个机器人的成本和性能都不够理想,多机协作相关的研究也比较有限,目前仍处于理论研究阶段。随着单个采摘机器人能力的发展和不断提升,未来对人机交互、多机协作的研究将成为热点。

5 评价指标

鉴于目前在采摘机器人采摘效果领域存在量化标准的缺失问题,本章对主流的评价指标进行了总结,并针对这些评价指标在数学上给出了定义。

5.1 采摘效率

大多数采摘机械以单位时间内采摘果实数量作为采摘效率的评价标准。

5.1.1 平均采摘效率

最常用的采摘效率指标是平均采摘效率65,67,90,描述了采摘机器一段时间内的平均作业能力。其定义如下式。
e ˙ = n t
其中, e ˙表示平均采摘效率; n表示机器采摘的果实数量,个; t表示对应机器运行的时间,s。

5.1.2 长期采摘效率

文献[100]中提到了长期采摘的效率问题。在此对长期采摘效率进行定义。
考虑由于机械设备的长期工作导致各方面性能的下降,机器的工作效率会随时间衰减,平均采摘效率对机器的作业能力过于粗糙。长期平均采摘效率描述机器在很长一段时期内的工作能力,如公式(2)所示。
e ˙ = 0 T e ( t ) d t T = n T
其中, e ˙表示长期平均采摘效率; T表示测试的时间,s,一般这个值应当取较大值; n表示 T时间内采摘个体数量,个; e ( t )为某一时刻的平均采摘效率。由于采摘果实数只能取整数,它本应该是一个序列 e ( t i ) ,如下。
e ( t i ) = 1 Δ t i
其中, Δ t i是第 i个果实采摘所需要的时间,s。为了计算方便,可以使用最小二乘法对这个序列进行多项式拟合,得到函数 e ( t )
为描述机器随时间推移而导致的作业效率下降,可以定义采摘效率衰减速率。
λ ( t ) = e ' ( t ) = l i m Δ t 0 Δ e Δ t
其中, λ ( t )为采摘效率衰减速率。
但是另一方面,由于不同的机器起始作业能力的不同,仅仅研究采摘效率衰减速率不具有代表性,需要对其进行无量纲化处理。因此,本文引入采摘效率衰减率的概念。
r ( t ) = λ ( t ) λ ( t 0 )
其中, r ( t )为采摘效率衰减率; λ ( t ) t 时刻的采摘效率衰减速率; λ ( t 0 )为采摘第一个果实时的效率衰减速率。易知 r ( t )是一个无量纲量。
考虑到上述初始采摘效率衰减速率仅为一个点的值,可能会受单独数据的干扰较大,因此可使用起始一段时间内的平均采摘效率来代替上述的起始采摘效率。定义修正的采摘效率衰减率如下。
R ( t ) = λ ( t ) λ ˙ 0
其中, R ( t )是修正的采摘效率衰减率; λ ( t ) t时刻的采摘效率衰减速率; λ ˙ 0是开始一段时间内的平均采摘效率衰减率,计算式如(7)所示。
λ ˙ 0 = 0 T 0 λ ( t ) d t T 0 = e ( T 0 ) - e ( 0 ) T 0
其中, T 0是可选的时间长度,可取 T 0 = 0.1 T m a x T m a x是该研究过程所涉及的的最长采摘时间。

5.2 损伤率

损伤率通常以单位时间内的损伤果实数量占所采果实数量的比值来衡量154,用来描述机械对果实的保护效果,如公式(8)所示。
q = b h × 100 %
其中, q表示采收损伤率,%; b表示损坏的水果数量,个; h表示收获的所有水果数量,个。

5.3 果蔬采收漏采率

漏采率描述真正应当被采摘的果实而实际未被采摘的果实所占比例,可用如下公式(10)表达。
I R = F N 1 + F N 2 T P + F N × 100 %
其中, I R表示漏采率,%; T P表示真阳性的数量; F N 1表示识别失败的数量120,121 F N 2表示识别成功但作业失败的数量154。漏采率反映了识别失败和作业失败的综合效应,漏采率低的设备能够大大减少人工二次采摘的工作量。评价指标体系的确立将为机械手系统设计提供量化设计指标,同时可以为以强化学习为基础的自主采摘作业提供损失函数设计范式。

6 未来发展趋势

本文从采收对象和场景、采摘机械结构、采摘控制方案、系统评价指标四个方面,系统地综述了选择性采收机器人末端执行器设计与控制问题,重点提出并分析了可采性评价、基于强化学习的抓取控制等问题的挑战及解决思路。总体趋势上,采摘机器人从以往的采摘辅助设备向自动采摘设备方向发展,并会在将来向智能化、集群化方向发展,未来需要从以下方面实现突破。
(1)采收对象和采收场景。加深对采摘对象生物力学特性的研究,开发新型场景复杂度分析算法,实现机械手的作业能力向多场景多作物种类通用方向发展。
(2)机械设计。研究适用于采摘的先进材料属性,研制更多应用于采摘过程的微型传感器、执行器和软体机械,实现采摘机械手高承重、耐久、灵巧和高效的结构本体设计。
(3)自动控制。研究基于数据驱动的识别、定位、避障和人机协作方法,开发适用于选择性采收场景的灵巧末端控制算法,逐步实现强适应性高效自主采收。
(4)作业效能评价。研究采摘机械手作业性能的系统性评价方法,建立采摘作业统一的评价指标,为将来采摘机械的系统化发展提供理论指导意义。
针对农业采摘机械手系统作业环境复杂、目标物多变、对象易损问题,研究灵巧末端构效规律、作业损伤机理、新型材料农业场景适用属性、高通用性设计方法,开发高效作业嵌入式自适应控制系统,优化机器人系统“手-眼-脚”协调模式,实现高效、通用、低损作业。

1
TAI K, A-R El-SAYED, SHAHRIARI M, et al. State of the art robotic grippers and applications[J]. Robotics, 2016, 5(2): ID 11.

2
BLANES C, MELLADO M, ORTIZ C, et al. Technologies for robot grippers in pick and place operations for fresh fruits and vegetables[J]. Spanish Journal of Agricultural Research, 2011(4): 1130-1141.

3
ERFANI S, JAFARI A, HAJIAHMAD A. Comparison of two data fusion methods for localization of wheeled mobile robot in farm conditions[J]. Artificial Intelligence in Agriculture, 2019, 1: 48-55.

4
GRIFT T, ZHANG Q, KONDO N, et al. A review of automation and robotics for the bio-industry[J]. Journal of Biomechatronics Engineering, 2008, 1(1): 37-54.

5
LI P, S-H LEE, H-Y HSU. Review on fruit harvesting method for potential use of automatic fruit harvesting systems[J]. Procedia Engineering, 2011, 23: 351-366.

6
SARIG Y. Robotics of fruit harvesting: A state-of-the-art review[J]. Journal of Agricultural Engineering Research, 1993, 54(4): 265-280.

7
BROWN E, RODENBERG N, AMEND J, et al. Universal robotic gripper based on the jamming of granular material[J]. Proceedings of the National Academy of Sciences, 2010, 107(44): 18809-18814.

8
SYED T N, JIZHAN L, XIN Z, et al. Seedling-lump integrated non-destructive monitoring for automatic transplanting with Intel RealSense depth camera[J]. Artificial Intelligence in Agriculture, 2019, 3: 18-32.

9
REDDY P V P, SURESH V V N S. A review on importance of universal gripper in industrial robot applications[J]. International Journal of Robotics Research, 2013, 2(2): 255-264.

10
MONKMAN G J, HESSE S, STEINMANN R, et al. Robot grippers[M]. Hoboken, New Jersey, USA:John Wiley & Sons, 2007.

11
PETTERSSON A, DAVIS S, GRAY J O, et al. Design of a magnetorheological robot gripper for handling of delicate food products with varying shapes[J]. Journal of Food Engineering, 2010, 98(3): 332-338.

12
RUSSO M, CECCARELLI M, CORVES B, et al. Design and test of a gripper prototype for horticulture products[J]. Robotics and Computer-Integrated Manufacturing, 2017, 44(1): 266-275.

13
BULANON D M, KATAOKA T. Fruit detection system and an end effector for robotic harvesting of Fuji apples[J]. Agricultural Engineering International: CIGR Journal, 2010, 12(1): 203-210.

14
LIU J, LI P, LI Z. A multi-sensory end-effector for spherical fruit harvesting robot[C]// The 2007 IEEE International Conference on Automation and Logistics. Piscataway, New York, USA: IEEE, 2007.

15
Y-C CHIU, CHEN S, CHANG Y-C. Development of a circular grafting robotic system for watermelon seedlings[J]. Applied Engineering in Agriculture, 2010, 26(6): 1077-1084.

16
YAMADA H. Development of a grafting robot[C]// Proceedings of International Symposium on Automation and Robotics in Bio-production and Processing. 1995: 241-248.

17
HENTEN E J V. Greenhouse mechanization: State of the art and future perspective[C]// International Symposium on Greenhouses, Environmental Controls and In-house Mechanization for Crop Production in the Tropics and Sub-Tropics. Cameron Highlands, Pahang, Malaysia: International Society for Horticultural Science, 2006.

18
GAO G, FENG T, YANG H, et al. Development and optimization of end-effector for extraction of potted anthurium seedlings during transplanting[J]. Applied Engineering in Agriculture, 2016, 32(1): 37-46.

19
HU J, YAN X, MA J, et al. Dimensional synthesis and kinematics simulation of a high-speed plug seedling transplanting robot[J]. Computers and Electronics in Agriculture, 2014, 107: 64-72.

20
HAN L, MAO H, HU J, et al. Development of a doorframe-typed swinging seedling pick-up device for automatic field transplantation[J]. Spanish Journal of Agricultural Research, 2015, 13(2): ID e0210.

21
KARKEE M, ADHIKARI B. A method for three-dimensional reconstruction of apple trees for automated pruning[J]. Transactions of the ASABE, 2015, 58(3): 565-574.

22
MOORE F W. Robotic fruit tree pruner and harvester machine: US9226446B2[P]. 2016.

23
HUANG B, SHAO M, CHEN W. Design and research on end effector of a pruning robot[J]. International Journal of Simulation Systems, Science & Technology, 2015, 17(36): ID 19.

24
ARMADA M A, MUSCATO G, PRESTIFILIPPO M, et al. A prototype of an orange picking robot: Past history, the new robot and experimental results[J]. Industrial Robot: An International Journal, 2005, 32(2): 128-138.

25
AN X, LI Z, ZUDE-SASSE M, et al. Characterization of textural failure mechanics of strawberry fruit[J]. Journal of Food Engineering, 2020, 282: ID 110016.

26
JHA K, DOSHI A, PATEL P, et al. A comprehensive review on automation in agriculture using artificial intelligence[J]. Artificial Intelligence in Agriculture, 2019, 2: 1-12.

27
WANG L, ZHANG H. An adaptive fuzzy hierarchical control for maintaining solar greenhouse temperature[J]. Computers and Electronics in Agriculture, 2018, 155: 251-256.

28
ZHANG B, GU B, TIAN G, et al. Challenges and solutions of optical-based nondestructive quality inspection for robotic fruit and vegetable grading systems: A technical review[J]. Trends in Food Science & Technology, 2018, 81: 213-231.

29
SAM R, NEFTI S. Design and development of flexible robotic gripper for handling food products[C]// 2008 10th International Conference on Control, Automation, Robotics and Vision. Piscataway, New York, USA: IEEE, 2008: 1684-1689.

30
LI B, VIGNEAULT C, WANG N. Research development of fruit and vegetable harvesting robots in China[J]. Stewart Postharvest Review, 2010, 6(3): 1-8.

31
BAC C W, HENTEN E JVAN, HEMMING J, et al. Harvesting robots for high-value crops: State-of-the-art review and challenges ahead[J]. Journal of Field Robotics, 2014, 31(6): 888-911.

32
YUANSHEN Z, GONG L, LIU C, et al. Dual-arm robot design and testing for harvesting tomato in greenhouse[J]. IFAC-Papers Online, 2016, 49(16): 161-165.

33
BOUBEKRI N, CHAKRABORTY P. Robotic grasping: Gripper designs, control methods and grasp configurations—A review of research[J]. Integrated Manufacturing Systems, 2002, 13(7): 520-531.

34
BECHAR A. Robotics in horticultural field production[J]. Stewart Postharvest Review, 2010, 6(3): 1-11.

35
GONZÁLEZ S R, RODRÍGUEZ D F, SÁNCHEZ-HERMOSILLA L J, et al. Navigation techniques for mobile robots in greenhouses[J]. Applied Engineering in Agriculture, 2009, 25(2): 153-165.

36
LI M, IMOU K, WAKABAYASHI K, et al. Review of research on agricultural vehicle autonomous guidance[J]. International Journal of Agricultural and Biological Engineering, 2009, 2(3): 1-16.

37
JIMENEZ A, CERES R, PONS J L. A survey of computer vision methods for locating fruit on trees [J]. Transactions of the ASAE, 2000, 43(6): 1911-1920.

38
KAPACH K, BARNEA E, MAIRON R, et al. Computer vision for fruit harvesting robots—State of the art and challenges ahead[J]. International Journal of Computational Vision and Robotics, 2012, 3(1-2): 4-34.

39
PRETER A D, ANTHONIS J, BAERDEMAEKER J D. Development of a robot for harvesting strawberries —ScienceDirect[J]. IFAC-PapersOnLine, 2018, 51(17): 14-19.

40
XIONG Y, PENG C, GRIMSTAD L, et al. Development and field evaluation of a strawberry harvesting robot with a cable-driven gripper[J]. Computers and Electronics in Agriculture, 2019, 157: 392-402.

41
赵匀, 武传宇, 胡旭东, 等. 农业机器人的研究进展及存在的问题[J]. 农业工程学报, 2003, 19(1): 20-24.

ZHAO Y, WU C, HU X, et al. Research progress and existing problems of agricultural robots[J]. Transactions of the CSAE, 2003, 19(1): 20-24.

42
MONTA M, KONDO N, SHIBANO Y. Agricultural robot in grape production system[C]// IEEE International Conference on Robotics and Automation. Piscataway, New York, USA: IEEE, 1995.

43
HAYASHI S, GANNO K, ISHII Y, et al. Robotic harvesting system for eggplants[J]. Japan Agricultural Research Quarterly, 2002, 36(3):163-168.

44
BONDS R, SHARMA G S, KONDO Y, et al. Pollen food allergy syndrome to tomato in mountain cedar pollen hypersensitivity[J]. Molecular Immunology, 2019, 111: 83-86.

45
RAJENDRA P, KONDO N, NINOMIYA K, et al. Machine vision algorithm for robots to harvest strawberries in tabletop culture greenhouses[J]. Engineering in Agriculture Environment & Food, 2009, 2(1): 24-30.

46
HABARAGAMUWA H, OGAWA Y, SUZUKI T, et al. Detecting greenhouse strawberries (mature and immature), using deep convolutional neural network[J]. Engineering in Agriculture, 2018, 11(3): 127-138.

47
KIM H-J, K-MKU, CHOI S, et al. Vegetal-derived biostimulant enhances adventitious rooting in cuttings of basil, tomato, and chrysanthemum via brassinosteroid-mediated processes[J]. Agronomy, 2019, 9(2): ID 74.

48
WANG L, ZHAO B, FAN J, et al. Development of a tomato harvesting robot used in greenhouse[J]. International Journal of Agricultural and Biological Engineering, 2017, 10(4): 140-149.

49
霍银龙, 白倬宁, 任文武, 等. 全自动旋转式柑橘机械采摘机的设计[J]. 内燃机与配件, 2018(11): 24-25.

HUO Y, BAI Z, REN W, et al. Design of a fully automatic rotary citrus mechanical picker[J]. Internal Combustion Engines and Accessories, 2018(11): 24-25.

50
YU Y, SUN Z, ZHAO X, et al. Design and implementation of an automatic peach-harvesting robot system[C]// 2018 Tenth International Conference on Advanced Computational Intelligence (ICACI). Piscataway, New York, USA: IEEE, 2018.

51
刘继展, 李萍萍, 李智国, 等. 面向机器人采摘的番茄力学特性试验[J]. 农业工程学报, 2008, 24(12): 66-70.

LIU J, LI P, LI Z, et al. Experimental study on mechanical properties of tomatoes for robotic harvesting[J]. Transactions of the CSAE, 2008, 24(12): 66-70.

52
刘博瀚. 灵武长枣果实力学特性与采摘机械损伤研究[D]. 银川: 宁夏大学, 2018.

LIU B. Research on fruit mechanical properties and picking mechanical damage of Lingwu Long Jujube[D]. Yinchuan: Ningxia University, 2018.

53
DIMEAS F, SAKO D, MOULIANITIS V, et al. Towards designing a robot gripper for efficient strawberry harvesting[C]// 22nd International Workshop on Robotics in Alpe-Adria-Danube Region. Hoboken, New Jersey, USA: Wiley, 2013.

54
王荣炎, 郑志安, 徐丽明, 等. 枸杞气吸采摘参数试验研究[J]. 农机化研究, 2019, 41(11): 171-177.

WANG R, ZHENG Z, XU L, et al. Experimental study on the parameters of lycium barbarum extraction by suction[J]. Journal of Agricultural Mechanization Research, 2019, 41(11): 171-177.

55
张高阳. 基于位姿的苹果采摘机器人抓取研究[D]. 南京: 南京农业大学, 2012.

ZHANG G. Research on grasping of apple picking robot based on pose[D]. Nanjing: Nanjing Agricultural University, 2012.

56
姚立健, 边起, 雷良育, 等. 基于惯性主轴的水果姿态检测[J]. 湖北农业科学, 2012, 51(17): 3862-3865.

YAO L, BIAN Q, LEI L, et al. Fruit posture detection based on inertial principal axis[J]. Hubei Agricultural Sciences, 2012, 51(17): 3862-3865.

57
张哲. 柑橘采摘机器人采摘姿态及序列研究[D]. 重庆: 重庆理工大学, 2018.

ZHANG Z. Research on the picking posture and sequence of a citrus picking robot[D]. Chongqing: Chongqing University of Technology, 2018.

58
SABOUR S, FROSST N, HINTON GE. Dynamic routing between capsules[J/OL]. 2017. arXiv:1710.

09829 [ cs.CV].

59
HU Y, HUGONOT J, FUA P, et al. Segmentation-driven 6D object pose estimation[J/OL]. 2018. arXiv:1812.

02541 [ cs.CV].

60
HOHIMER C J, WANG H, BHUSAL S, et al. Design and field evaluation of a robotic apple harvesting system with a 3D-printed soft-robotic end-effector[J]. Transactions of the ASABE, 2019, 62(2): 405-414.

61
ZHAO D, LYU J, JI W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011, 110(2): 112-122.

62
LIU C, CHIU C, CHEN T, et al. A Soft Robotic Gripper Module with 3D Printed Compliant Fingers for Grasping Fruits[C]// 2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). Piscataway, New York, USA: IEEE, 2018: 736-741.

63
YAGUCHI H, NAGAHAMA K, HASEGAWA T, et al. Development of an autonomous tomato harvesting robot with rotational plucking gripper[C]// 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New York, USA: IEEE, 2016: 652-657.

64
YESHMUKHAMETOV A, KOGANEZAWA K, BURIBAYEV Z, et al. Development of continuum robot arm and gripper for harvesting cherry tomatoes[J/OL]. Preprints 2019, 2019120237. doi: 10.20944/preprints201912.0237.v1.

65
DE PRETER A, ANTHONIS J, DE BAERDEMAEKER J. Development of a robot for harvesting strawberries[J]. IFAC-PapersOnLine, 2018, 51(17): 14-19.

66
ZHAO D, LYU J, WEI J, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011, 110(2): 112-122.

67
SETIAWAN A I, FURUKAWA T, PRESTON A. A low-cost gripper for an apple picking robot[C]// IEEE International Conference on Robotics and Automation, 2004 Proceedings. Piscataway, New York, USA: IEEE, 2004: 4448-4453.

68
KAUR M, KIM W S. Toward a smart compliant robotic gripper equipped with 3D-designed cellular fingers[J]. Advanced Intelligent Systems, 2019, 1(3): ID 1900019.

69
XIE M, ZHU M, YANG Z, et al. Flexible self-powered multifunctional sensor for stiffness-tunable soft robotic gripper by multimaterial 3D printing [J]. Nano Energy, 2021, 79: ID 105438.

70
CHO S, JUN J P, JEONG H, et al. Design of a 4-Finger End-Effector for paprika harvesting[C]// 2018 18th International Conference on Control, Automation and Systems (ICCAS). Piscataway, New York, USA: IEEE, 2018: 255-257.

71
BROWN J, SUKKARIEH S. Design and evaluation of a modular robotic plum harvesting system utilizing soft components[J]. Journal of Field Robotics, 2020. doi: 10.1002/rob.21987.

72
CECCARELLI M, FIGLIOLINI G, OTTAVIANO E, et al. Designing a robotic gripper for harvesting horticulture products[J]. Robotica, 2000, 18(1): 105-111.

73
DIMEAS F, SAKO D V, MOULIANITIS V C, et al. Design and fuzzy control of a robotic gripper for efficient strawberry harvesting[J]. Robotica, 2015, 33(5): 1085-1098.

74
HAYASHI S, SHIGEMATSU K, YAMAMOTO S, et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering, 2010, 105(2): 160-171.

75
HAN K-S, KIM S-C, Y-BLEE, et al. Strawberry harvesting robot for bench-type cultivation[J]. Journal of Biosystems Engineering, 2012, 37(1): 65-74.

76
BACHCHE S, OKA K. Design, modeling and performance testing of end-effector for sweet pepper harvesting robot hand[J]. Journal of Robotics and Mechatronics, 2013, 25(4): 705-717.

77
HEMMING J, BAC C W, BVAN TUIJL, et al. A robot for harvesting sweet-pepper in greenhouses[C/OL]// Proceedings International Conference of Agricultural Engineering. 2014. [2020-11-10].

78
LEHNERT C, SA I, MCCOOL C, et al. Sweet pepper pose detection and grasping for automated crop harvesting[C]// 2016 IEEE International Conference on Robotics and Automation (ICRA). Piscataway, New York, USA: IEEE, 2016: 2428-2434.

79
SHAH S H, ARSALAN M, KHAN S G, et al. Design and Compliance Control of a Robotic Gripper for Orange Harvesting[C]// 2019 22nd International Multitopic Conference (INMIC). Piscataway, New York, USA: IEEE, 2019: 1-5.

80
WANG Y, YANG Y, YANG C, et al. End-effector with a bite mode for harvesting citrus fruit in random stalk orientation environment[J]. Computers and Electronics in Agriculture, 2019, 157: 454-470.

81
史慧文, 石慧奇, 王继祥. 草莓采摘手爪结构设计[J]. 农机化研究, 2014, 36(9): 94-98.

SHI H, SHI H, WANG J. Structural design of strawberry picking gripper[J]. Journal of Agricultural Mechanization Research, 2014, 36(9): 94-98.

82
Festo. TentacleGripper[EB/OL]. [2020-11-10].

83
软体机器人科技有限公司. 柔性制造-气动夹爪-机械手[EB/OL]. [2020-11-20].

84
SHINTAKE J, ROSSET S, SCHUBERT B, et al. DEA for soft robotics: 1-gram actuator picks up a 60-gram egg[C]// Proc. SPIE 9430, Electroactive Polymer Actuators and Devices (EAPAD). Bellingham, WA, USA: SIPE Digital Library, 2015.

85
BOGUE R. Flexible and soft robotic grippers: the key to new markets?[J]. Industrial Robot, 2016, 43(3): 258-263.

86
LIU C-H, CHEN T-L, C-H CHIU, et al. Optimal design of a soft robotic gripper for grasping unknown objects[J]. Soft Rrobotics, 2018, 5(4): 452-465.

87
ZENG Y. Environment-based design (EBD): A methodology for transdisciplinary design+[J]. Journal of Integrated Design and Process Science, 2015, 19(1): 5-24.

88
DAVIDSON J R, MO C. Mechanical design and initial performance testing of an apple-picking end-effector[C]// ASME 2015 International Mechanical Engineering Congress and Exposition. New York, USA: ASME Press, 2015: ID IMECE2015-50482, V04AT04A011.

89
SAKAI S, OSUKA K, FUKUSHIMA H, et al. Watermelon harvesting experiment of a heavy material handling agricultural robot with LQ control[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, New York, USA: IEEE, 2002: 769-774.

90
JIA B, ZHU A, YANG S X, et al. Integrated gripper and cutter in a mobile robotic system for harvesting greenhouse products[C]// 2009 IEEE International Conference on Robotics and Biomimetics (ROBIO). Piscataway, New York, USA: IEEE, 2009.

91
BACHCHE S, OKA K, SAKAMOTO H. Design and modeling of gripper and cutting tool system for sweet pepper harvesting robot hand [C/OL]// The 20th MAGDA Conference in Pacific Asia. Kaohsiung, Taiwan. 2011. [2020-11-10].

92
姬长英, 张纯, 顾宝兴, 等. 梳割气吸一体式贡菊采摘机设计与试验[J]. 农业机械学报, 2017, 48(11): 137-145.

JI C, ZHANG C, GU B, et al. Design and experiment of shear-sucting mountain chrysanthemum picking machine [J]. Transactions of the CSAM, 2017, 48(11): 137-145.

93
DAVIDSON J, HOHIMER C, MO C, et al. Dual robot coordination for apple harvesting[C]// Proceedings of the 2017 ASABE Annual International Meeting. Michigan, USA: American Society of Agricultural and Biological Engineers, 2017: ID 1700567.

94
KARIS M S, SAAD W H M, ALI N M, et al. Fruit sorting based on machine vision technique[J]. Journal of Telecommunication, Electronic and Computer Engineering (JTEC), 2016, 8(4): 31-35.

95
PATIL K, KADAM S, KALE S, et al. Machine vision based autonomous fruit inspection and sorting[J]. International Research Journal of Engineering and Technology, 2016, 3(7): 413-417.

96
CHITHRA P L, HENILA M. Apple fruit sorting using novel thresholding and area calculation algorithms[J]. Soft Computing, 2021, 25: 431-445.

97
NASIRI A, TAHERI-GARAVAND A, ZHANG Y. Image-based deep learning automated sorting of date fruit[J]. Postharvest Biology and Technology, 2019, 153: 133-141.

98
DEWI T, RISMA P, OKTARINA Y. Fruit sorting robot based on color and size for an agricultural product packaging system[J]. Bulletin of Electrical Engineering and Informatics, 2020, 9(4): 1438-1445.

99
顾宝兴. 智能移动式水果采摘机器人系统的研究[D]. 南京: 南京农业大学, 2012.

GU X. Research on intelligent mobile fruit picking robot[D]. Nanjing: Nanjing Agricultural University, 2012.

100
LIU C, GONG L, ZHANG W. Manipulating complex robot behavior for autonomous and continuous operations[M]. Pisa: Service Robotics, 2020.

101
FENG Q, WANG X, WANG G, et al. Design and test of tomatoes harvesting robot[C]// 2015 IEEE International Conference on Information and Automation. Piscataway, New York, USA: IEEE, 2015: 949-952.

102
FENG Q, ZHENG W, QIU Q, et al. Study on strawberry robotic harvesting system[C]// 2012 IEEE International Conference on Computer Science and Automation Engineering (CSAE), Piscataway, New York, USA: IEEE, 2012: 320-324.

103
LYU J, ZHAO D, JI W, et al. Recognition of apple fruit in natural environment[J]. Optik, 2016, 127(3): 1354-1362.

104
AREFI A, MOTLAGH A M, MOLLAZADE K, et al. Recognition and localization of ripen tomato based on machine vision[J]. Australian Journal of Crop Science, 2011, 5(10): 1144-1149.

105
WANG D, SONG H, YU X, et al. An improved contour symmetry axes extraction algorithm and its application in the location of picking points of apples[J]. Spanish journal of agricultural research, 2015, 13(1): ID e02-005.

106
WANG M, ZHOU J, SHANG W, et al. A novel algorithm for green citrus detection based on the reticulate grayladder feature[J]. International Journal of Signal Processing, Image Processing and Pattern Recognition, 2016, 9(10): 109-126.

107
LINKER R, COHEN O, NAOR A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012, 81: 45-57.

108
SONG Y, GLASBEY C, HORGAN G, et al. Automatic fruit recognition and counting from multiple images[J]. Biosystems Engineering, 2014, 118: 203-215.

109
LING X, ZHAO Y, GONG L, et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision[J]. Robotics and Autonomous Systems, 2019, 114: 134-143.

110
初广丽, 张伟, 王延杰, 等. 基于机器视觉的水果采摘机器人目标识别方法[J]. 中国农机化学报, 2018, 39(2): 83-88.

CHU G, ZHANG W, WANG Y, et al. Target recognition method of fruit picking robot based on machine vision[J]. Chinese Journal of Agricultural Machinery Chemistry, 2018, 39 (2): 83-88.

111
STAJNKO D, RAKUN J, BLANKE M. Modelling apple fruit yield using image analysis for fruit colour, shape and texture[J]. European Journal of Horticultural Science, 2009, 74(6): 260-267.

112
FENG Q, WEI C, ZHOU J, et al. Design of structured-light vision system for tomato harvesting robot[J]. International Journal of Agricultural and Biological Engineering, 2014, 7(2): 19-26.

113
SA I, GE Z, DAYOUB F, et al. Deepfruits: A fruit detection system using deep neural networks[J]. Sensors, 2016, 16(8): ID 1222.

114
傅隆生, 冯亚利, Elkamil, 等. 基于卷积神经网络的田间多簇猕猴桃图像识别方法简[J]. 农业工程学报, 2018, 34(2): 205-211.

FU L, FENG Y, ELKAMIL T, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the CSAE, 2018, 34(2): 205-211.

115
RAHNEMOONFAR M, SHEPPARD C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): ID 905.

116
周云成, 许童羽, 郑伟, 等. 基于深度卷积神经网络的番茄主要器官分类识别方法[J]. 农业工程学报, 2017, 33(15): 219-226.

ZHOU Y, XU T, ZHENG W, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the CSAE, 2017, 33(15): 219-226.

117
STEIN M, BARGOTI S, UNDERWOOD J. Image based mango fruit detection, localisation and yield estimation using multiple view geometry[J]. Sensors 2016, 16(11): ID 1915.

118
KHAN M A, AKRAM T, SHARIF M, et al. CCDF: Automatic system for segmentation and recognition of fruit crops diseases based on correlation coefficient and deep CNN features[J]. Computers and Electronics in Agriculture, 2018, 155: 220-236.

119
KURT W D, LEWIS M J P, KLEIJN W B. The HSIC bottleneck: Deep learning without back-propagation[J/OL]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(4). doi: 10.1609/aaai.v34i04.5950

120
SILWAL A, DAVIDSON J R, KARKEE M, et al. Design, integration, and field evaluation of a robotic apple harvester[J]. Journal of Field Robotics, 2017, 34(6): 1140-1159.

121
熊龙烨, 王卓, 何宇, 等. 果树重建与果实识别方法在采摘场景中的应用[J]. 传感器与微系统, 2019, 38(8): 153-156.

XIONG L, WANG Z, HE Y, et al. Application of fruit tree reconstruction and fruit recognition methods in picking scenes[J]. Sensors and Microsystems, 2019, 38(8): 153-156.

122
LI Y, BU R, SUN M, et al. PointCNN: Convolution on X-Transformed points[J]. 2018. arXiv:1801.07791 [cs.CV].

123
MOHANAN M G, SALGOANKAR A. A survey of robotic motion planning in dynamic environments[J]. Robotics and Autonomous Systems, 2018, 100: 171-185.

124
HU X, CHEN L, TANG B, et al. Dynamic path planning for autonomous driving on various roads with avoidance of static and moving obstacles[J]. Mechanical Systems and Signal Processing, 2018, 100: 482-500.

125
XU W, PAN J, WEI J, et al. Motion planning under uncertainty for on-road autonomous driving[C]// 2014 IEEE International Conference on Robotics and Automation (ICRA). Piscataway, New York, USA: IEEE, 2014: 2507-2512.

126
JOHNSON D B. A note on Dijkstra's shortest path algorithm[J]. Journal of the ACM, 1973, 20(3): 385-388.

127
HART P E, NILSSON N J, RAPHAEL B. A formal basis for the heuristic determination of minimum cost paths[J]. IEEE Transactions on Systems Science and Cybernetics, 1968, 4(2): 100-107.

128
STENTZ A. Optimal and efficient path planning for partially-known environments[C]// Proceedings of the 1994 IEEE International Conference on Robotics and Automation. Piscataway, New York, USA: IEEE, 1994: 3310-3317.

129
SANTOS L C, SANTOS F N, PIRES E J S, et al. Path planning for ground robots in agriculture: A short review[C]// 2020 IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC). Piscataway, New York, USA: IEEE, 2020: 61-66.

130
KHATIB O. Real-time obstacle avoidance for manipulators and mobile robots[J]. The International Journal of Robotics Research, 1986: 5(1): 396-404.

131
GAI S N, SUN R, CHEN S J, et al. 6-DOF robotic obstacle avoidance path planning based on artificial potential field method[C]// 2019 16th International Conference on Ubiquitous Robots (UR). Piscataway, New York, USA: IEEE, 2019: 165-168.

132
RASEKHIPOUR Y, KHAJEPOUR A, CHEN S, et al. A potential field-based model predictive path-planning controller for autonomous road vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(5): 1255-1267.

133
KUFFNER J J, LAVALLE S M. RRT-connect: An efficient approach to single-query path planning[C]// IEEE International Conference on Robotics and Automation. Piscataway, New York, USA: IEEE, 2000: 995-1001.

134
KARAMAN S, FRAZZOLI E. Sampling-based algorithms for optimal motion planning[J]. International Journal of Robotics Research, 2011, 30(7): 846-894.

135
ISLAM F, NASIR J, MALIK U, et al. RRT*-Smart: Rapid convergence implementation of RRT* towards optimal solution[C]// 2012 IEEE International Conference on Mechatronics and Automation. Piscataway, New York, USA: IEEE, 2012: 1651-1656.

136
WEI K, REN B. A method on dynamic path planning for robotic manipulator autonomous obstacle avoidance based on an improved RRT algorithm[J]. Sensors, 2018, 18(2): ID 571.

137
HAN B, LIU S. RRT based obstacle avoidance path planning for 6-DOF manipulator[C]// 2020 IEEE 9th Data Driven Control and Learning Systems Conference (DDCLS). Piscataway, New York, USA: IEEE, 2020: 822-827.

138
MAC T T, COPOT C, TRAN D T, et al. Heuristic approaches in robot path planning: A survey [J]. Robotics and Autonomous Systems, 2016, 86: 13-28.

139
CHIANG H L, HSU J, FISER M, et al. RL-RRT: Kinodynamic motion planning via learning reachability estimators from RL policies[J/OL]. 2019. arXiv:1907.

04799 [ cs.RO].

140
JAMES S, JOHNS E. 3D simulation for robot arm control with deep Q-Learning[J/OL]. 2016. arXiv:1609.

03759 [ cs.RO].

141
VECERÍK M, HESTER T, SCHOLZ J, et al. Leveraging demonstrations for deep reinforcement learning on robotics problems with sparse rewards [J/OL]. 2017. arXiv:1707.

08817 [ cs.AI].

142
BAC C W, HEMMING J, HENTEN E J V. Stem localization of sweet-pepper plants using the support wire as a visual cue[J]. Computers and Electronics in Agriculture, 2014, 105: 111-120.

143
LUO L, TANG Y, ZOU X, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90-104.

144
LUO L, WEN H, LU Q, et al. Collision-free path-planning for six-DOF serial harvesting robot based on energy optimal and artificial potential field[J]. Complexity, 2018(5): ID 3563846.

145
BORYGA M, GRABOŚ A, KOŁODZIEJ P, et al. Trajectory planning with obstacles on the example of tomato harvest[J]. Agriculture and Agricultural Science Procedia, 2015, 7: 27-34.

146
GUO F, CAO Q, MASATERU N. Fruit detachment and classification method for strawberry harvesting robot[J]. International Journal of Advanced Robotic Systems, 2008, 5(1): 41-48.

147
汪迪松, 浦宏杰, 李臻峰, 等. 基于声振法的西瓜内部糖度检测研究[J]. 上海农业学报, 2017, 33(2): 125-130.

WANG D, PU H, LI Z, et al. Detection of sugar content in watermelon based on the method of sound vibration[J]. Acta Agriculturae Shanghai, 2017, 33(2): 125-130.

148
CERES R, PONS J L, JIMÉNEZ A R, et al. Design and implementation of an aided fruit‐harvesting robot (Agribot)[J]. Industrial Robot, 1998, 25(5): 337-346.

149
ZHAO Y, GONG L, LIU C, et al. Dual-arm robot design and testing for harvesting tomato in greenhouse[J]. IFAC-PapersOnLine, 2016, 49(16): 161-165.

150
HUANG C-M, MUTLU B. Anticipatory robot control for efficient human-robot collaboration [C]// 2016 11th ACM/IEEE International Conference on Human-Robot Interaction (HRI). Piscataway, New York, USA: IEEE, 2016: 83-90.

151
ADAMIDES G, KATSANOS C, CONSTANTINOU I, et al. Design and development of a semi-autonomous agricultural vineyard sprayer: Human—robot interaction aspects[J]. Journal of Field Robotics, 2017, 34(8): 1407-1426.

152
VASCONEZ J P, KANTOR G A, AUAT CHEEIN F A. Human—robot interaction in agriculture: A survey and current challenges[J]. Biosystems Engineering, 2019, 179: 35-48.

153
ARGUENON V, BERGUES-LAGARDE A, ROSENBERGER C, et al. Multi-agent based prototyping of agriculture robots[C]// International Symposium on Collaborative Technologies and Systems (CTS'06). Piscataway, New York, USA: IEEE, 2006: 292-288.

154
BAC C W, HEMMING J, BVAN TUIJL, et al. Performance evaluation of a harvesting robot for sweet pepper[J]. Journal of Field Robotics, 2017, 34(6): 1123-1139.

Outlines

/