Welcome to Smart Agriculture 中文
Special Issue--Artificial Intelligence and Robot Technology for Smart Agriculture

Three-Dimensional Environment Perception Technology for Agricultural Wheeled Robots: A Review

  • CHEN Ruiyun , 1 ,
  • TIAN Wenbin , 1 ,
  • BAO Haibo 1 ,
  • LI Duan 2 ,
  • XIE Xinhao 3 ,
  • ZHENG Yongjun 1 ,
  • TAN Yu 1
Expand
  • 1. College of Engineering, China Agricultural University, Beijing 100083, China
  • 2. School of Instrumentation and Optoelectronic Engineering, Beihang University, Beijing 100191, China
  • 3. The 54th Research Institute of CETC, Shijiazhuang 050081, China
TIAN Wenbin, E-mail:

Received date: 2023-07-31

  Online published: 2023-12-27

Supported by

National Natural Science Foundation of China(61901023)

Copyright

copyright©2023 by the authors

Abstract

[Significance] As the research focus of future agricultural machinery, agricultural wheeled robots are developing in the direction of intelligence and multi-functionality. Advanced environmental perception technologies serve as a crucial foundation and key components to promote intelligent operations of agricultural wheeled robots. However, considering the non-structured and complex environments in agricultural on-field operational processes, the environmental information obtained through conventional 2D perception technologies is limited. Therefore, 3D environmental perception technologies are highlighted as they can provide more dimensional information such as depth, among others, thereby directly enhancing the precision and efficiency of unmanned agricultural machinery operation. This paper aims to provide a detailed analysis and summary of 3D environmental perception technologies, investigate the issues in the development of agricultural environmental perception technologies, and clarify the future key development directions of 3D environmental perception technologies regarding agricultural machinery, especially the agricultural wheeled robot. [Progress] Firstly, an overview of the general status of wheeled robots was introduced, considering their dominant influence in environmental perception technologies. It was concluded that multi-wheel robots, especially four-wheel robots, were more suitable for the agricultural environment due to their favorable adaptability and robustness in various agricultural scenarios. In recent years, multi-wheel agricultural robots have gained widespread adoption and application globally. The further improvement of the universality, operation efficiency, and intelligence of agricultural wheeled robots is determined by the employed perception systems and control systems. Therefore, agricultural wheeled robots equipped with novel 3D environmental perception technologies can obtain high-dimensional environmental information, which is significant for improving the accuracy of decision-making and control. Moreover, it enables them to explore effective ways to address the challenges in intelligent environmental perception technology. Secondly, the recent development status of 3D environmental perception technologies in the agriculture field was briefly reviewed. Meanwhile, sensing equipment and the corresponding key technologies were also introduced. For the wheeled robots reported in the agriculture area, it was noted that the applied technologies of environmental perception, in terms of the primary employed sensor solutions, were divided into three categories: LiDAR, vision sensors, and multi-sensor fusion-based solutions. Multi-line LiDAR had better performance on many tasks when employing point cloud processing algorithms. Compared with LiDAR, depth cameras such as binocular cameras, TOF cameras, and structured light cameras have been comprehensively investigated for their application in agricultural robots. Depth camera-based perception systems have shown superiority in cost and providing abundant point cloud information. This study has investigated and summarized the latest research on 3D environmental perception technologies employed by wheeled robots in agricultural machinery. In the reported application scenarios of agricultural environmental perception, the state-of-the-art 3D environmental perception approaches have mainly focused on obstacle recognition, path recognition, and plant phenotyping. 3D environmental perception technologies have the potential to enhance the ability of agricultural robot systems to understand and adapt to the complex, unstructured agricultural environment. Furthermore, they can effectively address several challenges that traditional environmental perception technologies have struggled to overcome, such as partial sensor information loss, adverse weather conditions, and poor lighting conditions. Current research results have indicated that multi-sensor fusion-based 3D environmental perception systems outperform single-sensor-based systems. This superiority arises from the amalgamation of advantages from various sensors, which concurrently serve to mitigate individual shortcomings. [Conclusions and Prospects] The potential of 3D environmental perception technology for agricultural wheeled robots was discussed in light of the evolving demands of smart agriculture. Suggestions were made to improve sensor applicability, develop deep learning-based agricultural environmental perception technology, and explore intelligent high-speed online multi-sensor fusion strategies. Currently, the employed sensors in agricultural wheeled robots may not fully meet practical requirements, and the system's cost remains a barrier to widespread deployment of 3D environmental perception technologies in agriculture. Therefore, there is an urgent need to enhance the agricultural applicability of 3D sensors and reduce production costs. Deep learning methods were highlighted as a powerful tool for processing information obtained from 3D environmental perception sensors, improving response speed and accuracy. However, the limited datasets in the agriculture field remain a key issue that needs to be addressed. Additionally, multi-sensor fusion has been recognized for its potential to enhance perception performance in complex and changeable environments. As a result, it is clear that 3D environmental perception technology based on multi-sensor fusion is the future development direction of smart agriculture. To overcome challenges such as slow data processing speed, delayed processed data, and limited memory space for storing data, it is essential to investigate effective fusion schemes to achieve online multi-source information fusion with greater intelligence and speed.

Cite this article

CHEN Ruiyun , TIAN Wenbin , BAO Haibo , LI Duan , XIE Xinhao , ZHENG Yongjun , TAN Yu . Three-Dimensional Environment Perception Technology for Agricultural Wheeled Robots: A Review[J]. Smart Agriculture, 2023 , 5(4) : 16 -32 . DOI: 10.12133/j.smartag.SA202308006

0 引 言

2022年中央一号文件在强化现代农业基础支撑部分中提出“提升农机装备研发应用水平,在加快农业高端智能机械研发制造的同时推广大型复合智能农机”1。在智慧农业成为中国农业未来发展方向的背景下,无人农场作为智慧农业的重要实现途径正在加速构建,智能农机装备作为无人农场的物质支撑与发展基础也成为了未来农机装备的研究重点2-4。农业机器人是智能农业装备的高端形态,是指集感知、决策、控制与执行等多种能力于一体的、用于农业生产的多自由度自主作业装备,主要由移动平台、感知系统、决策控制系统以及作业执行机构四部分构成5
农业机器人中,感知系统实现农业环境信息的智能感知,是农业机器人五大关键技术之一,能够为后续作业过程提供必要的环境信息。相比于二维环境感知技术,三维环境感知技术能够提供更准确、更全面的环境信息,并具备对复杂场景的理解能力,具有更高的鲁棒性和适应性,是实现自主作业的基础和关键环节,成为了农业环境感知的研究重点。根据农业机器人中移动平台所采取的移动方式和结构的不同,农业机器人可以分为轮式、爬行式、腿式和复合式等不同类型6。轮式机器人由于具有承载能力强、驱动和控制相对简单、高效灵活等优点被大量应用于农业领域。
作为应用范围最广的农业机器人之一,农业轮式机器人在适用于多种类型的农业环境的同时,其工作场景能够覆盖农业生产的全过程。与其他类型的农业机器人相比,农业轮式机器人在进行三维环境感知时不仅需要适应不同类型的地形并具备良好的机动性,还需要完成对周围环境的大范围实时感知。此外,为保证农业轮式机器人能长时间高精度运行,其三维环境感知系统需要具备较高的稳定性和鲁棒性。这些特点是采摘机械臂等仿生类农业机器人感知周围环境所不具备的,也正是这些工作特点使得农业轮式机器人三维环境感知技术的研究具有代表性与挑战性。因此,农业轮式机器人三维环境感知技术的研究对其他类型的农业机器人及其环境感知技术的发展具有重要意义。
为了明确农业轮式机器人三维环境感知技术未来发展方向,本文调研了近年来农业轮式机器人三维环境感知技术的相关研究,对农业轮式机器人进行三维环境感知时所采用的基于激光雷达、基于视觉传感器以及基于多传感器融合三种主流方案进行了总结与分析。在此基础上讨论了现有三维环境感知技术的局限性,展望了农业轮式机器人三维环境感知技术的发展趋势。

1 农业轮式机器人

农业机器人的发展与其具体应用场景高度相关,环境感知系统作为机器人实现自主作业的核心部分,实现其功能的关键共性技术发展依赖于以农业轮式机器人为代表的基础平台的发展和应用特点。因此,分析农业轮式机器人不同的分类和国内外研究及推广应用中的经验和问题,对发展三维环境感知技术具有重要意义。

1.1 农业轮式机器人概念与分类

轮式机器人是移动机器人的一种,是机器人领域的重要分支。广义上来说,只要移动机构属于或包含轮式结构的都可以称之为轮式机器人。除了常见的扫地机器人、物流机器人和智能轮椅等,无人驾驶汽车、轮式无人驾驶农机等大型智能车辆也属于轮式机器人的范畴7, 8
车轮数目决定了轮式机器人的设计原理与功能,因此根据车轮数目可以将轮式机器人分为单轮滚动机器人、两轮移动机器人、三轮及四轮移动机器人、多轮移动机器人及复合式(带有车轮)移动机器人9。而按照农业轮式机器人进行农业生产时作业对象的不同,可以进一步将其分为表1所示的不同应用类型5, 10-12
表1 主要农业轮式机器人分类及功能简介

Table 1 Agricultural wheeled robot taxonomy and functional overview

应用场景 名称 功能简介
田间生产轮式机器人 播种机器人 依托轮式移动机构行进,利用播种机构进行播种作业
田间管理机器人 利用传感系统和智能控制系统等,完成喷药和追肥等田间生产管理作业
大田收获机器人 用于大田作物的智能收获
果园生产轮式机器人 除草机器人 通过环境感知和自主导航系统等完成果园作物间除草工作
植保机器人 根据作物病虫害情况进行对靶喷药等智能植保作业
收获采摘机器人 识别并定位成熟果实,并利用执行机构进行果实采摘
设施农业轮式机器人 育苗机器人 根据作物种苗的生长情况实现智能移栽等功能
作物巡检机器人 依托轮式移动机构行进,实时巡检作物生长状况
畜牧养殖轮式机器人 饲喂机器人 用于畜禽的饲料投喂,使用轮式移动机构自主行进并投喂饲料
养殖巡检机器人 实时巡检养殖场的环境状况和畜禽的养殖状况
水产养殖轮式机器人 投饵机器人 用于部分场景下的水产品饵料投喂

1.2 农业轮式机器人发展现状

不同类型的农业轮式机器人具有不同的使用特点,如表2所示。单轮滚动机器人分为单轮移动机器人和球形机器人两种,前者的典型代表是1996年美国卡耐基-梅隆大学所研制的Gyrover机器人13。但由于单轮滚动机器人属于动态稳定而静态不稳定的系统,控制较为复杂,因此对其的研究和在农业领域的应用都较少。
表2 轮式机器人在农业领域的使用特点

Table 2 Characteristics of wheeled robots in the Agricultural Sector

类别 优点 缺点 说明
单轮滚动机器人

1)地压较小,土壤压实和损伤植物的风险较小

2)结构轻便紧凑

1)承载能力弱

2)控制较为复杂

3)具有静态不稳定性

在农业领域较少应用
两轮移动机器人

1)可在狭窄空间内移动

2)结构轻便紧凑

1)稳定性和平衡性较差

2)承载能力较弱

3)控制和操控较为复杂

4)对不同地形的适应能力较弱

在农业领域较少应用
三轮及四轮移动机器人、多轮移动机器人

1)承载能力强

2)控制相对简单

3)稳定性和平衡性较好

4)对不同地形的适应能力较强

5)可搭载多种类型的传感器和设备,适用范围广

1)生产和维护成本较单轮与两轮移动机器人更高

2)机动性不如单轮与两轮移动机器人

3)地压较大,压实土壤损伤植物的风险较大

1)对不同工作场景的适应性强

2)鲁棒性和稳定性较好

3)具备长时间运行的能力

两轮移动机器人根据车轮布置方式的不同可以分为两类,分别是两轮前后布置的自行车机器人和呈左右对称布置的两轮移动机器人。自行车机器人在具有一定的侧向不稳定性的同时属于欠驱动的非完整约束系统,对农业环境等复杂地形适应能力较弱14。与之类似,呈左右对称布置的两轮机器人也需要考虑自平衡问题,该类型机器人在农业领域中也较为少见。
三轮及四轮移动机器人是轮式机器人中最常见的类型和研究的重点,也是轮式机器人在农业领域的主要应用类型。农业四轮移动机器人主要以四轮无人车和无人驾驶拖拉机等为代表,其概念样机如图1所示。与其他几种轮式机器人相比较,四轮移动机器人最符合农业环境下的作业与使用要求15
图1 概念无人驾驶拖拉机16

Fig. 1 Conceptual autonomous tractor

从整体上看,各个国家特有的农业发展特点与农业生产模式使得农业轮式机器人在不同国家的发展现状有所不同。例如,日本在农业机器人领域处于领先地位,是农业机器人研究较早、市场发育较为成熟的国家之一。但由于土地资源有限,日本的农业以高度的精细化管理为特点。因此日本的研究人员开发了各种类型的农业轮式机器人用于育苗、扦插、采摘和农药喷洒等农业生产活动。这些农业轮式机器人具备高度的自动化和精确性,有助于提高农作物的产量和质量。美国在农业轮式机器人领域也有广泛的研究和应用,但与日本相比,美国领土面积大,农业生产以大规模农场为主,农业高度机械化和工业化。在这一前提下,美国对农业轮式机器人的研究侧重于大田环境下的作物种植、管理和收割,在无人驾驶拖拉机、无人驾驶收获机等方面取得了较多研究成果,并且已经将部分农业轮式机器人产品用于实际的农业生产作业。
与外国相比,中国在农业轮式机器人领域的研究起步较晚,目前中国对于农业轮式机器人的研究处于快速发展阶段,已经开发了多种适合中国农业大规模和多样性特点的农业轮式机器人,如蔬果采摘机器人(图2)、嫁接机器人和田间管理机器人等17。虽然近年来中国农业轮式机器人的相关研究取得了很大进展,但现有的农业轮式机器人更多地停留在研究阶段,在适用性、作业效果以及智能化程度等方面仍面临亟需解决的瓶颈问题17, 18。适用性方面,现有的农业轮式机器人多为针对某一特定作业场景下的某一生产环节而设计,不适用于同一作业场景下的其他环节和不同的作业场景。这在限制了使用效率的同时,增加了使用农业轮式机器人进行农业生产的成本。在生产规模有限的情况下,这将阻碍农业轮式机器人在实际农业生产中的大规模应用。作业效果方面,现有的农业轮式机器人在大田播种、大田收获等方面已经有了较为成熟的作业解决方案,可以替代人工进行作业。但在果蔬采摘、切种育种等领域仍存在识别精度低与作业速度慢的问题。智能化程度方面,随着机器视觉与人工智能技术的不断进步,农业轮式机器人的智能化程度较以前有了较大提升,但作业环境的复杂性与生产的经济性使得现有技术水平仍然无法满足农业生产对其智能化程度的要求,很多任务无法由农业轮式机器人单独完成。
图2 轮式番茄采摘机器人5

Fig. 2 Wheeled tomato picking robot

为提升农业轮式机器人的适用性、作业效果和智能化程度,不仅需要改进农业轮式机器人的结构,还需要进一步提升其感知系统和决策控制系统的水平。环境感知技术作为感知系统的关键技术,在直接影响信息获取效果的同时,还间接影响了后续决策、控制和执行环节。因此,对农业环境感知技术的研究具有重要意义。

2 农业环境感知技术发展现状

常见的农业环境感知要素包括目标位置、三维尺寸、类别、环境温湿度和光照强度等,不同的工作场景和作业特点使得农业轮式机器人对环境信息的感知要求不尽相同。在众多感知要素中,以实现无人化作业为目标的农业轮式机器人都需要获得目标位置、尺寸和类别等属性信息作为理解环境的基础。因此,获得这些环境和物体信息并提升智能化程度的关键就在于农业轮式机器人所使用的环境感知技术。

2.1 三维环境感知技术发展现状

环境感知技术可以分为二维环境感知技术与三维环境感知技术。二维环境感知关注的是在平面上呈现的信息,而三维环境感知是指以采集并解析周围环境三维信息的方式来获取目标的三维属性和状态19。在农业领域,三维环境感知的对象主要为农作物、障碍物、道路以及建筑设施等静态目标,少部分情况下也包括作业人员、野生动物等动态目标。感知内容主要是静态和动态目标对象的三维空间位置、三维尺寸和形状范围等物理信息20
二维环境感知所获取的平面信息无法提供高度和深度等额外维度的信息,因此在某些场景下其无法满足精确和全面的环境感知需求。此外,传感器的工作原理使得二维环境感知在应对环境变化时也存在一定的不足。例如光线不足和雨雪天气会使得RGB相机所获取的图像信息质量下降,甚至无法正常工作。而单线激光雷达在复杂场景下所获取的有限的距离信息会使得其对重叠目标物无法进行有效分辨。与之相比,三维环境感知技术所使用的飞行时间(Time of Flight,TOF)型和结构光类型的深度相机受光照强度的影响较小,在夜晚无光照时也能够正常工作。多线激光雷达能够提供物体在三维空间中的精确位置、形状和尺寸等信息,在不断变化的复杂场景下依然能实现对周围环境的感知与理解。因此,三维环境感知技术可以在帮助农业机器人系统更好地理解和适应复杂的三维环境的同时,更好地应对不同光照条件、天气条件和场景变化带来的挑战。三维环境感知技术的发展水平直接影响到农业机器人自主作业的效率与精度。
虽然近年来对农业环境下的三维环境感知技术的研究不断取得突破,但在实际应用时仍面临一些问题。例如现有的农业环境三维感知技术在感知效果上已逐渐趋于瓶颈,除了传感器的性能和种类,感知方式与感知信息的处理方法也成为了其发展的限制。目前三维环境感知技术对环境信息的获取和处理还无法达到与人类感知系统一样或者接近的水准。同时,在将现有的三维环境感知技术研究成果部署在实际农业生产环境下时,缺乏使用与评判标准。从传感器接口到通信方式,同一感知方案在不同设备上的部署需要进行大量的适应性调整,不利于大规模推广应用。此外,应用成本也是限制农业环境三维环境感知技术的因素之一。

2.2 三维环境感知关键技术

在作业环境为没有先验环境信息的、未知的和随机的非结构化环境的情况下,农业轮式机器人通过感知设备采集真实世界的环境信息并将其转变成自身能够处理和理解的数字信号19, 21, 22。根据农业轮式机器人自主感知周围的三维环境信息时主要使用的设备方案,可以将农业轮式机器人三维环境感知技术分为基于激光雷达的三维环境感知技术、基于视觉传感器的三维环境感知技术和基于多传感器融合的三维环境感知技术23-25。在其他领域(如汽车领域),毫米波雷达等传感器也被用来感知三维环境信息,但这些传感器目前在农业中的应用较少。

2.2.1 激光雷达主要感知设备与关键技术

激光雷达通过主动发射激光并接收返回的激光来实现感知周围环境的功能,根据扫描结构的类型可以分为固态式、机械旋转式和混合式三种;而根据载荷平台的不同,又可以分为机载激光雷达、地面激光雷达和车载(移动)激光雷达三种,农业机器人主要使用的是车载类型26-29。此外,根据雷达线束数目可以将激光雷达分为单线与多线激光雷达。一般情况下单线激光雷达只能实现平面式扫描,虽然通过多个单线激光雷达的组合或者加装旋转云台的方式也能实现对三维环境的感知,但目前还无法获得与多线激光雷达一样的检测效果30, 31
对于目标空间形状、竖直方向上的环境信息不敏感的结构化程度较高的场合,通常只考虑一个平面上的环境信息,此时单线激光雷达由于具有成本较低、数据结构简单的特点成为了很多研究人员的选择32-35。但很多时候农业轮式机器人工作时需要考虑树干被遮挡、作业环境的空间干涉以及作业特征提取等问题,此时只使用单线激光雷达无法满足作业要求。
随着自动驾驶行业的不断发展,国内外对多线激光雷达的研究取得了显著进步。随着技术的成熟和价格的逐渐下降,多线激光雷达在农业领域的应用也越来越常见,例如使用多线激光雷达获取标准化枸杞种植园的作物信息,图3(a)为枸杞园实景,图3(b)为与实景对应的三维点云信息。比较有代表性的激光雷达产品有Velodyne公司的VLP-16型和VLP-32型激光雷达传感器、SICK公司的LMS系列激光扫描仪传感器以及中国大疆Livox公司的Mid-40型和Mid-100型激光雷达传感器等。在使用多线激光雷达感知三维环境信息时,涉及到的关键技术包括传感器的标定和校准、三维点云数据的预处理、特征提取和目标检测与识别等。其中为提高点云数据的质量和准确性,三维点云数据的预处理技术包括对所获取点云数据的滤波、降噪、移动物体去除和地面点云分割等。
图3 多线激光雷达田间工作效果

Fig. 3 Field work effect of multi line LiDAR

2.2.2 视觉传感器主要感知设备与关键技术

机器视觉技术是智能机器人实时感知并理解周围环境的另一重要途径,机器视觉系统使用视觉传感器获得被测物体的特征图像,通过对特征图像进行分析处理提取所需信息36, 37
根据所获得的图像信息类型,视觉传感器可以分为普通RGB相机和深度相机两种。后者将距离信息加入到前者所获取的二维图像中,得到了三维图像38。目前,国内外在使用RGB相机进行环境感知方面做了很多研究,已经应用于农作物和杂草识别、农产品品质检测等方面。但仅依靠单目相机无法满足某些场景对深度(距离)信息的需求,还需要与其他能够获取距离信息的传感器(如超声波位置传感器等)进行组合。因此,基于单个深度相机的三维环境感知技术成为了当前的研究热点。
常见的深度相机可以分为双目相机、结构光相机和TOF相机39。其中双目相机是通过不同位置的两个摄像头拍摄同一幅场景,通过算法立体匹配出相应像点,从而计算出视差,然后基于三角测量原理恢复深度(距离)信息,因此双目相机也可称为立体相机40。现有的立体匹配技术主要包括基于区域的立体匹配和基于全局的立体匹配,但随着深度学习的不断发展,深度学习也已经在立体匹配中取得了一定的进展,卷积神经网络已被用于解决立体匹配的问题41。在不断取得发展进步的同时,立体匹配技术也存在一定的局限性,例如依赖于图像中的纹理或特征来找到对应点的立体匹配技术在纹理缺乏或存在重复纹理的区域,可能会面临匹配失败或产生错误的深度估计。与此同时,在处理高分辨率图像时,立体匹配算法在计算上非常复杂。此外,物体之间的遮挡也会导致立体匹配失败或深度估计不准确。与双目相机不同,结构光相机和TOF相机则是使用调制光直接获得深度(距离)信息42
在传感器工作原理方面,单个RGB相机与双目深度相机的成像与最终工作效果受到光照、角度等因素的影响。而TOF与结构光类型的深度相机的工作原理与激光雷达具有一定的共通性,支持全天连续作业,但该类型的深度相机反射率受到灰尘、雨雪等因素的影响43
使用视觉传感器感知三维环境时,不同类型的设备所涉及到的关键技术也有所不同。使用双目相机时,左右图像的匹配和校准直接影响到深度信息的准确性44。而使用TOF型和结构光类型的深度相机时,对三维点云数据的处理则是影响感知效果的关键。目前国内外对于深度相机在农业领域应用进行了大量研究,所使用的几种具有代表性的深度相机包括:Microsoft公司的Kinect系列相机、Intel公司的RealSense系列相机、Orbbec公司的Astra系列相机,以及ZED/ZED Mini相机等。

3 农业轮式机器人三维环境感知技术研究和应用进展

3.1 基于激光雷达的三维感知技术

不同作业目标对于激光雷达感知三维环境时的技术要求有所不同,所以根据后续目标功能,可以将基于激光雷达的三维环境感知技术的应用类型分为作物行与路径识别、障碍物检测、作物状态监测和作业对象识别等几类。

3.1.1 作物行与路径识别

作物行与路径识别是实现农业轮式机器人自主导航的基础,也是激光雷达三维环境感知技术的主要应用领域。例如,Zhang等45使用定制的三维激光雷达获取果园的点云信息,并将不同时间采集的多帧点云数据在一个公共参考系中组装成全局点云,从而拟合出果树行种植线。Jiang等46将多线激光雷达与单线激光雷达获取的点云融合建图,实现了四轮机器人在温室内的定位和导航。Jones等47基于VLP-16型激光雷达设计了一款猕猴桃园自主导航四轮重型平台,通过多线激光雷达来检测猕猴桃园的棚架支柱和树干从而生成导航路径。刘伟洪等48以松灵Scout-Mini四轮移动机器人和多线激光雷达为硬件基础实时采集果园环境信息,提出了一种基于3D Lidar的果树行识别与导航线拟合的方法,在真实梨园下以0.68与1.35 m/s的速度跟踪树行时绝对偏差分别不超过21.3与22.1 cm。熊积奎49使用VLP-16型三维激光雷达作为传感器,四轮差速移动平台为载体扫描山地果园得到三维点云数据,以处理后的两侧果树植株点云的形心拟合种植行曲线,并计算出两条曲线的中线作为导航路径,如图4所示。最终曲线路径拟合试验的标准差为0.084 m,最大差值为0.06 m,但在直线路径拟合时取得的效果较差。耿丽杰50使用Ouster OSI 64线激光雷达扫描标准化种植葡萄园环境获得三维点云信息,并基于Scan Context与NDT-ICP相融合的方法建立了葡萄园的三维环境地图。以此为依据拟合得到的葡萄树种植线直线拟合效果稳定。
图4 实验场景和路径拟合结果49

Fig. 4 The experimental scene and path fitting results

上述研究使用多线激光雷达扫描周围环境获取目标三维点云信息,通过对三维点云进行处理得到目标的三维空间位置,进而确定作物的种植行线与农业轮式机器人的导航路径。虽然能够实现作物行与路径识别的预期功能,但在应用场景方面,包括上述研究在内的大多数相关研究成果都只是针对单一特定的农业场景,在多场景适应性方面还有所不足。在设备成本较高的前提下,不利于大规模的农业生产使用。

3.1.2 障碍物检测

实现障碍物检测的前提是传感器能够获得准确的障碍物距离信息,因此激光雷达是绝大多数农业轮式机器人自动导航避障系统的选择。虽然多线激光雷达检测障碍物获取的信息更直观、更丰富,但考虑到成本等因素,目前较少有研究单独使用多线激光雷达来检测障碍物,现有的研究多基于单线激光雷达,无法完整地、高质量地感知环境信息31, 51。Kragh等52使用支持向量机的方法将HDL-32E型多线激光雷达获取的三维点云中的单个点分成地面、植被或物体三类,为进一步识别出可穿越的障碍物类型提供基础。以拖拉机为载体的实验结果表明,该方法的综合分类准确率达到了91.6%。
针对单线激光雷达获取障碍物信息时所存在的问题,尚业华等53将RS-Lidar-32型三维激光雷达安装在迪尔904型拖拉机上,通过下采样滤波、划分感兴趣区域和随机抽样一致性算法(Random Sample Consensus,RANSAC)等方法对采集的环境点云进行处理,提出了一种基于欧式聚类的三维激光点云田间障碍物检测方法,田间试验结果表明该方法对田间常见障碍物有较好的检测效果,如图5所示。胡广锐等54用安装在四轮移动机器人底盘上的RS-Lidar-M1型固态激光雷达采集环境三维点云信息,提取了果树树冠与果园垄行点云,在提取出垄行线与初始路径的基础上使用一种改进后的人工势场算法优化初始路径以避开障碍物。
图5 田间草堆和田埂的检测效果图53

Fig. 5 The detection efficacy images of field haystacks and terraced ridges

目前使用多线激光雷达进行障碍物检测的相关研究相对较少,现有的研究在对障碍物检测效果进行实验时较少考虑到地形变化与天气变化带来的影响,后续还需要对障碍物检测方法的泛化能力做进一步的提升。

3.1.3 作物状态检测与作业对象识别

实现作物状态的有效监测能够帮助完成更加科学精细的农业作物管理,比如精准农业下的精准施肥、精准施药喷雾等55。通过多线激光雷达扫描作物获得其精确的三维信息,进而通过点云分布特征得到所要监测的作物状态数据,主要包括作物高度、叶面积和冠层形状等。例如Omasa等56提出了一种使用多线激光雷达来监测植物受外界因素影响时植株结构变化的方法。Sanz等57使用基于LMS200型激光雷达的3D动态测量系统,实现了以树行激光雷达体积来估计叶面积密度。张漫等58以四轮支架作为车载测量平台,使用VLP-16型多线激光雷达获取玉米的三维点云数据并进行分析处理,提出了一种计算重要作物表型参数叶面积指数(Leaf Area Index,LAI)的方法,为田间快速测量LAI提供了一种解决方案。
激光雷达无法获得周围环境的颜色信息,但其也能够通过对三维点云信息的处理完成对作业对象识别,有助于实现精准的种植管理和无人采摘等功能。Gené-Mola等59基于多线激光雷达实现了对苹果的有效检测,实验时检测到的苹果数目达到了人工计数的93.7%。Weiss等60使用FX6型多线激光雷达获取植物信息,结合机器学习中的监督学习实现了植物物种的检测与分类,该方法对于20种常见苗圃植物的识别正确率达到98%。Pretto等61将装有多个激光雷达的Bosch BoniRob农业四轮无人车与无人机相结合,提出了一种用于精准农业的空地机器人系统,使用多线激光雷达建立环境地图,实现了对杂草的精确检测与去除。但文献[61]提出的这种方法是一种定制的硬件解决方案及处理方法,多个激光雷达与无人机的使用意味着较为昂贵的生产成本以及使用难度。此外,上述研究侧重于对检测精确度的提升,在检测速度方面考虑的较少,因此需要进一步进行优化,才能够应用于实际农业生产。

3.2 基于视觉传感器的三维感知技术

与激光雷达相比,基于视觉传感器的三维环境感知方案具有经济性好、信息量丰富等优点,因此也被广泛应用在农业轮式机器人领域。在农业环境下,基于视觉传感器的三维环境感知技术较多用于检测周围环境中的障碍物,同时其在作业对象识别和路径识别等方面也取得了一定研究成果62

3.2.1 障碍物检测

由于缺乏目标的形状信息,基于激光雷达的障碍物检测某些情况下无法准确分辨出障碍物的种类,但部分障碍物可以被农业机器穿过(如软杂草等),此时使用视觉传感器可较好地解决这一问题63。为快速准确地识别出可通行区域,DOS Santos等64在拖拉机上安装双目相机获得三维点云,在此基础上实现了基于几何信息的障碍物检测与聚类,此外使用贝叶斯分类器消除了部分虚假障碍物。Ball等65在使用双目相机完成障碍物检测的基础上,使用算法立体匹配障碍物所在像素点的点云数据以实现障碍物的定位,该方法能够较好地检测出农田环境中经常出现的静态障碍物。与Ball处理数据的方法不同,Fleischmann等66将点云拆分为并行分析的单元,使用邻域分析法实现障碍物的聚类与识别,实验结果表明该方法能够较好地识别出农田环境下的电线杆等长杆障碍物。此外,Nissimov等67提出了一种在温室环境中使用Kinect深度相机进行障碍物检测的方法,该方法通过颜色和纹理特征对可疑障碍物像素进行分类。杨福增等68提出了一种在双目校正的基础上进行立体匹配障碍物的检测方法,田间试验结果表明该方法对于设置的四种障碍物的识别准确率达到96%以上,但检测距离需要小于2 m,难以在实际场景中使用。姬长英等69通过对不同区域点云密度的计算获得点云密度随距离的衰减曲线,进一步处理后得到障碍物的距离和尺寸信息。徐俊杰70使用半全局块匹配算法进行双目立体匹配,如图6所示。在此基础上,使用基于视差图的障碍物检测方法提取了障碍物的三维信息。试验结果表明,该方法对障碍物距离、宽度和高度的测量平均相对误差分别为-2.68%、-0.98%和-1.34%。
图6 障碍物检测原始图像和视差图70

Fig. 6 The original images and disparity maps for obstacle detection

在上述研究工作中,使用双目相机获得视差图并进一步转换成三维点云是后续工作开展的基础。但在实际使用时,双目相机通过视差计算得到的物体距离精确度往往受到观察条件的影响,当光照变化大、缺乏纹理或者物体表面光滑时,视差可能难以准确计算,导致所获取的深度信息的稳定性较差。与此同时,工作距离是当前使用深度相机进行障碍物识别需要考虑的问题,视差精度对于双目相机得到的深度信息的限制使得其对于较远距离障碍物的检测能力较差,但该问题在激光雷达等传感器被使用时能够较好解决。除此之外,双目相机的视场范围相对较小,在需要大范围检测时单个双目相机可能无法完整覆盖目标区域。

3.2.2 作业对象识别

作业对象识别方面,通过对RGB相机所拍摄的二维图像信息进行处理,结合卷积神经网络和深度学习等方法,农业领域现有的图像处理与机器视觉技术已经能够较好地实现对常见杂草、农作物等的识别。使用深度相机的三维环境感知方案由于能够获取深度信息,对作业对象的识别较多集中在作物采摘等需要准确获取目标空间位置的领域。
Yaguchi等71设计了一种使用PS4Eye双目相机的番茄采摘机器人,改进后该机器人每个番茄的采摘时间从85 s下降到23 s,但其收获成功率仍有待提高。Silwal等72针对V架栽培模式的苹果种植园开发了一种基于深度相机的苹果采摘机器人,其采摘成功率达到84%,单个苹果的平均采摘时间为6 s。Bachche和Oka73则提出了一种使用双目相机识别青椒的方法,并对各种颜色空间模型进行了评估。乐晓亮74提出了一种实际场景下的番茄串采收方法,通过深度相机定位番茄串采摘点,并以转化后的点云数据为基础建立采摘环境的离散化模型,如图7所示,该方法平均识别定位时间为35.58 ms,识别成功率达到94%。Ling等75基于双目相机开发了一种番茄采摘机器人双臂协作方法,田间试验中,使用该方法在10帧/s的速度下超过96%的目标番茄被正确检测到,机器人采摘的成功率达到87.5%。
图7 番茄串识别及对应三维点云效果图74

Fig. 7 The tomato cluster recognition and corresponding 3D point cloud effects

在基于视差的深度信息精度不足的前提下,如何兼顾识别精度与识别速度是使用双目相机进行作业对象识别需要解决的问题。不同于对静态障碍物的检测,当使用双目相机在动态环境下进行作业对象识别时,双目相机在灵活性方面会有所欠缺,需要更复杂的算法来处理与识别动态的物体。

3.2.3 作物行与路径识别

基于深度相机的作物行与路径识别能够为农机导航提供基础的路径信息。Kise等76开发了一种基于双目相机的作物行检测系统,当拖拉机在大豆田中以3.0 m/s的速度行驶时,横向偏差能够控制在厘米级。Wang等77使用双目相机获取残茬耕地的地面特征,在此基础上测量的拖拉机相对横向偏差小于5 cm,从而在没有明显参考标志的情况下准确引导拖拉机前进。针对行作物采用的沟灌栽培模式,Yun等78开发了一种基于双目相机的引导线检测系统,通过将深度图像划分为山脊和犁沟两个区域,检测每个区域的边界点并提取引导线。以拖拉机为载体的田间试验结果表明,该系统工作时的横向偏差在2 cm左右。余越79同时使用单目工业相机和双目相机构成四轮农用无人作业平台环境感知系统的硬件基础,分别用于基于作物的导航线提取和前向障碍物检测,结果表明基于融合导航平均横向偏差为8.65 cm,平均航向偏差为4.7°,满足田间作业需求。何坤80设计了一种草莓温室自主移动机器人,通过使用Kinect深度相机获取草莓温室中的三维环境信息并建立草莓温室的全局地图,能够实现在不同草莓温室大棚环境下规划路径并自主导航至指定位置。
不同于激光雷达通过作物点云拟合作物行,上述研究使用双目相机进行作物行与路径识别时需要区分农作物与地面,当两者具有相似的纹理和颜色时,会使得区域边界不够清晰,从而影响识别准确性,但该问题在使用TOF型深度相机时影响会相对较小。

3.3 基于多传感器融合的三维感知技术

在实际农业生产中,工作环境通常属于非结构化环境,在工作条件较为恶劣的同时,工作场景复杂多变,目标物体类型多样且不可控因素更多。现有的基于单一传感器的环境感知技术在具备理想作业条件的特定场景下,通常能够达到预期的工作效果。但受限于传感器自身的工作原理,这种方案在具有一定优点的同时也有较大的局限性,获取周围环境信息时存在定位精度差、信息获取不完整以及鲁棒性较差的问题,无法满足实际农业生产作业要求,如表3所示31
表3 单一传感器三维环境感知方案的优缺点

Table 3 Advantages and disadvantages of 3D environment perception based on a single sensor

传感器方案 优点 缺点
激光雷达感知

1)对严苛环境(黑暗、目标重叠等)适应较好

2)探测距离远

3)精度高且分辨率好

1)相对较为昂贵

2)受雨、雪等恶劣天气影响

3)无法获得目标形状和颜色信息

4)多个激光雷达间可能相互干扰

视觉传感器感知

1)不对外发射信号,相互之间不会干扰

2)不扫描时能获得更宽视角的三维信息

3)经济性相对更好

4)获得的图像包含更丰富的信息

1)受环境光照和灰尘等影响较大,夜间无法工作

2)相应算法鲁棒性不足

3)有效工作距离较短

为满足智能化精准作业的需要,农业轮式机器人对于环境感知系统的精确性、环境适应性以及鲁棒性都提出了更高的要求。因此,能够结合多个传感器优点、弥补各传感器单独使用时所存在缺点的多传感器融合感知方案成为了获取三维环境信息的最佳方案,也成为了近年来的发展趋势。
多传感器信息融合也称为多传感器数据融合,这一概念起源于上世纪70年代,是指将来自多个同类或不同类型的传感器所获取信息进行综合处理并进行统一评价与估计的过程81。根据数据融合过程中所采用的融合方式的不同,常见的多传感器融合模型可以分为数据级(像素级)融合、特征级融合以及决策级融合三种,不同的融合模型对应不同的融合方法。而根据多传感器信息融合时结构的不同,又可以分为集中式融合结构、分布式融合结构以及结合了前两者特点的混合式融合结构三种82
在以感知周围三维环境信息为目的的多传感器融合方案中,所使用的传感器除了激光雷达与深度相机这两种能够直接获取三维环境信息的传感器外,还包括RGB工业相机、惯性测量单元(Inertial Measurement Unit,IMU)和毫米波雷达等多种类型的传感器。将基于多传感器融合的三维环境感知技术的近年研究整理如表4所示。
表4 基于多传感器融合的三维环境感知技术相关研究

Table 4 Research on 3D environment sensing technology based on multi sensor fusion

作者 传感器方案 特点和效果
Underwood等83 单线激光雷达、全景相机 将激光雷达扫描系统获取的三维点云投影至图像中,通过建立的3D模型估计果树冠层体积,进而预测单株产量
Reina等84 多线激光雷达、双目相机、毫米波雷达 提出了一个立体相机与多线激光雷达的统计框架和一种立体相机与毫米波雷达融合方法用于障碍物检测,其中前者的检测准确率达到96.5%
Yasukawa等85 深度相机、红外摄像机 基于红外摄像机和深度相机设计了一个番茄采摘机器人,前者用于检测番茄的果实,后者用于确定番茄的三维位置,检测正确率达到88.1%
Benet等86 单线激光雷达、工业相机、IMU 融合工业相机、单线激光雷达和IMU的数据进行果树行识别与直线拟合,当机器人以2 m/s的速度自动跟踪果行时平均横向误差在0.1~0.4 m之间
Yan等87 双目相机、深度相机、IMU 将以双目相机和IMU为基础的视觉惯性里程计与深度相机进行融合,完成温室环境中的实时定位并建立三维地图
褚福春88 多线激光雷达、IMU 通过IMU提升激光雷达的定位精度,采集果园三维点云数据拟合出果树行直线,进而得到导航路径实现自主导航,0.8和1.0 m/s的速度下拟合的导航路径平均横向偏差分别为0.084和0.108 m
刘宇峰89 单线激光雷达、双目相机 单线激光雷达与双目相机分别获取障碍物定位数据与尺寸测量数据,进而实现自主导航农机单/多障碍物避障,最终平均测量误差为0.03 m、平均定位误差小于0.04 m
何蒙90 单线激光雷达、深度相机 在单线激光雷达获取周围环境点云数据的基础上使用深度相机剔除无效点,根据剩余目标位置实现棚架果园的导航。以0.3 m/s的速度行进时平均横向偏差在0.027 3~0.031 4 cm之间
林乙蘅91 多线激光雷达、双目相机、INS、BDS 使用多传感器融合的方法检测道路两侧果树及障碍物信息,构建环境三维点云图,完成路径规划与路径追踪,其中直线路径跟踪精度在0.02 m以下
从上述相关研究结果看,现有的基于多传感器融合的三维环境感知方案相较于单一传感器方案,在所获取的三维环境信息的精确度、对复杂工作场景的适应能力以及鲁棒性等多个方面都存在一定程度的提升,多传感器信息融合的方案具有较好的研究前景,将继续成为农业领域三维环境感知技术的发展方向。
但与此同时,这些研究大多数仍处于试验和研究阶段,距离真正的大规模农业应用还有一定距离,除了在可靠性、稳定性和生产成本等方面还有所欠缺,在多传感器和多源信息的快速有效融合方法上也还需要进一步深入研究,总体上仍处于样机试验阶段,尚未形成产业化的成果。

4 结论与展望

精细农业和智慧农业作为新型农业形态,是中国应对当前农业挑战的必然选择,也是未来中国农业的发展方向。精细农业要求结合作物需求,精确且有针对性地投入生产要素,其实施过程离不开生产过程自动控制且能够实现精细作业的智能化农机。而智慧农业也要求以信息和知识作为核心要素,通过现代信息技术和智能装备实现农业生产全过程的信息感知、定量决策和智能控制。
在此背景下,农业机器人作为具有代表性的智能农机装备,其三维环境感知技术也遵循农业发展大方向,应向着精细化与智能化的方向继续发展。现有的三维环境感知技术在适用性、可推广性和感知效果等方面还存在一定的不足,在感知设备层面亟需高性能、低成本且专门面向农业环境的传感器。在感知与处理方法方面则需要突破现有的技术瓶颈,为高度智能化、自主化的农业机器人提供必要的信息基础。为进一步提升中国农业机器人三维环境感知技术水平,可以重点加强以下三个方面的研究工作。
(1)提升传感器的农业适用性。在制定农业机器人三维环境感知方案时,选择合适的传感器是问题的关键所在。不仅需要考虑传感器的性能,比如精度、稳定性等,还要考虑传感器的经济成本,智能农业机器人的生产成本直接影响到其推广与大规模应用的可能性。多线激光雷达分辨率高、探测距离远,但其价格昂贵,导致农业机器人的成本增加,从而增加了农业生产成本。而使用经济性较好的视觉传感器则容易受光线、灰尘等环境因素影响。此外,以激光雷达为例,现有的激光雷达设计标准多为车规级,没有考虑到农业场景的特殊性。因此,应进一步提升所使用传感器的农业适用性,在降低激光雷达等传感器的研发和生产成本的同时,提升这些传感器的工作性能。
(2)发展基于深度学习的三维环境感知新方法。在实际农业生产作业时,由于作业地形、环境物体类别等外部环境特征的实时改变,环境感知系统所获取的三维环境信息也处于动态变化的状态,此时感知系统需要对各类动态变化信息及时做出处理,否则将影响后续决策规划、控制作业等环节的实时性。现有的三维环境感知技术研究对于未知环境信息的处理使用的还是较为传统的处理方法,比如视觉传感器在进行作业对象识别时所采用的是传统图像处理方法,激光雷达进行障碍物检测时使用的是滤波、聚类等方法,这些方法对于三维环境信息的处理速度还有待提高,有时会导致机器人出现延迟作业或不能准确避开障碍物的情况。而运用深度学习的方法对图像信息和三维点云信息进行处理,能够提高响应速度,缩短系统延迟时间。但同时使用深度学习需要使用大量的数据集进行模型训练,这使得其具有网络结构复杂和数据样本庞大的难点,这是将深度学习应用在三维环境感知的主要障碍。
(3)发展智能化的高速在线多传感器信息融合技术。在复杂多变的农业场景下,基于多传感器融合的环境感知技术较使用单一传感器的感知方案来说,具备更强的感知能力和对复杂环境适应性。在具有一定优势的同时,多传感器信息融合技术作为感知基础仍需要进一步发展提升。从多传感器融合的工作原理出发,目前的研究工作较多集中在离线条件下对不同类型的传感器进行方案上的组合优化,或者对现有的集中式、分布式和混合式融合结构进行改进。但随着智能化农机装备对环境感知系统实时响应速度以及感知精度提出新的要求,使用一般融合结构的离线处理模式不仅面临大数据量存储问题,还存在计算速度慢、处理输出延迟的问题。因此,未来将发展智能化的高速在线多传感器信息融合技术。在有效减少人为介入、智能调控多传感器数据融合模式的同时,实现多种农业环境信息的高速在线融合,这将有效提升多传感器信息融合技术的灵活性与鲁棒性,进而实现农业轮式机器人更为高效、可靠的三维环境感知功能。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
中共中央 国务院. 关于做好2022年全面推进乡村振兴重点工作的意见[EB/OL]. (2022-02-22)[2023-07-29]

2
罗锡文, 廖娟, 胡炼, 等. 我国智能农机的研究进展与无人农场的实践[J]. 华南农业大学学报, 2021, 42(6): 8-17, 5.

LUO X W, LIAO J, HU L, et al. Research progress of intelligent agricultural machinery and practice of unmanned farm in China[J]. Journal of South China agricultural university, 2021, 42(6): 8-17, 5.

3
李道亮, 李震. 无人农场系统分析与发展展望[J]. 农业机械学报, 2020, 51(7): 1-12.

LI D L, LI Z. System analysis and development prospect of unmanned farming[J]. Transactions of the Chinese society for agricultural machinery, 2020, 51(7): 1-12.

4
欧阳安, 崔涛, 林立. 智能农机装备产业现状及发展建议[J]. 科技导报, 2022, 40(11): 55-66.

OUYANG A, CUI T, LIN L. Development status and countermeasures of intelligent agricultural machinery equipment industry[J]. Science & technology review, 2022, 40(11): 55-66.

5
刘成良, 贡亮, 苑进, 等. 农业机器人关键技术研究现状与发展趋势[J]. 农业机械学报, 2022, 53(7): 1-22, 55.

LIU C L, GONG L, YUAN J, et al. Current status and development trends of agricultural robots[J]. Transactions of the Chinese society for agricultural machinery, 2022, 53(7): 1-22, 55.

6
HAJJAJ S S H, SAHARI K S M. Review of research in the area of agriculture mobile robots[M]// The 8th international conference on robotic, vision, signal processing & power applications. Singapore: Springer Singapore, 2014: 107-117.

7
陶永, 王田苗, 刘辉, 等. 智能机器人研究现状及发展趋势的思考与建议[J]. 高技术通讯, 2019, 29(2): 149-163.

TAO Y, WANG T M, LIU H, et al. Insights and suggestions on the current situation and development trend of intelligent robots[J]. Chinese high technology letters, 2019, 29(2): 149-163.

8
谭民, 王硕. 机器人技术研究进展[J]. 自动化学报, 2013, 39(7): 963-972.

TAN M, WANG S. Research progress on robotics[J]. Acta automatica Sinica, 2013, 39(7): 963-972.

9
HU B, XING J P, WANG Y. Research on key technologies of wheeled robot[C]// Proceedings of the 3rd Annual International Conference on Mechanics and Mechanical Engineering (MME 2016). Paris, France: Atlantis Press, 2017: 664-668.

10
JIN Y C, LIU J Z, XU Z J, et al. Development status and trend of agricultural robot technology[J]. Internationaljournal of agricultural and biological engineering, 2021, 14(3): 1-19.

11
RAMIN SHAMSHIRI R, WELTZIEN C, HAMEED I A, et al. Research and development in agricultural robotics: A perspective of digital farming[J]. International journal of agricultural and biological engineering, 2018, 11(4): 1-11.

12
CHENG C, FU J, SU H, et al. Recent advancements in agriculture robots:Benefits and challenges[J]. Machines, 2023, 11(1): ID 48.

13
BROWN H B, XU Y S. A single wheel,gyroscopically stabilized robot[J]. IEEE robotics & automation magazine, 1997, 4(3): 39-44.

14
刘延斌. 自行车机器人研究综述[J]. 机械设计与研究, 2007, 23(5): 113-115.

LIU Y B. Research summarization of riderless bicycles[J]. Machine design & research, 2007, 23(5): 113-115.

15
GAO X Y, LI J H, FAN L F, et al. Review of wheeled mobile robots' navigation problems and application prospects in agriculture[J]. IEEE access, 2018, 6: 49248-49268.

16
IndustrialCNH. Newsroom[EB/OL]. [2023-08-29]

17
王儒敬, 孙丙宇. 农业机器人的发展现状及展望[J]. 中国科学院院刊, 2015, 30(6): 803-809.

WANG R J, SUN B Y. Development status and expectation of agricultural robot[J]. Bulletin of Chinese academy of sciences, 2015, 30(6): 803-809.

18
林欢, 许林云. 中国农业机器人发展及应用现状[J]. 浙江农业学报, 2015, 27(5): 865-871.

LIN H, XU L Y. The development and prospect of agricultural robots in China[J]. Acta agriculturae Zhejiangensis, 2015, 27(5): 865-871.

19
王佳荣. 面向自动驾驶的多传感器三维环境感知系统关键技术研究[D]. 北京: 中国科学院大学, 2020.

WANG J R. Research on key technologies of multi-sensor 3D environment perception system for autonomous driving[D].Beijing: University of Chinese Academy of Sciences, 2020.

20
王世峰, 戴祥, 徐宁, 等. 无人驾驶汽车环境感知技术综述[J]. 长春理工大学学报(自然科学版), 2017, 40(1): 1-6.

WANG S F, DAI X, XU N, et al. Overview on environment perception technology for unmanned ground vehicle[J]. Journal of Changchun university of science and technology (natural science edition), 2017, 40(1): 1-6.

21
BECHAR A, VIGNEAULT C. Agricultural robots for field operations. Part 2: Operations and systems[J]. Biosystems engineering, 2017, 153: 110-128.

22
BECHAR A, VIGNEAULT C. Agricultural robots for field operations: Concepts and components[J]. Biosystems engineering, 2016, 149: 94-111.

23
HUAMANCHAHUA D, YALLI-VILLA D, BELLO-MERLO A, et al. Ground robots for inspection and monitoring: A state-of-the-art review[C]// 2021 IEEE 12th Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON). Piscataway, New Jersey, USA: IEEE, 2021: 768-774.

24
王宝梁, 沈文龙, 张宝玉. 农用无人车环境感知技术发展现状及趋势分析[J]. 中国农机化学报, 2021, 42(11): 214-221.

WANG B L, SHEN W L, ZHANG B Y. Development status and trend of environmental perception technology for unmanned agricultural vehicles[J]. Journal of Chinese agricultural mechanization, 2021, 42(11): 214-221.

25
XIE D B, CHEN L A, LIU L C, et al. Actuators and sensors for application in agricultural robots: A review[J]. Machines, 2022, 10(10): ID 913.

26
刘斌, 张军, 鲁敏, 等. 激光雷达应用技术研究进展[J]. 激光与红外, 2015, 45(2): 117-122.

LIU B, ZHANG J, LU M, et al. Research progress of laser radar applications[J]. Laser & infrared, 2015, 45(2): 117-122.

27
WANG R S, PEETHAMBARAN J, CHEN D. LiDAR point clouds to 3-D urban models: A review[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2018, 11(2): 606-627.

28
陈晓冬, 张佳琛, 庞伟凇, 等. 智能驾驶车载激光雷达关键技术与应用算法[J]. 光电工程, 2019, 46(7): 34-46.

CHEN X D, ZHANG J C, PANG W S, et al. Key technology and application algorithm of intelligent driving vehicle LiDAR[J]. Opto-electronic engineering, 2019, 46(7): 34-46.

29
余莹洁. 车载激光雷达的主要技术分支及发展趋势[J]. 科研信息化技术与应用, 2018, 9(6): 16-24.

YU Y J. The main technical branches and development trend of vehicle LiDAR[J]. E-science technology & application, 2018, 9(6): 16-24.

30
赵腾. 基于激光扫描的联合收割机自动导航方法研究[D]. 杨凌: 西北农林科技大学, 2017.

ZHAO T. Development of automatic navigation method for combine harvester based on laser scanner[D]. Yangling: Northwest A & F University, 2017.

31
何勇, 蒋浩, 方慧, 等. 车辆智能障碍物检测方法及其农业应用研究进展[J]. 农业工程学报, 2018, 34(9): 21-32.

HE Y, JIANG H, FANG H, et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture[J]. Transactions of the Chinese society of agricultural engineering, 2018, 34(9): 21-32.

32
么汝亭. 林用移动机器人的环境感知与跟踪控制研究[D]. 北京: 北京林业大学, 2021.

YAO R T. Research on environment perception and tracking control of forest mobile robots[D]. Beijing: Beijing Forestry University, 2021.

33
孙意凡, 孙建桐, 赵然, 等. 果实采摘机器人设计与导航系统性能分析[J]. 农业机械学报, 2019, 50(S1): 8-14.

SUN Y F, SUN J T, ZHAO R, et al. Design and system performance analysis of fruit picking robot[J]. Transactions of the Chinese society for agricultural machinery, 2019, 50(S1): 8-14.

34
郭成洋. 果园智能车辆自动导航系统关键技术研究[D]. 杨凌: 西北农林科技大学, 2020.

GUO C Y. Key technologies of automatic vehicles navigation system in orchard[D]. Yangling: Northwest A & F University, 2020.

35
MALAVAZI F B P, GUYONNEAU R, FASQUEL J B, et al. LiDAR-only based navigation algorithm for an autonomous agricultural robot[J]. Computers and electronics in agriculture, 2018, 154: 71-79.

36
ZHU H, YUEN K V, MIHAYLOVA L, et al. Overview of environment perception for intelligent vehicles[J]. IEEE transactions on intelligent transportation systems, 2017, 18(10): 2584-2601.

37
朱云, 凌志刚, 张雨强. 机器视觉技术研究进展及展望[J]. 图学学报, 2020, 41(6): 871-890.

ZHU Y, LING Z G, ZHANG Y Q. Research progress and prospect of machine vision technology[J]. Journal of graphics, 2020, 41(6): 871-890.

38
向学勤, 潘志庚, 童晶. 深度相机在计算机视觉与图形学上的应用研究(英文)[J]. 计算机科学与探索, 2011, 5(6): 481-492.

XIANG X Q, PAN Z G, TONG J. Depth camera in computer vision and computer graphics: An overview[J]. Journal of frontiers of computer science and technology, 2011, 5(6): 481-492.

39
WANG T H, CHEN B, ZHANG Z Q, et al. Applications of machine vision in agricultural robot navigation: A review[J]. Computers and electronics in agriculture, 2022, 198: ID 107085.

40
周星, 高志军. 立体视觉技术的应用与发展[J]. 工程图学学报, 2010, 31(4): 50-55.

ZHOU X, GAO Z J. Application and future development of stereo vision technology[J]. Journal of engineering graphics, 2010, 31(4): 50-55.

41
陈舒雅. 基于深度学习的立体匹配技术研究[D]. 杭州: 浙江大学, 2022.

CHEN S Y. Study on deep learning based stereo matching technologies[D]. Hangzhou: Zhejiang University, 2022.

42
KOLAR P, BENAVIDEZ P, JAMSHIDI M. Survey of datafusion techniques for laser and vision based sensor integration for autonomous navigation[J]. Sensors, 2020, 20(8): ID 2180.

43
赵子健. 基于深度相机的图像处理研究[D]. 合肥: 中国科学技术大学, 2022.

ZHAO Z J. Research on image processing based on depth camera[D].Hefei: University of Science and Technology of China, 2022.

44
BAI Y H, ZHANG B H, XU N M, et al. Vision-based navigation and guidance for agricultural autonomous vehicles and robots: A review[J]. Computers and electronics in agriculture, 2023, 205: ID 107584.

45
ZHANG J, CHAMBERS A, MAETA S, et al. 3D perception for accurate row following: Methodology and results[C]// 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2013: 5306-5313.

46
JIANG S K, WANG S L, YI Z Y, et al. Autonomous navigation system of greenhouse mobile robot based on 3D LiDAR and 2D LiDAR SLAM[J]. Frontiers in plant science, 2022, 13: ID 815218.

47
JONES M H, BELL J, DREDGE D, et al. Design and testing of a heavy-duty platform for autonomous navigation in kiwifruit orchards[J]. Biosystems engineering, 2019, 187: 129-146.

48
刘伟洪, 何雄奎, 刘亚佳, 等. 果园行间3D LiDAR导航方法[J]. 农业工程学报, 2021, 37(9): 165-174.

LIU W H, HE X K, LIU Y J, et al. Navigation method between rows for orchard based on 3D LiDAR[J]. Transactions of the Chinese society of agricultural engineering, 2021, 37(9): 165-174.

49
熊积奎. 基于激光雷达和卫星定位的果园喷雾机导航控制研究[D]. 镇江: 江苏大学, 2022.

XIONG J K. Research on navigation control of orchard sprayer based on lidar and satellite positioning[D]. Zhenjiang: Jiangsu University, 2022.

50
耿丽杰. 基于激光雷达和RTK的葡萄园自主导航平台的研究与设计[D]. 淄博: 山东理工大学, 2022.

GENG L J. Research and design of vineyard autonomous navigation platform based on LiDAR and RTK[D]. Zibo: Shandong University of Technology, 2022.

51
季宇寒, 徐弘祯, 张漫, 等. 基于激光雷达的农田环境点云采集系统设计[J]. 农业机械学报, 2019, 50(S1): 1-7.

JI Y H, XU H Z, ZHANG M, et al. Design of point cloud acquisition system for farmland environment based on LiDAR[J]. Transactions of the Chinese society for agricultural machinery, 2019, 50(S1): 1-7.

52
KRAGH M, JØRGENSEN R N, PEDERSEN H. Object detection and terrain classification in agricultural fields using 3D lidar data[C]// Proceedings of the 10th International Conference on Computer Vision Systems. New York, USA: ACM, 2015: 188-197.

53
尚业华, 张光强, 孟志军, 等. 基于欧氏聚类的三维激光点云田间障碍物检测方法[J]. 农业机械学报, 2022, 53(1): 23-32.

SHANG Y H, ZHANG G Q, MENG Z J, et al. Field obstacle detection method of 3D LiDAR point cloud based on Euclidean clustering[J]. Transactions of the Chinese society for agricultural machinery, 2022, 53(1): 23-32.

54
胡广锐, 孔微雨, 齐闯, 等. 果园环境下移动采摘机器人导航路径优化[J]. 农业工程学报, 2021, 37(9): 175-184.

HU G R, KONG W Y, QI C, et al. Optimization of the navigation path for a mobile harvesting robot in orchard environment[J]. Transactions of the Chinese society of agricultural engineering, 2021, 37(9): 175-184.

55
RIVERA G, PORRAS R, FLORENCIA R, et al. LiDAR applications in precision agriculture for cultivating crops: A review of recent advances[J]. Computers and electronics in agriculture, 2023, 207: ID 107737.

56
OMASA K, HOSOI F, KONISHI A. 3D LiDAR imaging for detecting and understanding plant responses and canopy structure[J]. Journal of experimental botany, 2007, 58(4): 881-898.

57
SANZ R, ROSELL J R, LLORENS J, et al. Relationship between tree row LIDAR-volume and leaf area density for fruit orchards and vineyards obtained with a LIDAR 3D Dynamic Measurement System[J]. Agricultural and forest meteorology, 2013, 171/172: 153-162.

58
张漫, 苗艳龙, 仇瑞承, 等. 基于车载三维激光雷达的玉米叶面积指数测量[J]. 农业机械学报, 2019, 50(6): 12-21.

ZHANG M, MIAO Y L, QIU R C, et al. Maize leaf area index measurement based on vehicle 3D LiDAR[J]. Transactions of the Chinese society for agricultural machinery, 2019, 50(6): 12-21.

59
GENÉ-MOLA J, GREGORIO E, AUAT CHEEIN F, et al. Fruit detection, yield prediction and canopy geometric characterization using LiDAR with forced air flow[J]. Computers and electronics in agriculture, 2020, 168: ID 105121.

60
WEISS U, BIBER P, LAIBLE S, et al. Plant species classification using a 3D LIDAR sensor and machine learning[C]// 2010 Ninth International Conference on Machine Learning and Applications. Piscataway, New Jersey, USA: IEEE, 2010: 339-345.

61
PRETTO A, ARAVECCHIA S, BURGARD W, et al. Building an aerial-ground robotics system for precision farming: An adaptable solution[J]. IEEE robotics & automation magazine, 2021, 28(3): 29-49.

62
王飞涛, 樊春春, 李兆东, 等. 机器人在设施农业领域应用现状及发展趋势分析[J]. 中国农机化学报, 2020, 41(3): 93-98, 120.

WANG F T, FAN C C, LI Z D, et al. Application status and development trend of robots in the field of facility agriculture[J]. Journal of Chinese agricultural mechanization, 2020, 41(3): 93-98, 120.

63
PEZZEMENTI Z, TABOR T, HU P Y, et al. Comparing apples and oranges: Off-road pedestrian detection on the National Robotics Engineering Center agricultural person-detection dataset[J]. Journal of field robotics, 2018, 35(4): 545-563.

64
DOS SANTOS E B, MENDES C C T, SANTOS OSORIO F, et al. Bayesian networks for obstacle classification in agricultural environments[C]// 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). Piscataway, New Jersey, USA: IEEE, 2013: 1416-1421.

65
BALL D, UPCROFT B, WYETH G, et al. Vision-based obstacle detection and navigation for an agricultural robot[J]. Journal of field robotics, 2016, 33(8): 1107-1130.

66
FLEISCHMANN P, BERNS K. A stereo vision based obstacle detection system for agricultural applications[M]// Springer tracts in advanced robotics. Cham: Springer International Publishing, 2016: 217-231.

67
NISSIMOV S, GOLDBERGER J, ALCHANATIS V. Obstacle detection in a greenhouse environment using the Kinect sensor[J]. Computers and electronics in agriculture, 2015, 113: 104-115.

68
杨福增, 刘珊, 陈丽萍, 等. 基于立体视觉技术的多种农田障碍物检测方法[J]. 农业机械学报, 2012, 43(5): 168-172, 202.

YANG F Z, LIU S, CHEN L P, et al. Detection method of various obstacles in farmland based on stereovision technology[J]. Transactions of the Chinese society for agricultural machinery, 2012, 43(5): 168-172, 202.

69
姬长英, 沈子尧, 顾宝兴, 等. 基于点云图的农业导航中障碍物检测方法[J]. 农业工程学报, 2015, 31(7): 173-179.

JI C Y, SHEN Z Y, GU B X, et al. Obstacle detection based on point clouds in application of agricultural navigation[J]. Transactions of the Chinese society of agricultural engineering, 2015, 31(7): 173-179.

70
徐俊杰. 基于视觉的丘陵山区田间道路场景理解和障碍物检测研究[D]. 重庆: 西南大学, 2019.

XU J J. Research for field road scene recognition and obstacle detection in hilly areas based on vision[D]. Chongqing: Southwest University, 2019.

71
YAGUCHI H, NAGAHAMA K, HASEGAWA T, et al. Development of an autonomous tomato harvesting robot with rotational plucking gripper[C]// 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). New York, USA: ACM, 2016: 652-657.

72
SILWAL A, DAVIDSON J R, KARKEE M, et al. Design, integration, and field evaluation of a robotic apple harvester[J]. Journal of field robotics, 2017, 34(6): 1140-1159.

73
BACHCHE S, OKA K. Distinction of green sweet peppers by using various color space models and computation of 3-dimensional location coordinates of recognized green sweet peppers based on parallel stereovision system[J]. Journal of system design and dynamics, 2013, 7(2): 178-196.

74
乐晓亮. 番茄串的机器人采收方法研究与应用[D]. 广州: 华南理工大学, 2021.

LE X L. Research and application of robot harvesting method for tomato bunches[D]. Guangzhou: South China University of Technology, 2021.

75
LING X, ZHAO Y S, GONG L, et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision[J]. Robotics and autonomous systems, 2019, 114: 134-143.

76
KISE M, ZHANG Q, ROVIRA MÁS F. A stereovision-based crop row detection method for tractor-automated guidance[J]. Biosystems engineering, 2005, 90(4): 357-367.

77
WANG Q, ZHANG Q, ROVIRA-MÁS F, et al. Stereovision-based lateral offset measurement for vehicle navigation in cultivated stubble fields[J]. Biosystems engineering, 2011, 109(4): 258-265.

78
YUN C, KIM H J, JEON C W, et al. Stereovision-based guidance line detection method for auto-guidance system on furrow irrigated fields[J]. IFAC-PapersOnLine, 2018, 51(17): 157-161.

79
余越. 基于融合导航与强化学习算法的田间智能农机自主避障方法研究[D]. 杭州: 浙江大学, 2022.

YU Y. Research on autonomous obstacle avoidance method of field intelligent agricultural vehicle based on fusion navigation and reinforcement learning algorithm[D]. Hangzhou: Zhejiang University, 2022.

80
何坤. 基于ROS的草莓温室自主移动机器人全局路径规划研究[D]. 武汉: 武汉轻工大学, 2020.

HE K. Research on global path planning of autonomous mobile robot in strawberry greenhouse based on ROS[D]. Wuhan: Wuhan Polytechnic University, 2020.

81
李洋, 赵鸣, 徐梦瑶, 等. 多源信息融合技术研究综述[J]. 智能计算机与应用, 2019, 9(5): 186-189.

LI Y, ZHAO M, XU M Y, et al. A survey of research on multi-source information fusion technology[J]. Intelligent computer and applications, 2019, 9(5): 186-189.

82
许博玮, 马志勇, 李悦. 多传感器信息融合技术在环境感知中的研究进展及应用[J]. 计算机测量与控制, 2022, 30(9): 1-7, 21.

XU B W, MA Z Y, LI Y. Research progress and application of multi-sensor information fusion technology in environmental perception[J]. Computer measurement & control, 2022, 30(9): 1-7, 21.

83
UNDERWOOD J P, HUNG C, WHELAN B, et al. Mapping almond orchard canopy volume, flowers, fruit and yield using lidar and vision sensors[J]. Computers and electronics in agriculture, 2016, 130: 83-96.

84
REINA G, MILELLA A, ROUVEURE R, et al. Ambient awareness for agricultural robotic vehicles[J]. Biosystems engineering, 2016, 146: 114-132.

85
YASUKAWA S, LI B, SONODA T, et al. Development of a tomato harvesting robot[J]. Proceedings of international conference on artificial life and robotics, 2017, 22: 408-411.

86
BENET B, LENAIN R, ROUSSEAU V. Development of a sensor fusion method for crop row tracking operations[J]. Advances in animal biosciences, 2017, 8(2): 583-589.

87
YAN Y X, ZHANG B H, ZHOU J, et al. Real-time localization and mapping utilizing multi-sensor fusion and visual–IMU–wheel odometry for agricultural robots in unstructured, dynamic and GPS-denied greenhouse environments[J]. Agronomy, 2022, 12(8): ID 1740.

88
褚福春. 基于多传感器融合的农业机器人非结构化环境导航技术研究[D]. 淄博: 山东理工大学, 2022.

CHU F C. Research on unstructured environment navigation technology of agricultural robot based on multi-sensor fusion[D]. Zibo: Shandong University of Technology, 2022.

89
刘宇峰. 基于机器视觉的自主导航农机避障路径规划[D]. 南京: 南京农业大学, 2020.

LIU Y F. Obstacle avoidance path planning of autonomous navigation agricultural machinery based on machine vision[D]. Nanjing: Nanjing Agricultural University, 2020.

90
何蒙. 2D-3D信息组合的棚架果园复杂场景自主感知与导航[D]. 镇江: 江苏大学, 2021.

HE M. Autonomous perception and navigation in complex scenes of trellis orchard based on 2D-3D information combination[D]. Zhenjiang: Jiangsu University, 2021.

91
林乙蘅. 基于多源信息融合的智能农机路径规划和路径跟踪研究[D]. 南京: 东南大学, 2018.

LIN Y H. Path planning and path tracking of intelligent agricultural vehicle based on multi-source information fusion[D]. Nanjing: Southeast University, 2018.

Outlines

/