欢迎您访问《智慧农业(中英文)》官方网站! English
专题--农业知识智能服务和智慧无人农场(上)

农业复杂场景下多机器人协同SLAM研究进展与展望

  • 马楠 , 1, 2, 4, 5 ,
  • 曹姗姗 2, 3 ,
  • 白涛 1, 4, 5 ,
  • 孔繁涛 6 ,
  • 孙伟 , 2, 3
展开
  • 1. 新疆农业大学 计算机与信息工程学院,新疆 乌鲁木齐 830052
  • 2. 中国农业科学院农业信息研究所,北京 100081
  • 3. 国家农业科学数据中心,北京 100081
  • 4. 智能农业教育部工程研究中心,新疆 乌鲁木齐 830052
  • 5. 新疆农业信息化工程技术研究中心,新疆 乌鲁木齐 830052
  • 6. 中国农业科学院农业经济与发展研究所,北京 100081
孙 伟,博士,研究员,研究方向为智慧畜牧和时空信息分析。E-mail:

马 楠,研究方向为农业信息技术。E-mail:

收稿日期: 2024-06-11

  网络出版日期: 2024-11-21

基金资助

中国农业科学院科技创新工程(10-IAED-RC-09-2024)

新疆维吾尔自治区重点研发任务专项(2022B02049-1-3)

国家重点研发计划项目(2023YFD200080503)

新疆维吾尔自治区高校基本科研业务费科研项目(XJEDU2022J009)

科技部科技创新 2030重大项目(2022ZD0115800)

Research Progress and Prospect of Multi-robot Collaborative SLAM in Complex Agricultural Scenarios

  • MA Nan , 1, 2, 4, 5 ,
  • CAO Shanshan 2, 3 ,
  • BAI Tao 1, 4, 5 ,
  • KONG Fantao 6 ,
  • SUN Wei , 2, 3
Expand
  • 1. College of Computer and Information Engineering, Xinjiang Agricultural University, Urumqi 830052, China
  • 2. Agricultural Information Institute of CAAS, Beijing 100081, China
  • 3. National Agriculture Science Data Center, Beijing 100081, China
  • 4. Engineering Research Center of Intelligent Agriculture Ministry of Education, Urumqi 830052, China
  • 5. Xinjiang Agricultural Informatization Engineering Technology Research Center, Urumqi 830052, China
  • 6. Institute of Agricultural Economics and development, Beijing 100081, China
SUN Wei, E-mail:

MA Nan, E-mail:

Received date: 2024-06-11

  Online published: 2024-11-21

Supported by

Science and Technology Innovation Program of the Chinese Academy of Agricultural Sciences(10-IAED-RC-09-2024)

Key Research and Development Task Project of the Xinjiang Uygur Autonomous Region(2022B02049-1-3)

National Key Research and Development Program of China(2023YFD200080503)

Basic Research Project Fund for Universities in Xinjiang Uygur Autonomous Region(XJEDU2022J009)

Major Project of the Science and Technology Innovation 2030 Initiative by the Ministry of Science and Technology(2022ZD0115800)

Copyright

copyright©2024 by the authors

摘要

[目的/意义] 在大田作业、野外放牧、果园采收等典型农业应用场景下,多机器人(包括移动式智能农机装备等)高精度快速协同同步定位与建图(Simultaneous Localization and Mapping, SLAM)是智慧农业乃至无人农场的关键基础和核心支撑。与单机器人SLAM相比,多机器人协同SLAM具有精度高、范围广、实时性强、扩展性好等优势,但在农业种植和养殖等自然复杂环境下,由于场景动态可变、地形复杂多变、环境丰富多样、通信约束受限等多重因素叠加影响,尚存在诸多问题与挑战。 [进展] 现有研究主要是从通用基础技术的视角对多机器人SLAM的研究脉络、优缺点、适用条件和关键核心问题等方面进行总结归纳,但缺乏针对农业复杂场景特性的剖析。本研究面向农业复杂场景的主要特征,以“多传感器数据融合—协同定位—协同建图—回环检测”为关键技术主线,分析了多机器人协同SLAM的优缺点及其在农业领域的适用性;从多机器人协同作业的视角,明晰了集中式、分布式和混合式三种主要协同框架的优势、局限性及适用的典型农业应用场景;进而探讨了农业复杂场景下多机器人SLAM存在的多传感器融合精度偏低、协同通信环境受限、相对位姿估计准确性不高等突出问题。 [结论/展望] 从优化数据融合底层算法、融合深度学习和强化学习、引入大语言模型、应用数字孪生技术等方面,对农业复杂环境下多机器人SLAM的未来发展方向和趋势进行了展望。

本文引用格式

马楠 , 曹姗姗 , 白涛 , 孔繁涛 , 孙伟 . 农业复杂场景下多机器人协同SLAM研究进展与展望[J]. 智慧农业, 2024 , 6(6) : 23 -43 . DOI: 10.12133/j.smartag.SA202406005

Abstract

[Significance] The rapid development of artificial intelligence and automation has greatly expanded the scope of agricultural automation, with applications such as precision farming using unmanned machinery, robotic grazing in outdoor environments, and automated harvesting by orchard-picking robots. Collaborative operations among multiple agricultural robots enhance production efficiency and reduce labor costs, driving the development of smart agriculture. Multi-robot simultaneous localization and mapping (SLAM) plays a pivotal role by ensuring accurate mapping and localization, which are essential for the effective management of unmanned farms. Compared to single-robot SLAM, multi-robot systems offer several advantages, including higher localization accuracy, larger sensing ranges, faster response times, and improved real-time performance. These capabilities are particularly valuable for completing complex tasks efficiently. However, deploying multi-robot SLAM in agricultural settings presents significant challenges. Dynamic environmental factors, such as crop growth, changing weather patterns, and livestock movement, increase system uncertainty. Additionally, agricultural terrains vary from open fields to irregular greenhouses, requiring robots to adjust their localization and path-planning strategies based on environmental conditions. Communication constraints, such as unstable signals or limited transmission range, further complicate coordination between robots. These combined challenges make it difficult to implement multi-robot SLAM effectively in agricultural environments. To unlock the full potential of multi-robot SLAM in agriculture, it is essential to develop optimized solutions that address the specific technical demands of these scenarios. [Progress] Existing review studies on multi-robot SLAM mainly focus on a general technological perspective, summarizing trends in the development of multi-robot SLAM, the advantages and limitations of algorithms, universally applicable conditions, and core issues of key technologies. However, there is a lack of analysis specifically addressing multi-robot SLAM under the characteristics of complex agricultural scenarios. This study focuses on the main features and applications of multi-robot SLAM in complex agricultural scenarios. The study analyzes the advantages and limitations of multi-robot SLAM, as well as its applicability and application scenarios in agriculture, focusing on four key components: multi-sensor data fusion, collaborative localization, collaborative map building, and loopback detection. From the perspective of collaborative operations in multi-robot SLAM, the study outlines the classification of SLAM frameworks, including three main collaborative types: centralized, distributed, and hybrid. Based on this, the study summarizes the advantages and limitations of mainstream multi-robot SLAM frameworks, along with typical scenarios in robotic agricultural operations where they are applicable. Additionally, it discusses key issues faced by multi-robot SLAM in complex agricultural scenarios, such as low accuracy in mapping and localization during multi-sensor fusion, restricted communication environments during multi-robot collaborative operations, and low accuracy in relative pose estimation between robots. [Conclusions and Prospects] To enhance the applicability and efficiency of multi-robot SLAM in complex agricultural scenarios, future research needs to focus on solving these critical technological issues. Firstly, the development of enhanced data fusion algorithms will facilitate improved integration of sensor information, leading to greater accuracy and robustness of the system. Secondly, the combination of deep learning and reinforcement learning techniques is expected to empower robots to better interpret environmental patterns, adapt to dynamic changes, and make more effective real-time decisions. Thirdly, large language models will enhance human-robot interaction by enabling natural language commands, improving collaborative operations. Finally, the integration of digital twin technology will support more intelligent path planning and decision-making processes, especially in unmanned farms and livestock management systems. The convergence of digital twin technology with SLAM is projected to yield innovative solutions for intelligent perception and is likely to play a transformative role in the realm of agricultural automation. This synergy is anticipated to revolutionize the approach to agricultural tasks, enhancing their efficiency and reducing the reliance on labor.

0 引 言

同步定位与建图(Simultaneous Localization and Mapping, SLAM)是无人系统中最基本的关键技术问题之一,也是机器人自主导航的关键核心技术。SLAM技术可以弥补全球导航卫星系统(Global Navigation Satellite System, GNSS)在室内及动态环境下导航不精确的问题,其主要过程是通过机器人在陌生的环境中从未知位置开始移动,确定自己的位置的同时,通过携带的传感器逐步构建增量地图,用于自主导航和路径规划1。由于单个机器人构建的地图会导致累积误差,而且随着时间的推移,定位与建图的误差会越来越大,严重影响了导航精度和路径规划准确性。协同现象存在于自然界中的生物之间,蚁群依靠协同进行觅食、大雁通过协同实现迁移、鱼群以群体协同躲避追捕、狼群通力合作完成捕猎等。随着技术的发展,各种机器人间的合作显著增加,多机器人协同被广泛应用于各个领域2。多机器人协同SLAM不仅能够在一定程度上提高定位与建图的精度,实现“1+1>2”的协同效应,而且当单个机器人发生故障,不会造成整个系统无法对环境进行感知等问题3
近年来,随着多机器人SLAM日益成为研究热点,研究者们从不同角度对该技术进行了总结归纳。卫恒等4从多机器人SLAM后端算法优化的角度,分析了优化算法逐步由基于滤波理论优化向基于图像、深度学习优化转变的趋势。阴贺生等5阐述了视觉SLAM的多机器人协作建图方法,并讨论了视觉SLAM的全局关联方法,分配机器人资源执行SLAM驱动的协作建图策略等关键问题。裴凌等6从传感器观测模型、环境场景模型、载体运动行为模型等三方面归纳了多元融合定位算法,并从滤波、优化两方面分析了环境场景对多源融合定位的影响。张迎雪等7探讨了多机器人同步定位与地图构建、路径规划技术、任务分配方法的重要性,并指出这四部分与强化学习的结合是未来多机协同系统的重要发展方向。王曦杨等8总结了多机器人协同SLAM融合算法和架构,并从机器学习分类的视角梳理了现有协同SLAM算法的优缺点,同时提出了多机器人SLAM与深度学习、语义地图的结合是未来发展的主要方向。Aloui等9基于对SLAM基本结构的分析,指出了协作SLAM应用于自主移动机器人的主要局限性和挑战。综上所述,现有研究多是从通用基础技术的视角总结归纳多机器人协同SLAM的研究脉络、优缺点及其适用条件,剖析存在的关键核心问题,展望未来的主要发展方向和趋势。
目前,在农业领域的机器人应用非常广泛,如在畜禽养殖舍、温室等场景下的巡检机器人,涉及导航、定位、多数据融合等技术;在大田作业、温室种植等场景下的施药施肥机器人,需要解决目标识别、跟踪、路径规划等问题;在果园、田间等场景下,剪枝机器人、采摘机器人,适应复杂结构、非结构化环境,需要点云配准、数字孪生等技术的支持实现精准采摘和剪枝。因此,协同SLAM在农业领域发挥着重要作用。但是,多机器人协同无人农场、多机器人协同导航、多机器人果园采收、多机器人协同大田作业、多机器人复杂环境作业,以及多机器人协同放牧等典型应用场景中(图1),通用的多机器人协同SLAM技术将受到场景动态可变、地形环境复杂、气候阴晴多变、通信约束受限等多重因素叠加影响,造成定位精度下降和建图质量偏低的问题。
图 1 多机器人SLAM的农业复杂场景应用

Fig. 1 Application of multi-robot SLAM in agricultural scene

本文从农业复杂场景的角度对多机器人SLAM的数据融合、定位、建图、回环检测等关键技术和多机器人协同框架进行总结归纳和深入分析,进而提出多机器人SLAM在农业应用方面亟待解决的关键问题和未来的主要发展方向。农业复杂场景下多机器人协同SLAM的研究框架见图2
图 2 农业复杂场景下多机器人协同SLAM研究框架

Fig. 2 Research framework of multi-robot collaborative SLAM in complex agricultural scenarios

1 多机器人协同SLAM关键技术

1.1 传感器多源数据融合

在农业复杂环境下,多传感器数据融合是SLAM重要的组成部分16。SLAM主要根据所使用的传感器的类型来分类,目前常见的SLAM传感器有激光雷达(LightLaser Detection and Ranging, LiDAR)、视觉传感器(单目、双目、深度相机)和惯性测量单元(Inertial Measurement Unit, IMU),这些传感器为机器人提供了感知世界的能力。不同传感器有各自的特点,LiDAR可以测量环境准确的3D点云,但比较稀疏,并且不能获得较好的数据关联17;视觉传感器可以获取较好的数据关联,但是没有深度信息,且对环境纹理比较敏感,易受到光照影响18;IMU可以通过预积分对状态进行短时估计,但是噪声和零偏使得积分值发生漂移19。由于农业领域的SLAM应用场景受到动态可变、地形环境复杂、气候阴晴多变、通信约束受限等多重因素叠加影响,结合各类传感器的特点进行取长补短,采用多种传感器数据融合的方法是在农业复杂环境下提高SLAM建图精度的重要方法。传感器之间数据融合的前提条件是不同传感器对同一目标在同一时刻的描述20,目前,不同传感器数据之间外参的标定分为三类21,分别是基于目标的标定方法22-24、无目标的标定方法25-27和基于学习的标定方法28-30。以下介绍目前多传感器融合的主流策略,分别是视觉+IMU融合、LiDAR+IMU融合,以及LiDAR+视觉+IMU融合。

1.1.1 视觉+IMU

将视觉传感器数据和IMU数据进行融合的方法称为VIO-SLAM(Visual-Inertial Odometry Simultaneous Localization and Mapping)31。通过结合两种传感器数据的优势,IMU可以在视觉传感器短时间失效时为视觉提供短期的精确定位,与此同时,当IMU由于零偏而发散并积累误差时,视觉定位信息可用于估计IMU的零偏。两者的融合可以解决视觉姿态估计中输出频率低的问题。VIO-SLAM工作流程首先是采用视觉传感器获取数据,采用特征提取的方法,对特征进行跟踪与匹配;IMU对获取的数据进行预积分计算、向前传播计算等预处理;将两种模态的数据采用重力对齐、尺度对齐的方法进行初始化;其次,融合视觉投影的约束,以及IMU预积分的约束进行状态的求解,由于不断增量式运行会产生累积误差,借助回环检测对里程计得到的增量进行约束;最后,对机器人的位姿图进行优化,修正机器人在运行过程中的累积误差(图3)。
图3 视觉+IMU处理流程图

Fig. 3 Visual+IMU processing flow chart

目前,VIO-SLAM有两种融合类型,分别是松耦合和紧耦合。松耦合是指IMU和视觉传感器分别进行运动估计,再融合它们的位姿估计结果。由于松耦合下运动估计和位姿估计的更新频率不一致,所以模块之间需要信息交换。松耦合方法通常以惯性测量数据为核心,视觉传感器数据用来修正惯性测量数据产生的累积误差。紧耦合是指将IMU的状态和视觉传感器的状态合并,共同构建用于状态估计的运动和观测方程。将IMU中的尺度度量信息用于辅助视觉中的尺度估计。紧耦合算法复杂度高,但充分利用了传感器数据,不仅可以减少传感器测量的不准确性,而且减少多传感器融合关联之间的模糊性。代表性开源VIO-SLAM融合算法如多状态约束卡尔曼滤波器(Multi-State Constraint Kalman Filter, MSCKF)32、基于关键帧的开源视觉-惯性SLAM(Open Keyframe-based Visual-Inertial SLAM, OKVIS)33、视觉-惯性导航系统融合(Visual-Inertial Navigation System Fusion, VINS-Fusion)34, 35、鲁棒视觉惯性里程计(Robust Visual Inertial Odometry, ROVIO)36和直接稀疏多状态约束视觉惯性里程计(Direct Sparse Multi-State Constraint Visual-Inertial Odometry, DM-VIO)37等方法,其详细信息见表1
表1 VIO-SLAM代表性融合算法

Table 1 Representative fusion algorithms of VIO-SLAM

算法名称 硬件配置 融合类型 开源链接 年度
MSCKF32 Mono+IMU 紧耦合 https://github.com/daniilidis-group/msckf_mono 2007
OKVIS33 Mono/Stereo+IMU 紧耦合 https://github.com/Ewenwan/okvis 2013
VINS-Fusion3435 Mono/Stereo+IMU 紧耦合

https://github.com/Ewenwan/VINS-Mono

https://github.com/HKUST-Aerial-Robotics/VINS-Mobile

2017
ROVIO36 Mono+IMU 紧耦合 https://github.com/Ewenwan/rovio 2017
DM-VIO37 Mono+IMU 松耦合 https://cvg.cit.tum.de/research/vslam/dm-vio?redirect=1 2022
在农业复杂场景下,视觉与IMU的融合方法在定位与建图任务中表现出一定的优势。然而,这种融合方法通常更适用于光照条件相对稳定、环境纹理丰富的室内场景。例如,在温室环境中进行草莓采摘时,由于光线控制较为稳定,视觉传感器能够准确捕捉到周围的细节纹理,结合IMU提供的运动信息,系统能够实现较高精度的定位与导航。同样,在养殖场中进行动物行为监测时,由于场地相对封闭且光线条件可控,视觉传感器可以清晰地识别动物的动作和位置,而IMU则提供了额外的运动轨迹信息,两者的融合能够有效提高SLAM系统的鲁棒性和准确性。

1.1.2 LiDAR+IMU

LiDAR数据和IMU数据的融合的方法称为LIO-SLAM(LiDAR-Inertial Odometry Simultaneous Localization and Mapping)38。借助两种传感器的优势进行融合,IMU数据可以作为先验信息,提高算法的收敛速度和稳定性,而LiDAR提供的精确环境信息可以提高地图构建的准确性。LIO-SLAM的工作流程是首先去除LiDAR数据的运动畸变,对点云数据进行滤波及特征提取的预处理;IMU对获取的数据进行IMU预积分计算、向前传播计算等预处理;其次,通过两帧之间的点云进行快速匹配,求解出机器人的运动增量为后期提供初值,将当前的帧和地图匹配进行位置更新;最后通过回环检测对全局进行优化(图4)。
图4 激光雷达+IMU处理流程图

Fig. 4 LiDAR+IMU processing flowchart

目前,LIO-SLAM的松耦合是指将IMU和LiDAR数据分别独立处理,借助IMU数据进行位置、速度和姿态的预测,通过LiDAR点云进行独立的SLAM或点云配准,在滤波器或优化器中将IMU预测结果与LiDAR的定位结果进行融合;紧耦合是指通过IMU的姿态信息初始化系统状态,在联合滤波器或优化器中同时处理IMU和LiDAR数据,利用IMU数据进行运动预测,LiDAR数据进行地图构建和定位校正。代表性开源LIO-SLAM融合算法如激光雷达里程计与建图(LiDAR Odometry and Mapping, LOAM)39、轻量级且针对地面优化的激光雷达里程计与建图(Lightweight and Ground-Optimized LiDAR Odometry and Mapping, LeGO-LOAM)40、激光雷达-惯性里程计与建图(LiDAR-Inertial Odometry and Mapping, LIO-Mapping)41、带平滑和映射的激光雷达-惯性里程计与建图(LiDAR-Inertial Odometry and Mapping with Smoothing and Mapping, LIO-SAM)42和标记激光雷达-惯性里程计(Marked LiDAR-Inertial Odometry, Marked-LIEO)43等方法,其详细信息见表2
表2 LIO-SLAM代表性融合算法

Table 2 Representative fusion algorithms of LIO-SLAM

算法名称 硬件配置 融合类型 开源链接 年度
LOAM39 LiDAR+Encoder 松耦合 https://github.com/HKUST-Aerial-Robotics/A-LOAM 2014
LeGo-LOAM40 LiDAR 松耦合 https://github.com/RobustFieldAutonomyLab/LeGO-LOAM 2018
LIO-Mapping41 LiDAR+IMU+GPS 紧耦合 https://github.com/hyye/lio-mapping 2019
LIO-SAM42 LiDAR+IMU 紧耦合 https://github.com/TixiaoShan/LIO-SAM 2020
Marked-LIEO43 LiDAR+IMU+Encoder 松耦合 / 2022

注:/表示没有代码链接。

在农业复杂场景中,LiDAR与IMU的融合方法在实现动态室外环境下的SLAM任务时具有明显优势。适用于对数据关联要求较低的应用场景,在无人农机大田作业时,由于外部条件如风沙、天气多变等因素的影响,传统的视觉传感器可能难以获得清晰可靠的数据,而LiDAR则能够在这些复杂条件下提供稳定的距离测量信息。结合IMU提供的姿态和运动信息能够有效应对室外环境的动态变化,确保机器人在多尘或低能见度的条件下仍能准确定位和导航。

1.1.3 雷达+视觉+IMU

LVI-SLAM(LiDAR-Visual-Inertial SLAM)是通过LiDAR、视觉传感器和IMU传感器数据融合获得的SLAM44。该方法能够实现高精度、鲁棒的状态估计和映射。融合三种传感器的优势在于提高数据的可靠性,即使出现1种或者2种传感器退化,系统仍能正常工作。LiDAR可直接测得环境的几何信息,与IMU融合完成快速初始化;借助激光惯性子系统辅助视觉IMU进行初始化;激光里程计建立的点云通过外参投影到图像,并辅助视觉特征的深度提取;联合激光+视觉+IMU优化,详细流程见图5
图5 雷达+视觉+IMU处理流程图

Fig. 5 Processing flowchart of LiDAR +Vision+IMU

目前,大多数LVI-SLAM都是由VIO-SLAM和LIO-SLAM的耦合生成。代表性开源LVI-SLAM融合算法如视觉激光雷达里程计与建图(Visual LiDAR Odometry and Mapping, V-LOAM)45、视觉-惯性激光雷达同步定位与建图(Visual-Inertial LiDAR SLAM, VIL-SLAM)46、激光雷达-惯性映射与里程计(LiDAR-Inertial Mapping and Odometry, LIMO)47、统一的激光雷达视觉-惯性里程计(Unified LiDAR Visual-Inertial Odometry, ULVIO )48和激光雷达-视觉-惯性平滑与建图(LiDAR-Visual Inertial Smoothing and Mapping, LVI-SAM )49等方法,见表3。在农业领域,LVI-SLAM融合方法多适用于复杂动态环境,如果园采收机器人,在充满不规则物体和快速变化的环境下,LVI-SLAM能够精确地感知周围果树的位置,避开障碍物并高效完成自动采摘任务;自然环境下放牧机器人在广阔、开放的农场环境中行走时,面临着地形复杂、多变的挑战,如草地的高度变化、障碍物的随机分布,以及环境中存在的动态物体(如牲畜的移动)。通过LVI-SLAM的高精度定位和建图能力,放牧机器人能够准确掌握自身在环境中的位置并动态避障,从而提高作业效率和适应能力。
表3 LVI-SLAM代表性融合算法

Table 3 Representative fusion algorithms of LVI-SLAM

算法名称 硬件配置 融合类型 年度
V-LOAM45 LiDAR+Vision+IMU 松耦合 2015
VIL-SLAM46 LiDAR+Vision+IMU 松耦合 2019
LIMO47 LiDAR+Vision 松耦合 2018
ULVIO 48 LiDAR+Vision+IMU 紧耦合 2021
LVI-SAM49 LiDAR+Vision+IMU+GPS 松耦合 2021

1.2 多机器人协同定位

多机器人协同定位(Cooperative Localization, CL)是多机器人协同SLAM的重要组成部分,因此,准确、简便、高效的协作定位方法具有重要的意义50。多机器人协同定位的关键问题是每个机器人都需要知道自己的位置,从而在地图上标记自己的位置信息,并将其传输给其他机器人。近年来,多机器人协作定位方法在农业领域的应用也日益广泛。在批量无人农机的田间作业中,协同定位技术在保证田间精确作业的同时,最大程度地减少了重复或遗漏任务的情况51。在野外放牧机器人领域,协同定位技术使得多个放牧机器人在获取各自位置的基础上,能够协调并互相补偿位置,显著提高了准确度52。协同定位技术展现出了在农业复杂场景中的显著潜力和益处。本文根据不同的需求目标将多机器人协作定位算法分为三类,贝叶斯滤波定位、分布式定位和容错补偿定位,并对多机器人协同定位的主要算法及应用场景进行了对比分析,如表4所示。
表 4 多机器人协同定位主要算法

Table 4 The main algorithms of multi-robot cooperative localization

类别 应用场景 算法名称 策略优势 年度
贝叶斯滤波定位 温室内环境监控机器人;养殖舍内畜牧监控机器人 REHF53 直接利用周围环境信息获取机器人之间的最优相对观测,具有异常干扰的动态环境中性能较好 2013
STOC-EKF54 采用计算传播雅可比矩阵提高估计的一致性和准确性 2015
MP-KF55 采用因子图模型、误差反向传播模型和基于误差反向传播算法来改善性能损失,在实际CL系统中具有实时性 2022
Improved SHAEKF56 引入了基于创新的卡方检验统计量来检测测量过程中的异常值,提高定位的准确性和可靠性 2022
分布式定位 果园采摘机器人;大田无人机喷洒农药 Split-CIF57 该方法的计算和通信复杂度与团队中的机器人数量成线性关系,在扩展到大规模的机器人团队时不会受到计算资源的限制 2014
分布式扩展卡尔曼滤波合作定位58 通过机器人只存储自己最新的状态信息减少存储需求,不需要外部地标或已知位置的参考点进行定位 2018
分布式一致性扩展卡尔曼滤波合作定位59 通过在转换后的坐标系统中执行状态估计,消除了由于不可观测维度减少导致的不一致性问题 2023
BP-DCKF60 基于无线传感器网络的节点定位,考虑了代理节点之间的合作,提高了定位精度,减少了参考节点的部署,节省了网络成本 2022
容错与补偿定位 天然草场下协同放牧机器人;批量无人农机协同大田作业 FDEIF61 在共享环境中定位一组相同的全向移动机器人,通过在分布式信息滤波框架内,采用模糊方法来提高定位的准确性和鲁棒性的挑战 2015
DEKF62 引入通信延迟到状态和测量方程,使用基于状态估计误差补偿的扩展卡尔曼滤波技术,在通信延迟的情况下提高定位的准确性 2019
IPM63 在动态环境下,通过使用IPM,允许机器人共享他们的传感器数据,根据所有机器人的最新和相关信息更新其定位来迅速适应这些变化 2019
DCL-CU64 每个机器人维护一个状态向量,只有当两个机器人相互测量时进行通信,能够有效处理异常传感器数据,支持通用测量模型 2021
贝叶斯滤波定位包括鲁棒扩展H∞滤波方法(A Robust Extended H∞ Filtering Approach, REHF)53、随机扩展卡尔曼滤波器(Stochastic Extended Kalman Filter, STOC-EKF)54、多过程卡尔曼滤波器(Multi-Process Kalman Filter, MP-KF)55和改进的平方根自适应混合扩展卡尔曼滤波器(Improved Square-Root Adaptive Hybrid Extended Kalman Filter, Improved SHAEKF)56等,多关注于如何使多个机器人在复杂环境中提高定位准确性和性能,优点是借助递归更新的方法来估计动态系统状态,有效处理不确定性和噪声,缺点是它们的计算成本很高;分布式定位方法包括分裂协方差信息滤波器(Split Covariance Information Filter, Split-CIF)57、批处理双通道卡尔曼滤波器(Batch Processing Dual-Channel Kalman Filter, BP-DCKF)60等方法,其优势是每个机器人可以利用自身的传感器数据自主地进行位置估计,机器人之间通过共享位置信息、传感器数据和其他有助于定位的信息,提高整体系统的定位精度和鲁棒性,缺点是需要稳定的通信环境。容错与补偿定位包括全分布式扩展信息滤波器(Fully Distributed Extended Information Filter, FDEIF)61、双扩展卡尔曼滤波器(Dual-Extended Kalman Filter, DEKF )62、逆透视变换(Inverse Perspective Mapping, IPM)63和具有通信不确定性的分布式协同定位(Distributed Collaborative Localization with Communication Uncertainty, DCL-CU)64等方法,多聚焦于在传感器误差或通信延迟的情况下,多个机器人仍能准确地定位自己和彼此的位置,该方法的优点是保证了多机器人协同定位的可靠性,缺点是额外增加了控制策略,计算成本较高。
在农业领域,贝叶斯滤波定位计算适用于可以接受高成本计算且要求高精度定位作业的农业复杂场景。但是,在面向户外大规模田间作业等需要批量机器人作业的场景下,随着机器人数量的增加,致使计算成本呈指数级增长。此外,在自然环境放牧等大范围场景下,机器人之间需要进行频繁的通信以传递状态信息,会存在通信负载增加等问题。分布式定位方法可有效解决该问题,其适用于计算资源要求较低的轻量化定位,且能支持大规模高效作业的场景,如果园采摘机器人、大田无人机喷洒农药等,但对通信能力要求较高。容错与补偿定位方法针对通信受限问题,多适用于通信受限的大范围多机器人定位作业的应用场景,如在天然草场下协同放牧机器人、批量无人农机协同大田作业等。

1.3 多机器人协同建图

多机器人协同建图是指将各机器人在不同坐标系下构建的局部地图,采用地图融合算法将其合并为全局地图的过程。多机器人协作建图的优势有三点,一是多个机器人同时建图可以缩短建立地图所需的时间,提高建图效率;二是如果单个机器人发生故障,其他机器人仍然可以继续工作,保证任务的完成;三是多个机器人可以同时覆盖不同区域,可以更全面地探索和建立地图。
随着SLAM技术的快速发展,多机器人协同建图在农业领域展现出了巨大的潜力。多机器人协同建图技术,为农机自动导航机器人提供精准全局地图,提升了耕作、播种和收割的效率;帮助养殖舍内动物行为监控机器人建立详细的空间地图,能够及时发现和处理异常情况;辅助温室作物采摘机器人识别和定位成熟作物,精确进行采摘操作,提高效率并减少损伤;为自然草原环境下放牧机器人协同监控和管理畜禽,实时更新草原地形图,优化放牧路径和管理草场资源等。多机器人协同建图的应用极大地推动了农业的智能化和自动化发展,提高了生产效率和精度,降低了劳动强度和成本。本文从地图融合类型和地图融合算法两部分介绍多机器人协同建图技术。

1.3.1 地图融合方法

多机器人协同构建场景的局部地图之后,需要处理彼此创建的局部地图,生成全局的完整地图,这就是多机器人的地图融合42。依据融合的方法原理,又可以将研究方法分为直接法和间接法,进而对比分析了这两种方法在地图融合中的应用特点,如表5所示。
表 5 基于不同融合类型的地图融合方法

Table 5 Map fusion methods based on different fusion types

融合类型 直接法 间接法 优势/局限 年度
异构传感器进行地图融合65 使用不同传感器数据构建独立网格地图 自适应蒙特卡洛定位算法重新定位一个机器人

能够整合异构传感器数据,对传感器数据的实时处理能力强;

依赖于精确的传感器数据、实验环境限制

2013
异构传感器进行3D地图融合66 基于时间序列的地图合并框架直接进行融合 期望最大化迭代算法来估计机器人的相对变换

支持异构机器人和传感器配置,具有灵活性;

通信限制、依赖初始化

2014
稀疏地图与密集地图融合67 地图匹配阶段通过期望最大化算法估计相对变换 通过时间序列的方式逐步合并地图

支持多种传感器,适应性和灵活性较强;

在处理大规模数据集时,期望最大化算法会增加计算负担

2019
不同机器人或不同时间点的地图融合68 / 使用角点提取算法提取特征,构建同构方案,优化变换矩阵

无需姿态假设、高精度;

对角点的依赖、计算复杂度较高

2021
在未知环境中进行探索和地图融合69 / 通过相似性函数对来自不同地图的特征点进行匹配,随机抽样一致性算法从匹配的特征点对中计算地图变换矩阵

地图实时合并效率高、减少重建时间;

通信依赖、数据类型限制

2020
在复杂环境中地图融合70 / 构建基于角点的凸四边形和三角形来匹配重叠区域

适应性强、准确性提高、算法效率高;

角点依赖性、环境限制

2021

注: /表示未使用直接法。

直接法利用传感器原始数据进行地图融合,而不需要对数据进行额外处理或特征提取,间接法通过处理局部地图的重叠区域来得到变换矩阵。前者优点是能够更好地保留原始数据的信息,但需要已知或得到彼此间的初始相对位姿,由控制台接收所有机器人的数据并直接生成全局地图;后者不需要机器人的初始位姿和相对位姿,独立构建局部地图再查找和匹配地图的公共部分,找出转换矩阵后合并地图。
目前,在农业复杂环境下,基于间接法的融合策略更适合,既能保证原始数据的完整性,又能提高构建地图的精确性。在除草机器人系统中,机器人在需要精确避障或进行细致操作时,可以采用间接法获得高精度定位和地图,而在执行巡航任务或简单路径规划时,切换到直接法,以保证系统的实时响应能力。通过结合这两种方法的优势,不仅能够显著提高农业机器人在复杂环境下的表现,还可以大幅降低计算与通信成本,从而推动智能农业的高效自动化。

1.3.2 地图融合算法

本文根据应用场景的特点将多机器人地图融合算法分成了四类,分别是基于平方根信息滤波算法、基于地图类型的融合算法、基于粒子滤波算法和基于概率图模型算法。其中,基于平方根信息滤波算法包含协作同步定位与地图构建(Collaborative Simultaneous Localization and Mapping, C-SAM )71、分布式数据融合与状态估计的同步定位与地图构建(Distributed Data Fusion and State Estimation for Simultaneous Localization and Mapping 2.0, DDF-SAM 2.0 )72等方法,其稳定性高,适用于有效处理未知环境的大规模地图融合;基于粒子滤波算法包含多机器人时间映射同步定位与地图构建(Multi-Robot Time Mapping Simultaneous Localization and Mapping, MRTM-SLAM)73、多簇同步定位与地图构建(Multi-Cluster SLAM, MCS-SLAM )74、鲁棒地图(Robust Map, R-map )75、基于上下文描述符的网格地图合并法76、无初始相对位置的多机器人栅格地图融合算法77等方法,善于处理非线性和非高斯问题,适用于高动态环境的地图融合;基于地图类型的融合算法包含快速同步定位与地图构建(Fast Simultaneous Localization and Mapping, Fast-SLAM)78、基于点到线迭代最近点(Point-to-Line Iterative Closest Point, PLICP)79、分布式多机器人SLAM共识粒子滤波算法80、加权归一化互相关(Weighted Normalized Cross-Correlation, WNCC )81、修改后的快速SLAM82等方法,侧重于配准和融合不同来源的地图数据,适用于同时处理静态和动态地图信息的地图融合;基于概率图模型的地图融合算法包含高效因子图融合方法83、多机器人SLAM的多根贝叶斯树增量平滑与映射(Multi-Robot iSAM2, MR-iSAM2)84等方法,能够直观地表示变量之间的依赖关系,适合复杂环境的地图融合。基于以上内容,对比分析了这四种类型算法的特征及其在农业领域的应用场景,如表6所示。
表6 多机器人地图融合算法总结

Table 6 Summarize of multi-robot map fusion algorithm

分类 应用场景 算法 优势/局限 策略 时间
基于平方根信息滤波算法 未知环境下的野外机器人放牧 C-SAM71

无需初始对应关系、减少数据关联;

在处理大规模地图时计算复杂度较高

利用群体机器人信息共享的优化算法来合并不同机器人独立创建的地图,并且恢复每个机器人的完整轨迹 2008
DDF-SAM 2.072

避免信息重复计数、一致性和鲁棒性较高;

通信要求较高、初始化和对齐问题

采用增强的局部系统,将局部地图和邻近机器人共享的信息融合成一致的地图 2013
基于地图类型的融合算法 无人农机自动导航 MRTM-SLAM73

局部度量地图的构建准确、可扩展性较强;

需要离线优化、计算资源要求高

构建固定大小的局部度量地图,通过添加边实现地图融合,边通过优化连接两个拓扑地图 2007
MCS-SLAM74

无需初始假设、地图融合转化为图像配准;

对角点提取的依赖、局部最优解

从网格地图中提取角点,计算初始最优变换矩阵,迭代优化变换矩阵,找到最大公共子图 2018
R-map 75

减少了表示地图的数据量,提高处理效率;

局部地图之间的重叠区域较小时,算法的性能会减弱导致合并耗时较长

采用霍夫变换进行正交方向重对齐,网格地图转换为R-map,寻找共同特征合并局部地图 2020
基于上下文描述符的网格地图合并方法76

多分辨率合并能力、上下文描述符;

分辨率差异敏感性

利用兴趣点的邻域信息建立初始匹配,估计两个网格地图之间的相似性变换。利用缩放修剪迭代最近点算法对初始变换进行细化,实现精确的网格地图合并 2021
无初始相对位置的多机器人栅格地图融合算法77

无需初始位置信息、适应性强;

通信依赖、计算复杂

使用加速鲁棒特征检测技术提取多栅格地图的特征点,应用两步算法进行特征点匹配,利用随机样本一致性算法进行冗余特征的融合 2023
粒子滤波 养殖舍内动物行为监测;无人农场等 Fast-SLAM78

高效性、并行处理;

在未知数据关联下,地标的匹配会增加算法的复杂性

扩展了之前基于扩展卡尔曼滤波器的地图合并算法到Fast-SLAM算法。使用视觉传感器观察彼此和非唯一地标,并通过传播不确定性来合并地图 2010
PLICP79

提高准确性、迭代效率高;

重叠区域要求较高、噪声敏感性强

使用Fast-SLAM算法生成局部地图,然后通过机器人间观察计算初始对齐参数,最后使用PLICP算法更新这些参数 2012
分布式多机器人SLAM共识粒子滤波算法80

提高地图构建质量、增强定位精度;

计算成本高、依赖有效通信

利用粒子滤波器来估计每个机器人的位置和地图,并通过共识算法在机器人之间传递和共享粒子权重,以达到全局一致性 2017
WNCC81

多传感器兼容性、协同定位能力强;

环境限制、计算资源需求高

由于全局和局部正射影像图的构建方法不同,导致地图质量和风格存在巨大差异,因此提出了WNCC算法来解决地图匹配问题。结合WNCC算法和粒子滤波器来实现实时定位 2020
修改后的快速SLAM方法82

去中心化、考虑移动地标;

计算成本高、依赖有效通信

通过考虑环境中的移动地标来以去中心化的方式实现SLAM 2023
基于概率图模型算法 大型果园的多机器人对果实的采收 高效因子图融合方法83

内存优化、效率高、数值稳定;

应用范围小、实际部署困难

它重用各个因子图的变量排序来确定融合后图的排序。利用变量消除技术,优化变量的消除顺序来减少因子图求解过程中的计算复杂度和内存使用 2018
基于期望最大化的多机器人地图融合算法67

通用性、高效性;

传感器限制、计算复杂

采用通用概率框架来解决集成地图融合问题,通过多数据关联地图匹配算法估计地图变换,借助时间序列地图合并算法,实现地图的逐步融合 2019
MR-iSAM284

效率提升、信息流和全局优化;

算法复杂

该算法基于多根贝叶斯树,通过在不同的根分支中更新来自不同机器人的新测量数据,利用问题的稀疏性,提高了信息融合的效率 2021
基于平方根信息滤波算法具有在未知大规模环境下稳健融合大规模地图的优势。在自然牧场环境下,借助传感器获取未知环境的感知数据和运动信息,实现对牧场的局部地图的构建,利用平方根信息滤波算法融合地图,为机器人放牧提供准确的全局环境信息和路径规划支持;基于地图类型的融合算法聚焦整合各种不同来源的地图数据,其独特之处在于能够同时处理静态和动态地图信息。例如,利用基于地图类型的融合算法,农机能够准确地定位和规划路径,以完成一系列的农业作业,包括播种、喷洒、收割等,提高农业生产的效率和质量;基于粒子滤波算法适用于高动态环境的地图融合,在养殖舍内动物行为监控机器人,借助粒子滤波算法可以不断更新粒子的权重和位置,灵活地适应高动态的环境变化,及时发现和处理畜禽的异常情况,提高养殖效率和动物福利水平;基于概率图模型的地图融合算法通常适用于复杂环境的地图融合,果园采摘机器人为实现高效的果实采收,机器人需要在具有复杂环境的果园中进行有效的定位和路径规划,利用概率图模型融合算法稳健融合果园地图数据,实现对果园全局地图的构建,为果实采收的自动化和智能化提供技术保障。

1.4 回环检测

回环检测是机器人识别出当前的环境与先前某个时刻的环境相同,确认自己已经回到了某个已知位置的过程,是多机器人协同SLAM中的重要组成部分。回环检测有两种主流方法,分别是机器人内部的回环检测和各机器人之间的回环检测。前者是单个机器人在其自身路径上识别并确认曾经访问过的地点,可以减少单个机器人到达场景后的漂移误差,而后者指不同机器人之间相互识别并确认对方访问过的地点,用来检测多个地图之间的重叠区域,以执行多机器人之间的地图融合。这两种方法都需要通过位置识别和姿态图优化来实现,这些步骤用于优化关键帧的姿态和特征点的3D坐标。在大规模环境下的多机器人系统中,回环检测优先级是多机器人SLAM的核心。
在农业领域,回环检测通过提高农业机器人和自动化农机的定位精度,显著优化作业路径和环境地图构建,确保精准农业的高效性和资源利用。具体应用包括无人驾驶拖拉机和收割机在大规模农田中的精确作业,农业机器人在果园和温室中的巡检与维护,精准喷洒与灌溉系统中的资源优化管理,以及牧场管理与动物监控中的有效巡逻和多机器人协作作业中的数据共享与冲突避免。回环检测能够识别和校正作业路径上的误差,避免重复作业和遗漏,确保每个区域都得到均匀处理,提升农业作业的精度和效率,推动农业现代化和智能化的发展,并为资源管理和环境保护提供强有力的技术支持。

2 多机器人协同框架

多机器人协同框架是多机器人SLAM的重要组成部分。目前,大部分多机器人协同SLAM框架主要分为3种方式85,分别为集中式、分布式和混合式。这三种协同框架的典型研究示例见图6
图6 集中式、分布式和混合式多机器人协同框架示例

Fig. 6 Examples of centralized, distributed, and hybrid multi-robot coordination frameworks

图6中,集中式框架存在一个主机机器人,该主机具有整个系统的所有信息,这些信息都需要通过主机进行处理和整合,并且在主机上对任务进行分配,向各从机机器人发布命令,使各从机机器人协作完成任务;分布式框架中所有的机器人都可以作为一个主机机器人,各机器人之间是互相独立的。每个机器人都可以获得其他机器人的信息,并自主进行决策;混合式框架结合了集中式和分布式的优点,使得在考虑多类型无人机集群时,任务分配问题的解决更加合理。在农业领域选择合适的框架能够提升多机器人SLAM系统的效率和效益,推动农业生产的现代化和智能化发展。
目前,集中式框架包括协作同步定位与地图构建(Collaborative Simultaneous Localization and Mapping, CoSLAM)86、协作与协同地图构建的同步定位与地图构建(Cooperative and Collaborative Mapping for Simultaneous Localization and Mapping, CCM-SLAM)87、协作视觉惯性同步定位与地图构建(Collaborative Visual-Inertial Simultaneous Localization and Mapping, CVI-SLAM)88、协作视觉惯性数据平滑(Collaborative Visual-Inertial Data Smoothing, CVIDS)89、激光雷达和视觉里程计用于多机器人地图构建(LiDAR and Visual Odometry for Multi-Robot Mapping, LAMP 2.0)90等;分布式框架包括基于 Kimera 的多机器人协同定位框架(Kimera for Multi-Robot SLAM, Kimera-Multi)91、基于门的同步定位与地图构建(Door-based Simultaneous Localization and Mapping, Door-SLAM)92、分布式同步定位与地图构建(Distributed Simultaneous Localization and Mapping, DiSCo-SLAM)93、动态协作定位与地图构建(Dynamic Cooperative Localization and Mapping, DCL-SLAM)94、基于群体的同步定位与地图构建(Swarm-based Simultaneous Localization and Mapping, Swarm-SLAM)95等;混合框架包括云到地形自主地图构建(Cloud-to-Terrain Autonomous Mapping, C2TAM)96、视觉里程计与物体地图构建(Visual Odometry and Object Mapping, VOOM)97等,以下对比分析了这三种协同框架的多机器人协同SLAM技术要点及在农业领域的应用场景,如表7所示。
表7 农业多机器人SLAM框架

Table 7 Agricultural multi-robot SLAM framework

框架名称 传感器 智能体 建图 协同方式 应用场景 地图类型 优化 优势 局限 代码链接
CoSLAM86 C UAV Ce 集中框架适用于大规模农田作业;精准农业监控;温室大棚管理 GM

PGO

Global BA

采用坐标和参数联合编码与微小多层感知机作为场景表示,在合理的空洞填充和高效的内存使用下,实现建图和精确的跟踪 依赖于传感器的输入,对光照变化敏感 https://github.com/HengyiWang/Co-SLAM
CCM-SLAM87 C UAV S Ce GM Global BA 采用并行计算的方式,可以高效地处理大规模地图,并且保持较高的定位精度 凸优化和并行计算等技术,需要大量的计算资源 https://github.com/VIS4ROB-lab/ccm_slam
CVI-SLAM88 C,I UAV S Ce GM Global BA 可以实时处理计算机视觉和惯性传感器的数据,并实时更新定位和地图信息 在复杂环境或运动状态下,传感器的数据误差会导致SLAM精度下降 /
CVIDS89 C,I UAV De Ce GM EM,LM,LCD 无需深度传感器、实时性能强 计算资源需求高;针对光照变化强、纹理缺乏的区域会受到影响 https://cslinzhang.github.io/CVIDS
LAMP 2.090 L,I UGV De Ce GM

PGO,ICM

GNC

对不同里程计源和LiDAR配置的适应性强 在大规模机器人团队或通信受限的环境中性能较弱 https://github.com/NeBula-Autonomy/LAMP
Kimera-Multi91 C,I UAV De D 大规模牧场管理;远程或复杂地形作业以及协同除草和植保任务 GM Distributed PGO,GNC 能够识别和拒绝由于感知别名造成的不正确的闭环闭合、减少了对中央服务器的依赖 通信延迟,带宽限制 https://github.com/MIT-SPARK/Kimera
Door-SLAM92 C UAV S D GM Distributed PGO,PCM 不依赖外部定位系统、减少了对通信带宽的需求 面临同步问题和通信延迟 https://github.com/MISTLab/DOOR-SLAM.git
DiSCo-SLAM93 L UGV De D GM two-stage PGO,PCM 使用轻量级的Scan Context描述符,允许机器人之间交换观测数据,适用于带宽受限的通信环境 在处理大规模问题时两阶段优化方法可能需要较多的计算资源 https://github.com/RobustFieldAutonomyLab/DiSCo-SLAM
DCL-SLAM94 L UGV De D GM PGO,RANSAC,PCM 高精度、低带宽需求、前端传感器的灵活性 依赖点对点通信,中断或延迟影响系统的稳定性和性能 https://github.com/PengYu-Team/DCL-SLAM
Swarm-SLAM95 L,C UGV S D GM GNC 具有可扩展性、灵活性、分布式特性以及对有效的资源管理 内存限制和计算成本高 https://github.com/MISTLab/Swarm-SLAM
C2TAM96 C UGV S H 果园和葡萄园管理;多功能农场;应急响应和灾害管理 LM Local BA 减轻了机器人平台的计算负担,同时还能利用云计算资源进行高效的地图优化和存储 依赖网络、云计算资源管理 /
VOOM97 C UGV S H LM Local BA 结合高级对象和低级点作为分层标志物,提高定位精度、减少里程计漂移 对光照环境敏感 https://github.com/yutongwangBIT/VOOM.git

注:C为相机;L为LiDAR;I为IMU;UAV(Unmanned Aerial Vehicle)为无人机;UGV(Unmanned Ground Vehicle)为地面移动智能体;D为分布式;H为混合式;Ce为集中式;GM(Global Map)为全局地图;LM(Local Map)为局部地图;S为稀疏地图;De为稠密地图;/表示没有代码链接。

2.1 集中式

在集中式框架中,通常有一个中心节点负责接收来自各个机器人的传感器数据,然后进行数据融合和处理,中心节点将更新后的数据传输回每个机器人,帮助它们更好地完成分配的任务。为了获得更好的鲁棒性和准确性,Mur-Artal和Tardos98提出了一种基于RGB-D摄像机的集中式多机器人协同SLAM系统,见图7a。当客户端机器人分别采集RGB-D图像数据并将数据传输到服务器时,服务器为每个客户端运行ORB-SLAM2视觉SLAM系统,并将实时地图数据储存在地图管理器中。地图融合主要根据共视关系连接双方的公共视图,并融合地图点。针对复杂、感知能力受限的大规模地下环境场景下SLAM鲁棒性低的问题,Chang等90提出LAMP2.0,系统通过集成不同的里程计源和LiDAR配置,后端采用基于鲁棒位姿图优化方法提高系统的鲁棒性,见图7b。该框架对不同里程计源和LiDAR配置的适应性较高,以及在大规模地下环境中具有较强的可扩展性。存在的问题是集中式架构可能不适用于大规模机器人团队或间歇性通信受限的地下环境。
图7 集中式多机器人协同框架示例

Fig.7 Example of a centralized multi-robot cooperation framework

集中式框架的优势是能够确保所有机器人共享相同的地图和位置估计,从而提高整个系统的一致性;所有的数据处理和计算都集中在中心节点,简化了系统的管理和维护;中心节点可以执行全局优化算法,对所有机器人的位置和地图进行优化,从而提高整体的定位和地图质量。集中式框架的主要的局限是单点故障的风险,因为整个系统的核心在于中心节点,一旦该节点发生故障,整个系统可能因此瘫痪;集中式框架还受制于中心节点的处理能力,因为所有数据都必须传输到中心节点进行处理;在网络带宽受限或通信延迟较高的情况下,这可能会导致较大的通信开销,从而影响系统的实时性。
在农业领域集中框架适用于小规模农田作业和温室大棚管理,通过中央服务器统一协调和管理数据。但是,在户外大规模农机作业时,网络信号覆盖可能不均,这可能导致通信中断,进而影响系统的协同工作。因此,为了应对这些挑战,可能需要考虑采用分布式处理或边缘计算技术,以减少对中心节点的依赖,并提高系统的可靠性和性能。

2.2 分布式

分布式框架是指多个机器人在未知环境中移动,通过传感器数据进行自身位置估计和地图构建,并且能够通过分布式算法和通信协作,在不需要中心节点的情况下共享信息以提高定位和地图构建的准确性和效率。分布式框架的优势是不依赖于单一的中心节点,每个机器人都可以独立执行SLAM算法,从而提高了系统的鲁棒性和可扩展性;由于系统没有单点故障,因此分布式框架对于机器人的添加和移除更加灵活,并且具有较强的容错性。相比集中式框架,分布式框架不需要将所有数据传输到中心节点,减少了通信开销。但是,分布式框架的设计和实现较为复杂,存在分布式算法的复杂性问题,包括并行计算、数据同步,以及任务分配等方面,需要深入考虑整体架构和通信机制;由于每个机器人都在独立地进行SLAM计算,因此可能出现地图和位置估计的一致性问题,通过数据融合和协作优化等方式来确保地图和位置信息的一致性;另外,分布式框架还需要考虑通信负载均衡的问题,采用优化数据分发策略和节点选择算法等方面,以避免出现通信瓶颈或资源浪费的情况。
分布式框架在农业领域适合大规模牧场管理、远程或复杂地形作业,以及协同除草和植保任务,允许机器人独立处理数据并共享信息,提高系统鲁棒性。Tian等91提出了Kimera-Multi,该系统是一个完全分布式的多机器人密集度量-语义SLAM系统,见图8a。该系统能够在有限的通信带宽下,实时构建全局一致的度量-语义3D网格模型,并且能够识别并拒绝由于感知别名造成的不正确的机器人间和机器人内部的闭环闭合。针对群体机器人通信依赖问题,Lajoie和Beltrame95Swarm-SLAM,通过预算化的方法选择候选的机器人间闭环闭合,基于代数连通性最大化来减少数据交换,见图8b。该框架具有开源、可扩展、灵活、分散且稀疏的特点,与ROS 2兼容,并支持多种传感器类型。
图8 多机器人SLAM分布式框架示意图

Fig. 8 Illustration of the distributed framework for multi-robot SLAM

在放牧场景中,支持多个放牧机器人根据各自的位置和周边环境的情况,独立执行放牧管理任务,如监控牲畜的活动范围、检测牧草的生长情况等,同时与其他机器人共享这些数据以形成更全面的牧场态势感知;在山地、丘陵等复杂地形下,机器人通常面临着通信不畅和路径规划困难等问题。分布式系统允许每个机器人根据自己所感知的局部环境自主完成定位、导航和作业,而不依赖于中心服务器的全局指挥。支持机器人在通信中断时继续作业,并在恢复通信后将所收集的数据同步至系统,从而避免因网络中断导致的任务失败。

2.3 混合式

在混合式框架中,可以将多个机器人分为不同的群组,每个群组内的机器人可以采用分布式方式进行协同SLAM,而不同群组之间的通信和数据融合可以采用集中式方式进行。混合式框架既具有集中式框架的全局优化能力,又具有分布式框架的去中心化和容错性;可以根据具体的应用场景和需求,灵活地选择集中式或者分布式方式进行通信和数据融合,从而更好地适应不同的环境和系统需求。但是,混合式框架的设计和实现相对复杂,需要综合考虑集中式和分布式两种方式的特点和局限性,并且需要设计合适的通信和数据融合策略;还需要设计和实现适合于集中式和分布式环境的算法,对算法的设计和优化提出了更高的要求;此外,在混合式框架中,需要合理配置不同群组之间的通信和数据传输,避免通信开销过大或者数据不一致的问题。
在农业领域,混合框架适用于果园和葡萄园管理,混合框架能够很好地平衡机器人在局部环境下的自主操作和全局任务的协调需求。果园和葡萄园通常分布广泛,地形复杂,种植模式多样。在局部区域,支持机器人根据实际环境自主完成精确作业,如检测果实成熟度、判断是否需要修剪或喷洒农药等,而全局任务如作业规划、路径协调则由中央系统进行统一调度,确保机器人之间不会出现任务冲突或资源浪费;无人农场可以通过混合框架进行有效管理,中央系统可以对全局任务进行统筹管理,如分配资源、规划整体作业进度,而机器人则根据自身的任务需求自主决策并执行。在资源有限的情况下,动态调整机器人之间的任务分配,实现更高的灵活性和效率。

2.4 多机器人SLAM评价指标

多机器人SLAM的评价指标主要分为三类:准确性指标(Accuracy)、效率指标(Efficiency)和鲁棒性指标(Robustness)。准确性指标衡量系统估计的机器人位置和地图中关键点位置的精度,包括绝对轨迹误差(Absolute Trajectory Error, ATE)、均方根误差(Root Mean Square Error, RMSE)、相对位姿误差(Relative Pose Error, RPE),数值越低表明精度越高。效率指标评估SLAM系统的计算成本和内存使用情况,通常通过处理时间(Processing Time)、内存使用量(Memory Usage)和计算负载(Computation Load)来衡量,处理时间越短、内存占用越少表示系统效率越高。通信开销(Communication Overhead)则评估多机器人SLAM中各机器人之间的数据交换量。鲁棒性指标则考察系统在面对噪声数据和异常值时的表现(Handling Outliers),特别是能否有效地检测到回环闭合(Loop Closure Detection)、处理动态环境中的噪声干扰,以及多机器人SLAM中的地图融合能力(Map Merging),鲁棒性越强,系统在复杂环境中的表现越稳定。表8是多机器人SLAM在公开数据集下的评价指标。
表8 多机器人框架评价指标

Table 8 Summary of the multi-robot framework

SLAM框架名称 数据集 评价指标
CVI-SLAM88

EuRoC MAV Dataset

(https://projects.asl.ethz.ch/datasets/doku.php?id=kmavvisualinertialdatasets)

准确性指标 (RMSE):0.050 m

比例误差(Scale Error):0.673%

效率指标(Processing Time):35.9 ms

鲁棒性指标(Loop Closure Detection):高

通信开销 (Multi-Robot SLAM):0.1~0.15 MB/s

Swarm-SLAM95

KITTI 00 (Stereo)

(https://www.cvlibs.net/datasets/kitti/)

准确性指标 (ATE):2.17 m

效率指标 (Processing Time):20.11 s

鲁棒性指标 (Map Merging):极高

通信开销:280 kB

S3E Square (LiDAR)

(https://github.com/pengyu-team/s3e)

准确性指标 (ATE):4.20 m

效率指标 (Processing Time):6.05 s

鲁棒性指标 (Loop Closure Detection):高

ORB-SLAM399

EuRoC MAV Dataset

(https://projects.asl.ethz.ch/datasets/doku.php?id=kmavvisualinertialdatasets)

准确性指标 (ATE):0.05~0.20 m

效率指标 (Processing Time):120~180 ms

鲁棒性指标 (Loop Closure Detection):极高

通信开销:中等偏高

TUM RGB-D

(https://paperswithcode.com/dataset/tum-rgb-d)

准确性指标 (RPE):0.02~0.08 m

效率指标 (Memory Usage):中

鲁棒性指标 (Dynamic Environment):中

RTAB-Map100

TUM RGB-D

(https://paperswithcode.com/dataset/tum-rgb-d)

效率指标(Processing Time):100 ms以下

鲁棒性指标 (Handling Noisy Data):中

EuRoC MAV Dataset

(https://projects.asl.ethz.ch/datasets/doku.php?id=kmavvisualinertialdatasets)

效率指标(Computation Load):60~80 ms

鲁棒性指标 (Multi-Robot Fusion):高

3 关键问题与挑战

目前,由于农业场景具有的动态可变性、环境复杂性和通信受限性的特点,致使在农业复杂环境下进行多机器人协同定位与建图时,面临诸多挑战。首先,农业复杂场景的动态可变性是指在机器人作业的环境中存在移动的人、农机、动物等,会随着时间而改变任意位置和形态。例如,在野外环境下,多放牧机器人协同管理无规则移动牧群101、在养殖场的自动导航与对养殖动物的行为监测102等,动态物体会导致传感器数据的不稳定和不一致,进而影响地图构建和定位的准确性,激光SLAM在动态环境中会因移动物体特征点云的误匹配导致定位误差增大103、视觉SLAM在具有移动物体等动态变化场景下稳定性不足,容易产生丢失跟踪的问题102。其次,具有环境复杂性的农业场景通常具有不规则地形、非结构化环境104特点,且存在遮挡和视野受限的区域105(如狭窄空间和被遮挡的视线)、光照强度变化(如日夜交替和室内光源变化)106,以及恶劣天气条件(如雨雪、雾霾天气)的干扰,导致SLAM整体定位精度低、鲁棒性弱,例如无人农场的多机器人协同自动导航中复杂的农场地形107、巡检机器人在非结构化环境下对环境的感知108,以及温室环境下机器人对环境数据的监控109等。最后,通信受限指的是由于机器人作业区域的通信带宽有限、部分区域信号覆盖不足、网络延迟和抖动等问题导致的数据传输和信息共享受阻110,影响SLAM的实时性和准确性,如大范围环境下无人农机的协同作业111在信号覆盖不足的大型果园机器人的采收112等。因此,农业复杂动态环境下的多机器人SLAM需要综合考虑多传感器数据的融合精度偏低、协同任务中的通信受限,以及相对位姿估计准确性不高等关键问题。

3.1 多传感器数据的融合精度偏低

为了应对在农业复杂环境下高效率高精作业的挑战,多机器人SLAM系统通常会采用多种传感器共同工作的策略。农业场景的光照条件、遮挡、纹理、颜色变化等因素,使得机器人在非结构化环境中的感知能力受限。因此,采用多传感器进行数据获取,实现不同传感器数据的优势互补,并通过各类数据融合算法获取高质量数据,提高农业场景下多机器人的感知能力。目前主流的传感器融合方法是卡尔曼滤波器113、粒子滤波器114和基于图优化115,以及它们的衍生算法。卡尔曼滤波和粒子滤波器是贝叶斯滤波器的两种不同实现方案,卡尔曼滤波主要负责预测和更新两个部分,粒子滤波器的方法很好地解决了多个样本任意分布的情况。此外,基于图优化的SLAM则通过最小化平方差之和来找到位姿与位姿之间的关系。近年来,深度学习技术也在传感器数据融合领域崭露头角,其灵活性和强大的特征学习能力为应对农业领域的复杂环境提供了新的可能性116

3.2 协同任务中通信受限

在农业复杂环境下通信和网络覆盖通常较差,可能出现信号不稳定、通信延迟和丢包等问题,通常采取以下策略。首先,机器人可以通过局部地图交换来减少通信量,仅传输局部地图更新或相对位置信息而不是完整的地图117。其次,采用信息压缩和编码技术,如使用压缩算法和二进制编码,以减少传输数据量118。另外,分层通信策略能够根据通信的紧迫性和重要性将其分层,确保高优先级信息的及时性119。同时,自适应通信策略根据网络条件和系统负载动态调整通信频率,以提高通信效率120。在分布式算法设计方面,考虑到通信开销,可采用图优化方法将图分割为多个子图,减少跨机器人通信的数据量121。最后,引入缓存和重传机制,以应对数据丢失或传输错误,确保通信的可靠性122。这些策略共同致力于有效解决多机器人协作SLAM中的通信问题,提高系统的稳定性和性能。

3.3 相对位姿估计准确性不高

在农业复杂环境下,多机器人协同SLAM需要机器人能够准确获取自身以及其他机器人的姿态信息。多机器人协同SLAM中机器人局部地图之间的对齐或变换矩阵通常是未知的,因此,相对位姿估计的准确性对多机器人SLAM至关重要。然而,相对位姿估计面临诸多挑战,包括传感器数据的精度、动态环境中障碍物的移动、在开放环境中缺乏可靠的先验信息等问题。利用传感器融合技术,综合利用多种传感器数据以提高观测的准确性和鲁棒性123;通过特征匹配和数据关联算法,确保正确地将不同机器人的观测数据进行关联124;引入动态环境建模和滤波方法,对动态物体和静态地图进行有效区分125;采用数据同步和时序校准技术,确保机器人间传感器数据的同步和时间一致性126;利用先验信息和地图初始化,提供对初始位姿的估计,以加速位姿估计的收敛过程127。综合这些解决思路,可以提高在复杂环境下多机器人SLAM的相对位姿估计的精度和可靠性。

4 总结及展望

本文概述了多机器人SLAM技术的发展现状,着重围绕多机器人协同定位、多机器人协同建图,以及目前主流的多机器人协同框架进行全面综述,针对在农业复杂环境下多机器人协同SLAM存在的关键问题及解决方法进行了分析与总结,预测未来该技术的发展趋势主要集中在以下方面。
(1)优化农业复杂场景下多传感器数据融合底层算法,提高多机器人协同定位与建图精度。结合农业场景的动态可变性、环境复杂性和通信受限性,利用不同传感器之间的互补特性来提高数据的稳定性和可靠性,为多机器人协同定位与建图的准确性和鲁棒性提供高质量数据。尽管近年来,多传感器融合方案取得了显著进展,但相对于传统的纯视觉与激光SLAM,仍处于发展阶段。此外,更多传感器的参与意味着需要更庞大的计算能力和更完善的系统来消除无用信息,它将会严重干扰SLAM的实时性能。
(2)融合深度学习、强化学习等新一代AI算法,提升多机器人SLAM自主学习的能力。深度学习技术的快速发展为机器人领域带来了重大变革,其在机器人里程计、优化、定位和地图构建等方面展现了巨大的潜力。多机器人强化学习作为一种前沿解决方案,正在推动多机器人系统中交互式自主学习的发展。然而,在大田作业以及非结构化环境下的野外放牧等场景下,这种结合方式将面临着计算资源和能源消耗的压力、深度学习模型的泛化能力和鲁棒性、可解释性等挑战。
(3)引入多模态大语言模型的语义理解特性,增强多机器人农业环境感知和定位的交互性。通过将语言模型与SLAM技术相结合,机器人将能够更好地感知和理解周围环境。语言模型的引入为机器人提供了一种全新的智能交互方式,使其能够理解自然语言指令、解释自身行为,并从多种文本数据中学习环境知识。而与SLAM技术的结合,则能够进一步提高机器人的环境感知和定位能力,实现更加准确和精细的地图构建。通过构建具有语义理解能力的地图,机器人可以更好地执行室内巡检、路径导航等协作任务,从而更高效地进行环境感知。大语言模型与多机器人SLAM的融合将为机器人在未来的智能化发展开辟出全新的可能性,为人类社会带来更多的智能化应用和服务。
(4)应用数字孪生的虚拟建模和可视化能力,加强多机器人协同决策和路径规划的理解能力。数字孪生和多机器人SLAM是当前人工智能和机器人领域中备受关注的两项技术。二者的结合可以增强机器人对复杂环境的理解和模拟能力。数字孪生技术提供虚拟环境模拟,多机器人SLAM可在其中进行定位和地图构建,优化算法并预测现实环境中的挑战。在无人农场、无人养殖场等环境下,数字孪生技术具有高效的路径规划能力,并且能够对复杂任务做出更智能的决策。在数字孪生与多机器人SLAM的协同作用有望为机器人的智能感知提供新的解决方案,并在未来的研究和应用中发挥重要作用。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
ZHAO X Z, SHAO S L, WANG T, et al. A review of multi-robot collaborative simultaneous localization and mapping[C]// 2023 IEEE International Conference on Unmanned Systems (ICUS). Piscataway, New Jersey, USA: IEEE, 2023: 900-905.

2
RIZK Y, AWAD M, TUNSTEL E W. Cooperative heterogeneous multi-robot systems: A survey[J]. ACM computing surveys, 2019, 52(2): ID 29.

3
李纪鑫, 吴宗卓, 赫磊, 等. 多机器人协同的SLAM算法研究[J]. 自动化与仪器仪表, 2023(9): 205-209.

LI J X, WU Z Z, HE L, et al. SLAM algorithm for multi-robot collaboration[J]. Automation & instrumentation, 2023(9): 205-209.

4
卫恒, 吕强, 林辉灿, 等. 多机器人SLAM后端优化算法综述[J]. 系统工程与电子技术, 2017, 39(11): 2553-2565.

WEI H, LYU Q, LIN H C, et al. Survey on multi-robot SLAM back-end optimization algorithm[J]. Systems engineering and electronics, 2017, 39(11): 2553-2565.

5
阴贺生, 裴硕, 徐磊, 等. 多机器人视觉同时定位与建图技术研究综述[J]. 机械工程学报, 2022, 58(11): 11-36.

YIN H S, PEI S, XU L, et al. Review of research on multi-robot visual simultaneous localization and mapping[J]. Journal of mechanical engineering, 2022, 58(11): 11-36.

6
裴凌, 李涛, 花彤, 等. 多源融合定位算法综述[J]. 南京信息工程大学学报(自然科学版), 2022, 14(6): 635-648.

PEI L, LI T, HUA T, et al. A survey of multi-source fusion positioning algorithms[J]. Journal of Nanjing university of information science & technology (natural science edition), 2022, 14(6): 635-648.

7
张迎雪, 陈萌, 陈金宝, 等. 多机器人智能化协同技术研究进展[J]. 载人航天, 2021, 27(6): 767-778.

ZHANG Y X, CHEN M, CHEN J B, et al. Research progress of intelligent cooperative technology for multiple robots[J]. Manned spaceflight, 2021, 27(6): 767-778.

8
王曦杨, 陈炜峰, 尚光涛, 等. 基于多机器人的协同VSLAM综述[J/OL].南京信息工程大学学报(自然科学版), 1-31. [2024-03-04].

WANG X Y, CHEN W F, SHANG G T, et al. A review of VSLAM based on multiple robots[J/OL]. Journal of Nanjing University of information science & technology, 1-31. [2024-03-04].

9
ALOUI K, GUIZANI A, HAMMADI M, et al. Systematic literature review of collaborative SLAM applied to autonomous mobile robots[C]// 2022 IEEE Information Technologies & Smart Industrial Systems (ITSIS). Piscataway, New Jersey, USA: IEEE, 2022: 1-5.

10
DAI B, HE Y Q, GU F, et al. A vision-based autonomous aerial spray system for precision agriculture[C]// 2017 IEEE International Conference on Robotics and Biomimetics (ROBIO). Piscataway, New Jersey, USA: IEEE, 2017: 507-513.

11
LIU J, SINGH H, ELSAYED S, et al. Planning-assisted context-sensitive autonomous shepherding of dispersed robotic swarms in obstacle-cluttered environments[EB/OL]. arXiv: 2301.10363, 2023.

12
JU C, KIM J, SEOL J, et al. A review on multirobot systems in agriculture[J]. Computers and electronics in agriculture, 2022, 202: ID 107336.

13
满忠贤, 何杰, 刘善琪, 等. 智能农机多机协同收获作业控制方法与试验[J]. 农业工程学报, 2024, 40(1): 17-26.

MAN Z X, HE J, LIU S Q, et al. Method and test for operating multi-machine cooperative harvesting in intelligent agricultural machinery[J]. Transactions of the Chinese society of agricultural engineering, 2024, 40(1): 17-26.

14
POTENA C, KHANNA R, NIETO J, et al. AgriColMap: Aerial-ground collaborative 3D mapping for precision farming[J]. IEEE robotics and automation letters, 2019, 4(2): 1085-1092.

15
TOURRETTE T, DEREMETZ M, NAUD O, et al. Close coordination of mobile robots using radio beacons: A new concept aimed at smart spraying in agriculture[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2018: 7727-7734.

16
MITCHELL H B. Multi-sensor data fusion: An introduction[M]. Berlin, New York: Springer Verlag, 2007.

17
ROYO S, BALLESTA-GARCIA M. An overview of lidar imaging systems for autonomous vehicles[J]. Applied sciences, 2019, 9(19): ID 4093.

18
ALONSO V, DACAL-NIETO A, BARRETO L, et al. Industry 4.0 implications in machine vision metrology: An overview[J]. Procedia manufacturing, 2019, 41: 359-366.

19
PODDAR S, KUMAR V, KUMAR A. A comprehensive overview of inertial sensor calibration techniques[J]. Journal of dynamic systems, measurement, and control, 2017, 139(1): ID 011006.

20
马争光, 赵永国, 刘成业, 等. 激光和视觉融合SLAM方法研究综述[J]. 计算机测量与控制, 2019, 27(3): 1-6.

MA Z G, ZHAO Y G, LIU C Y, et al. Survey of SLAM with laser-camera fusion sensor[J]. Computer measurement & control, 2019, 27(3): 1-6.

21
刘辉, 蒙丽雯, 段一戬, 等. 基于4D相关性金字塔的雷达-视觉传感器外参在线标定方法[J]. 中国激光, 2024, 51 (17): 184-195.

LIU H, MENG L W, DUAN Y J, et al. Online calibration method of lidar-visual sensor external parameters based on 4D correlation pyramid[J]. Chinese Journal of Lasers, 2024, 51 (17): 184-195.

22
ZHANG Q L, PLESS R. Extrinsic calibration of a camera and laser range finder (improves camera calibration)[C]// 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, Jersey New, USA: IEEE, 2004, 3: 2301-2306.

23
覃兴胜, 李晓欢, 唐欣, 等. 基于标定板关键点的激光雷达与相机外参标定方法[J]. 激光与光电子学进展, 2022, 59(4): ID 0428001.

QIN X S, LI X H, TANG X, et al. Extrinsic calibration method of lidar and camera based on key points of calibration board[J]. Laser & optoelectronics progress, 2022, 59(4): ID 0428001.

24
KUMMERLE J, KUHNER T, LAUER M. Automatic calibration of multiple cameras and depth sensors with a spherical target[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2018.

25
PANDEY G, MCBRIDE J, SAVARESE S, et al. Automatic targetless extrinsic calibration of a 3D LiDAR and camera by maximizing mutual information[J]. Proceedings of the AAAI conference on artificial intelligence, 2021, 26(1): 2053-2059.

26
ZHU Y W, ZHENG C R, YUAN C J, et al. CamVox: A low-cost and accurate lidar-assisted visual SLAM system[C]// 2021 IEEE International Conference on Robotics and Automation (ICRA). Piscataway, New Jersey, USA: IEEE, 2021: 5049-5055.

27
LIU X Y, YUAN C J, ZHANG F. Targetless extrinsic calibration of multiple small FoV LiDARs and cameras using adaptive voxelization[J]. IEEE transactions on instrumentation and measurement, 2022, 71: 1-12.

28
IYER G, RAM R K, MURTHY J K, et al. CalibNet: Geometrically supervised extrinsic calibration using 3D spatial transformer networks[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2018: 1110-1117.

29
LYU X D, WANG B Y, DOU Z W, et al. LCCNet: LiDAR and camera self-calibration using cost volume network[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Piscataway, New Jersey, USA: IEEE, 2021: 2888-2895.

30
WU Y, ZHU M, LIANG J. PSNet: LiDAR and camera registration using parallel subnetworks[J]. IEEE access, 2022, 10: 70553-70561.

31
SEISKARI O, RANTALANKILA P, KANNALA J, et al. HybVIO: Pushing the limits of real-time visual-inertial odometry[C]// 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Piscataway, New Jersey, USA: IEEE, 2022: 287-296.

32
MOURIKIS A I, ROUMELIOTIS S I. A multi-state constraint Kalman filter for vision-aided inertial navigation[C]// Proceedings 2007 IEEE International Conference on Robotics and Automation. Piscataway, New Jersey, USA: IEEE, 2007: 3565-3572.

33
LEUTENEGGER S, FURGALE P, RABAUD V, et al. Keyframe-based visual-inertial SLAM using nonlinear optimization[C]// Robotics: Science and Systems IX. Robotics: Science and Systems Foundation, 2013.

34
LI P L, QIN T, HU B T, et al. Monocular visual-inertial state estimation for mobile augmented reality[C]// 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Piscataway, New Jersey, USA: IEEE, 2017: 11-21.

35
QIN T, SHEN S J. Robust initialization of monocular visual-inertial estimation on aerial robots[C]// 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2017: 4225-4232.

36
BLOESCH M, BURRI M, OMARI S, et al. Iterated extended Kalman filter based visual-inertial odometry using direct photometric feedback[J]. The international journal of robotics research, 2017, 36(10): 1053-1072.

37
VON STUMBERG L, CREMERS D. DM-VIO: Delayed marginalization visual-inertial odometry[J]. IEEE robotics and automation letters, 2022, 7(2): 1408-1415.

38
HOSSAIN S, LIN X K. Uncertainty-aware tightly-coupled GPS fused LIO-SLAM[EB/OL]. arXiv:2209.10047, 2022.

39
ZHANG J, SINGH S. LOAM: LiDAR odometry and mapping in real-time[C]// Robotics: Science and Systems. Berkeley, California, USA: Robotics: Science and Systems Foundation, 2014: 1-9.

40
SHAN T X, ENGLOT B. LeGO-LOAM: Lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2018: 4758-4765.

41
YE H Y, CHEN Y Y, LIU M. Tightly coupled 3D lidar inertial odometry and mapping[C]// 2019 International Conference on Robotics and Automation (ICRA). Piscataway, New Jersey, USA: IEEE, 2019: 3144-3150.

42
SHAN T X, ENGLOT B, MEYERS D, et al. LIO-SAM: Tightly-coupled lidar inertial odometry via smoothing and mapping[C]// 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2020: 5135-5142.

43
CHEN B F, ZHAO H W, ZHU R Y, et al. Marked-LIEO: Visual marker-aided LiDAR/IMU/encoder integrated odometry[J]. Sensors, 2022, 22(13): ID 4749.

44
ZHANG H K, DU L, BAO S, et al. LVIO-fusion: Tightly-coupled LiDAR-visual-inertial odometry and mapping in degenerate environments[J]. IEEE robotics and automation letters, 2024, 9(4): 3783-3790.

45
ZHANG J, SINGH S. Visual-lidar odometry and mapping: Low-drift, robust, and fast[C]// 2015 IEEE International Conference on Robotics and Automation (ICRA). Piscataway, New Jersey, USA: IEEE, 2015: 2174-2181.

46
SHAO W Z, VIJAYARANGAN S, LI C, et al. Stereo visual inertial LiDAR simultaneous localization and mapping[C]// 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2019: 370-377.

47
GRAETER J, WILCZYNSKI A, LAUER M. LIMO: LiDAR-monocular visual odometry[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2018: 7872-7879.

48
WISTH D, CAMURRI M, DAS S, et al. Unified multi-modal landmark tracking for tightly coupled lidar-visual-inertial odometry[J]. IEEE robotics and automation letters, 2021, 6(2): 1004-1011.

49
SHAN T X, ENGLOT B, RATTI C, et al. LVI-SAM: Tightly-coupled lidar-visual-inertial odometry via smoothing and mapping[C]// 2021 IEEE International Conference on Robotics and Automation (ICRA). Piscataway, New Jersey, USA: IEEE, 2021: 5692-5698.

50
裴昭义. 面向协作SLAM的多机器人系统学习方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2022.

PEI Z Y. Research on learning method of multi-robot system oriented to cooperative SLAM[D]. Harbin: Harbin Institute of Technology, 2022.

51
REN H L, WU J D, LIN T L, et al. Research on an intelligent agricultural machinery unmanned driving system[J]. Agriculture, 2023, 13(10): ID 1907.

52
ELAMVAZHUTHI K, KAKISH Z, SHIRSAT A, et al. Controllability and stabilization for herding a robotic swarm using a leader: A mean-field approach[J]. IEEE transactions on robotics, 2021, 37(2): 418-432.

53
ZHUANG Y, WANG Z D, YU H Y, et al. A robust extended H∞ filtering approach to multi-robot cooperative localization in dynamic indoor environments[J]. Control engineering practice, 2013, 21(7): 953-961.

54
KEVIN E, HUANG G Q. State-transition and observability constrained EKF for multi-robot cooperative localization[C]// 2015 34th Chinese Control Conference (CCC). Piscataway, New Jersey, USA: IEEE, 2015: 7404-7410.

55
HAO N, HE F, TIAN C, et al. KD-EKF: A kalman decomposition based extended kalman filter for multi-robot cooperative localization[EB/OL]. arXiv: 2210.16086, 2022.

56
ZHAO L, DAI H Y, LANG L, et al. An adaptive filtering method for cooperative localization in leader-follower AUVs[J]. Sensors, 2022, 22(13): ID 5016.

57
WANASINGHE T R, MANN G K I, GOSINE R G. Decentralized cooperative localization for heterogeneous multi-robot system using split covariance intersection filter[C]// 2014 Canadian Conference on Computer and Robot Vision. Piscataway, New Jersey, USA: IEEE, 2014: 167-174.

58
HAN R H, CHEN S D, BU Y S, et al. Decentralized cooperative multi-robot localization with EKF[EB/OL]. arXiv: 1811.07506, 2018.

59
TIAN C G, HAO N, HE F H, et al. Distributed consistent multi-robot cooperative localization: A coordinate transformation approach[EB/OL]. arXiv: 2303.01205, 2023.

60
ZHOU L, LINZHOU L Z, LUZHANG Y J, et al. Distributed cubature Kalman filter cooperative localization based on parameterized-belief propagation[J]. Journal of internet technology, 2022, 23(3): 497-507.

61
TSAI C C, CHAN C C, TAI F C. Cooperative localization using fuzzy decentralized extended information filtering for homogenous omnidirectional mobile multi-robot system[C]// International conference on system science and engineering. Piscataway, New Jersey, USA: IEEE, 2015

62
ZHANG S J, CAO Y. Cooperative localization approach for multi-robot systems based on state estimation error compensation[J]. Sensors, 2019, 19(18): ID 3842.

63
TANVEER M H, SGORBISSA A, THOMAS A. An IPM approach to multi-robot cooperative localization: Pepper humanoid and wheeled robots in a shared space[M]// Lecture Notes in Electrical Engineering. Cham: Springer International Publishing, 2019: 429-447.

64
WANG X D, SUN S D, LI T C, et al. Fault tolerant multi-robot cooperative localization based on covariance union[J]. IEEE robotics and automation letters, 2021, 6(4): 7799-7806.

65
ZHANG B X, LIU J, CHEN H Y. AMCL based map fusion for multi-robot SLAM with heterogenous sensors[C]// 2013 IEEE International Conference on Information and Automation (ICIA). Piscataway, New Jersey, USA: IEEE, 2013: 822-827.

66
CHEN H Y, ZHONG J, FU Y L, et al. Pose-graph based 3D map fusion with distributed robot system[C]// 2014 IEEE International Conference on Robotics and Biomimetics (ROBIO 2014). Piscataway, New Jersey, USA: IEEE, 2014: 1608-1613.

67
YUE Y F, YANG C L, WANG Y Z, et al. Multi-robot map fusion framework using heterogeneous sensors[C]// 2019 IEEE International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics, Automation and Mechatronics (RAM). Piscataway, New Jersey, USA: IEEE, 2019: 536-541.

68
XU B L, SUN S Q. Online map fusion system based on sparse point-cloud[J]. International journal of automation and control, 2021, 15(4/5): ID 585.

69
VELÁSQUEZ HERNÁNDEZ C A, PRIETO ORTIZ F A. A real-time map merging strategy for robust collaborative reconstruction of unknown environments[J]. Expert systems with applications, 2020, 145: ID 113109.

70
CHAI C, HUANG Y Z. Two-step method grid map merging based on corner points[C]// 2022 41st Chinese Control Conference (CCC). Piscataway, New Jersey, USA: IEEE, 2022: 6298-6303.

71
ANDERSSON L A A, NYGARDS J. C-SAM: Multi-Robot SLAM using square root information smoothing[C]// 2008 IEEE International Conference on Robotics and Automation. Piscataway, New Jersey, USA: IEEE, 2008: 2798-2805.

72
CUNNINGHAM A, INDELMAN V, DELLAERT F. DDF-SAM 2.0: Consistent distributed smoothing and mapping[C]// 2013 IEEE International Conference on Robotics and Automation. Piscataway, New Jersey, USA: IEEE, 2013: 5220-5227.

73
CHANG H J, GEORGE LEE C S, HU Y C, et al. Multi-robot SLAM with topological/metric maps[C]// 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, New Jersey, USA: IEEE, 2007: 1467-1472.

74
SUN Y, SUN R C, YU S M, et al. A grid map fusion algorithm based on maximum common subgraph[C]// 2018 13th World Congress on Intelligent Control and Automation (WCICA). Piscataway, New Jersey, USA: IEEE, 2018: 58-63.

75
HADIAN JAZI S. Map-merging using maximal empty rectangles in a multi-robot SLAM process[J]. Journal of mechanical science and technology, 2020, 34(6): 2573-2583.

76
LIN Z Y, ZHU J H, JIANG Z T, et al. Merging grid maps in diverse resolutions by the context-based descriptor[J]. ACM transactions on Internet technology, 2021,21(4): ID 91.

77
WANG M H, CONG M, DU Y, et al. Multi-robot raster map fusion without initial relative position[J]. Robotic intelligence and automation, 2023, 43(5): 498-508.

78
ÖZKUCUR N E, AKIN H L. Cooperative multi-robot map merging using fast-SLAM[M]// Lecture Notes in Computer Science. Berlin, Heidelberg: Springer Berlin Heidelberg, 2010: 449-460.

79
XU W J, JIANG R X, CHEN Y W. Map alignment based on PLICP algorithm for multi-robot SLAM[C]// 2012 IEEE International Symposium on Industrial Electronics. Piscataway, New Jersey, USA: IEEE, 2012: 926-930.

80
HIDAYAT F, TRILAKSONO B R, HINDERSAH H. Distributed multi robot simultaneous localization and mapping with consensus particle filtering[J]. Journal of physics: Conference series, 2017, 801: ID 012003.

81
XU X C, CHEN Z X, GUO J X, et al. Collaborative localization of aerial and ground mobile robots through orthomosaic map[C]// 2020 IEEE International Conference on Real-time Computing and Robotics (RCAR). Piscataway, New Jersey, USA: IEEE, 2020: 122-127.

82
MALAKOUTI-KHAH H, SADEGHZADEH-NOKHODBERIZ N, MONTAZERI A. Simultaneous localization and mapping in a multi-robot system in a dynamic environment with unknown initial correspondence[J]. Frontiers in robotics and AI, 2023, 10: ID 1291672.

83
NATARAJAN R, GENNERT M A. Efficient factor graph fusion for multi-robot mapping and beyond[C]// 2018 21st International Conference on Information Fusion (FUSION). Piscataway, New Jersey, USA: IEEE, 2018: 1137-1145.

84
ZHANG Y T, HSIAO M, DONG J, et al. MR-iSAM2: Incremental smoothing and mapping with multi-root Bayes tree for multi-robot SLAM[C]// 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2021: 8671-8678.

85
CHEN W F, WANG X Y, GAO S P, et al. Overview of multi-robot collaborative SLAM from the perspective of data fusion[J]. Machines, 2023, 11(6): ID 653.

86
ZOU D P, TAN P. CoSLAM: Collaborative visual SLAM in dynamic environments[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(2): 354-366.

87
SCHMUCK P, CHLI M. CCM-SLAM: Robust and efficient centralized collaborative monocular simultaneous localization and mapping for robotic teams[J]. Journal of field robotics, 2019, 36(4): 763-781.

88
KARRER M, SCHMUCK P, CHLI M. CVI-SLAM—Collaborative visual-inertial SLAM[J]. IEEE robotics and automation letters, 2018, 3(4): 2762-2769.

89
ZHANG T J, ZHANG L, CHEN Y, et al. CVIDS: A collaborative localization and dense mapping framework for multi-agent based visual-inertial SLAM[J]. IEEE transactions on image processing, 2022, 31: 6562-6576.

90
CHANG Y, EBADI K, DENNISTON C E, et al. LAMP 2.0: A robust multi-robot SLAM system for operation in challenging large-scale underground environments[J]. IEEE robotics and automation letters, 2022, 7(4): 9175-9182.

91
TIAN Y L, CHANG Y, HERRERA ARIAS F, et al. Kimera-multi: Robust, distributed, dense metric-semantic SLAM for multi-robot systems[J]. IEEE transactions on robotics, 2022, 38(4): 2022-2038.

92
LAJOIE P Y, RAMTOULA B, CHANG Y, et al. DOOR-SLAM: Distributed, online, and outlier resilient SLAM for robotic teams[J]. IEEE robotics and automation letters, 2020, 5(2): 1656-1663.

93
HUANG Y W, SHAN T X, CHEN F F, et al. DiSCo-SLAM: Distributed scan context-enabled multi-robot LiDAR SLAM with two-stage global-local graph optimization[J]. IEEE robotics and automation letters, 2022, 7(2): 1150-1157.

94
ZHONG S P, QI Y H, CHEN Z Q, et al. DCL-SLAM: A distributed collaborative LiDAR SLAM framework for a robotic swarm[J]. IEEE sensors journal, 2024, 24(4): 4786-4797.

95
LAJOIE P Y, BELTRAME G. Swarm-SLAM: Sparse decentralized collaborative simultaneous localization and mapping framework for multi-robot systems[J]. IEEE robotics and automation letters, 2024, 9(1): 475-482.

96
RIAZUELO L, CIVERA J, MONTIEL J M M. C2TAM: A Cloud framework for cooperative tracking and mapping[J]. Robotics and autonomous systems, 2014, 62(4): 401-413.

97
WANG Y T, JIANG C Y, CHEN X. Voom: Robust visual object odometry and mapping using hierarchical landmarks[EB/OL]. arXiv: 2402.13609, 2024.

98
MUR-ARTAL R, TARDOS J D. ORB-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras[J]. IEEE transactions on robotics, 2017, 33(5): 1255-1262.

99
CAMPOS C, ELVIRA R, RODRIGUEZ J J G, et al. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM[J]. IEEE transactions on robotics, 2021, 37(6): 1874-1890.

100
LABBÉ M, MICHAUD F. RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation[J]. Journal of field robotics, 2019, 36(2): 416-446.

101
KAKISH Z, ELAMVAZHUTHI K, BERMAN S. Using reinforcement learning to herd a robotic swarm to a target distribution[M]// Springer Proceedings in Advanced Robotics. Cham: Springer International Publishing, 2022: 401-414.

102
刘冬, 于涛, 丛明, 等. 基于深度学习图像特征的动态环境视觉SLAM方法[J]. 华中科技大学学报(自然科学版), 2024, 52(6): 156-163.

LIU D, YU T, CONG M, et al. Visual SLAM method for dynamic environment based on deep learning image features[J]. Journal of Huazhong university of science and technology (natural science edition), 2024, 52(6): 156-163.

103
徐晓苏, 王睿, 姚逸卿. 基于筛选策略的动态环境下激光SLAM算法[J]. 中国惯性技术学报, 2024, 32(7): 681-689, 695.

XU X S, WANG R, YAO Y Q. Dynamic environment laser SLAM algorithm with a filtering strategy[J]. Journal of Chinese inertial technology, 2024, 32(7): 681-689, 695.

104
张永宏, 李宇超, 董天天, 等. 非结构化环境下番茄采摘机器人目标识别与检测[J]. 中国农机化学报, 2024, 45(4): 205-213.

ZHANG Y H, LI Y C, DONG T T, et al. Target identification and detection for tomato harvesting robot in unstructured environments[J]. Journal of Chinese agricultural mechanization, 2024, 45(4): 205-213.

105
陈孟元, 韩朋朋, 刘金辉, 等. 动态遮挡场景下基于改进Transformer实例分割的VSLAM算法[J]. 电子学报, 2023, 51(7): 1812-1825.

CHEN M Y, HAN P P, LIU J H, et al. Improved transformer instance segmentation under dynamic occlusion based VSLAM algorithm[J]. Acta electronica sinica, 2023, 51(7): 1812-1825.

106
张晨阳, 杨健.一种自适应点线特征和IMU耦合的视觉SLAM方法[J/OL]. 武汉大学学报(信息科学版), 1-19. [2024-08-29].

ZHANG C Y, YANG J. A visual SLAM method coupled with adaptive point-line features and IMU[J/OL]. Geomatics and information science of Wuhan university, 1-19. [2024-08-29].

107
WANG T, XU X B, WANG C, et al. From smart farming towards unmanned farms: A new mode of agricultural production[J]. Agriculture, 2021, 11(2): 145.

108
高春艳, 陶渊, 吕晓玲, 等. 非结构化环境下巡检机器人环境感知技术研究综述[J]. 传感器与微系统, 2023, 42(4): 10-13, 18.

GAO C Y, TAO Y, LYU X L, et al. Research review of environment perception technology of inspection robots in unstructured environment[J]. Transducer and microsystem technologies, 2023, 42(4): 10-13, 18.

109
JIANG S K, WANG S L, YI Z Y, et al. Autonomous navigation system of greenhouse mobile robot based on 3D lidar and 2D LiDAR SLAM[J]. Frontiers in plant science, 2022, 13: ID 815218.

110
徐斌, 杨东勇. 基于边缘计算的移动机器人视觉SLAM方法[J]. 高技术通讯, 2023, 33(9): 1000-1008.

XU B, YANG D Y. A visual SLAM method for mobile robot based on edge computing[J]. Chinese high technology letters, 2023, 33(9): 1000-1008.

111
LYTRIDIS C, KABURLASOS V G, PACHIDIS T, et al. An overview of cooperative robotics in agriculture[J]. Agronomy, 2021, 11(9): ID 1818.

112
MAMMARELLA M, COMBA L, BIGLIA A, et al. Cooperation of unmanned systems for agricultural applications: A case study in a vineyard[J]. Biosystems engineering, 2022, 223: 81-102.

113
MAGREE D, JOHNSON E N. Combined laser and vision-aided inertial navigation for an indoor unmanned aerial vehicle[C]// 2014 American Control Conference. Piscataway, New Jersey, USA: IEEE, 2014: 1900-1905.

114
YIN L, LUO B, WANG W, et al. CoMask: Corresponding mask-based end-to-end extrinsic calibration of the camera and LiDAR[J]. Remote sensing, 2020, 12(12): ID 1925.

115
CHEN S B, ZHOU B D, JIANG C H, et al. A LiDAR/visual SLAM backend with loop closure detection and graph optimization[J]. Remote sensing, 2021, 13(14): ID 2720.

116
MUMUNI A, MUMUNI F. CNN architectures for geometric transformation-invariant feature representation in computer vision: A review[J]. SN computer science, 2021, 2(5): ID 340.

117
DONG H L, YU J C, XU Y F, et al. MR-GMMapping: Communication efficient multi-robot mapping system via Gaussian mixture model[J]. IEEE robotics and automation letters, 2022, 7(2): 3294-3301.

118
HUSSEIN A M, IDREES A K, COUTURIER R. Distributed energy-efficient data reduction approach based on prediction and compression to reduce data transmission in IoT networks[J]. International journal of communication systems, 2022, 35(15): e5282.1-e5282.23.

119
ZHANG H, CHENG J Y, ZHANG L, et al. H2GNN: Hierarchical-hops graph neural networks for multi-robot exploration in unknown environments[J]. IEEE robotics and automation letters, 2022, 7(2): 3435-3442.

120
GIELIS J, SHANKAR A, PROROK A. A critical review of communications in multi-robot systems[J]. Current robotics reports, 2022, 3(4): 213-225.

121
ZHANG H F, LI Z T, ZHENG S K, et al. Range-aided drift-free cooperative localization and consistent reconstruction of multi-ground robots[J]. IEEE robotics and automation letters, 2023, 8(4): 2094-2101.

122
CHEN X Y, LIANG W, ZHOU X L, et al. An efficient transmission algorithm for power grid data suitable for autonomous multi-robot systems[J]. Information sciences, 2021, 572: 543-557.

123
SCHALL G, WAGNER D, REITMAYR G, et al. Global pose estimation using multi-sensor fusion for outdoor Augmented Reality[C]// 2009 8th IEEE International Symposium on Mixed and Augmented Reality. Piscataway, New Jersey, USA: IEEE, 2009: 153-162.

124
WANG S, WANG Y C, LI D Y, et al. Distributed relative localization algorithms for multi-robot networks: A survey[J]. Sensors, 2023, 23(5): ID 2399.

125
SHIN K, SIM H, NAM S, et al. Multi-robot relative pose estimation in SE(2) with observability analysis: A comparison of extended Kalman filtering and robust pose graph optimization[EB/OL]. arXiv: 2401.15313, 2024.

126
SHALABY M A, COSSETTE C C, LE NY J, et al. Multi-robot relative pose estimation and IMU preintegration using passive UWB transceivers[J]. IEEE transactions on robotics, 2024, 40: 2410-2429.

127
COSSETTE C C, SHALABY M A, SAUSSIÉ D, et al. Optimal multi-robot formations for relative pose estimation using range measurements[C]// 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New Jersey, USA: IEEE, 2022: 2431-2437.

文章导航

/