Welcome to Smart Agriculture 中文
Smart Agriculture

Smart Agriculture >

2025 1 - 11

DOI: https://doi.org/10.12133/j.smartag.SA202501022

Localization of Pruning Points of High Spindle Apple Trees in Dormant Period Based on Pictures and 3D Point Cloud

  • LIU Long 1, 2, 3 ,
  • WANG Ning 1, 2, 3 ,
  • WANG Jiacheng 1, 2, 3 ,
  • CAO Yuheng 1, 2, 3 ,
  • ZHANG Kai 1, 2, 3 ,
  • KANG Feng 1, 2, 3 ,
  • WANG Yaxiong , 1, 2, 3
Expand
  • 1. School of Technology, Beijing Forestry University, Beijing 100083, China
  • 2. State Key Laboratory of Efficient Production of Forest Resources, Beijing 100083, China
  • 3. Key Laboratory of National Forestry and Grassland Administration on Forestry Equipment and Automation, Beijing 100083, China
WANG Yaxiong, E-mail:

LIU Long, E-mail:

Received date: 2025-01-20

  Online published: 2025-04-08

Copyright

copyright©2025 by the authors
Fold

Abstract

[Objective] This study aims to solve the current problem of the intelligent pruning robot's insufficient recognition accuracy of fruit tree branches and inaccurate pruning point localization in complex field environments. To address this, a deep learning method based on the fusion of images and point clouds was proposed, enabling non-contact segmentation of dormant high-spindle apple tree branches and phenotypic parameter measurement. And complete the automatic identification and accurate localization of pruning points. [Methods] In this study, localized RGB-D data were gathered from apple trees using a Realsense D435i camera, a device capable of effective depth measurements within a range of 0.3~3.0 m. Data collection occurred between early and mid-January 2024, from 9:00 AM to 4:00 PM daily. During this period, the weather remained sunny, ensuring optimal conditions for high-quality data acquisition. To maintain consistency, the camera was mounted on a stand at a distance of 0.4~0.5 m from the main stem of the apple trees. After collecting the data, researchers manually labeled trunks and branches using Labelme software. They also employed the OpenCV library to enhance image data, which helped prevent overfitting during model training. To improve segmentation accuracy for tree trunks and branches in RGB images, the research team introduced an enhanced U-Net model. This model utilized VGG16 (Visual Geometry Group 16) as its backbone feature extraction network and incorporated the Convolutional Block Attention Module (CBAM) at the up-sampling stage. Based on the segmentation results, a multimodal data processing flow was established. Initially, the segmented branch mask maps were obtained from skeleton lines extracted using OpenCV's algorithm. The first-level branch connection points were identified based on their positions relative to the trunk. Subsequently, potential pruning points were searched for within local neighborhoods through coordinate translation. An edge detection algorithm was applied to locate the nearest edge pixels to these potential pruning points. By extending the diameter line of the branch pixel points on the images and combining this with depth information, the actual diameter of the branches could be estimated. Additionally, the branch spacing was calculated using the differences in vertical coordinates of potential pruning points in the pixel coordinate system, alongside depth information. Meanwhile, the trunk point cloud data were acquired by merging the trunk mask map with the depth map. Preprocessing of the point cloud enabled the estimation of the average trunk diameter in the local view through cylindrical fitting using the Randomized Sampling Consistency (RANSAC) algorithm. Finally, an intelligent pruning decision-making algorithm was developed through investigation of orchardists' pruning experience, analysis of relevant literature, and integration of phenotypic parameter acquisition methods, thus achieving accurate prediction of apple tree pruning points. [Results and Discussion] The improved U-Net model in this study achieved a mean pixel accuracy (mPA) of 95.52% for branch segmentation, representing a 2.74% improvement over the original architecture. Corresponding increases were observed in mean intersection over union (mIoU) and precision metrics. Comparative evaluations against DeepLabV3+, PSPNet, and the baseline U-Net were conducted under both backlight and front-light illumination conditions. The enhanced model demonstrated superior segmentation performance and robustness across all tested scenarios. Ablation experiments indicated that replacing the original feature extractor with VGG16 yielded a 1.52% mPA improvement, accompanied by simultaneous gains in mIoU and precision. The integration of the Convolutional Block Attention Module (CBAM) at the up sampling stage further augmented the model's capacity to resolve fine branch structures. Phenotypic parameter estimation using segmented branch masks combined with depth maps showed strong correlations with manual measurements. Specifically, the coefficient of determination (R2) values for primary branch diameter, branch spacing, and trunk diameter were 0.96, 0.95, and 0.91, respectively. The mean absolute errors (MAE) were recorded as 1.33, 13.96, and 5.11 mm, surpassing the accuracy of visual assessments by human pruning operators. The intelligent pruning decision system achieved an 87.88% correct identification rate for pruning points, with an average processing time of 4.2 s per viewpoint. These results validated the proposed methodology's practical feasibility and operational efficiency in real-world agricultural applications. [Conclusion] In summary, an efficient and accurate method was proposed for identifying pruning points on apple trees based on the fusion of image and point cloud data through deep learning. This comprehensive approach provides significant support for the application of intelligent pruning robots in modern agriculture, further advancing the shift towards smarter and more efficient agricultural production. The findings demonstrate that this method not only offers high feasibility but also exhibits outstanding efficiency and accuracy in practical applications, laying a solid foundation for future agricultural automation.

Key words： pruning point identification; RGB-D; U-Net; diameter estimation; 3D point clouds

Cite this article

LIU Long , WANG Ning , WANG Jiacheng , CAO Yuheng , ZHANG Kai , KANG Feng , WANG Yaxiong . Localization of Pruning Points of High Spindle Apple Trees in Dormant Period Based on Pictures and 3D Point Cloud[J]. Smart Agriculture, 2025 : 1 -11 . DOI: 10.12133/j.smartag.SA202501022

0 引 言

中国是世界上最大的苹果生产国，为提升苹果品质，每年需要投入大量人力对苹果树进行冬季修剪［1］。然而，随着人口老龄化和城镇化进程加快［2］，具备专业修剪技术的劳动力逐渐减少，与此同时，根据中国对现代果业发展方向的指导，苹果产业亟需向规模化、机械化和智能化转型［3］。因此，研究能够替代人工进行选择性修剪决策的技术，对智能修剪机器人开发具有重要意义。
智能修剪决策的实现主要分为果树枝干识别和修剪点定位。目前，果树枝干识别主要采用深度学习技术，基于图像和点云双模态数据实现［4-6］。其中，基于图像的枝干分割技术研究中，Majeed等［7］使用CNN-SegNet语义模型成功分割苹果树树干和树枝，精度分别达0.91和0.92。针对遮挡问题，Chen等［8］通过对比U-Net、DeepLabv3和Pix2Pix三种语义分割模型的性能，发现U-Net在轻度遮挡条件下表现最佳。为进一步提升分割精度，Tong等［9］提出改进Cascade Mask R-CNN模型，将苹果树枝干分割准确率提升至0.94。在复杂环境适应性方面，Sapkota等［10］对比YOLOv8和Mask R-CNN分割模型，发现YOLOv8表现更佳，分割准确率为0.90。上述方法实现了快速、高精度的图像分割，且数据采集简便，但仍存在空间信息缺失的局限性。为突破图像数据的维度限制，通过点云识别果树枝干成为重要研究方向。研究表明，基于SPGNet［11］、改进SegNet［12］和PointNet++［13］等模型，可实现树干、树枝和器官的分割，精度普遍超过0.84，其中苹果树和枣树的分枝分割精度达0.93。然而，该方法仍面临多视角配准复杂、计算效率低等技术瓶颈，实时性有待进一步提升。
在分割树干和树枝后，修剪点定位方法因树种特性而异。现有研究主要集中在规则化树形作物，如葡萄树［14-16］的冬季修剪通常采用非选择性策略，仅保留底部芽体。UFO形樱桃树［17］因其平面化生长特征，树干和树枝识别相对容易。相比之下，高纺锤形苹果树的修剪点定位更具挑战性，其空间分布的枝条结构要求获取完整的植株表型信息，并依据枝条与主干的几何关系确定修剪位置。枝干直径估计研究主要基于深度图和点云两种技术路线［18］。基于深度图的研究中，Zhang等［19］利用RGB-D相机结合实例分割技术，实现了针叶树胸径测量，均方根误差（Root Mean Square Error, RMSE）为17.61 mm。Tong等［20］通过近距离图像采集，获得苹果树一级枝直径测量的平均绝对误差（Mean Absolute Error, MAE）1.10 mm。然而，该方法受拍摄距离限制明显，如Niknejad等［21］对湿地松的测量显示，远距离测量误差可达55 mm。为克服图像法在遮挡枝干测量方面的局限，前人研究了点云技术［22-24］。其中，Li等［25］采用分段圆柱拟合方法实现树木三维重建，准确率达0.98，但存在计算效率低的问题。总体而言，图像法具有快速、精准的优势，而点云法则在复杂结构测量方面展现出独特价值。
综上，本研究融合图像处理的高精度、实时性优势与点云数据的空间信息特征，提出一种基于深度学习与深度相机协同的方法，实现修剪点的定位。主要工作为改进U-Net语义分割模型，提升对苹果树枝干边界的区分和细小枝条的识别能力；根据果树的结构特性和数据采集的实际情况，开发一种基于人工修剪规则的智能修剪决策算法；通过图像处理技术和点云圆柱拟合技术估计苹果树的表型参数；依据智能修剪决策确定预测修剪点，并将其与实际修剪点进行对比验证。

1 材料与方法

1.1　数据采集与预处理

数据采集于北京顺义区万汇优果采摘园（40°21′N，116°54′E），研究对象为7年生阿森泰富士品种高纺锤形苹果树，行株距分别为4和1 m，果园环境如图1a所示。数据采集时间为2024年1月中上旬，具体时段为每日的9∶00—16∶00，期间天气晴朗。采集设备为Realsense D435i深度相机，其RGB和深度图像分辨率像素分别为1 280×720和848×480，深度测量有效范围为0.3~3.0 m。为拍摄更多枝条的同时减少相邻果树的干扰，将深度相机逆时针旋转90°，同时将RGB图像分辨率像素调整为480×848。果园中苹果树枝条交叉与重叠现象严重，在全局视角下相机距离较远深度测量误差较大，本研究采用局部视角采集数据。为确保数据的质量与一致性，试验时，相机固定于支架上，并保持与主干距离为0.4~0.5 m，如图1b所示。
图1 果园现场的数据采集与处理图

a. 果园现场 b. 数据采集时相机的摆放位置 c. 采集的局部视角图像 d. 数据集标签

注：图d中红色区域为树干，绿色区域为一级枝。

Fig.1 The data acquisition and processing diagram of orchard field

试验共采集110棵果树的660张局部图像，所有图像中树主干均位于图像的中心位置，如图1c。按9∶1∶1比例随机划分为训练集、验证集和测试集。为模拟真实场景可能出现的情况，使用OpenCV对训练集和验证集进行了包括调整亮度、模糊处理和添加噪声的数据增强，测试集未作处理。最终获得2 160个训练集，240个验证集，60个测试集。使用Labelme软件标记树干和树枝，如图1d，并制作coco数据集格式。

1.2　U-Net模型改进

U-Net结构最早由Ronneberger等［26］提出，其核心思想是引入了跳跃连接，实现了使用更少的训练样本获取更高精度的分割。然而本研究数据集背景复杂、树干与树枝边界模糊，树枝密集细小，针对上述问题对U-Net模型进行了改进，以提升特征提取的准确性和效率。构建的改进模型结构如图2所示。
图2 改进的UNet结构图

Fig.2 Improved UNet structure diagram

在保持U-Net模型的跳跃连接结构不变的基础上，为解决主干网络深度不足、难以捕捉深层语义特征的问题，引入了VGG16（Visual Geometry Group 16）作为新的主干网络［27］，显著增强了苹果树图像的特征提取能力。同时，在每次上采样阶段加入了CBAM（Convolutional Block Attention Module）注意力机制模块［28］，动态调整特征权重，使模型更专注于任务关键信息。
模型训练在一台配备第12代Intel Core i7-12700H处理器、16 GB内存和NVIDIA RTX 3060 GPU的计算机上进行，操作系统为Windows 11。所使用的软件包括CUDA 11.8、CUDNN 8.7和Python 3.8，深度学习框架为PyTorch 2.1.1。根据显卡性能和训练需求，相关参数设置如表1所示。在训练过程中，为减少模型训练时间和计算成本并提升模型的泛化能力，采用迁移学习策略：在前50个epoch期间冻结部分层进行训练，之后的100个epoch解冻这些层继续训练。
表1 改进U-Net模型的训练主要参数

Table 1 Improved U-Net model training main parameters

参数名称 参数值
冻结epoch 50
冻结步长 4
解冻epoch 100
解冻步长 2
学习率 0.000 1
下采样倍速 16
学习率衰减类型 Cos

1.3　修剪点定位

在高纺锤形苹果树的培育过程中，为保证树形和果实品质，需对苹果树选择性修剪，当前苹果树在休眠期的修剪工作高度依赖于人工经验，尚未形成一套统一的修剪标准。通过对果农的调研和相关文献的分析［29-32］，总结出了休眠期高纺锤形苹果树人工修剪的基本原则：1）去除枝干比超过1/3的一级枝，维持主干优势；2）截短长度超过1.5 m的一级枝，优化树体结构和光照分布；3）针对过密分支，保留最细一级枝，消除“卡脖子枝”对主干生长的抑制；4）当同侧枝条间距不足时，去除较粗“竞争枝”，减少资源竞争；5）修剪时保留10~20 mm马蹄形短桩，并涂抹愈合剂促进伤口修复。
智能修剪机器人无法像工人依据丰富经验做出即时调整，因此为其设定精确的修剪标准尤为关键。试验果园树形高约H = 3.5 m，离地约 L = 0.7 m 开始生长一级枝，总数量约为N ≈ 35 根。由于数据采集为局部视角，无法获取一级枝完整长度，但一级枝条的长度与直径之间呈正比例关系［21］，将其纳入枝干比超过1/3的修剪标准中。针对“卡脖子枝”和“竞争枝”，结合理想树形生长参数，确定满足修剪条件的最大间距D1和D2，如公式（1）和公式（2）所示。
D 1 = H - L N = 3500 - 700 35 = 80   m m
D 2 = H - L N / 2 = 3500 - 700 35 / 2 = 160   m m
综上，本研究制定的智能修剪决策如下。
1）修剪粗枝。枝干比超过1/3。
2）修剪卡脖子枝。枝间距小于80 mm且直径较大的一级枝。
3）修剪竞争枝。同侧枝间距小于160 mm且直径较大的一级枝。
4）保留马蹄形短桩。在修剪时，保留10~20 mm的马蹄形短桩。
图3为修剪示意图。
图3 高纺锤形苹果树冬季修剪示意图

注：1为修剪粗枝；2为修剪竞争者枝；3为修剪卡脖子枝。

Fig.3 Schematic diagram of winter pruning of a high spindle apple tree

1.3.1　潜在修剪点定位

使用OpenCV库的细化算法将分割所得的枝条掩膜转化为骨架线，根据其在树干的位置分为左侧、右侧和中间枝。中间枝向拍摄方向生长，得到的骨架线只有少数几个像素点，难以定位潜在修剪点，同时智能修剪机器人采用多视角识别，因此本研究设置骨架线像素点数量阈值为50，排除中间枝。左右两侧枝的潜在修剪点根据与主干的连接点和留桩长度确定，连接点为骨架线靠近主干的端点，如图4中的点n。为在图像上确定留桩长度，需转换坐标系，相机坐标系和世界坐标系的转换为刚体变换，故只需将像素坐标系转换为相机坐标系，其原理为如公式（3）和公式（4）所示。
u v 1 = 1 d x 0 u 0 0 1 d y v 0 0 0 1 x y 1
Z C x y 1 = f 0 0 0 0 f 0 0 0 0 1 0 X C Y C Z C 1
图4 苹果树局部图像上潜在修剪点和一级枝直径的估计

注：红色区域为苹果树主干；绿色区域为一级枝，黑色点n为一级枝与主干的连接点，青色点o为潜在修剪点，线段pq代表一级枝的直径估计线。

Fig.4 Estimation of potential pruning points and primary branch diameter on a local image of an apple tree

联立（3）和（4）得公式（5）：
Z C u v 1 = f x 0 u 0 0 0 f y v 0 0 0 0 1 0 X C Y C Z C 1
式中：（u，v）表示像素坐标系中一个像素点的坐标，（x，y）和（XC，YC，ZC ）分别表示该像素点在图像坐标系和相机坐标系中对应的坐标， f x 0 u 0 0 0 f y v 0 0 0 0 1 0为相机深度内参矩阵，由相机说明书得fx = fy = 431.42，uo = 413.14、v0 = 239.95。联立得公式（6）。
X C = Z C f x ( u - u 0 ) Y C = Z C f y ( v - v 0 )
因此，本试验中相机距物体0.4~0.5 m采集时，像素坐标系下单位像素对应的实际距离为0.93~1.16 mm，取其中间值λ = 1.1 mm。
马蹄形短桩的长度是从连接点到修剪点的线性距离。由于骨架线并非规范的直线，不宜直接测量像素距离，因此将每个连接点n向一级枝生长方向水平移动到点a，在实际应用中，留桩长度l为10~20 mm。而在像素坐标系下，每个像素点对应的实际距离为1.1 mm，基于此，移动距离x计算方式如公式（7）所示。
x = l m i n λ ∼ l m a x λ ≈ 10 1.1 ∼ 20 1.1 ≈ 9 ∼ 18
为确保留桩长度合理，取中间值13。在其竖直方向搜索，直到找到骨架线上第一个像素点，该点即为潜在修剪点。如图4中青色的点o所示。

1.3.2　直径和间距估计

一级枝基部形态复杂导致直径测量困难，本研究采用潜在修剪点处的规整直径作为一级枝直径估计值。将语义分割获得的枝条掩膜映射至骨架线，提取掩膜边缘像素点并计算其与对应骨架线上潜在修剪点的距离，选取最小距离对应的p（u 3 ，v 3）点，连接po并向o点延长交掩膜另一边缘点q（u 4 ，v 4）。pq的连线长度即为像素坐标系下一级枝的直径D 3，如公式（8）所示。
D 3 = ( u 4 - u 3 ) 2 + ( v 4 - v 3 ) 2
为估计枝条真实直径，需确定其在三维空间中的深度距离。针对室外环境下深度相机可能出现的深度缺失问题，本研究提取视角内所有潜在修剪点的深度信息，筛选350~550 mm范围内的有效数据，以其平均值 Z ¯作为该视角的基准深度，结合坐标系转换关系，计算枝条的真实直径D 4，如公式（9）所示。
D 4 = Z ¯ × D 0 f x
枝条间距通过潜在修剪点在像素坐标系中纵坐标差值D 5估计。再根据平均深度确定真实的间距D 6，如公式（10）所示。
D 6 = Z ¯ × D 5 f x
由于树枝遮挡无法获取主干完整的信息，且数据集中主干直径差别不大，因此本研究使用圆柱拟合法估计主干直径。将语义分割获取的只含主干的掩膜图与深度图对齐，生成带有三维坐标和颜色信息的主干点云。为保证主干几何形态完整性并提高点云处理速度，先采用体素滤波和统计滤波对主干点云进行预处理。
在预处理后的点云上，首先构建KD树（K-D Tree）以加速最近邻搜索。接着，运用移动最小二乘法［33］（Moving Least Squares, MLS）对点云进行平滑处理，在保留曲率特征的同时实现良好的平滑效果。最后，采用随机样本一致性算法［34］（Random Sample Consensus, RANSAC）对平滑处理的点云进行圆柱拟合，在RANSAC算法中，设置迭代次数和合理直径阈值来获得准确的直径数据。通过拟合出精准的圆柱模型（如图5），可以将拟合圆柱的直径作为主干直径的估计结果。
图5 RANSAC法苹果树主干点云圆柱拟合

Fig.5 RANSAC method for cylindrical fitting of point cloud on the trunk of apple trees

1.3.3　修剪点的最终获取

获取苹果树修剪点的流程如图6，在估计出主干和一级枝的直径后，根据粗枝、卡脖子枝、竞争枝的判定条件依次筛选潜在修剪点，满足任一条件即为预测修剪点。每次筛选后，立即将该潜在修剪点从待处理列表中移除，确保后续决策基于最新的枝条信息。这一流程能高效地识别需要修剪的枝条，同时，本研究保留参数的可调整性，以适应不同树种的具体修剪需求。
图6 基于深度学习的图像和三维点云融合的苹果树修剪点获取流程图

Fig.6 Flowchart of apple tree pruning point acquisition based on deep learning-based image and 3D point cloud fusion

1.4　评价指标

基于整个休眠期高纺锤形苹果树剪枝点定位处理流程，本研究从语义分割结果、模型估计的表型参数的准确性和预测修剪点的准确率三个方面进行结果评价。
在语义分割模型进行性能评估中，以平均交并比（Mean Intersection over Union, mIoU）、平均像素精度（Mean Pixel Accuracy, mPA）、和精确率（Precision）作为评价指标。其中mIoU用于量化模型在整个数据集中对不同类别的分割准确性；mPA从整体角度评估模型对图像的分割效果；Precision是衡量模型预测正类别的准确性的重要指标。
为评估模型对直径和间距估计的准确性，本研究进行了三组试验，每组包含30对模型估计值与人工测量值。通过对比这些数值，采用以下两种方法评价模型的效果：一是绘制估计值与实际值的拟合曲线，并计算决定系数（R 2）以衡量拟合程度；二是计算MAE，用以量化预测值与实际值之间的平均差异。全面反映模型估计的准确性与可靠性。
此外，为评估预测修剪点识别准确率，本研究随机选取50个视角，将模型预测的修剪点与人工确定的真实修剪点对比。人工确定的修剪点由3名具有3年以上相关经验的园艺专家采用多数表决制确定。

2 结果与分析

2.1　改进U-Net模型

改进后的U-Net模型在训练过程中模型性能表现和优化情况可以通过损失曲线反映，其中训练损失是模型在训练集上计算得到的损失值，验证损失是模型在验证集上计算得到的损失值。如图7所示，模型训练在95个epoch后，训练损失和验证损失收敛，并一直保证稳定。模型最小的训练损失和验证损失分别为0.006和0.019。证明了模型在训练数据上学习到了有效的特征和模式，能很好地拟合训练数据，可用于枝干的检测和分割。
图7 用于苹果树枝干分割的改进UNet模型训练损失曲线

Fig.7 Enhanced UNet training loss curve for apple branch segmentation

在本研究中，为评估不同深度学习架构在本文数据集上的表现，选取了三种经典的语义分割模型进行对比试验：DeeplabV3+、PSPNet和U-Net，为进一步探究模型架构与特征提取网络的协同效应，每种模型使用MobileNet V2、Xception、ResNet50和VGG16的其中两个作为特征提取网络，其中U-Net模型包含源码以作对照。通过对比，不仅可以评估不同模型结构对任务性能的影响，还能深入分析特征提取网络与模型架构之间的兼容性及其在预测准确性上的权衡关系。
模型的分割效果在测试集上的表现如表2所示，结果表明相同模型在使用不同特征提取网络的分割结果变化较小，而在采用特征提取网络结构的三种算法模型中，基于VGG16的U-Net模型表现最佳。经本研究改进后，U-Net模型性能得到了进一步提升，其mPA达到了95.52%，比替换最优特征提取网络后的DeeplabV3+和PSPNet两种模型，以及U-Net源模型分别高2.48、9.54和2.74个百分点，验证了本研究改进的U-Net模型可以更精准地分割枝干，相比其他模型的效果更好。
表2 苹果树枝干分割研究4种模型的语义分割结果

Table 2 Semantic segmentation results of four models for apple tree branch segmentation

模型 特征提取网络 mIoU/% mPA/% Precision/%
DeeplabV3+ MobileNet V2 86.67 93.04 92.02
Xception 85.92 91.69 92.41
PSPNet MobileNet V2 74.93 81.83 87.19
Resnet50 79.89 85.98 90.19
U-Net 未替换 88.46 92.78 93.14
VGG16 91.50 94.30 95.58
Resnet50 90.10 93.46 94.77
改进的U-Net VGG16 91.67 95.52 95.55
为进一步验证本研究提出的两种改进策略对模型性能的影响，进行了消融实验，结果如表3所示，实验1采用原U-Net模型，对枝干分割的mPA为92.78%；试验2在使用VGG16替换原模型的特征提取网络后，mPA值提升了1.52个百分点；试验3在原模型上采样过程中引入CBAM注意力机制，mPA值提升了0.98个百分点；试验4为本研究提出的改进后U-Net模型，其mIoU和mPA最高，相较于试验1分别提升了3.21和2.74个百分点，Precision和试验2仅相差0.03个百分点，相对于原模型提升2.41个百分点。通过消融实验表明，引入具有更强特征提取能力的VGG16显著提高了模型的分割性能，而加入注意力机制模块则有效增强了模型对小目标的识别与分割能力。
表3 苹果树枝干分割研究改进的U-Net消融实验结果

Table 3 Ablation study results of the improved U-Net for apple tree branch segmentation

试验 VGG16 CBAM mIoU/% mPA/% Precision/%
1 × × 88.46 92.78 93.14
2 √ × 91.50 94.30 95.58
3 × √ 89.39 93.66 93.87
4 √ √ 91.67 95.52 95.55

注：√表示含模块，×表示不含模块。

将采集的数据集分为向光和背光两类，其中向光图像光线充足均匀，特征清晰无干扰；背光图像亮度低且偏暗，伴光影效应，用于评估两种特征提取网络中识别精度最高的DeeplabV3+、PSPNet、U-Net，以及本研究改进的U-Net模型在不同光照条件下的语义分割效果（图8）。结果显示，改进的U-Net模型在两种光照条件下均展现出显著优于其他算法的枝干分割性能。在向光条件下，改进的U-Net模型对细小枝的识别更加精准，能够有效去除细小枝，显著提升了后续骨架提取和剪枝点识别的效率与准确率。而在背光条件下，尽管所有算法的识别效果普遍不如背光条件，但本研究改进的U-Net模型受光影噪声和像素偏暗的影响较小，保持了较高的分割质量，证明了其在复杂果园环境和不同光照条件下的强鲁棒性和适应性。综上，改进的U-Net模型在休眠期苹果树枝干分割任务中表现为更强的优越性。
图8 苹果树剪枝图像在向光和背光下4种语义分割模型效果对比

a. 原图 b. U-Net c. DeeplabV3+ d. PSPNet e. 改进U-Net

注： 红色区域为预测的树干，绿色区域为预测的一级枝。

Fig.8 Comparison of the effects of four semantic segmentation models of apple tree pruning images under light and backlight

2.2　直径和间距试验统计

一级枝直径与间距的估计均建立在成功定位潜在修剪点的基础之上，如图4所示。在本研究中，潜在修剪点的位置均符合留桩长度要求。后续将根据潜在修剪点筛选出预测修剪点，因此不对潜在修剪点定位成功率进行统计评估。
随机选取了3组样本数据（每组30个样本）进行试验分析，分别采用人工测量与本研究提出的方法对一级枝直径、间距和主干直径进行测量和预测。结果如图9所示。一级枝直径预测点全部分布在置信区间为95%的区间内，枝条间距和主干直径的预测点基本分布在置信区间为95%的区间内，R 2分别为0.96、0.95和0.91，说明直径和间距的预测值与人工测量值具有较强的相关性。MAE分别为1.33、13.96和5.11 mm，相较于修剪工人使用人眼估计的直径和间距精度更高，证明了该方法可用于直径和间距的估计。
图9 表型参数研究——直径和间距的预测值和人工测量值比较

a. 一级枝直径 b. 一级枝间距 c. 主干直径

Fig.9 Phenotypic parameter study： Comparison between predicted values of diameter and spacing and manually measured values

2.3　修剪点定位分析

基于本研究提出的智能修剪决策算法，对50组测试数据进行一级枝修剪点预测，修剪点识别结果如表4，共识别出97个待修剪一级枝。与园艺专家确认的93个实际修剪点相比，模型正确预测87个，出现2个漏检和6个误检，预测准确率达到87.88%。
表4 基于深度学习的图像和三维点云融合的苹果树修剪点识别结果

Table 4 Recognition results of apple tree pruning points based on deep learning image and 3D point cloud fusion

参数名称 参数值
图像数量/张 50
树枝个数/根 313
需要修剪的树枝/根 93
预测修剪的树枝/根 97
预测错的树枝/根 6
未预测到的树枝/根 2
预测对的树枝/根 87
成功率/% 87.88
图10展示了10个典型视角下的修剪点预测结果。分析表明，部分识别失败一方面源于枝干直径和间距估计存在误差，如图10a中左下角一级枝被错误识别为粗枝；另一方面枝条螺旋生长模式引起的空间交叉干扰，如图10b和10c所示，其中图10b右下角的交叉枝因分割模型预测的掩膜端点重合而被误判为单枝分叉，影响了卡脖子枝和竞争枝的准确识别。在标准化果园管理中，通过科学修剪和拉枝技术可显著降低交叉枝发生率，从而减少此类误判。尽管存在上述局限，本模型仍展现出良好的应用潜力，其4.2 s的平均识别时间验证了本研究提出的方法在实际应用的可行性和效率。
图10 10棵树局部视角下修剪点定位

注：图像通过将改进的U-Net模型输出的掩模图与原图进行透明度混合处理得到，图中绿色树枝上的红点表示预测修剪点，其中被黑色三角形、四边形和五边形包裹的预测修剪点分别为粗枝、卡脖子枝和竞争枝的修剪位置。

Fig.10 Localization of pruning points from a local perspective of 10 trees

f g h i j

3 结 论

本研究提出一种基于RGB-D相机的休眠期高纺锤形苹果树剪枝点识别的方法，使用深度学习的方法分割果树的主干和一级枝，在此基础上，将分割出来的一级枝掩膜图映射到深度图并利用图像处理技术估计其直径和间距；将分割出来的主干掩膜结合深度图经过预处理获得主干点云，并通过圆柱拟合估计视角内主干的直径，最后通过智能修剪决策确定剪枝点，主要结论如下。
1）本研究提出了一种改进的U-Net模型，用于休眠期果树局部图像的枝干分割，使用更深层的VGG16网络替换原有的特征提取模块，并在上采样阶段引入CBAM注意力机制。通过实验验证，改进后的模型显著提升了在具有复杂背景、重叠枝条、细小枝条和不同光照干扰的图像分割精度，其mPA值达到了95.52%，比替换特征提取模块的DeeplabV3+、PSPNet和原始的U-Net模型更高。
2）基于图像分割结果，本研究成功将图像处理、深度图映射和几何建模相结合，构建了枝条直径和间距以及局部主干平均直径的非接触式测量模型。实验结果表明，本研究的测量结果与人工测量呈较高相关性（R 2＞0.9），证明模型在表型参数测量方面的可靠性。
3）基于果树生长特性、数据采集结果及文献支持的修剪规则，本研究将图像分割与参数测量的成果转化为可执行的修剪策略。实验结果表明，修剪点识别准确率达87.88%，单视角平均处理时间仅4.2 s，在识别精度与效率方面均满足实际应用需求。
本研究构建了针对休眠期高纺锤形苹果树修剪点识别模型，实现了修剪点的自适应确定方法，为苹果树智能剪枝机器人的开发提供了依据。在未来的工作中，可以通过提升空间交叉枝数据集标注的精细化来提高模型对剪枝点定位的准确性。此外，本研究涉及的原理和应用潜力也可以被推广到核桃树、梨树等标准化果园的修剪实践中。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

References

Publishing order | Descend order by publishing year | Descend order by cited within
1
杨勇锋. 苹果树冬季整形修剪技术研究[J]. 河北农机, 2023(9): 106-108.

YANG Y F. Study on pruning techniques of apple trees in winter[J]. Hebei agricultural machinery, 2023(9): 106-108.

2
杨国安, 王小舟, 马海玲, 等. 中国人口老龄化的时空格局变化及其影响因素分析[Z]. 中国中建设计研究院有限公司城乡可持续发展研究院, 2024: 349-357.

YANG G A, WANG X Z, MA H L, et al. Spatiotemporal pattern changes of Chinese population aging and its influencing factors[Z]. Research Institute of Urban and Rural Sustainable Development, China Construction Design and Research Institute Co, Ltd, 2024: 349-357.

3
农业农村部办公厅. “十四五” 全国农业机械化发展规划[EB/OL]. (2021-12-27)[2024-12-21].

4
陈明猷, 罗陆锋, 刘威, 等. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39.

CHEN M Y, LUO L F, LIU W, et al. Orchard-wide visual perception and autonomous operation of fruit picking robots:A review[J]. Smart agriculture, 2024, 6(5): 20-39.

5
CHEN W, LUO J J, ZHANG F, et al. A review of object detection: Datasets, performance evaluation, architecture, applications and current trends[J]. Multimedia tools and applications, 2024, 83(24): 65603-65661.

6
马保建, 蒋焕煜. 休眠期果树修剪机器人视觉感知系统研究现状[J]. 农业工程, 2024, 14(2): 29-33.

MA B J, JIANG H Y. Research status on visual perception system of pruning robot for dormant fruit tree[J]. Agricultural engineering, 2024, 14(2): 29-33.

7
MAJEED Y, ZHANG J, ZHANG X, et al. Deep learning based segmentation for automated training of apple trees on trellis wires[J]. Computers and electronics in agriculture, 2020, 170: ID 105277.

8
CHEN Z J, TING D, NEWBURY R, et al. Semantic segmentation for partially occluded apple trees based on deep learning[J]. Computers and electronics in agriculture, 2021, 181: ID 105952.

9
TONG S Y, YUE Y, LI W B, et al. Branch identification and junction points location for apple trees based on deep learning[J]. Remote sensing, 2022, 14(18): ID 4495.

10
SAPKOTA R, AHMED D, KARKEE M. Comparing YOLOv8 and Mask R-CNN for instance segmentation in complex orchard environments[J]. Artificial intelligence in agriculture, 2024, 13: 84-99.

11
MA B J, DU J, WANG L, et al. Automatic branch detection of jujube trees based on 3D reconstruction for dormant pruning using the deep learning-based method[J]. Computers and electronics in agriculture, 2021, 190: ID 106484.

12
TURGUT K, DUTAGACI H, ROUSSEAU D. RoseSegNet: An attention-based deep learning architecture for organ segmentation of plants[J]. Biosystems engineering, 2022, 221: 138-153.

13
SUN X M, HE L L, JIANG H H, et al. Morphological estimation of primary branch length of individual apple trees during the deciduous period in modern orchard based on PointNet++[J]. Computers and electronics in agriculture, 2024, 220: ID 108873.

14
CHEN Z N, WANG Y X, TONG S Y, et al. Grapevine branch recognition and pruning point localization technology based on image processing[J]. Applied sciences, 2024, 14(8): ID 3327.

15
GUADAGNA P, FRIONI T, CHEN F, et al. 16. Fine-tuning and testing of a deep learning algorithm for pruning regions detection in spur-pruned grapevines[M]// Precision agriculture' 21. Wageningen Academic, 2021: 147-153.

16
FERNANDES M, SCALDAFERRI A, GUADAGNA P, et al. Towards precise pruning points detection using semantic-instance-aware plant models for grapevine winter pruning automation[EB/OL]. arXiv: 20212109.07247, 2021.

17
YOU A, PARAYIL N, KRISHNA J G, et al. An autonomous robot for pruning modern, planar fruit trees[EB/OL]. arXiv:2206.07201, 2022.

18
张建华, 姚琼, 周国民, 等. 作物农艺性状与形态结构表型智能识别技术综述[J]. 智慧农业(中英文), 2024, 6(2): 14-27.

ZHANG J H, YAO Q, ZHOU G M, et al. Intelligent Identification of Crop Agronomic Traits and Morphological Structure Phenotypes: A Review[J]. Smart agriculture, 2024, 6(2): 14-27.

19
ZHANG J M, LIANG H Y, TONG S Y, et al. An advanced software platform and algorithmic framework for mobile DBH data acquisition[J]. Forests, 2023, 14(12): ID 2334.

20
TONG S Y, ZHANG J M, LI W B, et al. An image-based system for locating pruning points in apple trees using instance segmentation and RGB-D images[J]. Biosystems engineering, 2023, 236: 277-286.

21
NIKNEJAD N, BIDESE-PUHL R, BAO Y, et al. Phenotyping of architecture traits of loblolly pine trees using stereo machine vision and deep learning: Stem diameter, branch angle, and branch diameter[J]. Computers and electronics in agriculture, 2023, 211: ID 107999.

22
XIN B L, SMOLEŇOVÁ K, BARTHOLOMEUS H, et al. An automatic 3D tomato plant stemwork phenotyping pipeline at internode level based on tree quantitative structural modelling algorithm[J]. Computers and electronics in agriculture, 2024, 227: ID 109607.

23
GAO R, CUI S Q, XU H R, et al. A method for obtaining maize phenotypic parameters based on improved QuickShift algorithm[J]. Computers and electronics in agriculture, 2023, 214: ID 108341.

24
KORYCKI A. Tree localization and diameter estimation in coastal redwood forests using neural radiance fields[D]. Santa Cruz Island: University of California, Santa Cruz, 2024.

25
LI X, ZHOU X, XU S. Individual tree reconstruction based on circular truncated cones from portable LiDAR scanner data[J]. IEEE geoscience and remote sensing letters, 2023, 20: 1-5.

26
RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]// Medical Image Computing and Computer-Assisted Intervention. Cham, Germany: Springer International Publishing, 2015: 234-241.

27
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. arXiv: 1409.1556, 2014.

28
WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional Block attention module[C]// Computer Vision-ECCV 2018. Cham, Germany: Springer International Publishing, 2018: 3-19.

29
赵德英. 苹果树整形修剪需要遵循的五大原则[J]. 果树实用技术与信息, 2024(3): 32-33.

ZHAO D Y. Five principles to be followed in apple tree shaping and pruning[J]. Practical technology and information for fruit trees, 2024(3): 32-33.

30
王明芳. 苹果高纺锤形整形修剪中存在的问题及解决办法[J]. 果农之友, 2018(9): 19-21.

WANG M F. Problems and Solutions in High Spindle Shaping and Pruning of Apples[J]. Fruit growers' friend, 2018(9): 19-21.

31
周游. 谈矮化密植苹果园整形修剪[J]. 西北园艺, 2023(2): 55-57.

ZHOU Y. Travel. On the shaping and pruning of dwarf densely planted apple orchards[J]. Northwest horticulture, 2023(2): 55-57.

32
王猛. 苹果树的整形修剪[J]. 果树实用技术与信息, 2024(2): 40-44.

WANG M. Shaping and pruning of apple trees[J]. Practical technology and information for fruit trees, 2024(2): 40-44.

33
LI H B, LI Y B, YU R X, et al. Surface reconstruction from unorganized points with l 0 gradient minimization[J]. Computer vision and image understanding, 2018, 169: 108-118.

34
GAO Q, KAN J M. Automatic forest DBH measurement based on structure from motion photogrammetry[J]. Remote sensing, 2022, 14(9): ID 2064.

Options
Outlines

/

〈 〉

  • ISSN 2097-485X（Online）
    ISSN 2096-8094（Print）
    CN 10-1681/S
    CODEN ZNZHD7
    Aboard PDC: C9452
    Authority in Charge: Ministry of Agriculture and Rural Affairs of the People’s Republic of China
    Sponsor: Agricultural Information Institute, Chinese Academy of Agricultural Sciences
  • Address: No.12 Zhongguancun South St.,Haidian District Beijing P.R.China
    Zip Code: 100081
    Telephone: +86 10 82109657
    E-mail: smartag@caas.cn
京ICP备09089781号-37