Welcome to Smart Agriculture 中文
Special Issue--Artificial Intelligence and Robot Technology for Smart Agriculture

Individual Tree Skeleton Extraction and Crown Prediction Method of Winter Kiwifruit Trees

  • LI Zhengkai ,
  • YU Jiahui ,
  • PAN Shijia ,
  • JIA Zefeng ,
  • NIU Zijie
Expand
  • College of Mechanical and Electronic engineering, Northwest A&F University, Xianyang 712100, China
NIU Zijie, E-mail:

Received date: 2023-08-14

  Online published: 2023-12-26

Supported by

National Natural Science Foundation of China(U2243235)

National Key Research and Development Program of China(2022YFD1900802)

Copyright

copyright©2023 by the authors

Abstract

[Objective] The proliferation of kiwifruit trees severely overlaps, resulting in a complex canopy structure, rendering it impossible to extract their skeletons or predict their canopies using conventional methods. The objective of this research is to propose a crown segmentation method that integrates skeleton information by optimizing image processing algorithms and developing a new scheme for fusing winter and summer information. In cases where fruit trees are densely distributed, achieving accurate segmentation of fruit tree canopies in orchard drone images can efficiently and cost-effectively obtain canopy information, providing a foundation for determining summer kiwifruit growth size, spatial distribution, and other data. Furthermore, it facilitates the automation and intelligent development of orchard management. [Methods] The 4- to 8-year-old kiwifruit trees were chosen and remote sensing images of winter and summer via unmanned aerial vehicles were obtain as the primary analysis visuals. To tackle the challenge of branch extraction in winter remote sensing images, a convolutional attention mechanism was integrated into the PSP-Net network, along with a joint attention loss function. This was designed to boost the network's focus on branches, enhance the recognition and targeting capabilities of the target area, and ultimately improve the accuracy of semantic segmentation for fruit tree branches.For the generation of the skeleton, digital image processing technology was employed for screening. The discrete information of tree branches was transformed into the skeleton data of a single fruit tree using growth seed points. Subsequently, the semantic segmentation results were optimized through mathematical morphology calculations, enabling smooth connection of the branches. In response to the issue of single tree canopy segmentation in summer, the growth characteristics of kiwifruit trees were taken into account, utilizing the outward expansion of branches growing from the trunk.The growth of tree branches was simulated by using morphological expansion to predict the summer canopy. The canopy prediction results were analyzed under different operators and parameters, and the appropriate expansion operators along with their corresponding operation lengths were selected. The skeleton of a single tree was extracted from summer images. By combining deep learning with mathematical morphology methods through the above steps, the optimized single tree skeleton was used as a prior condition to achieve canopy segmentation. [Results and Discussions] In comparison to traditional methods, the accuracy of extracting kiwifruit tree canopy information images at each stage of the process has been significantly enhanced. The enhanced PSP Net was evaluated using three primary regression metrics: pixel accuracy (PA), mean intersection over union ratio (MIoU), and weighted F1 Score (WF1). The PA, MIoU and WF1 of the improved PSP-Net were 95.84%, 95.76% and 95.69% respectively, which were increased by 12.30%, 22.22% and 17.96% compared with U-Net, and 21.39% , 21.51% and 18.12% compared with traditional PSP-Net, respectively. By implementing this approach, the skeleton extraction function for a single fruit tree was realized, with the predicted PA of the canopy surpassing 95%, an MIoU value of 95.76%, and a WF1 of canopy segmentation approximately at 94.07%.The average segmentation precision of the approach surpassed 95%, noticeably surpassing the original skeleton's 81.5%. The average conformity between the predicted skeleton and the actual summer skeleton stand at 87%, showcasing the method's strong prediction performance. Compared with the original skeleton, the PA, MIoU and WF1 of the optimized skeleton increased by 13.2%, 10.9% and 18.4%, respectively. The continuity of the predicted skeleton had been optimized, resulting in a significant improvement of the canopy segmentation index. The solution effectively addresses the issue of semantic segmentation fracture, and a single tree canopy segmentation scheme that incorporates skeleton information could effectively tackle the problem of single fruit tree canopy segmentation in complex field environments. This provided a novel technical solution for efficient and low-cost orchard fine management. [Conclusions] A method for extracting individual kiwifruit plant skeletons and predicting canopies based on skeleton information was proposed. This demonstrates the enormous potential of drone remote sensing images for fine orchard management from the perspectives of method innovation, data collection, and problem solving. Compared with manual statistics, the overall efficiency and accuracy of kiwifruit skeleton extraction and crown prediction have significantly improved, effectively solving the problem of case segmentation in the crown segmentation process.The issue of semantic segmentation fragmentation has been effectively addressed, resulting in the development of a single tree canopy segmentation method that incorporates skeleton information. This approach can effectively tackle the challenges of single fruit tree canopy segmentation in complex field environments, thereby offering a novel technical solution for efficient and cost-effective orchard fine management. While the research is primarily centered on kiwifruit trees, the methodology possesses strong universality. With appropriate modifications, it can be utilized to monitor canopy changes in other fruit trees, thereby showcasing vast application potential.

Cite this article

LI Zhengkai , YU Jiahui , PAN Shijia , JIA Zefeng , NIU Zijie . Individual Tree Skeleton Extraction and Crown Prediction Method of Winter Kiwifruit Trees[J]. Smart Agriculture, 2023 , 5(4) : 92 -104 . DOI: 10.12133/j.smartag.SA202308015

0 引 言

获取果树生长数据是开展精准果园管理的关键步骤之一。精确获取果树的生长尺寸、空间分布等数据,可以监测猕猴桃的生长发育状况,及时发现病虫害、缺水、缺肥等问题,提高果园的抗逆能力和产量,帮助管理者提前预测产量和制定合理的种植密度,提高土地、人力等资源的利用效率,增加单位面积和时间的收益,果树冠层生长预测技术也可以促进猕猴桃的种质创新,如筛选优良品种、探索遗传机制、培育新品种等,提高果园的竞争力和可持续发展能力,并为智慧农业发展提供参考。
树冠特征的电子测量是在施用杀虫剂时提供有关预期目标的可靠和客观信息的较准确方法1。可变速率的应用概念2-4要求用能够测量、保存和管理树冠几何形状的大量信息的电子设备来更新喷雾器。然后,树冠几何形状信息将被用于实时修改喷雾器的工作参数4,或者以后处理的方式开发冠层图,作为进一步农学应用的决策工具5-7。当前在果园管理过程中,植株的冠层信息的获取仍存在一系列挑战,如枝条交叉、冠层荫蔽和植株特征差异性不足等8。遥感图像获取不受实地观察角度的限制,因此可以降低由观察角度不同所带来的误差9。同时,遥感图像处理可以减少人工测量的工作量,并为果园机械化自动化管理提供重要的数据支撑。但目前卫星遥感影像与航空摄影图获取图像的实时性差、成本偏高,同时其分辨率难以满足枝条的识别和冠层细节的分割需求,因此难以完成作物细节信息的提取,仅能完成大面积整体评估10, 11。这些问题不仅限制了机械化设备开发调研过程中的数据获取,而且与果园的机械化、自动化管理的初衷背道而驰。因此,迫切需要开发一种基于遥感图像处理的快速、非破坏性并可靠的技术,以准确测量和获取整个果园的作物数据。这样的技术将有助于克服传统人工测量方法所面临的困难,实现高效的果园管理和机械化、自动化管理目标12
劳动力短缺是获取果树生长数据所面临的关键问题,而基于无人机遥感图像的监察系统可以简化勘察程序,降低劳动力成本,减少数据收集时间,并提供关键而有效的信息,可作为一种在高分辨率环境下获取图像的低成本方法13-15。本研究提出的基于无人机遥感图像的猕猴桃果树骨架提取与冠层生长预测模型可用于低成本地获取果树生长数据。为获取植株的冠层信息等数据带来极大便利,并为上述问题提供了可靠的解决方案。近些年来,多光谱成像技术16、高光谱成像技术17、热红外成像技术18、激光雷达技术2、超声波传感技术4等在农业遥感上展现出巨大的应用潜力,目前可见光设备能够满足与冠层分布相关信息的获取需要,同时其无论在成像精度、经济性和设备轻量化上均具有更大的优势19,因而采用无人机遥感拍摄可见光图像对果树的冠层信息进行获取是较为高效的方案。
本研究的冬季图像枝条提取是骨架特征获取与冠层预测的基础。利用现有成熟的语义分割算法如深度学习U-Net20可以有效实现枝条区域的分割。但是从语义分割向精确的骨架结构提取方面而言,目前分割网络在处理树冠复杂图像时,对目标边界和细节特征的学习效果仍需提升21。与常规作物不同,猕猴桃树枝条生长密集,存在高度的覆盖重叠现象,树冠结构复杂。
现有的语义分割算法基于整体图像信息,可以识别图片中所有枝条区域,但无法实现单木识别的效果,也就无法实现对单棵果树的骨架结构提取,无法满足精细化果园管理对单木信息的需求。为实现从语义分割向实例分割的转变,实现对单棵树精确骨架提取,本研究通过改进损失函数、引入注意力机制优化网络结构,提高语义分割的准确性,将分割结果与每个果树主干位置信息相结合。通过分析判断不同位置的枝条所属的树个体,实现无需人工监督的自动归类和实例分割,从而提高解析单棵树骨架结构的效率。这种结合语义信息和位置信息的方法,可有效解决单棵密集生长果树骨架准确提取的难题。
基于上述分析,考虑到猕猴桃为多年生植物,其树冠结构分布在多年内较为稳定,冬季图像可以较准确反映夏季冠层位置,本研究利用冬季猕猴桃骨架结构提取图像与猕猴桃树的结构特点,提出了一种新的冠层分割方案:在利用冬季猕猴桃果树遥感图像完成植株定位和枝条识别后,建立描述单木枝条结构分布的模型。以此为判定标准,判断不同枝条的所属树个体,从而实现单个树冠的分割。此外,基于现有无人机遥感技术,可以实现高精度的单株猕猴桃果树骨架提取和冠层分割。这不仅有利于现代化精细管理,提高猕猴桃产业自动化水平,也将促进对树木生长和基因表型的研究。

1 实验数据采集与处理

1.1 数据采集

研究区是西北农林科技大学国家猕猴桃育种研究眉县创新基地的试验田,位于陕西省宝鸡市眉县(34°7′28″E,107°59′31″N),果园内架设钢丝以供猕猴桃藤蔓生长缠绕。本研究选取的实验地植株树龄为4~8年,株距约3 m,行间距约4 m。
本研究数据采集分两阶段进行。第一阶段在2022年1月对经过剪枝的冬季猕猴桃果树获取图像,使用DJI Phantom 4 Pro无人机以2.6 m/s的速度在15 m高度飞行,航向和旁向重叠度均为80 %,获取果树冬季图像。第二阶段在2022年5月,以相同参数获取舒展新枝的夏季猕猴桃果树图像。所有图像分辨率像素均为5 472×3 648的*.jpg格式。针对获取到的图像信息,图像中的猕猴桃树目标具有较为明显的特征,可以满足猕猴桃树识别的研究需要。

1.2 数据集构建

首先,对冬季图像中的枝条与非枝条的像素进行语义分割。由人工标定猕猴桃树的枝干遥感图形成数据集。猕猴桃枝条的颜色与土壤颜色较为接近,但与树干存在明显差别。为了突出枝条的纹理特点,不同于以往于整株猕猴桃树的标注方式22,本研究将猕猴桃树的枝条单条作为一个对象进行标注,不包含树干部分,如图1所示。
图1 猕猴桃果树枝干数据集标定

Fig. 1 Calibration of kiwifruit trunk data set

最终的标注结果呈现条状。共制作目视手标数据集200张,图像像素大小为2 200×2 200,包含学习目标1 232个,将数据集以9∶1划分为训练集和测试集,并用未参与训练的冬季原始图片进行效果验证。
本研究在对PSP-Net(Pyramid Scene Parsing Network)进行训练的过程中,训练阶段采用动量项为0.9的异步随机梯度下降,每一个batch包含2张图像,权值的初始学习率为1×10-4,衰减的系数设置为1×10-5。为方便以后测试其最佳权重文件,根据训练实际情况,训练时每100次迭代保存一次网络的权重文件。

2 猕猴桃果树骨架提取与生长预测模型

2.1 总体思路

本研究旨在针对密集种植的猕猴桃果园,采用无人机遥感图像进行猕猴桃果树冠层分割和信息提取,采用了树枝-骨架-冠层多层级逐步提取的方式提出了一种融合骨架信息的果树冠层提取方案。冠层图像的分割对单棵树以多个水平维度逐一处理,主要涉及到4个方面:1)冬季图像中枝条的语义分割;2)结合树干位置与植株结构特点筛选单木骨架结构;3)通过数字图像处理对冬季图像中非冠层部分进行去除,获得冠层骨架分割效果;4)预测单木枝条生长情况,并对其夏季图像进行单木冠层范围估计,总体流程如图2所示。
图2 骨架提取与冠层预测的总体流程图

Fig. 2 The overall flow chart of skeleton extraction and canopy prediction

2.2 猕猴桃果树枝条提取

本研究改进了PSP-Net作为语义分割模型,对冬季猕猴桃果树图像进行枝条区域的提取。PSP-Net是一种集成了多尺度上下文信息的语义分割网络结构23。如图3所示,其基本架构包含了一个Res-Net(Residual Network)骨干特征提取网络,以及在Res-Net最后一层连接的金字塔池化模块。该模块通过不同尺度(1×1、2×2、3×3、6×6)(像素单位)的平均池化,可以捕捉从局部到全局不同范围的语义上下文信息24。这些多尺度特征经过上采样和融合,充分整合了图像中的全局及局部信息,显著提升了对小目标和细节的识别能力。PSP-Net结构简单且效果显著,已在多个视觉任务中验证了其卓越的建模能力。
图3 语义分割原理图

Fig. 3 Schematic diagram of semantic segmentation

在切割中,本研究引入了注意力机制,帮助网络更好地捕捉图像中的重要信息。注意力机制可以帮助模型在不同位置和尺度上关注不同的区域,从而提高语义分割的准确性。本研究首先对PSP-Net网络架构进行改进,在传统的PSP-Net模型基础上,引入卷积注意力模块(Convolutional Block Attention Module,CBAM),此模块可以自动学习每个通道的权重,从而增强重要特征的表示能力。其次设计了一种结合像素级别交叉熵损失和注意力损失的定制损失函数。注意力损失可以衡量网络对重要区域的关注程度,鼓励网络更多地关注感兴趣的区域,从而提高分割的准确性。本研究改进后的PSP-Net模型在枝条连续性和识别准确性方面明显优于传统切割算法。与传统PSP-Net与U-Net网络进行对比结果如图4所示,各项指标对比结果如表1所示。改进的PSP-Net在树枝语义分割方面的PA、MIoU、WF 1分别为95.84%、95.76%和95.69%,较U-Net分别提高了12.30%、22.22%和17.96%,较传统的PSP-Net分别提高了21.39%,21.51%,18.12%。本研究中改进后的PSP-Net模型在枝条连续性与识别准确性明显优于传统切割算法。
图4 改进PSP-Net与传统PSP-Net、U-Net的骨架提取算法连续性与完整性效果对比

Fig. 4 Comparison of continuity and completeness of skeleton extraction algorithm between improved PSP-Net and traditional PSP-Net and U-Net

表1 改进PSP-Net模型与传统模型对比

Table 1 Comparison between improved PSP-Net model and traditional model

模型 PA/% MIoU/% WF 1/%
改进PSP-Net 95.84 95.76 95.69
U-Net 83.54 73.54 77.73
传统PSP-Net 74.45 74.45 77.57

2.3 单木骨架结构提取及优化

树干位置的锁定和枝条目标的准确识别是冬季单木结构提取的两个前置条件。根据3.2节得到的冬季猕猴桃树图像枝干信息,截取位于种子点中心的像素为2 200×2 200范围的单棵树作为冬季单木结构提取的对象。为了优化单木树干结构预测效果,并弥补利用PSP-Net网络进行图像分割过程中出现的枝条断裂现象,同时提高识别精度,获取更准确的生长种子点,在将猕猴桃枝条分割结果转化为二值化图像后,分别使用矩形算子、菱形算子、圆形算子和线形算子进行闭运算,实现枝条的光滑连接,如图5所示。
图5 对原始图片猕猴桃果树的单木骨架提取进行优化

Fig.5 The extraction of single wood skeleton of kiwifruit tree in the original picture was optimized

根据程序运行的实际效果与实际单木骨架进行对比,结果如图6所示,通过对比4种算子的各项指标除圆形算子外,其余算子骨架提取效果图中,均存在枝条膨胀严重、结构不清晰等问题。同时,根据图六所示结果选择圆形算子长度为50,根据猕猴桃为多年生植物,其树冠结构分布在多年内较为稳定,将枝条生长角度选择为实际猕猴桃树干主要生长角度20°和160°,并采用圆形算子作为闭运算对象,使提取结果更接近于实际骨架结构。
图6 矩形、菱形、圆形,以及线形四种算子的冠层预测指标对比图

Fig.6 Comparison of crown prediction indicators for four operators of rectangular, diamond, circular, and linear shapes

利用枝条从树干向外生长的特点,选择图像中心区域为生长种子点向外扩展,提取与种子点连接的枝条区域,实现单木的骨架提取。参考猕猴桃果树的生长特性,此二值化图像中心像素150×900 位置一般属于树干的生长范围,因此人工将此范围内的像素判定为正确中心位置的枝条目标连接为同一个连通域,并将其作为生长的种子点,筛选靠近该区域的像素以完成目标单木枝条的初步筛选,整体过程如图7所示。至此骨架结构提取完成。
图7 猕猴桃树单木枝条筛选的总体流程图

注: 红色部分为被识别为枝条的像素位置;白色部分为数学形态学处理后的像素位置,枝条连续性得到提高;紫色矩形是被作为种子点的像素位置。

Fig. 7 General flow chart of single tree branch selection of kiwifruit tree

2.4 单木骨架结构优化结果冠层预测

为提高冬季猕猴桃果树骨架与其实际夏季生长的相关性,本研究将骨架图像分为9部分,统计每个部分的平均枝条生长方向,作为后续膨胀运算的方向参数。分别选取线性、圆形、矩形和菱形结构元素对单木骨架进行膨胀处理,模拟枝条生长,通过对不同算子及参数下的冠层预测结果进行分析,比较预测结果与实际夏季冠层结果,发现圆形算子对冠层预测效果更为贴合实际,最终选择尺寸size为50的圆形膨胀算子进行模拟枝条生长和冠层预测。根据枝条位置和自然生长规律,将分裂后获得的超像素作为冠层筛选的主要对象,以枝条生长情况为依据,并结合骨架提取结果合并属于冠层的超像素目标,预测单棵植株可能覆盖的范围大小,最终实现基于冠层生长的天然结构的冠层预测。根据经验,将与预测单木枝干欧氏距离小于120 pixel的叶片视为本植株的冠层范围内;利用2.3节中预测获得的单木骨架,将与枝条部分重合以及距离较近的超像素区域进行筛选,并进行闭运算,将分离结果转化为同一连通域,得到单木冠层分割结果,如图8所示。
图8 四种结构元素的猕猴桃树冠层预测对比

Fig.8 Comparison of canopy prediction of kiwifruit tree with four structural element treatments

3 实验结果与分析

3.1 单木骨架结构提取及优化的验证

本研究采用了3个主要的回归指标作为性能工具:像素准确率(Pixel Accuracy,PA),平均交并比(Mean Intersection over Union,MIoU)和F 1加权得分(Weighted F 1-Score,WF 1),如公式(1)~(3)所示。
P A   =   N u m b e r   o f   C P P T o t a l   N u m b e r   P i x e l s
M I o U   =   1 N o C i = 1 N o C T P i T P i + F P i + F N i
W F 1 = i = 1 N o C F 1 - S c o r e i × N o P i i = 1 N o C N o P i
式中:CPP(Correctly Predicted Pixels)表示被正确预测的像素数,反映了被正确预测的像素占全部像素的比例;TP(True Positive)为真正例,表示预测结果中正确预测为正的样本数,个,反映模型正确预测某类的能力;FP(False Positive)为假正例,表示预测结果中错误预测为正的样本数,个,反映模型过度预测某类的错误;FN(False Negative)为模型未预测为某个类别,但标注为该类别的像素数,个,反映模型漏预测某类的错误;NoC(Number of Classes)为分割目标的类别总数,个;NoP(Number of Pixels)为每个类别在整个图像中所占的比重。
闭运算选用的圆形算子的长度对于枝条筛选结果有较大影响。随着算子长度的增加,闭运算能够将断开的连通域连接起来,从而提高枝条的MIoU,但当算子长度过大时会造成不同枝条发生粘连从而将其他植株的枝条错误地拾取,造成PA下降。基于被连接拾取枝条结果中的PA与MIoU呈现负相关关系,选择使用WF 1来评价算子的综合性能。实际输出结果如图9所示,从具有代表性的三种指数选择结果进行对比可以看出,当圆形算子尺寸size为50时,识别结果最接近理想目标,而size为0时,也就是未进行数学形态学处理优化的结果中存在明显枝条断裂而识别不全的现象,而当优化时size选取过大,以size为70为例,出现多处将其他树木的枝条进行拾取的现象,从而使PA降低。
图9 冠层预测圆形算子长度筛选

Fig.9 Crown prediction circular operator length screening

为验证所提出方法的效果,本研究从骨架提取和冠层预测两个关键角度开展了定量评估实验。将模型共进行训练5 000次,在测试中,当训练网络的迭代次数超过一定数量时出现过拟合的现象,在训练迭代3 000次时可得到较好的收敛效果。应用人工标定枝条的测试集,利用PSP-Net模型第3 000代训练结果进行效果的检验。在骨架提取环节,基于Image-Net进行预训练的PSP-Net模型,在测试集上的平均精度(Mean Average Precision,mAP)可达71.79%。这充分验证了PSP-Net在复杂树冠环境下,提取精细树枝的卓越建模能力。但仅依靠深度学习方法,分割结果中的树枝往往不是完全连续的,存在一定断裂。为弥补这一缺陷,作者团队引入了数学形态学方法进行骨架连续性优化。结果表明相较于全树干的标注方式,数学形态学方法的引入使得枝条的特征获取更为明确,使得枝条的分割效果mAP为84.99%,相比于基于Image-Net进行预训练的PSP-Net模型所处理的处理效果有了明显提升,同时识别结果图像中的枝条形态明显更加连续性,断裂现象减少。当圆形闭运算算子长度为50时,骨架的PA和WF 1得分分别达到95.84%和95.69%,骨架信息的完整性和连续性都得到显著提升。
在获取高质量骨架信息后,作者团队利用膨胀运算模拟枝条生长,实现从冬季到夏季的骨架结构预测。这充分证实了预测骨架能高度契合夏季树冠实际分布状况,为后续冠层分割提供了可靠的先验结构信息。最后,基于预测骨架完成了单木冠层的分割工作,如图7所示。结果表明,与直接使用原始骨架相比,优化骨架的应用显著提升了分割效果,冠层WF 1从77.36%大幅提升至95.76%。考虑到实际应用中树冠遮挡等负面因素的影响,该结果较为优异。
使用算子长度分别为1~90的圆形算子分别进行闭运算后,与未进行优化的枝条识别结果直接进行筛选的结果进行对比,拾取结果由人工计数统计,枝条是否被完整识别是问题的关键,因此将被成功识别长度超过85%的枝条定义为拾取成功。随机抽取150棵果树,对其近千条枝条拾取结果中的正误数量统计后,利用公式(1)公式(2)公式(3)获得在不同size下的PA、MIoU和WF 1数据,并绘制曲线图(图10)。
图10 传统冠层预测结果与深度学习结合数学形态学方案预测结果对比图

Fig.10 Comparison between traditional canopy prediction results and deep learning combined with mathematical morphology scheme prediction results

检测样本集中识别出的枝条目标的MIoU随着size的增加而提高,当size提高到50时MIoU能够提高到95.84%,当size继续提高时MIoU不再显著提高;PA与MIoU的变化趋势相反,在提高size大小的过程中会将非目标枝条进行错误拾取,造成PA的损失,在size提高至大于或等于56时PA呈现出显著的下降趋势,在size提高至70时PA已经下降到90.22%,并且在此后PA呈现出快速下降趋势已不能满足枝条拾取的需要;使用WF 1评价PA与MIoU的综合效果,在size取46~53时WF 1相对稳定地维持在了较高水平,其中在size取50时WF 1达到最高值94.07%,此时PA为99.25%、MIoU为95.76%。因而在后续的处理中用选取size为50的圆形膨胀算子。

3.2 单木骨架结构提取的性能

从语义分割到实例分割的转化是当前单木分割面临的主要难点。本研究通过对不同植株进行单木骨架提取,以解决从语义分割向实例分割的转化问题,为监测树木生长提供基础数据。但是在处理断裂和植株实例分割过程中,也出现了非目标枝条被错分的问题,这是冠层骨架提取过程中的一大难题;对正确枝条的丢失和非正确目标的错误框选,探寻识别综合效果最好的方案是解决问题的关键。本研究采用的优化方案能够较好地提高枝条正确分类的目标,然而针对在二维图像中有重合的枝条的情况,由于其属于同一连通域,难以被分开,造成了难以避免的误差。
针对语义分割问题,由于猕猴桃树枝条目标与土壤颜色较为接近,同时受到地面残枝、架设的铁丝等的干扰,利用传统数字图像处理方法仍有相当大的难度,而利用深度学习方法则能高效地解决枝条的语义分割问题。针对语义分割中常见的轮廓识别不完整造成的枝条断裂的问题,本研究利用传统图像处理方法对深度学习分割结果进行优化,减少目标粘连与断裂,提高识别效果,并实现枝条的走向和长度等信息的提取,保证关键输出的稳定性。
同时为了弥补冬季与夏季枝条生长存在的必然差异,利用数学形态学处理的方案对于冬季植株骨架结构进行了补偿,以期获得更贴近夏季实际枝条分布的骨架结构,在此过程中采用了多种系数进行验证,以获得的最终冠层范围与实际最为接近为标准,筛选出了适宜的算子长度。本研究针对的是冠层覆盖范围到达最大的阶段,其对应的枝条长度也是夏季最终生长长度,如果更改这一步骤的算子长度便能实现对不同生长阶段枝条分布情况的预测。
将枝条位置信息作为夏季冠层分割的参考信息进行输入,其输出结果可作为猕猴桃树生长情况分析和精准管理的通用依据,能够提高猕猴桃树分割的准确性,减少人为干预,提高分割效率。

3.3 冠层分割与生长预测的性能

本研究提出的方法在对密集栽培的猕猴桃果园进行高效无损监测并对果树进行冠层分割与生长预测方面取得了良好的效果。如图10所示,在传统冠层预测结果与本方案预测结果对比当中,可以直观地看到本方案可将猕猴桃果树从高度重叠、生长交叉严重的环境中较为完整地提取出果树骨架结构,并成功建立其冠层生长模型。
本研究采用了无人机低空遥感图像作为数据源,相比卫星遥感或航拍图像,提供了更高分辨率、更低价格的数据支持,有利于果园定期监测与管理。本研究改进PSP-Net等语义分割算法实现精确的枝条提取,极大地提高了分割精度,为单木骨架分割提供高质量基础数据。通过数字图像处理优化骨架结果以获得单木骨架数据,并有效解决了深度学习分割存在的断裂问题,提升了骨架提取完整性。预测结果与实际枝条分布高度吻合。本研究提出以优化骨架为参考进行冠层预测的思路,实现从单木骨架到冠层结构的有效预测,较好地解决了冠层分割过程中的实例分割问题。
实验结果表明,优化骨架提取精度可达95%以上PA值达99.25%,MIoU值达95.76%,冠层分割WF 1达94.07%左右;与直接利用原始骨架相比,优化骨架提高了冠层分割的PA为13.2%,MIoU为10.9%,WF 1为18.4%,显著改善了分割指标。而优化骨架后的平均分割PA可达95%以上,明显高于原始骨架的81.5%,如图11图12所示。
图11 优化骨架处理中所有预测样本的PA值

Fig.11 Optimize the skeleton processing all the prediction data in PA value curve

图12 优化骨架处理中所有预测样本的WF 1

Fig.12 Optimize the skeleton in processing all predict WF 1 value curve of samples

后续从数据集中随机选取了50张图像作为验证集,用于验证融合骨架信息的冠层分割方案结果。如图13所示,其中RGB图像为夏季真实冠层图像,而二值化图像则代表验证集数据处理的结果。通过对比评估,可以得出预测结果与夏季真实冠层高度吻合,且其差异较小,表现出较高的拟合度,边际误差极小。同时对验证集各项指标进行测试,结果如图14所示。
图13 二值化验证集样本预测结果与夏季RGB真实冠层图像对比验证

注: 右侧图像为预测结果与真值之间的误差。

Fig.13 The prediction results of binarization verification set compared with the real summer RGB canopy images

图14 融合骨架信息的冠层分割方案预测验证集样本预测结果

Fig.14 Canopy segmentation scheme prediction verification set sample prediction curve results fused with skeleton information

4 结 论

本研究提出了一种基于冬季图像的猕猴桃单木骨架提取与冠层预测方法,从方法创新、数据获取、问题解决多方面展现了利用无人机图像进行果园精细化管理的巨大潜力。解决了夏季树冠过于复杂导致猕猴桃骨架提取效果不佳的问题。采用无人机低空遥感图像作为数据源,提供了更高分辨率、更低价格的数据支持;用改进PSP-Net等前沿的语义分割算法实现精确的猕猴桃果树枝条提取,为单木骨架分割提供高质量基础数据;通过数字图像处理优化骨架结果以获得单木骨架数据,并有效解决了深度学习分割存在的断裂问题;提出以优化骨架为参考进行冠层预测的思路,实现从单木骨架到冠层结构的有效预测,较好地解决了冠层分割过程中的实例分割问题。实验结果表明,优化后的骨架提取精度可达95%以上,MIoU值达95.76%,冠层分割WF 1达94.07%左右;与直接利用原始骨架相比,优化骨架提高了冠层分割的PA为13.2%,MIoU为10.9%,WF 1为18.4%,显著改善了分割指标。优化骨架后的平均分割PA也到达95%以上,明显高于原始骨架的81.5%,预测骨架与实际夏季骨架平均吻合度达87%,具有良好的预测结果。该方法可为精准果园管理提供有效数据支持,相比传统的人工统计法,该方法实现了自动高效的果树结构监测。为构建智慧果园管理系统提供关键技术基础。研究内容以猕猴桃果树展开,但流程经适当调整,可适用于其他果树冠层变化监测,具有广阔的应用前景。
总体而言,融合骨架信息的冠层分割方案获得了良好的分割与预测结果,为构建自动化智能果园管理系统奠定了算法基础。后续工作将通过扩大数据集、丰富模型等进行优化提升进一步提升模型鲁棒性,扩大融合骨架信息的冠层分割方案适用范围。本研究为构建精细、高效、低成本的智慧果园管理系统奠定了坚实基础,具有重要的科学价值。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
HIRATA M. A new technique to describe canopy characteristics of grass swards with spatial distribution, dry-matter digestibility and dry weight of small-size canopy components[J]. Grass and forage science, 1996, 51(2): 209-218.

2
LLORENS J, GIL E, LLOP J, et al. Georeferenced LiDAR 3D vine plantation map generation[J]. Sensors, 2011, 11(6): 6237-6256.

3
BALSARI P, MARUCCO P, TAMAGNONE M. Variable spray application rate in orchards according to vegetation characteristics[C]// Agricultural and Biosystems Engineering for a Sustainable World International Conference on Agricultural Engineering. Silsoe, UK: European Society of Agricultural Engineers, 2008: ID 20083322024.

4
GIL E, ESCOLÀ A, ROSELL J R, et al. Variable rate application of plant protection products in vineyard using ultrasonic sensors[J]. Crop protection, 2007, 26(8): 1287-1297.

5
SHIMBORSKY E. Digital tree mapping and its applications[C]// Precision agriculture: Papers from the 4th European Conference on Precision Agriculture. Wageningen, Netherlands: Wageningen Academic Publishers, 2003: 645-650.

6
ROSELL POLO J R, ARNÓ J, VALLÈS J M, et al. Ground Laser Scanner Data Analysis for LAI Prediction in Orchards and Vineyards[C]// Proceedings of International Conference on Agricultural Engineering. La ciutat de Barcelona, Espanya: Universitat Politècnica de Catalunya, 2006: 311-312.

7
QAMAR-UZ-ZAMAN, SCHUMANN A W. Nutrient management zones for Citrus based on variation in soil properties and tree performance[J]. Precision agriculture, 2006, 7(1): 45-63.

8
SONG B, CHEN J Q, DESANDER P V, et al. Modeling canopy structure and heterogeneity across scales: From crowns to canopy[J]. Forest ecology and management, 1997, 96(3): 217-229.

9
LU X Q, WANG B Q, ZHENG X T, et al. Exploring models and data for remote sensing image caption generation[J]. IEEE transactions on geoscience and remote sensing, 2018, 56(4): 2183-2195.

10
ZHANG B, WU Y F, ZHAO B Y, et al. Progress and challenges in intelligent remote sensing satellite systems[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2022, 15: 1814-1822.

11
ZHANG Q, ZHANG P L. An uncertainty descriptor for quantitative measurement of the uncertainty of remote sensing images[J]. Remote sensing, 2019, 11(13): ID 1560.

12
TANG L N, SHAO G F. Drone remote sensing for forestry research and practices[J]. Journal of forestry research, 2015, 26(4): 791-797.

13
AMPATZIDIS Y, PARTEL V. UAV-based high throughput phenotyping in Citrus utilizing multispectral imaging and artificial intelligence[J]. Remote sensing, 2019, 11(4): ID 410.

14
LIAO X H, YUE H Y, LIU R G, et al. Launching an unmanned aerial vehicle remote sensing data carrier: Concept, key components and prospects[J]. International journal of digital earth, 2020, 13(10): 1172-1185.

15
LYU X, LI X B, DANG D L, et al. Unmanned aerial vehicle (UAV) remote sensing in grassland ecosystem monitoring: A systematic review[J]. Remote sensing, 2022, 14(5): ID 1096.

16
李鑫星, 曹闪闪, 白雪冰, 等. 多光谱技术在土壤成分含量检测中的研究进展[J]. 光谱学与光谱分析, 2020,40(7): 2042-2047.

LI X X, CAO S S, BAI X B, et al. Research progress of multi-spectral technique in the determination of soil component content[J]. Spectroscopy and spectral analysis, 2020, 40(7): 2042-2047.

17
WANG C Y, LIU B H, LIU L P, et al. A review of deep learning used in the hyperspectral image analysis for agriculture[J]. Artificial intelligence review, 2021, 54(7): 5205-5253.

18
VADIVAMBAL R, JAYAS D S. Applications of thermal imaging in agriculture and food industry: A review[J]. Food and bioprocess technology, 2011, 4(2): 186-199.

19
OMASA K, ONO E, ISHIGAMI Y,et al. Plant functional remote sensing and smart farming applications[J]. International journal of agricultural and biological engineering, 2022, 15(4): 1-6.

20
TOLDO M, MARACANI A, MICHIELI U, et al. Unsupervised domain adaptation in semantic segmentation: A review[J]. Technologies, 2020, 8(2): ID 35.

21
ZENG L H, FENG J, HE L. Semantic segmentation of sparse 3D point cloud based on geometrical features for trellis-structured apple orchard[J]. Biosystems engineering, 2020, 196: 46-55.

22
DENG J T, NIU Z J, ZHANG X, et al. Kiwifruit vine extraction based on low altitude UAV remote sensing and deep semantic segmentation[C]// 2021 IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA). Piscataway, New Jersey, USA: IEEE, 2021: 843-846.

23
LONG X D, ZHANG W W, ZHAO B. PSPNet-SLAM: A semantic SLAM detect dynamic object by pyramid scene parsing network[J]. IEEE access, 2020, 8: 214685-214695.

24
SONG Z Z, ZHOU Z X, WANG W Q, et al. Canopy segmentation and wire reconstruction for kiwifruit robotic harvesting[J]. Computers and electronics in agriculture, 2021, 181: ID 105933.

Outlines

/