Welcome to Smart Agriculture 中文

Parametric Reconstruction of Wheat Leaf Curved Surface Based on Three-Dimensional Point Cloud

  • ZHU Shunyao ,
  • QU Hongjun ,
  • XIA Qian ,
  • GUO Wei ,
  • GUO Ya
Expand
  • Key Laboratory of Advanced Process Control for Light Industry, Ministry of Education, Jiangnan University, Wuxi 214122, China
GUO Ya, E-mail:

Received date: 2024-09-25

  Online published: 2025-01-18

Copyright

copyright©2025 by the authors

Abstract

[Objective] Plant leaf shape is an important part of plant architectural model. Establishment of a three-dimensional structural model of leaves may assist simulating and analyzing plant growth. However, existing leaf modeling approaches lack interpretability, invertibility, and operability, which limit the estimation of model parameters, the simulation of leaf shape, the analysis and interpretation of leaf physiology and growth state, and model reusage. Aiming at the interoperability between three-dimensional structure representation and mathematical model parameters, this study paid attention to three aspects in wheat leaf shape parametric reconstruction: (1) parameter-driven model structure, (2) model parameter inversion, and (3) parameter dynamic mapping during growth. Based on this, a set of parameter-driven and point cloud inversion model for wheat leaf interoperability was proposed in this study. [Methods] A parametric surface model of a wheat leaf with seven characteristic parameters by using parametric modeling technology was built, and the forward parametric construction of the wheat leaf structure was realized. Three parameters, maximum leaf width, leaf length, and leaf shape factor, were used to describe the basic shape of the blade on the leaf plane. On this basis, two parameters, namely the angle between stems and leaves and the curvature degree, were introduced to describe the bending characteristics of the main vein of the blade in the three-dimensional space. Two parameters, namely the twist angle around the axis and the twist deviation angle around the axis, were introduced to represent the twisted structure of the leaf blade along the vein. The reverse parameter estimation module was built according to the surface model. The point cloud was divided by the uniform segmentation method along the Y-axis, and the veins were fit by a least squares regression method. Then, the point cloud was re-segmented according to the fit vein curve. Subsequently, the rotation angle was precisely determined through the segment-wise transform estimation method, with all parameters being optimally fit using the RANSAC regression algorithm. To validate the reliability of the proposed methodology, a set of sample parameters was randomly generated, from which corresponding sample point clouds were synthesized. These sample point clouds were then subjected to estimation using the described method. Then error analyzing was carried out on the estimation results. Three-dimensional imaging technology was used to collect the point clouds of Zhengmai 136, Yangmai 34, and Yanmai 1 samples. After noise reduction and coordinate registration, the model parameters were inverted and estimated, and the reconstructed point clouds were produced using the parametric model. The reconstruction error was validated by calculating the dissimilarity, represented by the Chamfer Distance, between the reconstructed point cloud and the measured point cloud. [Results and Discussions] The model can effectively reconstruct wheat leaves, and the average deviation of point cloud based parametric reconstruction results is about 1.2 mm, which has a high precision. Parametric modeling technology based on prior knowledge and point cloud fitting technology based on posterior data was integrated in this study to construct a digital twin model of specific species at the 3D structural level. Although some of the detailed characteristics of the leaves were moderately simplified, the geometric shape of the leaves could be highly restored with only a few parameters. This method was not only simple, direct and efficient, but also had more explicit geometric meaning of the obtained parameters, and was both editable and interpretable. In addition, the practice of using only tools such as rulers to measure individual characteristic parameters of plant organs in traditional research was abandoned in this study. High-precision point cloud acquisition technology was adopted to obtain three-dimensional data of wheat leaves, and pre-processing work such as point cloud registration, segmentation, and annotation was completed, laying a data foundation for subsequent research. [Conclusions] There is interoperability between the reconstructed model and the point cloud, and the parameters of the model can be flexibly adjusted to generate leaf clusters with similar shapes. The inversion parameters have high interpretability and can be used for consistent and continuous estimation of point cloud time series. This research is of great value to the simulation analysis and digital twinning of wheat leaves.

Cite this article

ZHU Shunyao , QU Hongjun , XIA Qian , GUO Wei , GUO Ya . Parametric Reconstruction of Wheat Leaf Curved Surface Based on Three-Dimensional Point Cloud[J]. Smart Agriculture, 2025 : 1 -12 . DOI: 10.12133/j.smartag.SA202410004

0 引 言

叶片模型是植物生长模型的重要组成部分,植物生长中的物理化学过程与叶片的形状和结构密切相关,重建叶片的三维结构,可以将更精确的几何细节整合到叶片模型中,从而更准确地模拟植物与环境之间的物质和能量交换,对于模拟植物光合作用和分析作物生长具有重要意义,近年来该方面的研究愈发受到重视1, 2。以GreenLab为代表的功能-结构植物模型(Functional-Structural Plant Model, FSPM)应运而生,该模型考虑了植物形态结构对生长的影响,并构建了一套依赖于源器官(如叶片)几何参数的资源分配方案,以模拟不同器官之间的资源竞争3-5。然而,该模型对叶片器官的结构建模较为简化,基于经验的数量关系将叶面积折算为光合生产速率。
目前,叶片三维建模方法分为重建和生成两大类。重建方法通过采集实测数据,使用直接三角剖分6、泊松重建7、NURBS(Non-Uniform Rational B-Splines) 曲面拟合8, 9等方法,专注于对真实叶形进行精准地还原,以及表型特征的提取。例如,Wu等10对小麦点云进行了直接三角网格化,在此基础上实现了叶片语义信息的提取以及网格参数化重建。Zheng等11使用骨架驱动的NURBS曲面结合网格变形方法实现了对小麦叶片的三维重建。Nagai和Tanaya12基于高斯混合模型利用可微函数重建光滑叶表面。Ando等13通过将无模型方法与有模型方法结合,通过捕获叶片的变形显著降低了噪声点和缺失点的影响,实现了高精度的树叶表面重建。这类方法通常能做到对目标曲面的精准重建,但对输入数据质量有较高的要求,且重建的结果需要较多的控制点或根本无法编辑,因而操作性较差。生成方法则是以植物学知识为基础,采用基于规则的方法,借助L-Studio14、OpenAlea15、GroIMP16等工具,专注于对叶片外形结构的快速生成。例如,Li等17在冠层光截获研究中借助FSPM生成玉米冠层。这类方法能够生成大量三维模型样本,广泛应用于FSPM中,但它们通常没有一个具体的现实参照物,难以评估现实个体与生成模型之间的差异。
与上述的两类方法相比,参数化建模方法在几何结构的显式和隐式描述之间取得了良好的折中。相比显式描述,它通过将目标关键几何特征进行参数化,从而能整体性地控制各个局部的形变;相比隐式方法,由于参数具备了明确的几何意义,对参数的估计过程可以显化。同时,这种方法精准描述了模型参数与三维结构之间的对应关系,不仅能构建极具视觉真实感的叶片三维模型18, 19,同时该模型拥有良好的几何性质,参数化曲面上的任意一点都连续、可微,进而可以计算梯度、曲率等几何特征,也能以任意精度被采样以得到离散化的形式如点云、网格、体素,这将有利于实现叶片与环境互作的数值模拟。此外,通过对实测数据的时间序列进行参数反演,便能得到每个参数随时间的变化情况,有助于分析叶片三维结构的变化动态。Kempthorne等20曾使用离散平滑 D 2-Spline对小麦叶片点云在Hsieh-Clough-Tocher基函数上进行了参数化,这是一种无模型的参数化重建方法,其参数化不具备与几何结构之间的互操作性。因此,本研究面向三维结构表示与数学模型参数之间的互操作性问题,围绕小麦叶形参数化重建需要关注的参数驱动的模型结构、模型参数反演和生长过程中的参数动态映射三个方面开展研究。
三维结构的表示方法通常分为两大类:一是以点云、网格、体素为代表的显式描述;二是以符号距离场、神经辐射场等为代表的隐式描述。显式描述的特点是离散化地表示构成其三维结构的基本元素,如顶点、边、三角、体素,其几何描述通常不具备整体性,对于三维重建任务而言简单高效,但难以对其进行整体性的编辑、调节21, 22。隐式描述的特点是以数学方程描述目标的整体结构,只需少量的参数即可表示复杂的形体,实现灵活高效的参数驱动,其描述的形体往往具有连续、光滑的性质,通过控制采样方法进行任意精度的离散化。但是,隐式描述不具有明确的几何意义与可解释性。
本研究目标是构造一个尽可能简单的参数化模型来描述小麦叶片的几何结构,使其在接近真实叶形的同时,建立叶片三维结构与模型参数间的双向映射,从而具备一定的从几何参数到点云的互操作性。为了实现该目标,本研究针对小麦叶形特点,提出一种参数曲面模型,仅由7个参数构建,通过RANSAC (RANdom Sample Consensus)回归方法估计模型参数,实现小麦叶片的三维几何结构参数化构建,该模型参数具备较明确的几何意义,同时可反演和可编辑,重建的三维模型具备良好的几何性质,实现小麦形态结构意义上的数字孪生。

1 材料与方法

本研究建立的双向映射、可互操作的小麦叶片结构模型具体方法步骤如下。
假设无组织点云表示的叶片曲面由 R 2 R 3的映射 T在叶片模型参数 Φ下映射得到通过构造一对互为逆操作的映射 T R,并通过随机生成的样本参数 Φ和实测点云反演的估计参数 Φ ',经过双向验证和迭代,构建可互操作的小麦叶片点云模型。图1为小麦叶片三维模型构建的总框架技术路线图。
图1 小麦叶片表面重建研究总技术路线图

注:点云 P ,   P ' R 3,几何特征参数 Φ , Φ ' R 7,位置参数 Ω = 0,1 2 R 2

Fig. 1 Overall framework technology roadmap of the study on surface reconstruction of a wheat leaf

第一步,为使得数学模型与三维结构之间实现双向映射,即正向映射由模型参数 Φ得到目标点云 P ',反向映射由实测样本点云 P得到估计参数 Φ ',本研究基于参数最简化的原则,为叶片构建参数方程,该方程中含有的未知参数尽可能简单且有明确的几何意义,这便使得对参数的反演可以根据其几何意义反向构造;第二步,基于第一步构建的叶片方程,使用随机生成的参数生成三维点云,并构建参数的反向估计模块;最后,输入实测数据进行验证。本研究通过三维成像设备采集数据自制了小麦叶片点云数据集。

1.1 小麦叶片的参数化建模

将小麦叶片于水平面上展平,观察叶片形状结构。首先可以将叶片由叶长 H、最大叶宽 W两个参数做近似描述,它们很大程度上决定了叶面积大小。其次考虑叶片边缘细节,小麦叶片呈线性披针形,使用二次函数 w s描述叶宽随中脉位置的变化,引入参数 ϕ表示达到最大叶宽的叶脉位置 ϕ = a r g m a x s   w ( s ) w s的定义域与值域归一化到 [ 0,1 ],结合叶片末端约束 w 1 = 0,根据以上约束得到方程如公式(1)所示,作为叶形因子的 ϕ,其意义为达到最大叶宽的叶长位置占总叶长的比例,如图2所示为 ϕ不同取值时的叶宽-叶长曲线。
图2 小麦叶片曲面参数化构建中叶宽-叶长关系研究

Fig. 2 Leaf width-leaf length relationship study for the parametric construction of a wheat leaf surface

w s ; ϕ = 1 - s - ϕ 1 - ϕ 2   ,   ϕ 0 ,   0.5 , s 0,1
以上用最简化的3个参数表示平面上的小麦叶片,如果考虑其在三维空间上的表示,关键在于参数化叶中脉在空间中的轨迹。在不考虑叶片沿中脉轴卷曲形成的独特承重结构带来的复杂力学影响的前提下,本研究将理想叶片受重力作用下的自然弯曲使用二次函数表示23,引入参数 ρ为茎叶夹角,参数 y 0为叶片末端到y轴上的投影位置,参数 a为表征叶片弯曲程度的方程二次项系数。考虑z-y平面上的叶脉轨迹,令 b = c o t   ρ,叶脉方程表示如公式(2)所示。
z y = a   y 2 + b y   ,   y 0 , y 0 , ρ 0 , π
综合以上6个参数可以构造叶片三维曲面的参数方程,考虑参数空间为规则边界的区域 Ω = 0,1 2,叶片末端在y轴上的投影为 y 0,并令 y = y 0 v,参数曲面上任意一点的坐标为 H x , H y , H z T,可由一对 ( u , v )唯一确定,叶片曲面的参数方程构造如公式(3)所示。
H x u , v =   W × u - 1 2   w s H y u , v = y 0 v H z u , v = a   y 0 2 v 2 +   y 0 v c o t   ρ   u , v 0,1
在此基础上,考虑叶片长度 H与叶片末端投影位置 y 0之间存在如公式(4)公式(5)的约束,上述6个参数中实际只有5个独立参数。
H y 0 = 0 y 0 1 + 2 a y + b 2 d y = G 2 a y 0 + b - G b 4 a
G m = l n   m + 1 + m 2 + m 1 + m 2
假设叶片弯曲系数 a和茎叶夹角 ρ已知,约束方程中的 y 0 H可以互推。当需要通过仪器采集的数据拟合曲面参数时, y 0相比 H更方便计算,且由 y 0也可直接计算 H;当需要使用参数方程生成点云样本时,先验地估计参数 H的范围往往能得到更合理的结果,此时通过牛顿迭代法来反求 y 0,如公式(6)公式(7)所示。
T y = G 2 a y + b - G b - 4 a H
y 1 =   2 y n + 1 = y n - T y n T ' y n
由弧长-截距约束可得叶中脉的归一化位置 s v表达式如公式(8)所示。
s v =   H y 0 v   H y 0
以上参数方程可以描述小麦叶片在只受重力自然弯曲状态下的三维结构,如图3a所示。
图3 小麦叶片曲面参数化构建研究中两种状态(自然弯曲和绕轴扭曲)下的叶片曲面示例

Fig. 3 Example blade surface in two states (natural bending and axial twisting) for the parametric construction of a wheat leaf surface

叶片在遭受风吹后,会以叶脉为轴发生扭转,这种变形在长条形的叶片中较为常见,本研究通过对曲面任意点位置 r 相对叶脉位置 u 绕叶脉切方向 k 做仿射旋转变换来描述,如公式(9)所示。
r = H x , H y ,   H z T u = 0 ,   H y ,   H z T k = 0 ,   1 1 + 2 a y + b 2 , 2 a y + b 1 + 2 a y + b 2 T
遵循参数最简化原则,假设叶身的沿轴旋转与叶脉位置成线性关系,叶身总旋转角度为 θ,并在叶片起始端旋转角度为 θ 0,引入这两个参数后,任意位置处的旋转角 θ s公式(10)所示。
θ s = θ 0 +   θ × s H
应用罗德里格斯公式进行旋转变换,曲面上任意点的旋转后位置 r r o t公式(11)所示。
v =   r - u   v r o t = v   c o s   θ s +   k × v   s i n   θ s +   k v   k 1 - c o s   θ s r r o t =   v r o t + u
由于 v k 正交,上式可简化为 r r o t = R x , R y , R z T,如公式(12)所示。设 ρ v为切线斜率,如公式(13)所示。
R x ( u , v ) =   H x c o s   θ s R y ( u , v ) =   H y   +   H x s i n   θ s s i n   ρ v R z ( u , v ) =   H z   -   H x s i n   θ s c o s   ρ v  
t a n   ρ v = 2 a y 0 v + c o t   ρ  
综上,该曲面由最大叶宽 W,叶长 H(叶尖投影 y 0),叶形因子 ϕ,茎叶夹角 ρ,弯曲度 a,绕轴扭曲角 θ,绕轴扭曲偏移角 θ 0,共7个参数确定,由此建立的叶片模型具有相对清晰的几何意义,图3b为该参数方程描述的叶片三维结构实例。

1.2 曲面模型参数估计

采用图4中的方法基于点云数据并对模型中的参数进行估计,并根据这组参数重建点云。由参数方程根据均匀分布的随机参数生成样本点云,并在样本点云中加入 σ = 0.3   m m的白噪声模拟实际测量误差,对生成的带噪声点云使用本节的算法估计模型参数,再将估计到的参数与原参数对比验证;对于实测点云数据,先通过参数估计模块得到模型参数,再通过参数方程模型重建三维点云,将重建点云与实测点云对比验证。
图4 小麦叶片参数曲面的点云参数估计流程

Fig. 4 Flowchart of the point cloud parameter estimation of a wheat leaf parametric surface

假定采集到的点云在叶片表面均匀分布,以叶片所在茎秆朝上为z轴正方向,以叶片到地面投影的方向为y轴正方向,建立坐标系。使用在 [ 0,1 ]上均匀分布的随机数生成器,生成 N ( u ,   v )坐标,代入参数方程得到形状为 N × 3的点云数组并加入满足分布 N ( 0,0.3 )的白噪声。
叶脉作为叶片的骨架,很大程度上决定其形状,因此先对叶脉相关的参数进行估计。对点云以y轴方向进行均匀分段,假设点集为 x i , y i , z i T | i 1 , , N,分割段数为 M,两端点分别为 Y 0 = m i n i y i ,   Y N = m a x i y i,则分段点位置如公式(14)所示。
Δ y = Y N - Y 0 M ,   Y k = Y 0 + k   Δ y ,   k = 0,1 , , M
其中每个分段区间中的点云如公式(15)所示。
P k = x i , y i , z i T | Y k - 1 < y i Y k , i 1 , , N ,   k = 1,2 , , M
式中: P k为第 k个分段的点集。
计算各段点云的中心,估计叶脉位置,如公式(16)所示, V k R 3为第 k个分段的中心,其中 | |表示集合元素个数。
V k = 1 P k p P k p
对叶脉二次模型公式(2)做线性回归,在y-z平面上拟合叶脉参数 a ^ , b ^,并通过公式(4)计算叶脉长度 H ^
为了准确估计 θ,需要沿拟合后的叶脉轨迹重新对点云进行分段,以得到各段点云上的 Δ θ s。假设 V k = x ' , y ' , z ' T,根据叶脉曲线公式(2)计算任意叶脉中心 V k的斜率 t k,如公式(17)所示。新的分段如公式(18)所示,图5在归一化坐标系中演示了该分段的原理。图6a图6b展示了点云沿轴均匀分段前后对比,该点云由参数方程随机采点生成,参数为 W = 1.5   m m , H = 13   m m , a = - 0.2 , ϕ = 0.37 , ρ = 0.4   r a d , θ = 7.33   r a d
t k = 2 a y ' + b  
P k 1 = x i , y i , z i T |   y ' - Δ H 2 t s < y i + t k z i - z ' y ' + Δ H 2 t s , i 1 , , N , k = 1,2 , , M  
图5 小麦叶片曲面参数估计研究中点云沿叶脉分段方法

Fig. 5 Point cloud segmentation along the vein for the surface parameter estimation of a wheat leaf

对每组分段点云,取 k P k 1点云中心 V k 1处的切向量,且 u = V k 1,以角度 θ s旋转,对变换得到的点云在z轴上做零均值化,将叶脉展平到y轴,此时保留了 θ角的旋转,通过对各段点云做线性回归来估计 θ s。为了表述方便,变换后第 k段点云记作 P k 2
由于 θ s在接近 π / 2 + i π , i Z时会不稳定,采用“变换-估计-累加”方法处理,假设估计点云 P k 2的旋转角度为 θ s , k,在估计 θ s , k + 1时,先将 P k 2沿y轴旋转负 θ s , k得到 P k 3,进行线性回归估计 Δ θ s , k,最后累加得到 θ s , k + 1 = θ s , k + Δ θ s , k图6c图6d为分段点云对 Δ θ s , k的估计原理,图6e展示了叶片展平到x-y平面这一过程。
图6 基于叶片曲面参数方程由随机参数生成点云的参数估计

Fig. 6 Parameter estimation of random parameter generated point cloud based on the leaf surface parametric equation

计算 θ s , k的过程中,将点云沿叶脉旋转到x-y平面,估计x方向上最大最小值,做差,并由角度关系估计叶宽。假设 X k = x | x , y , z T P k 3,则第 k个分段点云的估计叶宽 W k公式(19)所示。
W k = m a x   X k - m i n   X k 1 + t a n 2   Δ θ s , k
对拟合的叶脉曲线公式(2)在各段点云 P k 1的中心处采样得到叶脉累积长度 H k,将其与 θ s , k做线性回归估计 θ,再与 W k做二次线性回归,估计 ϕ。由于实测数据中估计的 θ会因为茎叶连接部分的特殊结构而不稳定,因此使用RANSAC进行回归计算以减少叶片根部点云的噪声影响。
由于叶片根部与茎秆相接合的部分有特殊的几何结构,无法通过上述方法准确估计,利用回归得到的 θ s , k - H k的斜率,以及在叶脉的三分位点处的绝对 θ角计算回归直线的截距,从而得到初始值 θ 0

1.3 叶片点云数据采集与处理

点云数据通过Revopoint Miraco采集,该设备采用结构光技术,单帧扫描精度达0.05 mm。品种选择郑麦136、扬麦34和盐麦1。其中郑麦136实验室栽培,选用含全氮0.68%、磷0.27%、钾0.36%的营养土种植,于4月9日播种,扫描 4月16日到6月23日小麦整株点云,每1~2日采样一次,共58个点云样本;扬麦34和盐麦1来自“无锡锡山太湖水稻示范园”的室外采集样本,采集时间2024年12月17日。扫描方法为:将盆栽小麦置于旋转台,使用扫描设备录制。
原始点云数据经过MIRACO配套软件完成点云融合、孤立点剔除等预处理,图7为预处理后得到的小麦点云数据。由于采集数据时没有预设参照物,但是在较短的时间间隔下,植物生长引起的非刚性变化不明显,因此假定相邻时间间隔的两组点云之间近似刚性变换,通过迭代最近点(Iterative Closest Point)算法进行配准。以下为具体的预处理步骤,在Matlab中搭建处理管线,并使用CloudCompare为所有叶片打上标签。
图7 单株小麦点云

Fig. 7 Point cloud of a wheat

1)利用颜色、位置信息,使用K-Means方法分割土壤部分与地上部分点云;
2)利用土壤点云拟合平面方程,将整体点云位置姿态变换到标准x-y平面;
3)将多日点云数据统一按1)和2)步骤处理,得到小麦点云序列 P i , i = 1,2 , , N
4)依次对序列中相邻点云应用迭代最近点(Iterative Closest Point, ICP)算法进行配准,将 P i + 1近似对齐到 P i
5)根据标签分割叶片点云,将叶片根部校准到坐标原点,将叶片在x-y平面投影的方位角变换到平行于y轴的正方向。

2 结果与分析

限于文章篇幅,本研究以郑麦136在结果部分展示模型的计算过程,最后利用扬麦34和盐麦1的最终估计误差验证模型对于其他小麦品种的通用性。

2.1 参数估计算法性能评估

将随机参数生成点云作为样本验证参数估计算法性能,使用均方根误差(Root Mean Square Error, RMSE)和平均绝对误差(Mean Absolute Error, MAE)作为评估指标,所有参数采用各自单位表示,最大叶宽 W(mm)、叶长 H(mm)、叶形因子 ϕ(量纲为1)、弯曲度 a(量纲为1)、茎叶夹角 ρ(rad)、绕轴扭曲角 θ(rad),绕轴扭曲偏移角 θ 0(rad)。生成样本参数容量为4 000,横轴为生成参数值,纵轴为参数生成点云后反向估计参数值。
图8所示,该方法对叶片最大宽度 W、长度 H、叶脉弯曲度 a有着较为稳定的估计,但 a在远离0时误差有变大趋势。叶形因子 ϕ的估计效果较差,倾向于被高估,仅在接近0.5的部分效果较好,茎叶夹角 ρ在靠近0处效果较好,绕轴扭曲角 θ存在一些偏差较大的异常值,导致RMSE比较大。绕轴扭曲偏移角在左上和右下聚集点是由于对接近90°角分布的点云进行估计存在的偏差。
图8 随机生成叶片曲面参数的估计残差

Fig. 8 Estimated residuals of randomly generated leaf surface parameters

为了进一步分析误差,对生成参数与估计参数的残差绘制直方图,横坐标归一化为标准差的倍数,纵坐标为相对于平均偏差 μ在对应波动范围内的顶点数,单位与图8一致。如图9所示,最大叶宽 W存在约0.6 mm的偏差,因此对于较小的叶片相对误差会比较大。叶长 H存在约3.7 mm的偏差,相对而言对整体影响较小。茎叶夹角 ρ的残差呈右偏分布,表明其易被低估,由于异常估计值较多,估计值与实际值存在较大波动。绕轴扭曲角 θ误差分布比较对称,说明其存在比较大的波动。大部分估计值误差都在 ± σ范围内,尽管存在异常的估计,总体上能得到相近的结果,证明该方法具有在一定参数范围内的普遍适用性。
图9 随机生成叶片曲面参数的估计残差分布直方图

Fig. 9 Distribution histogram of estimated residuals of randomly generated leaf surface parameters

2.2 单叶片实测点云重建

图10展示了5个实测点云样本与重建点云的对照。从图像中可以看到,第2叶末端稍有偏差,其他叶片估计效果都较好,实测点云(蓝)与生成点云(红)很好地逼近。
图10 小麦叶片参数化重建的实测点云-重建点云对照

Fig. 10 Point cloud comparison between measured and reconstructed point clouds for parametric reconstruction of wheat leaves

值得一提的是,该模型并不能完全拟合局部细节,如图10所示,可以观察到第2叶(图11a)在末端呈现出不符合模型的弯曲细节,以及第3叶(图11b)的叶身部分存在局部偏差,这也是造成最终的整体误差原因之一。除此以外,也有点云在多帧融合等预处理环节因点云缺失、重影等原因引入的误差。但整体上,该参数模型能够与叶片很好地吻合。
图11 叶片2、叶片3的放大对比图

Fig. 11 Comparison of local zoomed in point cloud figure of the leaf 2 and the leaf 3

为了进一步说明重建效果,采用公式(20)的Chamfer距离作为评估指标,它反映点云之间的平均不相似度。参数估计结果如表1所示,与图10中的图像一一对应。结合图10表1可以观察到,第2和第3片叶存在局部偏差,因而Chamfer距离偏大。
C h a m f e r P X , P Y = 1 2 1 | P X | p x P X m i n p y P Y   p x - p y 2 + 1 | P Y | p y P Y m i n p x P X   p x - p y 2
表1 小麦叶片实测点云参数化重建中单叶片参数估计结果

Table 1 Parameter estimation results of a single leaf for the parametric reconstruction of measured point clouds of wheat leaves

ID H/mm W/mm ϕ a ρ/rad θ/rad θ 0/rad Chamfer/mm
1 61.46 4.72 0.416 6 -0.017 1 0.469 4 -3.031 4 1.298 0 0.370
2 133.20 7.58 0.420 9 -0.008 1 0.524 0 -4.853 2 -0.722 4 0.998
3 85.54 7.37 0.431 0 -0.004 4 1.141 7 -3.494 8 0.955 2 0.734
4 69.48 3.65 0.452 7 -0.018 1 0.369 3 -2.349 5 0.030 0 0.409
5 108.54 7.42 0.498 5 0.002 6 1.653 4 -2.201 7 -0.114 9 0.625
式中:PXPY R 3
图12以第一片叶的参数估计过程为例给出重建的点云,最终几何结构细节上存在一定偏差,例如在靠近根部的初始叶宽,在一定程度上影响到了对叶形因子 ϕ的估计。其他方面,叶长、最大叶宽以及叶身都非常吻合。
图12 小麦叶片点云参数化重建中参数变换估计过程

Fig. 12 Parameter transformation estimation process for parametric reconstruction of wheat leaf point clouds

通过这种方式重建的叶片曲面模型,其形状参数独立可编辑,可以在保证其他参数不变的情况下微调个别参数,以生成一系列相似叶片。例如图13所示的热力图,对表1第一片叶参数中的 ρ θ r a d)进行微调,通过指定参数的邻域半径和采样数,在某个局部参数空间上生成叶片簇,与原参数距离越大色温越高。
图13 参数化模型微调 ρ θ生成的叶片簇

Fig. 13 Generated leaf clusters by adjusting ρ and θ in the parametric model

对小麦在生长全过程中的所有叶片进行单叶片重建结果如图14所示,在所有1 049个叶片样本中,88.56%的样本Chamfer距离小于2 mm,平均Chamfer距离约为1.2 mm。
图14 小麦全叶片重建点云误差

Fig. 14 Error of point cloud reconstruction of wheat leaves

为了验证该参数估计方法在不同叶位上的有效性,将所有点云样本按出现顺序均匀分成三份,分别对应低、中、高三组叶位,评估每个分段的Chamfer距离,如表2所示,结果进一步表明,该方法整体效果良好。
表 2 小麦叶片实测点云参数化重建中不同叶位误差

Table 2 Point cloud reconstruction error for leaves at different positions on parametric reconstruction wheat leaves

叶位分段 平均值/mm 标准差/mm 数量
1.615 2 1.465 8 525
0.750 8 0.382 4 409
0.714 2 0.749 8 115

2.3 参数序列估计

本研究使用参数方程建立了小麦叶片的几何模型,基于实测小麦点云数据,对模型参数进行了回归估计,并考察了小麦第一片叶子伸出后20天里的几何形态变化。为方便对比所有参数的变化趋势,将分布范围相近的参数划分在同一组中呈现,各自单位以表1为准。
图15所示,茎叶夹角 ρ有明显的增加趋势,表明随着叶片的生长,叶片的倾角逐渐变小,可能是由于叶片在生长过程中,其内部结构逐渐变得柔软,同时随着叶片的伸长,重心逐渐下移,从而使得叶片在重力的作用下自然下垂;叶片长度 H在初始阶段表现出较为明显的增长趋势,但随着时间的推移,叶片长度的增长逐渐趋于稳定,表明叶片在生长初期经历了快速的细胞分裂和扩展,但随着叶片达到其遗传决定的最终大小,生长速度逐渐减缓并趋于稳定,这种生长模式的转变与植物体内的激素调节、营养供应以及环境因素(如光照、温度和水分)的变化有关;叶片弯曲度 a仅有微小的变大趋势,但由于采集到的点云序列比较短,没有能呈现更加明显的变化;叶片绕轴扭曲角 θ和偏移角 θ 0相对没有规律,很大程度上受到风的影响,存在比较大的不确定性。
图15 小麦叶片实测点云序列的参数估计结果

Fig. 15 Parameter estimation results of measured point cloud sequence of wheat leaves

图16为小麦第一片叶20天实测点云与重建点云的对照。以上结果表明,该模型能够很好地描述小麦叶片的三维几何形状,且其参数在具有明确的物理、几何意义的基础上,易于在随时间变化的点云上做出较为准确的连续估计。
图16 实测点云序列参数化重建点云对照

Fig. 16 Point cloud comparison between measured and reconstructed point cloud sequence

2.4 模型通用性验证

为了验证该方法在不同品种小麦上的通用性,图17给出了扬麦34和盐麦1两个品种102个叶片样本的估计误差(平均值1.15 mm),与图14的郑麦136结果相比,并无明显差别,表明该方法在不同小麦品种上也具有较好的通用性。
图17 扬麦34和盐麦1叶片的重建点云误差

Fig. 17 Reconstructed error of Yang Mai NO.34 and Yan Mai NO.1

3 讨论与结论

本研究提出的曲面模型可以很好地表征叶片的三维形状,该模型实质上将小麦叶片的三维点云编码为7个意义明确的几何参数,通过这组参数可以与小麦的功能模型之间建立联系,有助于构建植物的功能-结构反馈模型。同时,相比其他植物结构模型,该模型与植物功能模型相结合将更有望应用于探究植物器官几何结构可塑性的研究。
与传统植物结构模型不同,该研究旨在结合基于先验知识的参数化建模技术与基于后验数据的点云拟合技术,以构建特定物种植物三维结构层面上的数字孪生模型。本研究实现了对单株小麦叶片外形结构的参数化,尽管该方法简化并忽略了叶片中的一些细节特征,但能通过极少的参数极大地还原叶片的几何外形。相比深度学习方法,该方法不仅简单、直接、有效,其得到的参数有更明确的几何意义,而且具有可编辑、可解释的特点。不同于传统做法中仅通过尺规等工具测量植物器官的个别特征参数,本研究采集了小麦叶片的精细点云,并进行了点云配准与分割标注,为后续研究提供了一定的数据基础。
本研究以最大叶宽、叶长、叶形因子、茎叶夹角、弯曲度、绕轴扭曲角、绕轴扭曲偏移角7个参数构建小麦叶片参数化曲面模型,实现了对无标签小麦叶片点云的参数化重建。该模型可对小麦叶片进行有效的参数化重建,反演参数具备较高的可解释性,重建结果在1 049个实测点云上表现良好,平均偏差约1.2 mm,重建模型与点云之间具备互操作性,模型的参数可以灵活调整以生成形状相近的叶片簇。本研究的研究结果对于小麦叶片的仿真分析及数字孪生等具有重要的价值。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
SOUALIOU S, WANG Z W, SUN W W, et al. Functional–structural plant models mission in advancing crop science: Opportunities and prospects [J]. Frontiers in plant science, 2021, 12: ID 747142.

2
XIAO S F, FEI S P, LI Q, et al. The importance of using realistic 3D canopy models to calculate light interception in the field[J]. Plant phenomics, 2023, 5: ID 0082.

3
YAN H P, KANG M Z, DE REFFYE P, et al. A dynamic, architectural plant model simulating resource-dependent growth[J]. Annals of botany, 2004, 93(5): 591-602.

4
MATHIEU A, COURNÈDE P H, LETORT V, et al. A dynamic model of plant growth with interactions between development and functional mechanisms to study plant structural plasticity related to trophic competition[J]. Annals of botany, 2009, 103(8): 1173-1186.

5
DE REFFYE P, JAEGER M, SABATIER S, et al. Modelling the interaction between functioning and organogenesis in a stochastic plant growth model: Methodology for parameter estimation and illustration[C]// 2018 6th International Symposium on Plant Growth Modeling, Simulation, Visualization and Applications (PMA). Piscataway, New Jersey, USA: IEEE, 2018: 102-110.

6
OKURA F. 3D modeling and reconstruction of plants and trees: A cross-cutting review across computer graphics, vision, and plant phenotyping[J]. Breeding science, 2022, 72(1): 31-47.

7
BOUKHANA M, RAVAGLIA J, HÉTROY-WHEELER F, et al. Geometric models for plant leaf area estimation from 3D point clouds: A comparative study[J]. Graphics and visual computing, 2022, 7: ID 200057.

8
SANTOS T T, KOENIGKAN L V, BARBEDO J G A, et al. 3D plant modeling: Localization, mapping and segmentation for plant phenotyping using a single hand-held camera[M]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015: 247-263.

9
HU C H, LI P P, PAN Z. Phenotyping of poplar seedling leaves based on a 3D visualization method[J]. International journal of agricultural and biological engineering, 2018, 11(6): 145-151.

10
WU S, WEN W L, XIAO B X, et al. An accurate skeleton extraction approach from 3D point clouds of maize plants[J]. Frontiers in plant science, 2019, 10: ID 248.

11
ZHENG C X, WEN W L, LU X J, et al. Three-dimensional wheat modelling based on leaf morphological features and mesh deformation[J]. Agronomy, 2022, 12(2): ID 414.

12
NAGAI Y, TANAYA H. Leaf reconstruction based on Gaussian mixture model from point clouds of leaf boundaries and veins[J]. International journal of automation technology, 2024, 18(2): 287-294.

13
ANDO R, OZASA Y, GUO W. Robust surface reconstruction of plant leaves from 3D point clouds[J]. Plant phenomics, 2021, 2021: ID 3184185.

14
PRUSINKIEWICZ P, et al. L-studio/cpfg: A software system for modeling plants[C]// Applications of Graph Transformations with Industrial Relevance. Berlin, Germany: Springer, 1999: 457-464.

15
PRADAL C, DUFOUR-KOWALSKI S, BOUDON F, et al. OpenAlea: A visual programming and component-based software platform for plant modelling[J]. Functional plant biology, 2008, 35(10): 751-760.

16
KNIEMEYER O, BUCK-SORLIN G, KURTH W. Groimp as a platform for functional-structural modelling of plants[M]// Functional-Structural Plant Modelling in Crop Production. Dordrecht: Springer Netherlands, 2007: 43-52.

17
LI S W, VAN DER WERF W, GOU F, et al. An evaluation of Goudriaan's summary model for light interception in strip canopies, using functional-structural plant models[J]. In silico plants, 2024, 6(1): ID diae002.

18
刘志浩. 形状引导的过程式植物建模[D]. 深圳: 中国科学院深圳先进技术研究院, 2021.

LIU Z H. Shape driven procedural plant modeling[D]. Shenzhen: Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, 2021.

19
王华. 植物主要器官三维重建及系统实现[D]. 杭州: 浙江工业大学, 2020.

WANG H. Three-dimensional reconstruction of plant main organs and its system realization[D]. Hangzhou: Zhejiang University of Technology, 2020.

20
KEMPTHORNE D M, TURNER I W, BELWARD J A, et al. Surface reconstruction of wheat leaf morphology from three-dimensional scanned data[J]. Functional plant biology, 2015, 42(5): 444-451.

21
XU Y S, TONG X H, STILLA U. Voxel-based representation of 3D point clouds: Methods, applications, and its potential use in the construction industry[J]. Automation in construction, 2021, 126: ID 103675.

22
ZHANG S. High-speed 3D shape measurement with structured light methods: A review[J]. Optics and Lasers in engineering, 2018, 106: 119-131.

23
孙爱珍, 杨红云, 何火娇, 等. 水稻叶片三维可视化建模[J]. 安徽农业科学, 2008, 36(4): 1320-1321, 1423.

SUN A Z, YANG H Y, HE H J, et al. 3D visual modeling of rice leaf blade[J]. Journal of Anhui agricultural sciences, 2008, 36(4): 1320-1321, 1423.

Outlines

/