Welcome to Smart Agriculture 中文
Information Perception and Acquisition

Phenotypic Traits Extraction of Wheat Plants Using 3D Digitization

  • ZHENG Chenxi , 1, 2, 3 ,
  • WEN Weiliang , 1, 2 ,
  • LU Xianju 1, 2 ,
  • GUO Xinyu 1, 2 ,
  • ZHAO Chunjiang 1, 2, 3
Expand
  • 1. Information Technology Research Center, Beijing Academy of Agriculture and Forestry Sciences, Beijing, 100097, China
  • 2. Beijing Key Lab of Digital Plant, National Engineering Research Center for Information Technology in Agriculture, Beijing, 100097, China
  • 3. College of Information Engineering, Northwest A&F University, Yangling, 712100, China

Received date: 2022-03-14

  Online published: 2022-06-10

Highlights

Aiming at the difficulty of accurately extract the phenotypic traits of plants and organs from images or point clouds caused by the multiple tillers and serious cross-occlusion among organs of wheat plants, to meet the needs of accurate phenotypic analysis of wheat plants, three-dimensional (3D) digitization was used to extract phenotypic parameters of wheat plants. Firstly, digital representation method of wheat organs was given and a 3D digital data acquisition standard suitable for the whole growth period of wheat was formulated. According to this standard, data acquisition was carried out using a 3D digitizer. Based on the definition of phenotypic parameters and semantic coordinates information contained in the 3D digitizing data, eleven conventional measurable phenotypic parameters in three categories were quantitative extracted, including lengths, thicknesses, and angles of wheat plants and organs. Furthermore, two types of new parameters for shoot architecture and 3D leaf shape were defined. Plant girth was defined to quantitatively describe the looseness or compactness by fitting 3D discrete coordinates based on the least square method. For leaf shape, wheat leaf curling and twisting were defined and quantified according to the direction change of leaf surface normal vector. Three wheat cultivars including FK13, XN979, and JM44 at three stages (rising stage, jointing stage, and heading stage) were used for method validation. The Open3D library was used to process and visualize wheat plant data. Visualization results showed that the acquired 3D digitization data of maize plants were realistic, and the data acquisition approach was capable to present morphological differences among different cultivars and growth stages. Validation results showed that the errors of stem length, leaf length, stem thickness, stem and leaf angle were relatively small. The R2 were 0.93, 0.98, 0.93, and 0.85, respectively. The error of the leaf width and leaf inclination angle were also satisfactory, the R2 were 0.75 and 0.73. Because wheat leaves are narrow and easy to curl, and some of the leaves have a large degree of bending, the error of leaf width and leaf angle were relatively larger than other parameters. The data acquisition procedure was rather time-consuming, while the data processing was quite efficient. It took around 133 ms to extract all mentioned parameters for a wheat plant containing 7 tillers and total 27 leaves. The proposed method could achieve convenient and accurate extraction of wheat phenotypes at individual plant and organ levels, and provide technical support for wheat shoot architecture related research.

Cite this article

ZHENG Chenxi , WEN Weiliang , LU Xianju , GUO Xinyu , ZHAO Chunjiang . Phenotypic Traits Extraction of Wheat Plants Using 3D Digitization[J]. Smart Agriculture, 2022 , 4(2) : 150 -162 . DOI: 10.12133/j.smartag.SA202203009

1 引 言

植物表型是能够反映植物细胞、组织、器官、植株和群体结构及功能特性的物理、生理和生化性状,其本质是植物基因图谱的时序三维表达及其地域分异特征和代际演进规律1。植物表型研究是遗传育种2和精准栽培3的关键,也是植物功能-结构模型4以及数字植物技术5等研究的核心内容。随着各学科的发展和数据处理能力的提升,植物表型研究已迈入了组学时代6,7,传统测量方式已无法满足植物表型高通量获取需求8,迫切需要针对不同植物开展精准、高效表型高通量获取研究。小麦是世界三大粮食作物之一,开展小麦植株形态结构表型参数提取方法研究对于小麦株型育种9具有重要意义。
传统的植物形态结构表型获取以人工测量为主,所获取表型参数精度受环境和人为因素影响较大。近年来,基于图像的植物表型提取方法获得广泛应用10-13,但利用单幅图像难以解决植物器官复杂的遮挡问题,部分形态结构参数的提取精度受图像获取角度影响较大。相比之下,基于三维数据提取植物形态结构表型可以得到较高的精度14,15。在小麦三维表型提取方面,付晶波等16利用多视角图像采集系统获取小麦幼苗图片并提取了小麦的株高和叶长,但仅针对小麦分蘖前的幼苗期进行了试验;翟苗苗17利用LiDAR获取小麦植株三维数据并解析出高度和体积性状,用于构建小麦生物量模型。可以发现,对于小麦这种分蘖多、叶片等器官遮挡严重的作物,利用常规的二维图像和三维点云解析方法都难以提取到高精度的植株表型参数,且无法利用一组数据提取到所需的多个表型参数,尤其是小麦生育后期植株内部的形态结构信息。三维数字化仪是一种可以测量物体特征点精确空间坐标位置的电磁设备,特别适用于分枝结构复杂的植物18,19。为解决器官间存在大量交叉遮挡植物形态结构表型高精度提取问题,研究者利用三维数字化仪(3D Digitizer)直接还原植物植株在三维空间中形态结构,并在此基础上提取植株表型参数。例如,温维亮等20,21针对玉米形态结构特征,制定了玉米三维数字化数据获取标准,并在此基础上实现了玉米株型参数的准确解析;Fournier等22利用三维数字化仪对小麦叶片出生方向、叶脉、叶形进行准确测量并构建了数据集,并用于构建小麦植株生长发育模型。然而,目前未见利用三维数字化仪对小麦植株进行精确的形态结构表型解析的报道。
本研究以此为出发点,针对不同生育期小麦植株形态结构特征,利用三维数字化技术,制定小麦植株三维数字化数据获取规范,从“单株-单茎-器官”不同尺度一次性快速提取所需的多个小麦植株表型参数并进行可视化。为更加深入分析小麦三维形态结构,本研究在玉米株型参数提取方法21的基础上,针对小麦的复杂分蘖结构进一步详细了数据获取规范。利用该规范获取的小麦三维数字化数据相较于骨架信息,包含了叶片精细形态信息,能提取更多三维表型参数。同时,还对植株松散程度和叶片卷曲、扭曲程度进行了定量化计算。在此基础上,进行小麦植株的下一步三维重建和表型解析能够解决器官间遮挡严重的问题,从而获得更准确、完整的信息。

2 小麦植株三维数字化数据获取与表型参数提取方法

在不破坏小麦原始三维形态结构的前提下,对大田种植的小麦植株进行取样,并依据制定好的数据获取规范进行小麦形态数据获取。获取完毕后,在Python3.8环境下利用Open3D 0.13.0对不同生育时期的小麦植株进行可视化。同时进行相关表型参数的自动化提取,包括高度和长度参数、粗度参数、角度参数,以及叶片卷曲和扭曲程度四类。图1给出了小麦表型参数提取方法的整个流程。
图1 小麦表型参数提取整体流程

Fig. 1 Overall process of wheat phenotypic parameter extraction

2.1 小麦三维数字化数据获取

2.1.1 数据获取

冬小麦试验地点为北京市农林科学院试验田(N39°56′,E116°16′)。选取了丰抗13号(FK13)、西农979号(XN979)和济麦44号(JM44)三个株型、叶形差异较大的品种。其中,丰抗13号植株较高,株型较松散,叶片具有细长的形态特征;济麦44号植株较矮,株型较紧凑,叶片具有宽和短的特点;西农979号株型和叶形特征均居中。播种时间为2020年10月4日,每个品种一个小区,各小区大小设定为2.25 m×1.5 m,小区植株行距和株距分别为0.2和0.05 m。田间播种前撒施复合肥(N-P2O5-K2O:12-18-15),施肥量为75 g/m2,并于拔节期随水追施30 g/m2尿素。越冬期浇冻水一次,拔节期、灌浆期、成熟期分别浇水一次,灌水量为45 m³/m2
采用机械臂式数字化仪Microscribe i(Revware,USA,图2)进行数据获取,其有效获取范围达1.27 m,精度为0.178 mm,满足小麦植株三维数字化数据获取要求。
图2 Microscribe i三维数字化仪

Fig. 2 3D Digitizer Microscribe i

于小麦生长的三个关键生育期(起身期、拔节期和抽穗期)对各品种植株进行三维数字化数据获取,每个品种重复3次。通过整株移植至花盆、搬至室内的方式取样,尽量保证所取样品为叶片表面完整的植株,在无风的环境下根据制定的数据获取规范对小麦地上部进行三维数字化数据采集。数据获取前,基于电磁定位原理使用定标块进行位置标定,植株摆放在机械臂能触达的范围内。为保持同一植株各器官在同一坐标系下,数据获取过程中植株不能移动。同时,对各器官形态结构参数进行人工测量并记录。在数据采集过程中,要求无风且仪器不能触碰小麦植株,以避免小麦植株叶片在数据获取过程中发生位置变化形成误差。每株小麦植株数据获取完成后,需利用自主开发的程序对数据以可视化的方式进行检查,若发现数据缺失或有误,及时重新获取。

2.1.2 小麦植株数字化表达及数据获取规范

基于小麦生长发育规律制定适用于整个生育期的数据获取规范,以确保整个植株三维数字化数据获取的完整性和各结构单元之间连接的正确性。曹卫星和李存东23利用英文名称首字母对小麦各器官命名,系统地提出了地上部器官序列化命名方案,且通过数字标记表明植株上各器官发育的时空序位。本研究结合冬小麦的结构单元划分,在此基础上以器官为单位,制定了小麦植株各器官数字化表达及数据获取规范。
(1)茎。由S(Stem)表示,主茎(Main Stem)为 S M;分蘖(Tiller)为 S T i , ji为着生在主茎上一级分蘖序号,j为着生在一级分蘖上的二级分蘖序号。由于一般三级分蘖存活率不高,本研究暂不考虑。首先在主茎出生处环绕式获取3个坐标点用来记录茎的粗度信息,然后从茎的出生处开始由下至上获取若干点(图3(a)),茎上最后一片叶与茎的连接处作为结束点。小麦拔节后,要求每个点与小麦的节点位置重合。抽穗后,需以穗的出生处作为结束点。主茎数据点集由 S k M表示, N S M为所获取主茎三维数字化点的数量,因此 0 < k N S M , k ZZ为整数;将主茎出生点 S 4 M视为整个小麦植株的出生点。分蘖数据点集由 S k T i , j表示, N i , j S T为对应分蘖包含数据点的数量。
(2)叶。由L(Leaf)表示,主茎叶片为 L M;分蘖叶片为 L T i , j。按照从叶片出生处沿叶尖方向,逐行获取叶片左边缘、叶脉、右边缘三个点(图3(b))数据,以叶尖处一个点作为结束。要求间隔距离不宜过长,需包含能明显表示叶片形态变化处以及叶片最高点信息,叶片发生扭曲时仍须以叶片平展开之后的初始横向方向进行数据获取。主茎叶片数据点集由 L k M , n表示,n为叶片生长发育顺序, Q 0为主茎包含叶片数量,因此 0 < n Q 0 , n Z N n L M为所获取主茎第n片叶三维数字化点的数量,因此 0 < k N n L M , k Z;分蘖叶片数据点集由 L k T i , j , n表示, Q i , j 为对应分蘖包含的叶片数量; N i , j , n L T为对应分蘖第n片叶包含数据点的数量。
(3)穗。由E(Ear)表示,主茎的穗为 E M;分蘖的穗为 E T i , j。数据获取从穗的出生处开始由下至上获取若干点,以穗尖处作为结束点。主茎的穗数据点集由 E k M表示, N E M为所获取主茎穗的三维数字化点的数量,因此 0 < k N E M , k Z;分蘖穗的数据点集由 E k T i , j表示, N i , j E T为对应分蘖的穗包含数据点的数量。
图3 小麦茎、叶片数据获取示意图

Fig. 3 Data acquisition of wheat stems and leaves

2.2 小麦表型参数提取方法

2.2.1 数据标准化

数据可视化和提取小麦植株表型参数前,需对三维数字化数据进行标准化处理,从而使小麦植株均位于原点,且主茎生长方向竖直向上重合于Z轴,便于植株的可视化显示以及高度参数的提取。
由于主茎数据点集前3个数据点为粗度信息,第4个点 S 4 M为主茎出生点。首先将 S 4 M平移至坐标(0,0,0),并对所有剩余数据点做同等平移操作。然后根据主茎生长方向对植株进行旋转,生长方向由主茎上第一个和最后一个记录长度信息的坐标点形成的向量表示, g = S N S M M . z - S 4 M . z v z = 0,0 , 1为Z轴正方向上一向量,其中 S i M . x S i M . y S i M . z分别表示三维空间点 x y z坐标值。记θ g v z 的夹角,以向量 a x i s = g × v z 作为旋转轴,所有数据点绕 a x i s 旋转角度θ完成数据标准化。完成标准化之后,针对不同数据点集使用参数提取方法进行表型参数的计算与提取。

2.2.2 高度、长度参数提取

(1)株高、茎长、节间长的计算。根据数据获取规则,拔节后茎的数据点的获取与节点一致。 d ( p i , p j )表示三维空间中两点的欧式距离,以主茎为例,则从主茎出生处开始,第i个节间长的计算方法如公式(1)所示。node为节间长度,cm
n o d e i = d ( S i + 3 M , S i + 4 M )   ,   1 i < N S M - 3
茎长为各节间长的总和,计算方法如公式(2)所示。s为茎长,cm。
s = i = 1 N S M - 4 n o d e i
数据标准化后,三维空间内的Z坐标就表示高度信息。小麦植株株高为主茎和分蘖的高度最大值,抽穗前,高度最大值由最上部叶叶尖点的Z坐标决定。 N Q 0 L M为主茎最上部叶数据点的数量,令 n 0 = N Q 0 L M,则 L n 0 M , Q 0为主茎最上部叶的最后一个坐标点; N i , j , Q i , j L T为分蘖 T i , j的最上部叶的最后一个坐标点,令 n i , j = N i , j , Q i , j L T,则 L n i , j T i , j , Q i , j为分蘖最上部叶的最后一个坐标点,株高的计算方法如公式(3)所示。H为株高,cm。
H = m a x   ( L n 0 M , Q 0 . z , m a x   ( L n i , j T i . j , Q i , j . z ) )
抽穗后,高度最大值根据旗叶姿态决定,选择旗叶和穗最后一个点的Z坐标的较大值。 E N E M M为主茎上穗的最后一个坐标点, E N i , j E T T i , j为分蘖 T i , j上穗的最后一个坐标点,则株高的计算方法如公式(4)所示。
H = m a x   ( L n 0 M , Q 0 . z , m a x   ( L n i , j T i , j , Q i , j . z ) , E N E M M . z , m a x   ( E N i , j E T T i , j . z ) )
(2)叶长、叶宽、叶片出生位置的计算。数据获取时,叶片每行数据点的间隔距离保证了曲率没有较大变化,因此叶长采用计算叶脉上相邻数据点间距离和的方式。但折线段的累积和小于叶长实际值,根据不同品种实际值和提取值确定经验比例系数 ξ调整计算公式。由于集合内叶脉数据点的间隔为3,最后叶尖处与前一点的间隔为2,以主茎第一片叶为例,数据点集合大小为 N 1 L M,则叶长的计算方法如公式(5)所示。l为叶长,cm。
l = ( i = 1 N 1 L M / 3 - 1 d ( L 3 i - 1 M ,   1 , L 3 i + 2 M ,   1 ) + d ( L N 1 L M M ,   1 , L N 1 L M - 2 M ,   1 ) ) / ξ
叶宽的计算为左、右边缘点到叶脉点的距离之和,以和叶长同样方式确定经验比例系数 τ。以主茎第一片叶为例,从叶片出生处开始,第i排位置处叶宽的计算方法如公式(6)所示。w为叶宽,cm。
w i = ( d ( L 3 i - 2 M ,   1 , L 3 i - 1 M ,   1 ) + d ( L 3 i - 1 M ,   1 , L 3 i M ,   1 ) ) / τ   ,   1 i N 1 L M / 3
其最大叶宽 w m a x   ( w i )
叶片的出生位置即该叶片与茎的连接点的位置,具体为第1行数据点的中间叶脉点 ( L 2 M ,   1 . x , L 2 M ,   1 . y , L 2 M ,   1 . z ),且出生高度为 L 2 M ,   1 . z
(3)穗长、穗出生位置的计算。穗长也采用穗上相邻数据点间距离和的方式计算,以主茎为例,穗长的计算方法如公式(7)所示,e为穗长,cm。
e = i = 1 N E M - 1 d ( E i M , E i + 1 M )
穗的出生位置为穗的数据点中的第一个坐标点,具体为 ( E 1 M . x , E 1 M . y , E 1 M . z ),且出生高度为 E 1 M . z

2.2.3 粗度参数提取

(1)茎粗的计算。通过计算茎数据点集前3个点的外接圆半径确定茎粗。根据三点共面、三点到圆心距离相等两个约束条件求得3个平面方程如(8)所示。
A P + B = 0
其中, A 为表示方程系数的三阶方阵;B为常数项; P 为外心坐标矩阵。以主茎为例,通过 S 1 M S 2 M S 3 M三点可以求得外心pox oy oz o),则茎粗o S 1 M S 2 M S 3 M三点到圆心距离的两倍加权平均值,cm,计算方法如公式(9)所示。
o = 2 3 i = 1 3 d ( S i M , p o )
(2)围度的计算。小麦植株的紧凑和松散程度与分蘖产生后茎秆下半部分生长情况有着直接联系,将小麦下部1/3处各茎组成的多边形外接圆的直径定义为小麦的围度。株高为H的小麦植株通过拟合H/3高度处各茎共m个坐标点pi,由于坐标点不在确定的圆周上,所以利用拉格朗日乘数法求解圆心的最优解24来计算小麦植株的围度u图4)。围度大小可直接说明小麦植株的松散程度,定量描述小麦的株型。
图4 植株围度拟合示意图

Fig. 4 The fitting schematic diagram of wheat plant girth

通过构建出拉格朗日函数FPu,λ),分别对Puλ求一阶偏导数,并令F’Pu,λ)等于零,解出 Pu = [xu yu zuT 即为最后圆心坐标的最优解,可构建方程如公式(10)所示。
F ( P u , λ ) = D P u - G 2 + λ ( U P u - 1 )
其中, D G 分别为表示线性方程组fxuyuzu )方程系数的 m ( m - 1 ) 2 × 3阶矩阵和常数项;fxuyuzu )为在假设所有坐标点都在圆周上此前提下,利用其中任意两点的连线垂直于连线中点与圆心连线此性质所构建的 m ( m - 1 ) 2 × 3维线性方程组; U = a,b,cT,其中abc为所有离散点(包括圆心)所在的平面ax + by + cz - 1 = 0的方程系数。
根据各茎坐标点pi 到圆心puxuyuzu )的两倍加权平均距离确定围度u,计算方法如公式(11)所示。
u = 2 n i = 1 n d ( p i , p u )

2.2.4 角度参数提取

(1)茎叶夹角的计算。根据茎叶夹角定义并参考人工测量方法,可通过叶片出生处生长方向和茎局部生长方向这两个空间向量的夹角计算茎叶夹角。叶片出生处生长方向 l 可由前2个叶脉数据点来表示,茎局部生长方向通过叶片出生高度定义此叶片在第几节间,计算节点间向量 s 。则茎叶夹角的计算如公式(12)所示, α为茎叶夹角,(°)。
α = a r c c o s   ( s - l s × l )
(2)叶倾角的计算。一般情况下,通过直接连接叶耳与叶尖,测量此向量与XOY平面的夹角确定叶倾角。但小麦叶片在不同时期存在较大的差异性,弯曲程度很大,所以需要分段计算。根据数据获取规范,叶片最高点一定在数据点集合中。计算相邻叶脉点连成的向量和XOY平面之间的夹角取平均值,为最后的叶倾角结果(图5)。叶片后期受重力原因或衰老出现下垂情况,不纳入叶倾角计算范围内。以主茎第一片叶为例,叶片数据点集合大小为 N 1 L M,所以 ( N 1 L M - 1 ) / 3段叶脉向量中只取Z为正值的向量。如图5所示,叶片最高点之前的有效分段向量(颜色标记段)纳入计算范围。假设前m段叶脉向量符合要求,取第一段叶脉向量在XOY平面上的投影向量 e z ,则叶倾角的计算如公式(13)所示, β为叶倾角,(°)。
β = 1 m i = 1 m a r c c o s   ( ( L 3 i + 2 M ,   1 - L 3 ( i - 1 ) + 2 M ,   1 ) × e z L 3 i + 2 M ,   1 - L 3 ( i - 1 ) + 2 M ,   1 × e z )
图5 小麦叶片叶脉分段向量示意图

Fig. 5 Segment vector and highest point of wheat leaf vein

2.2.5 叶片卷曲、扭曲程度参数提取

在小麦生长过程中,部分叶片会发生扭曲、卷曲等形变。通过参数对叶片扭曲、卷曲程度进行定量化,有利于分析不同品种间叶片的形态差异。
(1)叶片卷曲程度的计算。叶面卷曲程度刻画以叶脉为中心,左右两侧叶面形成的卷曲。通过提取叶面有关向量,定义小麦扭曲和卷曲程度参数。通过右手定则计算叶面数字化数据中叶脉左右面元法向 u l e f t u r i g h t 的夹角 γ图6),从而确定此叶长处的卷曲程度。以主茎第一片叶为例,叶片数据点集合大小为 N 1 L M,则能确定 ( N 1 L M - 1 ) / 3个叶脉左右面元夹角,卷曲程度 c的计算如公式(14)所示。
c = n - 1 3 i = 1 ( N 1 L M - 1 ) / 3 γ i / 90
图6 小麦叶片卷曲程度计算示意图

Fig. 6 Schematic diagram of wheat leaf curling calculation

c取值范围在[0,1],值越大证明叶片卷曲越明显。
(2)叶片卷曲程度的计算。叶面扭曲程度刻画沿叶脉从基部到叶尖方向叶面方向的整体变化趋势。未发生扭曲的小麦叶片,对应的左右边缘点确定的向量 v 在三维空间中应该具有平行的性质。通过计算相邻向量的夹角累积和(图7),可以确定叶片的扭曲程度。以主茎第一片叶为例,叶片数据点集合大小为 N 1 L M,则能确定 ( N 1 L M - 1 ) / 3个向量,向量计算如公式(15)所示。
v i = L 3 i M ,   1 - L 3 i - 2 M ,   1 ,
1 i ( N 1 L M - 1 ) / 3
图7 小麦叶片扭曲程度计算示意图

Fig. 7 Schematic diagram of wheat leaf twisting calculation

扭曲程度q的计算方法如公式(16)所示。
q = ( i = 2 ( N 1 L M - 1 ) / 3 a r c c o s   ( v i v i - 1 v i × v i - 1 ) ) / 360
q取值范围在[0,1],数值越大表明叶片扭曲越明显。图8给出了对小麦叶片数据点集进行可视化的结果,其扭曲度分别为0.12、0.56和0.89。
图8 三种扭曲度的小麦叶片

Fig. 8 Wheat leaves with three twisting degrees

2.3 数据可视化

用Open3D库对小麦植株数据进行处理并可视化,数据处理流程可以分为以下3个步骤。
(1)三角网格化。利用数字化数据包含点的坐标和顺序信息,生成三角网格。
(2)网格细分。对三角网格化后的叶片,采用Loop网格细分25方法对各叶片网格加细,针对小麦叶片迭代细分2次后可达到最佳效果。
(3)网格着色。根据小麦器官颜色使用paint_uniform_color函数对网格进行上色。
图9分别给出了小麦单个叶片和整个植株原始数字化数据、生成三角网格、进行网格细分,和网格着色的效果图。
图9 小麦叶片和植株可视化数据处理流程

Fig. 9 Visual data processing flow of wheat leaves and plants

2.4 数据分析方法

采用以下几个标准评价参数精度。
(1)均方根误差(Root Mean Square Error,RMSE)是实测值与预测值之间误差平均值的平方根,计算方法如公式(17)所示。
R M S E = i = 1 n ( a c t u a l i - p r e d i c t e d i ) 2 n
(2)决定系数(R-square,R2 )是实测值与预测值之间的模型拟合度,取值范围在[0,1],计算方法如公式(18)所示。
R 2 = i = 1 n ( p r e d i c t e d i - M e a n ) 2 i = 1 n ( a c t u a l i - M e a n ) 2
其中,Mean为实测值均值,计算方法如公式(19)所示。
M e a n = i = 1 n a c t u a l i n

3 结果与分析

3.1 可视化结果

利用Open3D对小麦三维数字化数据进行可视化,以最直观的方式体现小麦植株品种间以及不同生育期的差异,在此基础上进行小麦模型构建,可解决小麦器官遮挡严重的问题。
图10给出了在起身期、拔节期、抽穗期获取的3个品种数字化数据的可视化结果。由结果可知,JM44分蘖最多,XN979次之,FK13最少。在株型方面,XN979在拔节前植株相对更高;但拔节后FK13节间迅速伸长,直至形态不再发生变化时,FK13植株均为最高,XN979相对较矮;同时FK13围度值较大,更加松散;XN979和JM44围度值较小,更加紧凑。在叶片形态方面,FK13叶片具有细长的特点,叶长最大,叶宽最小,卷曲程度较大;XN979和JM44叶宽较大,卷曲程度较小;但由于品种特性,JM44叶片拥有更大的叶片扭曲程度,XN979叶片最为平展。

3.2 参数提取结果精度分析

图 10 3个品种小麦植株(FK13、XN979、JM44)在不同生育期(起身期、拔节期、抽穗期)数据可视化结果

Fig. 10 Data visualization results of 3 different cultivar wheat plants(FK13、XN979、JM44) in different growth periods (Rising period, Jointing period, Heading period)

为评价所提出的小麦植株表型参数提取方法的精度,选取了起身期、拔节期、抽穗期对应数据进行验证。其他方法无法精准提取到各时期所需表型参数,因此利用实测数据进行对比分析。表1给出了抽穗期3个品种小麦植株长度、粗度和角度参数的提取值和实测值均值。由结果可知,提取值与实测值相差不大,且能体现出品种差异。其中,FK13叶长值最大,叶宽值最小;JM44叶片拥有相对较小的叶长值,叶宽值最大;XN979居中。在茎长、茎粗方面,FK13茎长且细,XN979茎偏短且粗,JM44居中。FK13叶片的茎叶夹角较大,但叶倾角最小;JM44茎叶夹角最小,但叶倾角最大;XN979居中。图11进一步给出了3个品种小麦植株在3个生育期提取的叶长、叶宽、茎长、茎粗、茎叶夹角、叶倾角值与实测值对比结果,以及验证结果均方根误差RMSE和决定系数R2。图中粉色、黑色和蓝色分别表示起身期、拔节期和抽穗期三个生育期的拟合效果。
表1 3个品种小麦植株抽穗期叶长、叶宽、茎长、茎粗、茎叶夹角、叶倾角提取值与实测值均值

Table 1 Mean of extracted and measured leaf length, leaf width, stem length, stem diameter, angle between stem and leaf, and leaf angle of 3 different cultivar wheat plants in Heading period

表型参数均值 FK13 XN979 JM44
提取旗叶叶长/cm 15.07 14.56 14.26
实测旗叶叶长/cm 15.18 14.66 14.50
提取旗叶叶宽/cm 1.11 1.82 2.06
实测旗叶叶宽/cm 1.13 1.79 1.96
提取茎长/cm 74.98 58.63 64.10
实测茎长/cm 74.03 58.43 63.78
提取茎粗/cm 3.09 3.93 3.89
实测茎粗/cm 3.11 3.90 3.92
提取茎叶夹角/(°) 52.23 35.35 23.49
实测茎叶夹角/(°) 53.86 35.21 23.40
提取叶倾角/(°) 42.86 25.57 51.34
实测叶倾角/(°) 39.70 27.72 55.82
图 11 3个品种植株在不同生育期(起身期、拔节期、抽穗期)提取的叶长、叶宽、茎长、茎粗、茎叶夹角、叶倾角值与实测值对比结果

Fig. 11 Comparison results between extracted and measured leaf length, leaf width, stem length, stem diameter, angle between stem and leaf, and leaf angle of 3 different cultivar wheat plants in different growth periods(Rising, Jointing and Heading period )

在小麦表型参数提取方面,其他方法都无法在保持植株原有三维形态结构的前提下,进行小麦以上表型参数的完整、准确获取26;特别在三叶一心后的主要关键生育时期,小麦形态结构复杂,器官遮挡严重。由对比结果可知,叶长、茎长、茎粗、茎叶夹角的计算误差较小,三个品种的平均R2 分别为0.93、0.98、0.93、0.85,叶宽和叶倾角与实测值的相关系数R2 分别为0.75、0.73,但在不进行植株拆除测量的情况下,误差不大。

3.3 参数提取时间效率分析

为评价本方法的重建效率,计算了单个小麦植株数据处理和参数提取的CPU所用时间。以抽穗期小麦为例,其平均分蘖数和平均叶片数分别为7和27,在此情况下数据读取和处理所耗时间约为121 ms,表型参数提取所耗时间约为12 ms,总时间为133 ms。以上方法是在windows10操作系统下VS2019中实现,使用的计算机配置为:Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz,16G RAM。

4 讨 论

本研究针对小麦分蘖多、器官遮挡严重等特征,基于三维数字化技术构建了一套快速、精确、自动提取小麦表型参数的方法,具有一致性强、精度高、操作便捷的特点。此方法在保持植株原始三维形态结构的前提下,对小麦三维数字化数据进行可视化,并一次性计算提取小麦包含长度、粗度和角度的11个常规可测表型参数。同时,定量分析小麦植株的松散、紧凑程度和叶片卷曲、扭曲程度,分别从植株和器官等不同尺度更好地描述了小麦的形态特征。此方法有助于分析小麦品种的形态结构差异,对小麦株型理想株型培育具有一定意义。
利用三维数字化仪获取单株小麦数据,获取工作量与对所有参数进行人工测量相近。但利用三维数字化数据可对如植株围度、叶片卷曲和扭曲程度等参数定量化,人工则难以定量测量。同时,人工测量主观性强,不同操作、个人读数习惯等都容易影响测量结果,而三维数字化数据更为客观,不因上述因素产生数据误差,具有更好的一致性。
基于图像和基于三维点云的植物株型参数提取是目前应用较多的两类方法,可实现玉米12、棉花13、甜菜14等植物表型参数的提取。但由于小麦属于多分蘖作物,具有分蘖和叶片多、叶片细软的特点,同时叶片相互遮挡严重,基于图像和点云的方法都无法适用于小麦整个生育期,且提取的表型参数有限。目前未见其他方法在不破坏植株原始三维形态结构的情况下,自动批量提取本系统中包含的所有小麦表型参数。在已有的小麦表型参数提取研究中,利用多视角图像系统采集的小麦幼苗图片,结合Mask R-CNN方法16提取了小麦叶长和株高,相关系数R2 分别为0.87和0.98。本方法提取的小麦叶长和茎长R2 分别为0.93和0.98,误差更小。基于LiDAR的方法17对2016—2018年连续两年小麦的分蘖数进行了估算,相关系数R2 分别为0.61和0.56,同时利用高度指标和体积指标构建小麦生物量模型,但缺乏长度和角度等更精准的表型参数的获取。本方法可以直接根据数据集数量得知分蘖数,并提取长度、粗度、角度相关的表型参数。提取的叶长、茎长、茎粗、茎叶夹角的R2 分别为0.93、0.98、0.93、0.85,叶宽和叶倾角的R2 分别为0.75、0.73。其中,叶宽和叶倾角的误差相较其他表型参数略大。主要原因是小麦叶片较窄,同时叶片会出现卷曲和扭曲现象,所获取的叶边缘点可能不在叶脉的垂线上,人工测量时也不易确定最大叶宽处。叶倾角误差较大是由于人工测量对测量位置选取不一致导致测量精度不高;而利用三维数字化数据计算的叶倾角是多处提取结果的均值,各种弯曲程度叶片都能实现精度较高的计算结果。
本方法制定了包含植株语义信息的数据获取规范,利用三维数字化仪进行数据获取精确定位了各个茎、叶片、穗等器官的空间位置,解决了小麦器官间遮挡问题,可以实现小麦表型参数的精准提取。该数据获取规范可直接应用到水稻等形态结构相似的禾本科分蘖作物上,其他作物也可以在此基础上根据自身形态结构特征进行修改和应用。
同时,本研究实现了小麦植株的可视化仿真,能完整还原小麦三维形态结构并进行表型参数的精确提取。虽然已有研究实现了小麦三维模型的快速重建,但由于利用三维扫描或多视角三维重建得到的植株点云存在如叶缘和植株内部信息缺失问题27,28,不适用于复杂植株的三维重建,且难以高精度地提取器官尺度表型参数29,30。本方法获取数据精确,但依赖于仪器设备,数据获取的时间成本也相对较高,对于实现高通量的小麦表型参数获取还需进一步研究。
1
赵春江. 植物表型组学大数据及其研究进展[J]. 农业大数据学报, 2019, 1(2): 5-18.

ZHAO C. Big data of plant phenomics and its research progress[J]. Journal of Agricultural Big Data, 2019, 1(2): 5-18.

2
VOS J, EVERS J B, BUCK-SORLIN G H, et al. Functional-structural plant modelling: A new versatile tool in crop science[J]. Journal of Experimental Botany, 2010, 61(8): 2101-2115.

3
ROBERT T, FURBANK, TESTERMARK. Phenomics -technologies to relieve the phenotyping bottleneck[J]. Trends in Plant Science, 2011, 16(12): 635-644.

4
COBB J N, DECLERCK G, GREEBERG A, et al. Next-generation phenotyping: Requirements and strategies for enhancing our understanding of genotype-phenotype relationships and its relevance to crop improvement[J]. Theoretical and Applied Genetics, 2013, 126: 867-887.

5
赵春江, 陆声链, 郭新宇, 等. 数字植物及其技术体系探讨[J]. 中国农业科学, 2010, 43(10): 2023-2030.

ZHAO C, LU S, GUO X, et al. Exploration of digital plant and its technology system[J]. Scientia Agricultura Sinica, 2010, 43(10): 2023-2030.

6
FIORANI F, SCHURR U. Future scenarios for plant phenotyping[J]. Annual Review of Plant Biology, 2013, 64(1): 267-291.

7
HOULE D, GOVINDARAJU D R, OMHOLT S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-866.

8
KUMAR J, PRATAP A, KUMAR S. Phenomics in crop plants: Trends, options and limitations[M]. Berlin: Springer India, 2015.

9
GROßKINSKY DOMINIK K, JESPER S, SVEND C, et al. Plant phenomics and the need for physiological phenotyping across scales to narrow the genotype-to-phenotype knowledge gap[J]. Journal of Experimental Botany, 2015, 66(18): 5429-5440.

10
朱荣胜, 李帅, 孙永哲, 等. 作物三维重构技术研究现状及前景展望[J]. 智慧农业(中英文), 2021, 3(3): 94-115.

ZHU R, LI S, SUN Y, et al. Research advances and prospect of crop 3D reconstruction technology[J]. Smart Agriculture, 2021, 3(3): 94-115.

11
GUO W, RAGE U K, NINOMLYA S. Illumination invariant segmentation of vegetation for time series wheat images based on decision tree model[J]. Computer and Electronics in Agriculture, 2013, 96: 58-66.

12
宗泽, 张雪, 郭彩玲, 等. 基于骨架提取算法的作物表型参数提取方法[J]. 农业工程学报, 2015, 31(S2): 180-185.

ZONG Z, ZHANG X, GUO C, et al. Crop phenotypic parameters extraction method based on skeleton extraction algorithm[J]. Transactions of the CSAE, 2015, 31(S2): 180-185.

13
PAPROKI A, SIRAULT X, BERRY S, et al. A novel mesh processing based technique for 3D plant analysis[J]. BMC Plant Biology, 2012, 12(1): 63-63.

14
柴宏红, 邵科, 于超, 等. 基于三维点云的甜菜根表型参数提取与根型判别[J]. 农业工程学报, 2020, 36(10): 181-188.

CHAI H, SHAO K, YU C, et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud[J]. Transactions of the CSAE, 2020, 36(10): 181-188.

15
PAULUS S, SCHUMANN H, KUHLMANN H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.

16
付晶波, 施家伟, 张俊, 等. 基于Mask R-CNN的盆栽小麦单片叶长和株高提取研究[J]. 吉林农业大学学报, 2021, 43(2): 163-170.

FU J, SHI J, ZHANG J, et al. Extraction of leaf length and plant height from potted wheat based on Mask R-CNN[J]. Journal of Jilin Agricultural University, 2021, 43(2): 163-170.

17
翟苗苗. 基于地面激光雷达的小麦生物量和分蘖数估算研究[D]. 南京: 南京农业大学, 2018.

ZHAI M. Estimating wheat biomass and tiller number based on terrestrial laser scanning[D]. Nanjing: Nanjing Agricultural University, 2018.

18
SINOQUET H, THANISAWANYANGKURA S, MABROUK H, et al. Characterization of the light environment in canopies using 3D digitising and image processing[J]. Annals of Botany, 1998, 82(2): 203-212.

19
郭焱, 李保国. 虚拟植物的研究进展[J]. 科学通报, 2001(4): 273-280.

GUO Y, LI B. Research progress of virtual plant[J]. Chinese Science Bulletin, 2001(4): 273-280.

20
温维亮, 郭新宇, 卢宪菊, 等. 玉米器官三维模板资源库构建[J]. 农业机械学报, 2016, 47(8): 266-272.

WEN W, GUO X, LU X, et al. Three-dimensional template resource library construction of maize organs[J]. Transactions of the CASM, 2016, 47(8): 266-272.

21
温维亮, 郭新宇, 赵春江, 等. 基于三维数字化的玉米株型参数提取方法研究[J]. 中国农业科学, 2018, 51(6): 1034-1044.

WEN W, GUO X, ZHAO C, et al. Research on maize plant type parameter extraction by using three dimensional digitizing data[J]. Scientia Agricultura Sinica, 2018, 51(6):1034-1044.

22
FOUTNIER C, ANDRIEU B, LJUTOVAC S, et al. ADEL-Wheat: A 3D Architectural Model of wheat development[C]// International Symposium on Plant Growth Modeling. Beijing, China: Tsinghua University Press-Springer Verlag, 2003.

23
曹卫星, 李存东. 小麦器官发育序列化命名方案[J].中国农业科学, 1997, 30(5):67-71.

CAO W, LI C. A Sequential naming scheme for developmental organs in wheat[J]. Scientia Agricultura Sinica, 1997, 30(5): 67-71.

24
李英硕, 杨帆, 袁兆奎. 空间圆形拟合检测新方法[J]. 测绘科学, 2013, 38(6): 147-148.

LI Y, YANG F, YUAN Z. A new method of spatial circle fitting detection[J]. Science of Surveying and Mapping, 2013, 38(6): 147-148.

25
栾婉娜, 刘成明. 基于逆Loop细分的半正则网格简化算法[J]. 图学学报, 2020, 41(6): 980-986.

LUAN W, LIU C. A semi-regular mesh simplification algorithm based on inverse Loop subdivision[J]. Journal of Graphics, 2020, 41(6): 980-986.

26
诸叶平, 李世娟, 李书钦. 作物生长过程模拟模型与形态三维可视化关键技术研究[J]. 智慧农业, 2019, 1(1): 53-66.

ZHU Y, LI S, LI S. Research on key technologies of crop growth process simulation model and morphological 3D visualization[J]. Smart Agriculture, 2019, 1(1): 53-66.

27
吴倩, 孙飒爽, 赵哲民, 等. 基于3DSOM的植株三维重建方法研究[J]. 农机化研究, 2017, 39(9):148-153.

WU Q, SUN Y, ZHAO Z, et al. Study on the 3D reconstruction method of plants based on 3DSOM[J]. Journal of Agricultural Mechanization Research, 2017, 39(9): 148-153.

28
史维杰, 张吴平, 郝雅洁, 等. 基于视觉三维重建的作物表型分析[J]. 湖北农业科学, 2019, 58(16): 125-128.

SHI W, ZHANG W, HAO Y, et al. Crop phenotypic analysis based on visual 3D reconstruction[J]. Hubei Agricultural Sciences, 2019, 58(16): 125-128.

29
方伟, 冯慧, 杨万能, 等. 表型检测中用于小麦株型研究的快速三维重建方法[J]. 中国农业科技导报, 2016, 18(2): 95-101.

FANG W, FENG H, YANG W, et al. A fast 3D reconstruction for wheat plant architecture studies in phenotyping[J]. Journal of Agricultural Science and Technology, 2016, 18(2): 95-101.

30
YANG Y, ZHANG J, WU K, et al. 3D point cloud on semantic information for wheat reconstruction[J]. Agriculture, 2021, 11(5): ID 450.

Outlines

/