Welcome to Smart Agriculture 中文
Topic--Intelligent Agricultural Sensor Technology

Imaging System for Plant Photosynthetic Phenotypes Incorporating Three-dimensional Structured Light and Chlorophyll Fluorescence

  • SHU Hongwei , 1, 2 ,
  • WANG Yuwei 2, 3 ,
  • RAO Yuan , 1, 2 ,
  • ZHU Haojie 2, 3 ,
  • HOU Wenhui 2, 3 ,
  • WANG Tan 1, 2
Expand
  • 1. College of Information and Artificial Intelligence, Anhui Agricultural University, Hefei 230036, China
  • 2. Key Laboratory of Agricultural Sensors, Ministry of Agriculture and Rural Affairs, Hefei 230036, China
  • 3. College of Engineering, Anhui Agricultural University, Hefei 230036, China
RAO Yuan, E-mail:

Received date: 2023-11-10

  Online published: 2024-02-05

Supported by

National Natural Science Foundation of China(32371993)

Key Research and Development Plan Project of Anhui Province(2023n06020057)

Major Natural Science Research Projects in Anhui Province Universities(2022AH040125)

Copyright

copyright©2024 by the authors

Abstract

Objective The investigation of plant photosynthetic phenotypes is essential for unlocking insights into plant physiological characteristics and dissecting morphological traits. However, traditional two-dimensional chlorophyll fluorescence imaging methods struggle to capture the complex three-dimensional spatial variations inherent in plant photosynthetic processes. To boost the efficacy of plant phenotyping and meet the increasingly demand for high-throughput analysis of photosynthetic phenotypes, the development and validation of a novel plant photosynthetic phenotype imaging system was explored, which uniquely combines three-dimensional structured light techniques with chlorophyll fluorescence technology. Methods The plant photosynthetic phenotype imaging system was composed of three primary parts: A tailored light source and projector, a camera, and a motorized filter wheel fitted with filters of various bandwidths, in addition to a terminal unit equipped with a development board and a touchscreen interface. The system was based on the principles and unique characteristics of chlorophyll fluorescence and structured light phase-shifted streak 3D reconstruction techniques. It utilized the custom-designed light source and projector, together with the camera's capability to choose specific wavelength bands, to its full potential. The system employed low-intensity white light within the 400–700 nm spectrum to elicit stable fluorescence, with blue light in the 440–450 nm range optimally triggering the fluorescence response. A projector was used to project dual-frequency, twelve-step phase-shifted stripes onto the plant, enabling the capture of both planar and stripe images, which were essential for the reconstruction of the plant's three-dimensional structure. An motorized filter wheel containing filters for red, green, blue, and near-infrared light, augmented by a filter less wheel for camera collaboration, facilitated the collection of images of plants at different wavelengths under varying lighting conditions. When illuminated with white light, filters corresponding to the red, green, and blue bands were applied to capture multiband images, resulting in color photographs that provides a comprehensive documentation of the plant's visual features. Upon exposure to blue light, the near-infrared filter was employed to capture near-infrared images, yielding data on chlorophyll fluorescence intensity. During the structured light streak projection, no filter was applied to obtain both planar and streak images of the plant, which were then employed in the 3D morphological reconstruction of the plant. The terminal, incorporating a development board and a touch screen, served as the control hub for the data acquisition and subsequent image processing within the plant photosynthetic phenotypic imaging system. It enabled the switching of light sources and the selection of camera bands through a combination of command and serial port control circuits. Following image acquisition, the data were transmitted back to the development board for analysis, processing, storage, and presentation. To validate the accuracy of 3D reconstruction and the reliability of photosynthetic efficiency assessments by the system, a prototype of the plant photosynthetic phenotypic imaging system was developed using 3D structured light and chlorophyll fluorescence technology, in accordance with the aforementioned methods, serving as an experimental validation platform. The accuracy of 3D reconstruction and the effectiveness of photosynthetic analysis capabilities of this imaging system were further confirmed through the analysis and processing of the experimental results, with comparative evaluations conducted against conventional 3D reconstruction methods and traditional chlorophyll fluorescence-based photosynthetic efficiency analyses. Results and Discussions The imaging system utilized for plant photosynthetic phenotypes incorporates a dual-frequency phase-shift algorithm to facilitate the reconstruction of three-dimensional (3D) plant phenotypes. Simultaneously, plant chlorophyll fluorescence images were employed to evaluate the plant's photosynthetic efficiency. This method enabled the analysis of the distribution of photosynthetic efficiency within a 3D space, offering a significant advancement over traditional plant photosynthetic imaging techniques. The 3D phenotype reconstructed using this method exhibits high precision, with an overall reconstruction accuracy of 96.69%. The total error was merely 3.31%, and the time required for 3D reconstruction was only 1.11 s. A comprehensive comparison of the 3D reconstruction approach presented with conventional methods had validated the accuracy of this technique, laying a robust foundation for the precise estimation of a plant's 3D photosynthetic efficiency. In the realm of photosynthetic efficiency analysis, the correlation coefficient between the photosynthetic efficiency values inferred from the chlorophyll fluorescence image analysis and those determined by conventional analysis exceeded 0.9. The experimental findings suggest a significant correlation between the photosynthetic efficiency values obtained using the proposed method and those from traditional methods, which could be characterized by a linear relationship, thereby providing a basis for more precise predictions of plant photosynthetic efficiency. Conclusions The method melds the 3D phenotype of plants with an analysis of photosynthetic efficiency, allowing for a more holistic assessment of the spatial heterogeneity in photosynthetic efficiency among plants by examining the pseudo-color images of chlorophyll fluorescence's spatial distribution. This approach elucidates the discrepancies in photosynthetic efficiency across various regions. The plant photosynthetic phenotype imaging system affords an intuitive and comprehensive view of the photosynthetic efficiency in plants under diverse stress conditions. Additionally, It provides technical support for the analysis of the spatial heterogeneity of high-throughput photosynthetic efficiency in plants.

Cite this article

SHU Hongwei , WANG Yuwei , RAO Yuan , ZHU Haojie , HOU Wenhui , WANG Tan . Imaging System for Plant Photosynthetic Phenotypes Incorporating Three-dimensional Structured Light and Chlorophyll Fluorescence[J]. Smart Agriculture, 2024 , 6(1) : 63 -75 . DOI: 10.12133/j.smartag.SA202311018

0 引 言

植株表型和光合效率的研究一直是植物科学领域的重要课题。了解植株在不同生长阶段的表型特征及其光合效率对于培育抗逆、优良的作物品种,实现作物高产与资源高效利用至关重要。光合效率在其中扮演着关键角色,它衡量了植株如何有效利用光能进行光合作用,进而影响了其生长和产量。为全面了解植株的光合效率,不仅需要考虑传统的生长参数,如植株形态特征和叶绿素含量,还需要关注叶绿素荧光等多个参数。叶绿素荧光作为光合作用研究的有效探针,已经成为衡量植株光合效率的重要手段。为了实现对植株的准确智能检测,利用检测技术高通量感知植株生长发育状态的环节十分关键。传统植株光合表型检测方法通常采用人工检测,存在耗时、费力、精度差等问题。此外,人工检测过程易因操作不当等人为失误导致植株受损。相比之下,机器视觉等无损检测技术具有省时、省力、精度高等优势,逐渐取代了传统人工检测,广泛应用于植株表型和光合效率的检测和研究。
近年来,围绕植株生理生长信息的高通量感知,相继出现了一系列基于多光谱、高光谱的新型植株表型探测技术1, 2。Plant-Explorer-XS、Fluor-Cam等设备的问世为实现植株光合效率等信息监测提供了有效工具3。然而,现有的高通量仪器主要采用二维图像捕捉植株表型和光合效率信息,由于缺乏垂直方向上的结构信息,难以全面捕捉植株在三维空间中的复杂性。植株表型和光合效率在三维空间中存在明显的异质性。这主要源于植株结构和生长状态的多样性。植株的叶片、茎干和根系在空间中呈现出多样的形态,而不同部位的光照和阴影条件导致光合效率的异质性表现。同时,植株的生长方向、速率和受到的光照变化等因素也增加了空间异质性解析的复杂度。此外,目前的植株光合效率检测设备主要依赖国外进口,价格昂贵,应用门槛较高,大规模推广使用困难。因此,利用机器视觉技术获取植株三维结构表型,并研发植株三维光合效率信息获取和分析系统,以便及时、准确、全面地采集植株光合表型信息,仍颇具挑战。如何有效地将植株三维表型与光合效率分析相结合,是实现植株生命信息全面准确智能检测的重要前提。
在探究植株三维结构与光合效率之间的关系方面,国内外学者探讨了不同方法来实现植株三维形态重建和光合效率评估。Paulus等4搭建了三维表型平台,利用计算机视觉技术中的立体技术和纹理方法来实现植株的三维重构,并将光谱信息叠加在这些三维结构表示上进行光合分析,但使用的激光雷达传感器成本比较昂贵。Wang等5开发了一个三维光线追踪模型,基于植株的三维结构模拟其光合作用过程,实现了对植株三维重构和光合分析的研究,但该方法运行相对缓慢。Burgess等6提出了一种独特的数字重建方法,利用高分辨率三维结构数据和光合作用模型,达到对植株三维结构数据与光合作用结合研究的目标,但需大量的计算资源和时间,实际应用受限。Jung等7使用基于三维植株模型和光线追踪技术的方法,成功估算了在人工光和自然光条件下植物全株的光合效率。Chang等8开发了一种新的植株三维冠层光合作用模型,有效地结合了三维冠层结构、光线追踪算法和光合作用模型,通过实验测量和参数化方法预测并分析了植株冠层三维光合效率。Fortineau等9设计一种创新的光室,成功实现了对三维植株光合效率的测量。Wang等10设计了一种将天空半球划分为细网格单元的模型,实现了植株冠层漫射光合有效辐射三维模型。Itakura等11利用结构化场景重建方法并结合色彩信息估计植物叶绿素含量,实现了对植物结构参数和光合作用的三维监测。Hwang等12采用基于三维植株模型的光线追踪模拟方法实现植株三维重构和光合分析,但该方法对光照变化较为敏感。邹杰等13研究了植株光合有效辐射三维分布,但其精度依赖于大量的样本训练和数据运算。顾生浩等14建立了一种冠层光合生产模型,实现植株三维重构和光合分析。陈刚等15定量分析植物冠层结构与光分布及光合作用之间的关系,为植株三维光合分析提供了计算方法,但此方法计算过程对于计算资源和时间的需求较大。上述植株三维结构与光合效率之间关系的研究都具有独特的优势。然而,这些现有方法普遍存在一些限制,包括对计算资源的高需求、较长的计算时间、高昂的软硬件成本以及准确度不够高等问题,制约其实际应用。
为此,本研究构建了一套经济实用、融合三维结构光和叶绿素荧光的植株光合表型成像系统,搭建了结合叶绿素荧光激发的结构光条纹投影装置,提出了一种自动化植株图像采集并建立植株可视化模型的方法。相较于基于双目视觉的三维重建等传统方法能够更加精准、快速地获取植株形态特征并通过解析对应的叶绿素荧光图像,获取植株的三维形态结构及光合效率,再将植株叶绿素荧光图像逐像素渲染到其三维结构上,实现植株光合效率空间异质性的可视化。

1 材料与方法

试验于2023年在安徽省合肥市蜀山区安徽农业大学农业农村部农业传感器重点实验室(31°86'5.2''N,117°25'77.57''E)进行。选取盆栽种植的小白菜作为实验对象。综合考虑植株的生长速度、外观的变化速度以及单次采集的数据量大小,自出芽后每隔2~3 d采集一次,共采集8次。于暗室环境下,采集植株红、绿、蓝、近红外4波段图像及相移条纹图像,获取植株的叶绿素荧光图像和三维点云模型。

1.1 系统搭建

结构光条纹投影装置具有结构简单、精度高、速度快、点云稠密等优势,广泛应用于三维测量领域16-18。研究中结合叶绿素荧光激发装置和结构光条纹投影装置搭建了如图1所示的融合三维结构光和叶绿素荧光的植株光合表型成像系统,用于植株三维形态结构及光合效率的检测。
图1 融合三维结构光和叶绿素荧光的植株光合表型成像系统

注: 1.电源;2.开发板;3.LED白光;4.结构光投影仪;5.遮光罩;6.LED蓝光;7.电动滤光轮;8.相机;9.继电器;10.屏幕;11.植株。

Fig. 1 Imaging system for plant photosynthetic phenotypes incorporating 3D structured light and chlorophyll fluorescence

植株光合表型成像系统的主要硬件配置如下:投影仪选用美国德州仪器公司的DLP Light-Crafter 4500,像素分辨率为912×1 140;相机选用德国巴斯勒公司的Basler a2A1920-160umPRO,像素分辨率为1 920×1 200,镜头焦距为8 mm;LED(Light-Emitting Diode)光源选用定制的400~700 nm白光和440~450 nm蓝光;滤光片选用定制的400~500 nm蓝光、500~600 nm绿光、600~700 nm红光以及680~720 nm近红外滤光片;电动滤光轮选用天津金楷轩科技有限公司的BHOMF05;开发板选用英伟达Jetson Xavier;屏幕选用湖南创乐博智能科技有限公司的CLB165INH,支持触摸操作。投影仪与相机光轴成一定夹角,两者均与开发板通过USB线缆连接,用于触发控制与数据传输。两种LED光源分别放置在投影仪左右位置上,与投影仪用一致角度投射植株。滤光片按照红、绿、蓝、近红外的顺序安装在电动滤光轮对应孔位上,并保留一个无滤光片孔位,将电动滤光轮安装在相机前,通过线缆连接开发板,用于孔位切换。屏幕放置在整个系统平台顶部与开发板连接,用于监控系统平台内部采集过程。植株样本放置在系统平台底部,位于投影仪及LED光源的正下方,通过控制光源、投影仪切换和电动滤光轮转换孔位,相机可采集在不同光照及滤光波段下的植株图像。整个融合三维结构光和叶绿素荧光的植株光合表型成像系统放置于暗室环境下,避免外部环境光线对图像数据采集造成干扰。
图2为植株光合表型成像系统总体工作流程图。大致流程如下:开发板生成多幅相移条纹图像,并控制LED光源与投影仪按照先白光后蓝光再结构光的顺序照射被测植株表面;电动滤光轮在白光下分别切换红、绿、蓝滤光片采集对应波段下的植株图像,在蓝光下切换近红外滤光片采集包含植株叶绿素荧光信息的图像,在结构光下切换为无滤光片采集包含植株三维形貌信息的条纹图像;相机将植株对应波段下的图像数据、叶绿素荧光图像数据以及条纹图像数据传送至开发板,通过多波段图像叠加得到植株彩色图像,分析叶绿素荧光图像获取植株荧光强度分布及光合效率,利用条纹投影分析算法提取植株三维形貌相关的相位信息。
图2 植株光合表型成像系统总体工作流程图

Fig. 2 Overall workflow diagram of the plant photosynthetic phenotype imaging system

1.2 数据采集

本研究的植株光合表型成像系统,一次采集即可获取植株的多波段图像、叶绿素荧光图像以及较完整的点云数据,避免了多幅点云数据配准。考虑到结构光条纹投影装置在通用性和精度方面的优势19,选择采用相移条纹结构光投影法获取植株表面的三维点云数据。数据采集的大致流程如图3所示。先通过叶绿素荧光激发装置,采集植株在白光下的多波段图像,得到植株彩色图像,包括红、绿、蓝波段,全面记录植株的外观特征。此外,在蓝光照射下获取了植株近红外波段的图像,以便测量叶绿素荧光强度信息。综合上述不同波段的图像数据,获得植株的彩色波段图像和叶绿素荧光图像,为后续光合表型成像分析提供基础数据。再通过结构光条纹投影装置的结构光投影仪将多组光栅条纹投影到待测植株表面,通过与投影仪成一定夹角布置的相机在无滤光片状态下采集投影到植株表面的条纹并将其传输至开发板,由调制解调算法得到包含高度信息的相位变化并根据三角法进行计算,得出每个信息点对应的模型空间三维坐标。
图3 植株图像数据采集流程

Fig. 3 Acquisition process of plant image data

1.3 结构光三维重构

在使用结构光进行植株形态三维重构时,植株表面形貌精度与条纹相位密切相关。因此,通过准确求解条纹相位,可更准确地重建植株的表面形貌。相移算法由于其高测量精度和强鲁棒性而被广泛应用于植物的三维重构20。该算法通常需要使用至少3幅投影条纹图像来获取准确的相位信息。在相移算法中,投影条纹图像的数量越多,获得的相位值精度越高,时间、计算代价也会相应地增加。由于植株具有复杂的形状,并且相邻叶片之间的距离较接近,传统的三步相移方法在植株重构过程中可能会出现相位求解不理想的情况。因此,本研究采用了12幅投影条纹图像来实现对复杂植株表面的相位值获取。此过程中条纹投影投射的高频和低频 [ I n h x , y I n l x , y]两组条纹图,被植株调制后的双频十二步相移条纹图像表达如公式(1)公式(2)所示。
I n h x , y = A x , y + B x , y c o s   ϕ h x , y + π n 6
I n l x , y = A x , y + B x , y c o s   ϕ l x , y + π n 6
式中:n=1,2,…,12; x , y表示图像像素坐标; I n h x , y I n l x , y分别表示高频条纹和低频条纹,并设置低频条纹频率小于1; A x , y B x , y分别表示背景强度和调制强度; ϕ h x , y ϕ l x , y分别表示高频截断相位和低频截断相位,计算如公式(3)公式(4)所示。
ϕ h x , y = - t a n - 1 n = 1 12 I n h ( x , y ) s i n   ( π n / 6 ) n = 1 12 I n h ( x , y ) c o s   ( π n / 6 )
ϕ l x , y = - t a n - 1 n = 1 12 I n l ( x , y ) s i n   ( π n / 6 ) n = 1 12 I n l ( x , y ) c o s   ( π n / 6 )
式中:高频截断相位 ϕ h x , y和低频截断相位 ϕ l x , y的取值区间均为 [ - π , π );因低频条纹频率小于1,故低频截断相位 ϕ l x , y无需进行相位展开,即低频绝对相位 Φ l ( x , y )等于低频截断相位 ϕ l x , y;根据高频绝对相位 Φ h ( x , y )和低频绝对相位 Φ l ( x , y )的数学约束关系,便可恢复出高频绝对相位 Φ h ( x , y ),计算如公式(5)所示。
Φ h x , y = ϕ h x , y + 2 π × R o u n d Φ l x , y × T h / T l - ϕ h x , y 2 π
式中: T h T l分别表示高频条纹和低频条纹的周期,pixel; R o u n d表示四舍五入函数;高频绝对相位 Φ h ( x , y )与植株三维形貌密切相关。将相机采集的变形植株条纹图像在开发板中通过高频、低频相位展开,重构出如图4(b)所示的植株三维形态信息。进一步在植株三维形态图上渲染植株点云,逐像素将红、绿、蓝3波段彩色图像中颜色值及纹理附于植株模型表面,生成如图4(c)所示的最终植株三维重建图。通过渲染前后图4(a)真实植株图像与图4(c)渲染植株形态对比可得,重建后的植株与真实植株高度接近,说明该方法对具有多个复杂叶片的植株真实形态信息能够进行高效重构。
图4 植株三维形态重建

Fig. 4 Three-dimensional morphological reconstruction of the plant

1.4 叶素荧光图像处理

本研究所采用的植株叶绿素荧光图像处理的流程如图5所示。首先,在暗适应后开启能够激发植株光合作用的光化光,即较低亮度的LED白光,令植株光合作用达到稳态。随后切换LED蓝光,调整蓝光亮度,并通过近红外滤光片和相机分别采集植株最小荧光图像和最大荧光图像。接着,将采集获取的荧光图像分别进行灰度处理,并经图像处理进行阈值化、高斯模糊及边缘检测操作,获取植株最大轮廓。创建掩膜,在掩膜上绘制出植株最大轮廓,计算植株最大轮廓内部区域的平均灰度值。相机通过近红外滤光片获取的植株图像只能够通过叶绿素荧光波段的光21,此时植株最大轮廓中像素的平均灰度值便可代表植株的平均荧光强度。通过此方法可分别获取植株最小荧光值 F 0和植株最大荧光值 F m
图5 植株叶绿素荧光图像处理流程

Fig. 5 Processing flow of plant chlorophyll fluorescence image

植株叶绿素荧光效率参数Fv /Fm 在植株受到胁迫或损害时表现出较低的值,因此通常用于评估植株健康状态。根据 F 0 F m可以求出在当前状态下植株最大变化荧光值 F v,并进而得到植株叶绿素荧光效率参数Fv /Fm,计算如公式(6)所示。
F v / F m = F m - F 0 F m
式中: F 0 F m分别表示在充分暗适应状态下测量的植株最小荧光值和植株最大荧光值; F v表示植株最大变化荧光值;Fv /Fm 表示植株叶绿素荧光效率参数,可用来表示植株叶绿素在最大光吸收下进行光合作用的效率。
同时,根据 F 0 F m获取的植株光饱和点 I k可用于评估植株对光敏感度和光合效率。当光强度低于光饱和点时,植株光合效率通常较高。当光强度高于光饱和点时,光合效率开始下降。植株光饱和点参数 I k的计算如公式(7)所示。
I k = F m - F 0 F m / F 0
式中:植株光饱和点 I k代表了植株在吸收最大光量的光强度水平,可以用来衡量植株对光的适应性和敏感度。较低的光饱和点通常意味着植物能够在低光照条件下更有效地进行光合作用。
将采集获取的植株最大轮廓图像进行伪色彩处理,将轮廓内各像素点的数值对应一个顺序梯度的颜色值,以分明的梯度色彩表示每个像素点的数值大小,从而获得更加直观的植株叶绿素荧光分布情况。逐像素将植株叶绿素荧光分布伪彩色图像中颜色值及纹理附于植株模型表面,生成最终的植株三维光合表型图像。

2 试验结果与分析

2.1 试验结果统计

为验证研发的融合三维结构光和叶绿素荧光的植株光合表型成像系统的可行性和有效性,同期种植12盆品种相同的小白菜植株作为试验样本,以相同条件将植株种植出芽后分为两组,每6盆为一组分别进行盐胁迫、干旱操作,即其中一组样本每盆以不同浓度的盐水浇灌;另一组样本每盆以不同量的水浇灌。两组样本除浇灌方式不同,其余种植条件均一致,采用本研究构建的融合三维结构光和叶绿素荧光的植株光合表型成像系统进行测量试验。为保证植株位置的一致性,将植株样本固定放置平台摆放在适合相机采集的位置,每个植株样本采集30张图像,自出芽后每隔2~3 d采集一次,共采集8次。同时为增加植株样本的多样性,将植株样本固定放置于平台,平台沿垂直平面分别上下移动,每次移动距离为5 cm,总共采集3个不同位置的植株图像。植株样本位置每变动一次,开发板控制LED光源、投影仪、电动滤光轮和相机拍摄一组植株图像数据,拍摄过程中,除相机焦距调整外,其余参数不变。具体试验参数如下:双频十二步相移条纹周期设置高频条纹周期 T h=21像素,低频条纹周期 T l=912像素。软件算法采用MATLAB R2022a和Python 3.7.3配合编写,开发板CPU型号为英伟达6核NVIDIA Carmel ARM® v8.2 64位,CPU主频为1 400 MHz,内存为16 GB。实验过程中,所有数据处理均采用固定的试验参数,并保存试验结果。
图6分别展示了4个类别的图像检测结果。试验中每株植株样本均采集多组不同类型图像,总共采集759组植株图像,大致可划分如下4个类别:类别①包含252组植株红、绿、蓝3波段彩色图像,用于多波段图像叠加得到植株彩色图像;类别②包含252组植株叶绿素荧光图像,且包括植株最大、最小荧光图像,用于植株光合分析;类别③包含3组平面相移条纹图像,用来确定植株所在空间位置;类别④包含252组为植株相移条纹图像,用于植株三维重建。
图6 植株三维光合表型研究不同类别图像采集结果

Fig. 6 Image acquisition results of different categories for the study of three-dimensional photosynthetic phenotypes of plants

2.2 植株三维重建检测结果

表1分别统计了植株在3个不同位置的植株三维重建检测结果。检测结果详述如下:类别①,植株样本固定放置于距离图像采集装置60 cm的平台上,均能够被准确三维重建,重建数为252组,准确率为98.81%;类别②,植株样本固定放置于距离图像采集装置55 cm的平台上,植株与光源距离偏近,易出现因亮度过高导致重建噪点偏多的情况,识别组数为252组,准确率为95.23%;类别③,植株样本固定放置于距离图像采集装置65 cm的平台上,植株与光源距离偏远,会出现失真、模糊及深度分辨率低的情况,识别组数为252组,准确率为96.03%。本研究方法能够正确重建731组植株图像,其整体准确率可达96.69%。上述试验结果表明该方法能够有效恢复植株真实三维形态信息。
表1 植株三维光合表型研究不同位置的植株三维重建结果

Table 1 Three-dimensional reconstruction results of plants at different locations for the study of three-dimensional photosynthetic phenotypes of plants

类别 样本数 准确重建数 平台距离/cm 准确率/% 结构相似性指数 表面重建误差/% 三维重构时间/s
合计 756 731 96.69 0.93 3.31 1.11
类别① 252 249 60 98.81 0.95 1.19 1.10
类别② 252 240 55 95.23 0.91 4.77 1.21
类别③ 252 242 65 96.03 0.93 3.97 1.03
在深入讨论植株三维重建检测结果的基础上,本研究选用基于多视角三维重建方法所获得的植株三维重建结果作为真值。该方法在当前研究领域中被广泛采用,已在多项研究中验证为有效基准22。将本研究方法生成的植株三维重建结果作为对比,对这两个植株三维重建结果进行必要的转换和投影,以确保它们对齐并处于相同的坐标系中。引入结构相似性指数和表面重建误差作为植株三维重建的评价指标,来评估本系统的性能。
结构相似性指数作为一种广泛用于图像质量评估的指标,综合考虑了图像的亮度、对比度和结构3个方面的信息。具体而言,结构相似性指数的计算涉及到图像的均值、方差和协方差等特征。采用合适的视角和投影方式,从两个植株三维重建结果中生成对应的二维图像 m n,分别表示真值图像和本研究方法生成的图像,并将其作为结构相似性指数计算公式的输入,确保在计算结构相似性指数过程中考虑图像的均值、方差和协方差等特征,如公式(8)~公式(10)所示。
μ m = 1 N i = 1 N m i
σ m 2 = 1 N i = 1 N ( m i - μ m ) 2
σ m n = 1 N i = 1 N ( m i - μ m ) ( n i - μ n )
式中: μ m表示图像 m的均值; σ m 2表示图像 m的方差; σ m n表示图像 m n的协方差; N表示样本数量,即图像中的像素数目,个; i表示累加索引,即图像中的像素位置。对于图像 n,可以类似地计算对应的均值、方差和协方差。这些统计特征可用于计算结构相似性指数,其计算如公式(11)所示。
S S I M ( m , n ) = ( 2 μ m μ n + C 1 ) ( 2 σ m n + C 2 ) ( μ m 2 + μ n 2 + C 1 ) ( σ m 2 + σ n 2 + C 2 )
式中: S S I M ( m , n )表示衡量图像 m n相似度的指标,比较得到的结构相似性指数数值,数值越趋近于1,表示两个模型在结构上越相似; C 1 C 2是常数项,用于避免分母为零,稳定计算。
表面重建误差是评估三维重建结果的关键指标,它衡量了生成的植株三维重建结果与真值植株三维重建结果之间的几何形状差异。采用合适的视角和投影方式,从这两个植株三维重建结果中获取对应的表面 b r,分别表示真值表面和本研究方法生成的表面,并使用这些表面距离值计算均方根表面距离作为度量值,计算如公式(12)所示。
D = 1 M j = 1 M d j 2
式中: D表示均方根表面距离,即真实表面和重建表面之间平均距离的度量,mm; M表示计算表面距离时使用的点的总数,即真实表面或重建表面上均匀分布的采样点数量,个; j表示每一个具体的采样点; d j表示第 j个采样点在真实表面和重建表面之间的距离。通过上述公式可分别求得对应表面 b r的度量值 D b D r,从而得到两个植株三维重建结果之间的表面重建误差 E P,计算如公式(13)所示。
E p = D r D b × 100 %
公式(13)获取的百分比结果为相对于真值植株三维重建结果的表面重建误差提供了一个衡量标准。若 E p的值较小,说明相对于真值植株三维重建结果重建误差较小,表面更相似;反之,若值较大,则表示重建误差相对较大,植株三维重建结果之间的表面差异越明显。
表1中试验结果表明,本研究方法获得的植株三维重建结果与真值植株三维重建结果相比,在准确性、稳定性和整体性能方面均表现出一定的优势,能够为相关领域的深入研究和实际应用提供支持。

2.3 盐胁迫和干旱条件下植株光合效率变化检测结果

图7分别展示了2个类别植株样本组在盐胁迫和干旱种植环境下的检测结果。详细检测结果如下:类别①,盐胁迫处理一组植株样本,每个植株样本分别浇灌等量的0%、10%、20%、30%、40%、50%浓度盐水,每2 d采集一次最大、最小荧光图像,共采集8次;类别②,干旱处理一组植株样本,每个植株样本浇灌量依次减少10%的水分,浇灌量分别为100%、90%、80%、70%、60%、50%,每2 d采集一次最大、最小荧光图像,共采集8次。
图7 不同盐胁迫和干旱条件下植株Fv /Fm 随持续时间的变化

Fig. 7 Changes of plant Fv /Fm with duration under different salt stress and drought conditions

其中,如图7(a)所示,类别①植株样本组在盐胁迫处理下,0%与10%浓度盐水处理后,植株Fv /Fm 值保持相对稳定,接近植株的正常状态;20%和30%浓度盐水处理后,植株Fv /Fm 值开始下降,植株受到了一定程度的胁迫;40%和50%浓度盐水处理后,植株Fv /Fm 值急剧下降,表明植株受到了严重的盐胁迫,光合效率可能受到严重干扰,导致Fv /Fm 值急剧降低。如图7(b)所示,类别②植株样本组在干旱处理下,100%和90%浇灌状态下,植株Fv /Fm 值保持在一个相对稳定的水平,表明植株在正常浇灌条件下保持健康光合效率状态;减少浇灌至80%和70%的水分时,植株开始感到水分不足,Fv /Fm 值逐渐降低,反映出植株受到轻度胁迫的迹象。这种阶段的Fv /Fm 曲线表现出渐变的下降趋势;继续减少浇灌水分为60%和50%时,在处理的第6天,Fv /Fm 值急剧下降,表明植株光合效率受到了更严重的影响。测定结果表明,系统检测到的Fv /Fm 值对盐胁迫和干旱条件下植物光合效率变化具有高度敏感性。这种敏感性有效地反映了植物在盐胁迫和干旱条件下的光合效率状况,凸显了本系统设备提供监测指标的准确性和可靠性,为评估植物光合效率状态提供了可靠支持。
图8展示了植株叶绿素荧光三维空间分布伪色彩图像。通过植株三维叶绿素荧光伪色彩图像能够更全面地分析植株光合效率的空间异质性。图8中展示的检测结果不仅基于三维重建和光合效率分析,还结合了叶绿素荧光的伪色彩图像。通过此方法观察并研究植株在不同胁迫条件下的光合效率的空间分布特征,并利用伪色彩图像直观地呈现植株不同部位的光合效率差异。
图8 植株叶绿素荧光三维空间分布伪色彩图像

Fig. 8 Pseudo-color image of three-dimensional spatial distribution of plant chlorophyll fluorescence

伪彩色图像中,每种颜色或强度对应着植株不同区域的光合效率水平。在图8所示图像中,较暗或深色区域通常表示光合效率较低的部位,这暗示该处受到某种生理胁迫,导致光合效率降低或受限制。与此相反,明亮或浅色区域则代表着光合效率较高的部位,表明植株在这些区域可能处于正常状态或受影响较小。通过这种视觉呈现,能够更直观地了解不同部位的光合效率,揭示出植物在空间上的光合效率异质性。
图9展示了本研究方法和传统光合效率分析方法23的对比结果。实验结果表明,植株光合效率与叶绿素荧光强度之间存在显著相关性24。此外,植株最大、最小叶绿素荧光图像的灰度值与叶绿素荧光强度也存在着明显相关关系,因此将植株最大、最小叶绿素荧光图像灰度值计算获得的植株叶绿素荧光效率参数Fv /Fm 作为光合效率预估指标,与利用传统光合效率分析方法测得的植株光合效率进行模拟对比。如图9所示,在盐胁迫、干旱条件下,本研究方法与传统方法获得的光合效率值之间存在着显著关联。这些结果表明,本系统通过图像处理技术,能够准确计算并呈现植株叶绿素荧光效率参数,在实现高效、精准光合效率评估方面具有先进性。从总体上看,本研究预估的植株光合效率具有较低的误差,并且与传统方法测得的植株光合效率之间具有较高的相关性,一定程度上验证了本研究预估植株光合效率方法的实用性和稳定性。
图9 传统方法植株光合效率测量值与本研究方法植株光合效率预估值关系

Fig. 9 Relationship between the measured values of plant photosynthetic efficiency by the traditional method and the predicted values of plant photosynthetic efficiency by the method of this study

图9中,展示了本研究方法和传统光合效率分析方法获取的光合效率值之间的关系,并通过线性拟合得到了两个方程。这两个方程分别表示在盐胁迫条件下和干旱条件下,植株光合效率预估值与实际值之间的线性关系。对于盐胁迫条件下,拟合方程为公式(14)
y=0.865x+0.107
式中:y表示植株光合效率的预估值;x表示实际的光合效率值。相关系数r为0.956,表示预估值与实际值之间具有较强的线性关系。对于干旱条件下,拟合方程为公式(15)
y=0.960x+0.021 3
式中:y表示植株光合效率的预估值;x表示实际的光合效率值。相关系数r为0.921,也表示了较强的线性关系。这些方程的建立意味着通过本研究提出的方法获得的植株光合效率值与传统方法的值之间存在可通过线性关系表达的联系,为更准确地预估植株光合效率提供了依据。

2.4 与其他方法对比

表2总结了本研究方法与传统三维重建方法25之间的综合对比结果。此外,该表还比较了两种方法在模型精度、纹理丰富度、所需相机数量,以及是否需要额外的植株图像与三维模型匹配等方面的差异。本研究方法完成三维重构操作仅需要1.11 s,而传统三维重建则需要158.21 s;本研究方法三维重建的结构相似性指数为0.93,而传统三维重建方法的结构相似性指数为0.82。同时,本研究方法的表面重建误差仅为3.31%,而传统三维重建方法的表面重建误差为15.21%。上述对比结果强烈表明,相对于传统的三维重建方法,本研究方法在多个方面具备显著的优势。具体而言,本研究方法实现了更高的三维重建精度,同时也表现出更为精细的纹理呈现,对于噪声和干扰的抵抗能力更强。另外,还优化了不同视角下植株图像与植株三维模型的匹配过程,为植株三维光合效率的准确估计提供了可靠的基础。
表2 不同三维重建方法对比结果

Table 2 Comparison results of different plant 3D reconstruction methods

类别 本研究方法 传统三维重建方法
模型精度/% 96.69 84.79
纹理丰富度 精细还原 丧失细节
相机数量 =1 ≥1
额外匹配
噪声处理技术 小波去噪、非局部均值 均值滤波、高斯滤波
干扰抵抗技术 基于深度信息的图像分割 基于阈值或颜色分割的方法
三维重构时间/s 1.11 158.21
结构相似性指数 0.93 0.82
表面重建误差/% 3.31 15.21
此外,编码点阵26、线结构光27、条纹结构光28均属于结构光,均可以用于增强植株三维特征。编码点阵虽然提供了低成本的三维重建方式,但其空间分辨率相对较低,难以精确地提取植株纹理位置;线结构光需要搭建辅助扫描机构,因此在三维重建速度上较为受限。相较之下,条纹结构光广泛应用于光学三维测量领域,具有代表性,因此在本研究中选择了基于条纹结构光的方法进行试验和对比。近年来,机器学习29和深度学习30技术已成功应用于植物表型检测领域。然而,这些方法通常依赖于大量的样本训练和高度复杂的数据运算。与之不同的是,本研究方法不仅不需要大规模的样本训练,而且算法模型相对较为简单,运算量较小,这使得本研究方法在植株三维特征提取方面具有独特的优势。

3 结 论

面向植株光合表型分析需求,构建了融合三维结构光和叶绿素荧光的高通量植株光合表型成像系统。利用双频相移算法重构植株三维表型,获取植株三维结构形态和表面颜色纹理等信息,同时利用植株叶绿素荧光图像估测植株光合效率,相比于传统植物光合成像方法,本方法更有助于解析三维空间下植株光合效率分布情况。
试验结果表明,本研究方法能够进行高效植株三维重构,重建出的植株三维表型具有较高精度,且整体重建准确率可达到96.69%,整体误差仅为3.31%,重构时间仅需1.11 s。通过本系统检测到的Fv /Fm 值对植株光合效率变化具有高度敏感性,有效地反映了植株在不同胁迫条件下的光合效率状况,凸显了本系统提供的监测指标的准确性和可靠性。此外,本研究方法将植株三维表型与光合效率分析相结合,通过叶绿素荧光的空间分布伪色彩图像,能够更全面地分析植株光合效率的空间异质性,揭示不同区域的光合效率水平。这种综合的分析为揭示植株在不同胁迫条件下的光合效率状况提供了直观且全面的视角,为分析植株高通量光合效率空间异质性提供技术支持。
本研究对实现植株高通量光合表型信息高效获取分析具有重要价值,但本研究方法只是针对室内单株盆栽植株开展,理论上该方法同样适用于田间植株。为更贴近育种学家对大田作物表型测定的需求,改进并构建应用于田间群体作物的高通量光合表型成像系统是未来研究方向之一。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
XIE C Q, YANG C. A review on plant high-throughput phenotyping traits using UAV-based sensors[J]. Computers and electronics in agriculture, 2020, 178: ID 105731.

2
SARIĆ R, NGUYEN V D, BURGE T, et al. Applications of hyperspectral imaging in plant phenotyping[J]. Trends in plant science, 2022, 27(3): 301-315.

3
RU C, HU X T, CHEN D Y, et al. Heat and drought priming induce tolerance to subsequent heat and drought stress by regulating leaf photosynthesis, root morphology, and antioxidant defense in maize seedlings[J]. Environmental and experimental botany, 2022, 202: ID 105010.

4
PAULUS S, DUPUIS J, RIEDEL S, et al. Automated analysis of barley organs using 3D laser scanning: An approach for high throughput phenotyping[J]. Sensors, 2014, 14(7): 12670-12686.

5
WANG Y, SONG Q F, JAISWAL D, et al. Development of a three-dimensional ray-tracing model of sugarcane canopy photosynthesis and its application in assessing impacts of varied row spacing[J]. BioEnergy research, 2017, 10(3): 626-634.

6
BURGESS A J, RETKUTE R, POUND M P, et al. High-resolution three-dimensional structural data quantify the impact of photoinhibition on long-term carbon gain in wheat canopies in the field[J]. Plant physiology, 2015, 169(2): 1192-1204.

7
JUNG D H, LEE J W, KANG W H, et al. Estimation of whole plant photosynthetic rate of Irwin mango under artificial and natural lights using a three-dimensional plant model and ray-tracing[J]. International journal of molecular sciences, 2018, 19(1): ID 152.

8
CHANG T G, ZHAO H L, WANG N, et al. A three-dimensional canopy photosynthesis model in rice with a complete description of the canopy architecture, leaf physiology, and mechanical properties[J]. Journal of experimental botany, 2019, 70(9): 2479-2490.

9
FORTINEAU A, BANCAL P. An innovative light chamber for measuring photosynthesis by three-dimensional plant organs[J]. Plant methods, 2018, 14: 21.

10
WANG X P, GUO Y, LI B G, et al. Evaluating a three dimensional model of diffuse photosynthetically active radiation in maize canopies[J]. International journal of biometeorology, 2006, 50(6): 349-357.

11
ITAKURA K, KAMAKURA I, HOSOI F. Three-dimensional monitoring of plant structural parameters and chlorophyll distribution[J]. Sensors, 2019, 19(2): 413.

12
HWANG I, YOON S, KIM D, et al. Evaluation of the effects of supplemental lighting and stem number on greenhouse sweet pepper growth and yield via ray-tracing simulation with 3D plant models[J]. Biosystems engineering, 2023, 226: 252-265.

13
邹杰, 林郁欣, 陈崇成, 等. 基于虚拟植物冠层的直射光合有效辐射三维分布模拟研究[J]. 福州大学学报(自然科学版), 2011, 39(6): 838-844.

ZOU J, LIN Y X, CHEN C C, et al. Modelling the 3D distribution of photosynthetically active radiation of direct solar radiation based on virtual plant canopy[J]. Journal of Fuzhou university (natural science edition), 2011, 39(6): 838-844.

14
顾生浩, 王勇健, 温维亮, 等. 基于三维冠层模型的玉米光合作用和光能利用模拟[J]. 农业工程学报, 2019, 35(20): 178-184.

GU S H, WANG Y J, WEN W L, et al. Modelling maize photosynthesis and light utilization based on a 3D maize canopy model[J]. Transactions of the Chinese society of agricultural engineering, 2019, 35(20): 178-184.

15
陈刚, 陈斌, 林郁欣, 等. 基于L-系统的3D虚拟植物冠层光合作用模拟模型[J]. 农业机械学报, 2018, 49(10): 275-283.

CHEN G, CHEN B, LIN Y X, et al. 3D virtual plant photosynthesis simulation model based on L-system[J]. Transactions of the Chinese society for agricultural machinery, 2018, 49(10): 275-283.

16
殷永凯, 张宗华, 刘晓利, 等. 条纹投影轮廓术系统模型与标定综述[J]. 红外与激光工程, 2020, 49(3): 127-144.

YIN Y K, ZHANG Z H, LIU X L, et al. Review of the system model and calibration for fringe projection profilometry[J]. Infrared and laser engineering, 2020, 49(3): 127-144.

17
LI W G, HOU D M, LUO Z X, et al. 3D measurement system based on divergent multi-line structured light projection, its accuracy analysis[J]. Optik, 2021, 231: ID 166396.

18
YANG S C, YANG T, WU G X, et al. Flexible and fast calibration method for uni-directional multi-line structured light system[J]. Optics and lasers in engineering, 2023, 164: ID 107525.

19
LI W G, LI H, ZHANG H. Light plane calibration and accuracy analysis for multi-line structured light vision measurement system[J]. Optik, 2020, 207: ID 163882.

20
ZUO C, QIAN J M, FENG S J, et al. Deep learning in optical metrology: A review[J]. Light: science & applications, 2022, 11: ID 39.

21
SCHREIBER U. Light-induced changes of far-red excited chlorophyll fluorescence: Further evidence for variable fluorescence of photosystem I in vivo [J]. Photosynthesis research, 2023, 155(3): 247-270.

22
RAPADO-RINCÓN D, VAN HENTEN E J, KOOTSTRA G. Development and evaluation of automated localisation and reconstruction of all fruits on tomato plants in a greenhouse based on multi-view perception and 3D multi-object tracking[J]. Biosystems engineering, 2023, 231: 78-91.

23
HAIDEKKER M A, DONG K, MATTOS E, et al. A very low-cost pulse-amplitude modulated chlorophyll fluorometer[J]. Computers and electronics in agriculture, 2022, 203: ID 107438.

24
DECHANT B, RYU Y, BADGLEY G, et al. Canopy structure explains the relationship between photosynthesis and Sun-induced chlorophyll fluorescence in crops[J]. Remote sensing of environment, 2020, 241: ID 111733.

25
PANJVANI K, DINH A V, WAHID K A. LiDARPheno - A low-cost LiDAR-based 3D scanning system for leaf morphological trait extraction[J]. Frontiers in plant science, 2019, 10: ID 147.

26
ZHU Z M, LI M C, ZHOU F Q, et al. Stable 3D measurement method for high dynamic range surfaces based on fringe projection profilometry[J]. Optics and lasers in engineering, 2023, 166: ID 107542.

27
杨刚, 雷军波, 刘成良, 等. 基于线结构光源和机器视觉的高精度谷物测产系统研制[J]. 农业工程学报, 2019, 35(8): 21-28.

YANG G, LEI J B, LIU C L, et al. Development of yield monitoring system with high-precision based on linear structured light source and machine vision[J]. Transactions of the Chinese society of agricultural engineering, 2019, 35(8): 21-28.

28
WANG J Z, ZHANG Y, GU R R. Research status and prospects on plant canopy structure measurement using visual sensors based on three-dimensional reconstruction[J]. Agriculture, 2020, 10(10): ID 462.

29
XIONG J B, YU D Z, LIU S Y, et al. A review of plant phenotypic image recognition technology based on deep learning[J]. Electronics, 2021, 10(1): ID 81.

30
AZIMI S, KAUR T, GANDHI T K. A deep learning approach to measure stress level in plants due to Nitrogen deficiency[J]. Measurement, 2021, 173: ID 108650.

Outlines

/