欢迎您访问《智慧农业(中英文)》官方网站! English

智慧农业(中英文), 2021, 3(3): 94-115 doi: 10.12133/j.smartag.2021.3.3.202102-SA002

综合研究

作物三维重构技术研究现状及前景展望

朱荣胜,1, 李帅2, 孙永哲2, 曹阳杨2, 孙凯2, 郭益鑫2, 姜伯峰2, 王雪莹2, 李杨1, 张战国1, 辛大伟3, 胡振帮3, 陈庆山,3

1.东北农业大学 理学院,黑龙江 哈尔滨 150030

2.东北农业大学 工程学院,黑龙江 哈尔滨 150030

3.东北农业大学 农学院,黑龙江 哈尔滨 150030

Research Advances and Prospects of Crop 3D Reconstruction Technology

ZHU Rongsheng,1, LI Shuai2, SUN Yongzhe2, CAO Yangyang2, SUN Kai2, GUO Yixin2, JIANG Bofeng2, WANG Xueying2, LI Yang1, ZHANG Zhanguo1, XIN Dawei3, HU Zhenbang3, CHEN Qingshan,3

1.College of Science, Northeast Agricultural University, Harbin 150030, China

2.College of Engineering, Northeast Agricultural University, Harbin 150030, China

3.College of Agronomy, Northeast Agricultural University, Harbin 150030, China

通讯作者: 陈庆山(1973—),男,博士,教授,研究方向为大豆分子育种。电话:13384605488。E-mail:qshchen@126.com

收稿日期: 2021-02-01   修回日期: 2021-09-20  

基金资助: 国家自然科学基金面上项目 (31471516)

Received: 2021-02-01   Revised: 2021-09-20  

作者简介 About authors

朱荣胜(1975—),男,博士,副教授,研究方向为作物表型组学。E-mail:rshzhu@126.com。 E-mail:rshzhu@126.com

摘要

近年来,随着无人机和各类传感器在作物育种和田间生产中被广泛使用,作物表型组学得到了极大的发展。兼具了高精度、高通量和高度自动化的作物表型组学及其相关技术的发展,加快了新品种的选育和优化了田间管理。作物三维重构技术是作物表型组学最基本的技术方法之一,是精准描述作物形态全息结构的重要工具,而作物的三维重构模型对于高通量作物表型获取、作物株型特征评价、植株结构和表型相关性分析等均具有重要意义。为深入总结作物表型中三维重构技术研究进展,本文从作物三维重构的基本方法与应用特点、研究现状和前景展望等三个方面展开综述。本文首先归纳整理了现有作物三维重构方法,并对各类方法的基本原理进行了综述,分析了各类方法的特点和优缺点,同时在归纳作物三维重构方法一般性流程的基础上,对各类方法的适用性进行剖析,归纳整理出了各类方法在实施时的具体流程和注意事项;其次,本文依据研究目标对象不同将作物三维重构的应用分为单株作物重构、田间群体重构和根系重构三部分,并从这三个视角对作物三维重构技术的应用情况进行了综述,依据精度、速度和成本三方面,探究了各个方法对于不同作物三维重构的研究现状,分析整理出不同重构对象背景下作物三维重构存在的问题与挑战;最后,从作物三维重构全程自动化、4D表型的构成、作物虚拟生长与模拟育种和智慧农业发展等方面对作物三维重构技术的前景进行了展望。

关键词: 作物 ; 三维重构 ; 表型组学 ; 作物根系 ; 三维扫描仪

Abstract

Crop 3-dimensional (3D) reconstruction is one of the most fundamental techniques in crop phenomics, and is an important tool to accurately describe the holographic structure of crop morphology. 3D reconstruction models of crops are important for high-throughput crop phenotype acquisition, crop plant characteristics evaluation, and plant structure and phenotype correlation analysis. In order to promote and popularize the 3D reconstruction technology in crop phenotype research, the basic methods and application characteristics, the current advances of research and the prospects of 3D reconstruction in crops were review in this paper. Firstly, the existing methods of crop 3D reconstruction were summarized, the basic principles of each method were reviewed, the characteristics, advantages and disadvantages of each method were analyzed, the applicability of each method on the basis of the general process of crop 3D reconstruction methods were introduced, and the specific process and considerations for the implementation of each method were summarized. Secondly, the application of crop 3D reconstruction were divided into three parts: single crop reconstruction, field group reconstruction and root system, according to different target objects, and the applications of crop 3D reconstruction technology from these three perspectives were reviewed, the research advances of each method for different crop 3D reconstruction based on accuracy, speed and cost were explored, and the problems and challenges of crop 3D reconstruction in the context of different reconstruction objects were organized. Finally, the prospects of crop 3D reconstruction technology were analyzed.

Keywords: crops ; 3D reconstruction ; phenotypic omics ; crop root ; three-dimensional scanner

PDF (1950KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

朱荣胜, 李帅, 孙永哲, 曹阳杨, 孙凯, 郭益鑫, 姜伯峰, 王雪莹, 李杨, 张战国, 辛大伟, 胡振帮, 陈庆山. 作物三维重构技术研究现状及前景展望[J]. 智慧农业(中英文), 2021, 3(3): 94-115. doi:10.12133/j.smartag.2021.3.3.202102-SA002

ZHU Rongsheng, LI Shuai, SUN Yongzhe, CAO Yangyang, SUN Kai, GUO Yixin, JIANG Bofeng, WANG Xueying, LI Yang, ZHANG Zhanguo, XIN Dawei, HU Zhenbang, CHEN Qingshan. Research Advances and Prospects of Crop 3D Reconstruction Technology[J]. Smart Agriculture, 2021, 3(3): 94-115. doi:10.12133/j.smartag.2021.3.3.202102-SA002

1 引 言

作物生长发育过程中的形态特征是作物育种研究和田间生产管理过程中不可或缺的重要信息。传统的作物形态信息获取是通过人工来完成的,存在着易出错、高误差和耗时长等一系列问题,这些问题成为加速育种进程和优化田间管理的障碍1。现代科学技术的发展,特别是传感器技术和计算机视觉技术的发展,使得通过高通量、高精度和高度自动化的方法来实现获取作物形态特征信息成为可能,而作物三维重构技术就是实现这一可能的一种重要技术手段2

三维重构技术是一种虚拟现实技术,即通过数据采集、预处理、点云配准、数据融合和纹理添加等一系列过程,在计算机中对完成现实实物虚拟重建的一项技术,其在工业和医疗领域应用极广,社会价值巨大,但在农业领域由于受到场景条件、对象复杂度和高昂费用的影响,发展较为缓慢3。直到近些年,传感器技术和计算机视觉技术的高速发展,使得这一领域的仪器设备成本大幅下降的同时,适应复杂环境和场景的高精度重构算法也得到了极大的发展,并在不同农业场景下的作物三维重构探索和研究中逐渐开展4。截止到2021年9月9日,在Web of Science上以“crop 3d reconstruction”为关键词,共检索到383篇期刊文献,其中316篇为近5年发表,由此可见,作物三维重构及其相关领域的研究热度在近几年是非常高的。

目前,已有张建等5、刘刚等6、李林7、Li等8、Wulder等9对作物三维重构方法进行了归纳分析研究,分别对作物三维重构方法的分类、原理和应用等进行了综述和整理,但都未系统地对各类方法进行特点分析。为了探究不同方法对于单株作物、田间群体作物以及作物根系三维重构的应用适宜性,本文首先从作物三维重构方法的分类与基本流程展开综述,归纳并整理了各种重构方法的特点,并比较了不同方法的优缺点;之后总结了玉米、水稻、大豆、小麦等单株作物、田间群体作物以及作物根系三维重构研究现状,指出了存在的问题与挑战;最后对三维重构技术的未来应用前景进行了展望。

2 作物三维重构方法

作物三维重构是指通过计算机图形学、机器视觉等方法将植物的整体形态及拓扑结构进行建模和可视化。由于不同农作物的生长环境及生理特性不同,其形态拓扑结构也有很大的差异,因此建立精确的作物三维形态模型一直是农学、计算机图形学等方面的研究热点10-12

2.1 作物三维重构方法分类与基本流程

根据研究的取样方法和重构方法,可将农作物的三维重构大致分为基于规则的方法、基于图像的方法、基于三维扫描仪的方法和基于数字化仪的方法四种13,14,如图1所示。每个方法具有不同的数据采集、数据处理和建模流程。本文分析了不同方法的使用流程和主要理论工具,总结出具有普适性的作物三维重构一般方法。

图1

图1   作物重构方法的分类1516

Fig. 1   Classification of crop reconstruction methods1516


目前作物三维重构的相关研究主要分为三个步骤:一是确定重构对象,包括整体植株或主要器官;二是选择目标植株信息获取方法和三维重构方法;三是通过三维重构体进行相应植株模型参数的提取,进而应用到农业精准化管理领域。作物三维重构的基本流程如图2所示。

图2

图2   作物三维重构的基本流程

Fig. 2   Basic process of crop 3D reconstruction


2.1.1 基于规则的方法

基于规则的方法是指通过动态结构模型分析植物实际生长发育过程中的拓扑结构和几何形态的变化规律。此方法同时能够在田间和实验室内完成。对于某种特定的植物,可以改变模型的参数得到植物的多种生长形态结构。目前最常用的动态结构模型有L系统16-18和自动机模型6,19。作物的生长拓扑结构可以通过该方法被形象反应出来,并且可以通过改变参数进行调节生长的结构形态。但是这种方法较为复杂,在运用时由于受人为因素的影响会产生误差,因此重构的形态结构与实际的作物生长的拓扑结构有较大的误差。

基于规则方法的流程主要包括数据的获取、数据处理、三维重建的方法选择和表型提取。近几年开始出现使用相机或三维数字化仪获取数据,一定程度上减少了获取数据的工作量。数据的处理随着获取数据的不同而变化。基于规则方法的基本流程如图3所示。

图3

图3   基于规则方法的作物三维重构基本流程

Fig. 3   Basic process of crop 3D reconstruction based on rule method


2.1.2 基于图像的方法

基于图像的方法是指通过相机获得目标植株的二维图像,首先利用图像识别与处理方法对获得的图像进行预处理,然后利用模式识别、机器视觉等方法实现目标植株的三维重构,可分为单目视觉系统、双目视觉系统和多目视觉系统。单目视觉系统通常要求的条件比较理想化,重建效果及精度一般,因此在植物三维重建领域的应用极少20。目前比较常用的是双目视觉系统和多目视觉系统。双目立体视觉空间定位的几个关键技术主要包括图像采集、摄像机标定、图像预处理、边缘特征提取和立体匹配等21。多目视觉则是在双目视觉的基础上,通过添加多台相机来避免由于基线距离增大所造成的遮挡等问题。Nguyen等22描述了一种用于植物表型获取的田间三维重构系统。该系统利用同步、多视角、高分辨率彩色数字图像对作物进行真实的三维重建,成功地获取到了植物冠层几何形态的特征参数。

基于图像的方法能够通过作物图像获取到植株的详细信息,并且能够通过一些相关算法提取得到作物的表型参数。对于单株植物三维重构时,该方法比较适合用于实验室内无风光照充足的环境23,24。对于研究作物整体冠层体积时,该方法也能够在田间环境下进行三维重构25,26

由于基于图像的方法具有所需设备简单、能够快速有效建立模型、人机交互少的特点,已经成为计算机视觉和计算机图形学领域的研究热点27图4展示了基于图像的方法进行作物三维重构的流程图,图5展示了基于图像的大豆三维重构流程图。

图4

图4   基于图像方法的作物三维重构基本流程

Fig. 4   Crop 3D reconstruction basic process based on image


图5

图5   基于图像方法的大豆三维重构示例15

Fig. 5   Example of soybean 3D reconstruction based on image


2.1.3 基于仪器的方法

基于仪器的方法目前主要指基于三维扫描仪和三维数字化仪进行作物的三维重构。

基于三维扫描仪的方法是指在一些取样平台上使用其扫描整株植物,则可以得到整体植株的三维位置信息。目前在作物三维重构领域应用最多的就是三维扫描仪28-32。例如,Lee和Ehsani33使用扫描技术实现了柑橘树表型参数量化。Raumonen等13通过扫描仪实现了树木冠层的参数获取以及三维重构。Paulus等14研究了利用高精度激光扫描仪与可移动关节测量臂在亚毫米尺度下直接获取非侵入性的三维数据。Omasa和Konishi34利用三维激光雷达成像技术来估计植物的特性,如冠层高度、冠层结构、碳储量和物种等,并通过回顾激光雷达系统的发展及从叶到冠层遥感的应用来评估植物的生长和形态反应。

三维数字化仪在农业领域的应用也越来越多,其主要由探头、扫描装置和处理软件组成,其能够快速获取目标植株的三维空间形态坐标并能够快速地使用相应的软件进行三维重构20,35

基于仪器方法的作物三维重构基本流程如图6所示。

图6

图6   基于仪器方法的作物三维重构基本流程

Fig. 6   Fundamental flow based on instrumental methods


基于三维扫描仪和基于三维数字化仪的方法获取数据速度比较快、对植物没有损伤并且得到的三维点云数据量比较大,高度保留了植株体的颜色信息和纹理信息,还原度比较高。但是三维扫描仪获得的点云数据量大,处理起来相对费时并且设备价格昂贵,这是该方法目前所面临的问题12。同时,这两种方法对环境有较高要求,尤其是激光扫描仪在扫描时不允许激光发射器的周围有金属物体,在暗室中使用测量效果比较好,即使通过该方法在田间进行重构也需要在封闭环境下进行,因此在一定程度上限制了其应用。此外,基于三维扫描仪和数字化仪获取的原始三维点云数据存在大量冗余且无关的信息,因此需要对原始点云进行处理。方志力等36将植株放在空旷的环境中,实现了目标点云与无效数据在空间上的无连续性,接着运用阈值分割方法分离了目标点云与背景噪声。

目前,3D信息采集仪器已经变得越来越经济高效,并通过使用先进的技术设备为更有效的农业实践提供了新的机会。

2.2 作物三维重构方法的特点分析

总结上面综述内容,对各种方法的特点进行归纳总结,结果见表1

表1   作物三维重构方法的技术特点

Table 1  Technique characters of crop 3D reconstruction

方法类别方法特点
采样速度采样方式重构速度重构精度使用复杂程度设备价格受环境影响程度
基于规则的方法不采样或人工
基于视觉图像的方法视觉传感器一般较低
基于仪器的方法三维扫描仪激光或深度相机一般
三维数字化仪接触式传感器或探头一般复杂

新窗口打开| 下载CSV


在对大量的文献进行整理时发现:(1)基于规则的作物三维重构方法的核心是动态模型,所以三维模型的采样量比较少甚至有时必须要采样,而重构的速度一般都比较快,哪怕比较复杂的规则或模型,重构速度一般也较快,而过度依赖于算法和规则的重构模型则精度不高,同时受环境的影响也较小;(2)基于视觉图像的三维重构方法通过相机等视觉传感器进行采样,尽管所需图像较多,但采样的速度比较快,由于重构时需要去噪和纯化目标对象,所以图片的预处理时间较长,另外基于图片的三维模型生成算法要同时针对大量图片进行处理,所以重构的速度不快,此方法受环境光线和背景复杂度的影响比较大;(3)同样是基于仪器的三维重构方法,三维扫描仪和三维数字化仪的差别很大,前者一般以位置传感器或激光雷达作为主要的采样装置,采样速度较快,后者使用接触式传感器,采样速度较慢;三维扫描仪的重构速度较快,而三维数字化仪由于使用和测量过程复杂,使得整个的重构速度较慢;三维扫描仪的重构精度较三维数字化仪要低,目前,三维数字化仪的重构结果仍被认为是作物三维重构的标准。上述三类方法的优缺点见表2

表2   各类作物三维重构方法的优缺点

Table 2  Advantages and disadvantages of crop 3D reconstruction methods

方法类别代码类型具体描述
基于规则A1优点采样简单速度快、使用容易、受环境影响小、成本低
B1缺点精度低
基于图像A2优点采样速度快、使用较容易、重构精度高、成本低
B2缺点预处理时间长、受环境影响大、重构速度一般
基于仪器1) 三维扫描仪A3优点采样速度快、使用简单、受环境影响小
B3缺点重构精度不高、重构速度一般、成本高
2) 三维数字化仪A4优点重构精度高
B4缺点采样速度慢、重构速度一般、使用较复杂、受环境影响大、成本高

注:A为优点;B为缺点

新窗口打开| 下载CSV


3 主要作物三维重构技术应用研究现状

作物三维重构技术按其应用对象不同可分为单株作物三维重构(地上单株)、田间作物群体三维重构(地上群体)和作物根系三维重构(地下根系系统)。对单株作物重构是对作物的三维形态结构做精细化构造,这样的三维点云模型的点云在百万级别。主要侧重叶面积、叶倾角、叶宽、叶长、株高、节间距等精细化的表型数据分析;田间作物群体三维模型是以田间群体为目标进行三维重构,目的在于获取田间群体冠层水平的相关表型,比如叶面积、叶面积指数、叶倾角、冠幅和冠高等;对作物根系三维重构是以获取根系相关表型和研究根系构型为主要目标的,由于在常规土壤介质中根系是肉眼不可见的,所以取样手段较常规地面上重构复杂,往往需借助CT或核磁共振。基于参考文献[37-45]总结得到作物三维重构应用的具体划分情况如图7。下面将从单株作物、田间群体作物和作物根系这三方面来对作物三维重构技术的研究现状进行综述。

图7

图7   作物三维重构的主要应用

Fig. 7   Main applications of crop 3D reconstruction


3.1 单株作物三维重构

3.1.1 研究现状

单株作物三维重构是无损研究单株作物形态结构和生长变化规律的重要信息技术手段,而基于三维模型的作物单株表型获取不仅为分子和表型间的关联分析提供重要的数据支持,同时也是其他应用的前提和基础。单株三维重构是作物三维重构最基本的问题,对单株三维模型的解析不仅为研究作物形态发育和植株结构提供重要信息,同时也为作物模拟生长和模拟育种提供重要的数据基础。

本节对玉米、大豆、小麦、棉花、水稻、油菜、番茄以及其他单株作物三维重构研究进展进行了归纳总结,详细阐述了不同作物相对应的三维重构方法中的硬件系统和软件系统,并分析和比较不同方法的优缺点。具体见表3

表3   单株作物三维重构相关研究

Table 3  Researches on 3D reconstruction of single crop

作物采样设备和方法重构方法优缺点参考文献
玉米单反相机SFM算法、SIFT算法、SVM算法A2、B2Zhu等(2020)39
三维扫描仪KinectA3、B3方志力等(2017)36
三维扫描仪LiDAR、LabVIEW程序A3、B3Thapa等(2018)46
三维扫描仪Geomagic Studio 2014、DoN法线差分算法A3、B3苏伟等(2019)47
三维扫描仪扫描仪、Gemomagic SparkA3、B3李抒昊等(2018)48
三维扫描仪扫描仪、三角剖分法A3、B3王勇健等(2014)49
三维扫描仪Alpha-Shape算法、移动立方体算法A3、B3刘睿等(2014)50
三维扫描仪B样条曲线、多直线分裂算法A3、B3肖伯祥等(2007)28
双目视觉系统双三次B 样条曲线A2、B2李辉(2016)51
双目视觉系统Cardinal 样条插值函数A2、B2王传宇等(2010)52
多目立体视觉MVS- Pheno平台A2、B2Wu等(2020)15
三维数字化仪、激光雷达VC++、OpenGL库A4、B4程锦和劳彩莲(2009)29
手持式的FastSCAN扫描仪基于网格方法的自适应密度三维点云简化方法和玉米植株双边滤波算法A3、B3Ma等(2019)45
大豆单反相机3DSOM、MATLAB拟合A2、B2Zhu等(2020)44
数码相机三次样条曲线、L系统A2、B2宋祺鹏等(2017)53
人工测量MATLAB拟合、L系统A1、B1刘占凤等(2008)16
三维扫描仪三次样条曲线、Delaunay三角剖分A3、B3谢秋菊等(2011)54
人工测量MATLAB拟合、L系统A1、B1郑萍等(2006)55
小麦单反相机SIFT算法、SFM算法、MVS算法A2、B2史维杰等(2019)56
单反相机MVS-SFM算法A2、B2Duan等(2016)57
工业相机3DSOM、GPU、OpenCVA2、B2Fang等(2016)58
相机拍摄边缘检测、生长曲线约束A2、B2胡少军等(2007)59
人工测量非均值有理 B 样条、OpenGL库A1、B1李书钦(2017)60
人工测量形态模型、NURBS曲面、OpenGL库A1、B1李书钦等(2016)61
人工测量NURSS曲面A1、B1李书钦等(2016)62
人工测量生长模型、VC++、OpenGL库A1、B1Zhang等(2012)63
三维扫描仪离散平滑D2-样条曲面拟合A3、B3Kempthorne等(2015)64
棉花双目视觉系统SIFT 算法A2、B2柏月等(2017)65
双目视觉系统OpenCV、Adaboost算法、SIFT 算法A2、B2韩大龙(2014)66
人工测量NURBS曲面、VC++、OpenGL 库A1、B1杨娟等(2006)67
三维扫描仪LiDAR 和 RTK-GPSA3、B3Sun等(2018)31
人工测量COTGROW模型、GroIMP平台A1、B1陈超等68
水稻单反相机SFM算法、CMVS算法、PMVS算法A2、B2宋时德等(2017)69
激光雷达Crop 3D平台A1、B3Guo等(2017)70
Light Stage平台计算机视觉、移动立方体算法A1、B3孟耀华等(2014)71
人工测量形态模型、VC++、OpenGL 库A1、B1何火娇等(2009)72
人工测量生长模型、生长度日(GDD)、VC++A1、B1徐其军等(2010)73
平板扫描仪样条曲线A3、B3汪丽萍等(2017)74
相机拍摄3DSOMA2、B2张楠(2013)75
数字成像系统RootReader3DA3、B3Clark等(2011)76
单反相机OpenCV、Marching Cubes方法A2、B2吴茜(2012)77
油菜三维扫描仪Delaunay三角网格化算法A3、B3史蒲娟等(2017)78
三维扫描仪迭代最近点算法、基于可视化类库VTKA3、B3方慧等(2013)79、李冬等(2013)80
人工测量3次Bézier曲面、L系统A1、B1赵丽丽等(2011)17、欧中斌(2007)81
人工测量生长度日(GDD)、VC++、OpenGL库A1、B1岳延滨(2010)82
单目视觉系统MVS、SIFT、PMVS算法A2、B2史蒲娟等(2017)78
番茄相机拍摄hue-invariant模型A2、B2Ran等(2013)83
相机拍摄L-系统、Kinect数字化、VC++、OpenGL库A2、B2彭永石(2007)18
人工测量悬臂梁弯曲模型、马尔科夫算法、贝塔分布A1、B1董乔雪等(2010)84
人工测量、三维扫描仪网格模型、B样条曲线A1、B1袁晓敏等(2012)8586
人工测量L系统公式集、VC++、OpenGL库、Bezier曲面A1、B1辛龙娇等(2014)87
草莓PMD深度相机、彩色相机深度信息步进方法、Harris算子A2、B2刘刚等(2017)88、张雪等(2017)89
人工测量球B样条曲线A1、B1赵丽丽等(2011)90
人工测量MATLAB中的interp函数、quad函数、surf函数等进行曲线、曲面的拟合A1、B1祁力钧等(2013)91
黄瓜显微照相机仿射变换、VTKA2、B2陈学峰等(2009)92
单反相机、三维扫描仪豪斯多夫距离、SFM与MVSA2、B2胡鹏程等(2015)93
人工测量3次Bézier曲面算法、L系统A1、B1杨沛和何东健(2010)94、方小勇等(2006)95
数码相机SIFT算法、B样条曲线、Delaunay网格算法A2、B2杨亮等(2009)96
三维数字化仪参数化方程、Delaunay网格化算法A4、B4陆声链等(2017)97
辣椒三维数字化仪B样条曲线、NURBS曲面、T样条曲线A4、B4乔桂新等(2012)98
人工测量有效积温—Logistic方程A1、B1赵泽英等(2012)99
人工测量Bézier算法、Wang Tiles算法、三维MorphingA1、B1郭明伟(2010)100
葡萄三维数字化仪DUS知识库规则A4、B4温维亮等(2015)101
生菜三维扫描仪器官模板技术A3、B3温维亮等(2011)102
单反相机边缘检测算法、Nurbs曲面、OpenGL库A2、B2孔繁爽等(2015)103
烟草三维数字化仪B样条曲线、插值样条曲线A4、B4王芸芸等(2010104、2013105

新窗口打开| 下载CSV


表3中不难看出,从作物单株重构方法应用总体上来看,2010年前的研究基于规则的方法较多,2010年后,双目和多目视觉随着计算机技术和算法水平的提高其应用越来越普及,到2015年后,集成了采集和重构功能的三维扫描仪应用越来越多,集成化三维重构技术是简化重构过程,是使重构技术得到推广和普及的重要过程。

3.1.2 问题与挑战

目前,不同重构对象背景下作物三维重构仍存在着诸多问题与挑战。本节对目前玉米、大豆、小麦、棉花、水稻、油菜、番茄以及其他单株作物三维重构方法仍存在的问题与挑战进行了归纳总结。

(1)玉米。玉米植株的冠层结构、叶片的空间分布状况影响冠层CO2的传输和光截获能力,对生长发育、抗逆性及产量产生很大影响。因此,选择一种能够高效、准确地获取和重建玉米三维形态结构的方法对于玉米的精准化管理具有重要意义,主要使用的有基于规则的方法、基于图像的方法和基于三维扫描仪的方法。玉米由于植株较高,双目和多目视觉系统的校准位置会受到影响,所以实验当中多采用了三维扫描仪来完成植株的三维重建,但仍存在实验费时并且设备价格昂贵,实验对环境要求较高等方面的问题。

(2)大豆。大豆生产是群体生产,大豆的群体结构会直接影响到最终的产量。目前,大豆植株精准化管理的挑战之一是如何获得大豆生长期的精准三维形态结构,为进一步提高大豆产量奠定基础。由于大豆植株株型复杂、叶片和花朵密集等原因,目前国内外对大豆植株三维重构的研究很少,这也是现在很多研究者研究的一个难点。人们用了多种方法进行了尝试重构,但还没有方法在重构大豆植株时展现出更明显的优势。目前的研究较多使用规则的方法,利用大量测得的植物信息,建立植物的生长模型,但存在大豆重构后的形态结构与实际误差较大的问题。图8为一组单株大豆三维重构效果图。

图8

图8   单株大豆重建效果图

Fig. 8   Reconstruction results of single soybean plant


(3)小麦。小麦是世界第二大粮食作物,由于小麦形体结构复杂,存在分蘖、叶片弯曲等情况,小麦生长过程也同时受到环境条件的影响,在不同生长期的形态特征差异比较大,因此对小麦植株的三维重构以及可视化进行研究具有很大的挑战。小麦三维重构主要采用基于规则和基于图像的方法,主要原因是小麦植株矮小且结构相对简单。例如Kempthorne等64开发了一种新的参数化技术,它可以转换原始的人工测量数据,并且使用有限元方法将曲面表示为紧支撑形状函数的线性组合,使表面能够在新的参数空间中使用离散平滑D2-样条曲面拟合实现了小麦叶片的虚拟表示,如图9所示。


图9   新型参数化技术小麦叶片三维重构结果图64

Fig. 9  The results of 3D reconstruction of wheat leaves 64

(a)有支撑结构的小麦植株照片(b)无支撑结构的小麦植株照片(c)小麦植株扫描

(d)小麦植株的

改造

新窗口打开| 下载CSV


(4)棉花。中国是棉花生产大国,棉花在农业经济中占有举足轻重的地位。因此,在保证棉花质量的前提下实现棉花产量的提高是目前的攻坚问题。棉花三维重构较多使用基于规则的方法和基于图像的方法。但存在重构后的形态结构与实际的作物生长的拓扑结构有误差等方面的问题。图10为棉花植株三维重构结果图。

图10

图10   一垄行棉花植株三维重构结果图31

Fig. 10   3D reconstruction results of one row cotton plants31


(5)水稻。水稻在中国的经济中占有重要的地位,也是不可替代的粮食作物106-109。进行虚拟水稻研究,通过计算机模拟水稻的生长发育状况,建立形态结构与生理生态过程相结合的三维可视化的虚拟水稻模型,在农业生产过程中发挥着重要的增产增收和生态改良作用。水稻植株的重构在2010年前更多的应用是基于规则的方法,在2010年后更多的是基于图像(双目或多目视觉系统)来完成。目前国内外对水稻三维重构的研究越来越多,基于规则、图像或三维扫描仪等三维重构方法都有较多的运用,例如图11为利用激光雷达对水稻进行三维重构。但各种方法都存在着一定的局限性,由于水稻生长环境等因素而导致的数据处理困难等问题仍然存在。

图11

图11   水稻取样设备及三维重构效果图70

Fig. 11   Rice sampling equipment and 3D reconstruction effect diagram70


(6)油菜。油菜作为现代农产品的典型代表,内部富含大量的维生素等营养物质110。随着计算机图形学和虚拟技术的发展,有关油菜的虚拟重构也得到了广泛关注17。在油菜的三维重构中,运用规则的方法和三维扫描仪的方法较多。但存在数据提取费时费力,设备价格昂贵等问题。

(7)番茄。番茄由于具备极高的食用价值一直比较受人们的欢迎111。在提升番茄种植的产量和质量方面,大部分科研人员逐渐将计算机图形学与农学相结合,进行虚拟番茄的研究。这样不仅仅能够改进现实番茄研究的试验周期,也能够在虚拟环境下模拟环境对番茄产量的影响。但是由于番茄自身的生长结构较为复杂,目前国内外的一些关于番茄三维重构的文献不是很多,缺少一定的研究基础。

(8)其他作物。在作物三维重构领域涉及到的作物还包括草莓、黄瓜、辣椒、葡萄、生菜、烟草等,由于研究较少,进行作物三维重构时,各自使用的方法都具有一定的局限性。

3.2 田间群体作物三维重构

田间作物群体三维模型的建立是实现自动化高通量田间植物群体表型获取的重要手段,是研究作物生长发育规律和作物群体结构特征及变化规律的关键技术方法之一。Moreno等38利用激光雷达技术重构了葡萄群体,并提出了基于重构群体的生物量估算方法,其结果与人工测量相比效果较好;Zhu等39通过多目视觉技术对大豆和玉米田间群体进行了全生育期跟踪重构,进而通过对重构模型的分析,获取了叶长、叶宽、株高和叶面积等基本表型,基于重构的全生育期模型,对大豆和玉米的生长规律和三维冠层中的光分布规律进行了探索,得出了比较理想的结果;Burgess等40基于多目视觉系统对花生和谷子的田间间作群体结构进行三维重构,并同时估算了各自的叶面积指数,进而详细探索了花生和谷子间作的光环境和光合作用状况,其结果直接指导了田间优化种植。田间作物三维重构最直接的应用就是获取植物冠层水平的相关表型,并基于此对作物的生长发育规律和群体结构进行探讨,因此田间作物三维重构是实现田间精准农业的重要技术手段之一。表4为不同田间群体作物三维重构的相关研究。

表4   作物田间群体三维重构相关研究

Table 4  Researches on 3D reconstruction of crop field population

作物采样设备和方法重构方法/工具优缺点参考文献
玉米三维扫描仪t分布函数A2、B3温维亮等(2018)112
玉米三维扫描仪分段曲率、 VC++、OpenGL 库A3、B3程锦和劳彩莲(2009)29
棉花双目视觉系统SIFT 算法A2、B2牛顺义(2016)113
棉花人工测量COTGROW 模型、GroIMP 平台A1、B1陈超等(2016)68
棉花人工测量系统分析法、VC++、OpenGL 库A1、B1周娟等(2009)114
棉花、谷子多目视觉FastTracerA2、B2Burgess等(2017)40
水稻人工测量RPTDS软件、VC++、OpenGL 库A1、B1孟军等(2007)115
番茄人工测量、三维扫描仪网格模型、B样条曲线A1、B1袁晓敏(2012)86
大豆Kinect2.0MATLAB软件、最大类间方差阈值分割法A2、B2冯佳睿等(2019)116
大豆、玉米多目视觉Visual SFMA2、B2Zhu等(2020)39
草莓超声波传感MATLAB软件A3、B3祁力钧等(2013)91
葡萄激光雷达MATLAB软件A3、B3Moreno(2020)38
葡萄三维数字化仪VegeSTAR软件A4、B4张洁(2021)117

新窗口打开| 下载CSV


三维重构技术在田间群体作物上的应用状况与在单株作物上类似,在2010年之前,多采用基于规则的方法,其优点是成本低、速度快,缺点是精度低。当对精度要求较高时,双目或多目成像系统使用较多。而在近几年,采样速度更快和重构速度更快的方法(深度相机、激光雷达、三维扫描仪)被广泛使用,这些仪器使用起来更方便简单,同时精度一般也能够达到要求(尽管不如基于图像的方法),但往往仪器价格昂贵并且耗时。基于这些方法所建立的作物群体三维模型,可以通过计算机程序快速获取目标作物群体的一系列冠层表型,如株高、冠幅和叶面积指数等118,从而加速作物田间品种选育和作物长势诊断的进程。

目前在作物群体三维重构的研究中存在的主要问题是初期重构结果的噪声较大,如何通过计算机视觉、深度学习技术和各类算法工具相融合,将目标作物群体从复杂的初期重构体中剥离出来是当前研究的难点和热点。

3.3 作物根系三维重构

无损而准确地观测作物根系的生长一直是很多植物学家期待的研究根系的一种方式,三维重构技术给这一期待提供了可能。Metzner等42利用核磁和CT分别对土壤介质中的根系进行了三维重构,这一工作对无损动态观测土壤介质中的根系意义重大,从而使人们能够脱离开特殊介质来研究和观察作物的根系;Livingston等43关于根系的研究更加细致微观,他们利用显微镜和光学成像系统对大豆的根瘤进行了三维重构,一举解决了二维图像所不能描述的维管束连续或终止的问题。显然,作物根系三维重构是研究作物根系结构的重要手段,也是进一步研究作物根系根瘤分布规律的重要基础。

作物根系的三维重构是目前作物三维重构研究中难题,本文整理了近年来作物根系三维重构的研究,详见表5

表5   作物根系三维重构相关研究

Table 5  Researches on 3D reconstruction of crop roots

作物采样设备和方法重构方法/工具优缺点参考文献
大豆CT、磁共振体积图像算法(MAVI)软件包A3、B3Metzner等(2015)42
水稻三维扫描仪霍夫变换、Ball-B样条A3、B3Fang等(2009)41
大豆光学显微镜Adobe After Effects软件A2、B2Livingston等(2019)43
水稻数字成像系统RootReader3DA3、B3Clark等(2011)76
玉米、大麦磁共振NMRootingA3、B3Van Dusschoten等(2016)119
番茄CTRoo TrakA3、B3Mairhofer等(2013)120
大麦、小麦CTVG Studio MAX 2.2软件A2、B2Pfeifer等(2015)121
大麦磁共振成像WinRhizo软件A3、B3Pflugfelder等(2017)122
玉米单反相机WinRhizo、GiARoots、SmartRootA3、B3Le Marié等(2014)123
水稻三维体内成像技术GiA RootsA3、B3Galkovskyi(2012)124
甜菜核磁共振成像Mevislab软件包A3、B3Metzner等(2014)125
水稻CTGenstat 15.1A2、B2Zappala等(2013)126
番茄μCTOpenVMSA3、B3毛罕平(2019)127
小麦根系构型数字化仪Pro-E软件A4、B4厉翔(2020)128

新窗口打开| 下载CSV


表5中可以看出,透明介质中的根系重构一般使用的是三维扫描仪或多目视觉技术,而土壤介质中的根系重构是核磁或CT采集加软件算法合成的方法。土壤介质中根系重构是重构根系的最终目标,也是现在作物三维重构研究的热点之一,其难点在于数据采集,由于目前需要CT或核磁这样昂贵的大型设备才能够进行,所以研究的前期成本较高,目前随着CT和核磁等设备的普及,使用成本已大幅度下降,但高精度的样本采集费用仍旧昂贵。另外,基于核磁和CT采集样本的三维模型构建算法发展相对成熟,已出现了像WinRhizo等成熟的集成算法软件。随着科学技术的发展,采样设备和费用会进一步降低,这将极大地推进根系三维重构技术的发展,为生物学家更好地研究根系的形态、生理和生物学特性提供重要助力。

目前在作物根系三维重构研究中存在的问题有两个:一是应用算法生成三维重构模型之前的基础图片去噪目前无法实现自动化,模型重构成本高;二是采样设备价格昂贵。这两个问题是目前研究土壤介质中重构作物根系三维模型的两大瓶颈。

4 作物三维重构技术的前景展望

4.1 能否实现作物三维重构流程全程自动化将是制约这一技术普及的关键因素之一

无论是单株作物、田间群体和根系,作物三维重构技术的整体流程基本一致,都包括了取样、去噪、生成模型、分割和表型提取等步骤,这是一个复杂而综合的过程,需要较专业的研究人员才能够完成,到目前为止还没有全流程自动化的系统出现,这使得重构的通量很低,对有大规模表型测量需求的项目还无法完成,进而影响了该技术的普及推广。解决这一技术发展障碍的关键是开发与取样系统配套、用于实现自动去噪、能够自动生成模型、自动进行分割和自动完成表型测量的计算机软件系统,尽管人们已经进行了大量的尝试,例如Teng等129、Guan等130、Wen等131人,但距离全流程自动化的实现还有相当的距离。

2016年比利时根特大学的Donné等132设计并开发了软硬件相结合的玉米单株三维重构和表型获取系统-PhenoVision,对自动化植株三维重构流程进行了尝试,实现了植株长、宽、高和投影面积等表型的自动获取,但对更精细的叶面积、叶倾角等表型还无法度量,而且对植株更复杂的大豆等其他作物效果一般。此外,一些公司也投入了研发三维植株生成系统,如Trait4D133系统,实现了小型盆栽作物从重构到表型的自动化过程,已经能够提取包括株高、冠幅在内的多种表型,但同样对精细化表型(叶面积、节数和节间距等)和复杂植株(冠层覆盖度高的植株)仍然无能为力。目前,这些问题都集中在了复杂植株重构和三维植株分割的算法设计和研发中,当前一段时间内这些算法的研究都将是作物三维重构的热点问题。

4.2 作物三维模型重构将成为构成作物4D表型的基本单元

当前处于信息时代,信息的载体已经突破了原有的条目数据模式。从机器视觉技术的视角,以表型描述的载体为分类依据,对作物表型进行一次重新分类,可大体分为四类。第一类是一维表型(1D表型),一般是指描述作物某一方面的一个具体度量指标,如株高、冠高、叶面积、籽粒长和宽等,这是传统作物性状表型描述的主要手段;第二类是二维表型(2D表型),2D表型已经是综合表型,主要是用照片来记录和描述作物的属性,由于二维图片的局限性,使得相应描述并不完整,如植株的俯视照片尽管能够描述植株叶片的颜色,并记录了冠层顶端花和果实的形态与数量,但并不能描述植株下层冠层的状况;作物三维表型(3D表型)即指作物三维重构模型,是描述植株外观形态全信息的综合载体,一个植株的三维模型既承载了多个1D表型,又弥补了2D表型片面性的不足,是描述作物表型的最重要方式之一。2015年,Apelt等134开发了Phytotyping4D系统,首次用四维信息载体的概念来描述作物生长发育过程中的时空信息,而以时间轴串联起不同生长期的作物三维模型构成的模型序列,可称为作物的四维表型。

当前作物表型组学的绝大部分研究的目标和问题出口仍然是一维表型,但随着计算机视觉和人工智能技术的蓬勃发展,二维表型和三维表型相关的研究和工具逐渐增多,这些为四维表型研究的实施提供了重要的技术支持和数据基础,而承载着作物全生育期时空信息的四维表型会成为未来的作物表型组学研究的目标和育种家们的重要工具。

4.3 海量的作物三维模型将为作物模拟生长和模拟育种提供重要数据基础

作物生长模拟是用动态与定量的方式描述作物生长发育和产量的形成过程,同时也描述了其对环境的反应106,传统的作物模拟生长模型一般可分为两类,一类是基于规则的作物生长可视化模型,如L系统等135;另一类是基于模拟生长模型的数量化仿真,此类研究很多,最早可以追溯到1965年,荷兰De Wit136对玉米冠层的光合速率进行了研究,并使用计算机进行了仿真,开启了探索作物生理生态过程的数量分析与模拟。上述两类作物模拟生长方法的共同之处是依据规则或模型来解决问题,即解决模型驱动问题。这类方法需要有一个前提,即模型或规则是正确的或基本正确的,然而,作物的生长是在复杂的环境中和多样的遗传背景下进行的,绝大多数的模型或规则很难做到具有普适性。

大数据和人工智能技术的到来为解决问题提供了新的途径。计算机技术、传感器技术和计算视觉技术的飞速发展为在农业领域对各类作物在不同环境下能够进行三维重构提供了重要的技术保障。当作物三维模型日渐增多、重构精度不断提高的时候,数据驱动的作物模拟生长技术会呼之欲出,进而会推动大数据驱动下作物模拟育种技术的高速发展。

4.4 作物三维重构技术将成为智慧农业快速发展重要推动力之一

智慧农业是以信息为载体,通过物联网、大数据、人工智能等技术手段,与农业问题深度融合,实现农业领域的智能决策、智能控制的一种新的生产方式,是农业从数字化到网络化再到智能化的高级阶段137。农作物研究的核心问题是育种和耕作,为了在智慧农业观念和技术的加持下进行高效育种与合理耕作,孙凯138基于多目立体视觉对大豆植株进行了三维重构,并量化了多个冠层水平的表型,进而对大豆种植密度进行了优化,实现了从虚拟植株到反演出优化种植密度的全过程,为智能管理和智能决策提供重要信息;Bietresato等139基于激光雷达3D视觉系统对田间作物实现了生长期的全程监控,自动测量了株高、冠幅和叶面积指数等多个冠层指标,弥补了二维图像视觉技术反馈信息不全的问题,使得田间诊断更准确更可靠,为智慧决策提供了重要参考。此外,大量的基于三维重构提取的作物表型指标为该表型的分子机理研究提供了重要的高准确性和高通量的表型信息,进一步的关联分析和遗传定位将成为分子育种和智慧育种的重要支撑。

当前,作物三维重构技术已融入了作物学研究的各个方面,无论是在育种还是在耕作方面都发挥着越来越大的作用。随着现代计算机技术、三维视觉技术和人工智能算法的进一步发展,作物三维重构技术上瓶颈问题将被攻克,作物三维重构技术将为智慧育种和智能耕作提供越来越多的重要信息,将成为推动智慧农业发展的重要技术支持。

/