作物三维重构技术研究现状及前景展望
1.
2.
3.
Research Advances and Prospects of Crop 3D Reconstruction Technology
1.
2.
3.
通讯作者: 陈庆山(1973—),男,博士,教授,研究方向为大豆分子育种。电话:
收稿日期: 2021-02-01 修回日期: 2021-09-20
基金资助: |
|
Received: 2021-02-01 Revised: 2021-09-20
近年来,随着无人机和各类传感器在作物育种和田间生产中被广泛使用,作物表型组学得到了极大的发展。兼具了高精度、高通量和高度自动化的作物表型组学及其相关技术的发展,加快了新品种的选育和优化了田间管理。作物三维重构技术是作物表型组学最基本的技术方法之一,是精准描述作物形态全息结构的重要工具,而作物的三维重构模型对于高通量作物表型获取、作物株型特征评价、植株结构和表型相关性分析等均具有重要意义。为深入总结作物表型中三维重构技术研究进展,本文从作物三维重构的基本方法与应用特点、研究现状和前景展望等三个方面展开综述。本文首先归纳整理了现有作物三维重构方法,并对各类方法的基本原理进行了综述,分析了各类方法的特点和优缺点,同时在归纳作物三维重构方法一般性流程的基础上,对各类方法的适用性进行剖析,归纳整理出了各类方法在实施时的具体流程和注意事项;其次,本文依据研究目标对象不同将作物三维重构的应用分为单株作物重构、田间群体重构和根系重构三部分,并从这三个视角对作物三维重构技术的应用情况进行了综述,依据精度、速度和成本三方面,探究了各个方法对于不同作物三维重构的研究现状,分析整理出不同重构对象背景下作物三维重构存在的问题与挑战;最后,从作物三维重构全程自动化、4D表型的构成、作物虚拟生长与模拟育种和智慧农业发展等方面对作物三维重构技术的前景进行了展望。
关键词:
Crop 3-dimensional (3D) reconstruction is one of the most fundamental techniques in crop phenomics, and is an important tool to accurately describe the holographic structure of crop morphology. 3D reconstruction models of crops are important for high-throughput crop phenotype acquisition, crop plant characteristics evaluation, and plant structure and phenotype correlation analysis. In order to promote and popularize the 3D reconstruction technology in crop phenotype research, the basic methods and application characteristics, the current advances of research and the prospects of 3D reconstruction in crops were review in this paper. Firstly, the existing methods of crop 3D reconstruction were summarized, the basic principles of each method were reviewed, the characteristics, advantages and disadvantages of each method were analyzed, the applicability of each method on the basis of the general process of crop 3D reconstruction methods were introduced, and the specific process and considerations for the implementation of each method were summarized. Secondly, the application of crop 3D reconstruction were divided into three parts: single crop reconstruction, field group reconstruction and root system, according to different target objects, and the applications of crop 3D reconstruction technology from these three perspectives were reviewed, the research advances of each method for different crop 3D reconstruction based on accuracy, speed and cost were explored, and the problems and challenges of crop 3D reconstruction in the context of different reconstruction objects were organized. Finally, the prospects of crop 3D reconstruction technology were analyzed.
Keywords:
本文引用格式
朱荣胜, 李帅, 孙永哲, 曹阳杨, 孙凯, 郭益鑫, 姜伯峰, 王雪莹, 李杨, 张战国, 辛大伟, 胡振帮, 陈庆山.
ZHU Rongsheng, LI Shuai, SUN Yongzhe, CAO Yangyang, SUN Kai, GUO Yixin, JIANG Bofeng, WANG Xueying, LI Yang, ZHANG Zhanguo, XIN Dawei, HU Zhenbang, CHEN Qingshan.
1 引 言
三维重构技术是一种虚拟现实技术,即通过数据采集、预处理、点云配准、数据融合和纹理添加等一系列过程,在计算机中对完成现实实物虚拟重建的一项技术,其在工业和医疗领域应用极广,社会价值巨大,但在农业领域由于受到场景条件、对象复杂度和高昂费用的影响,发展较为缓慢[3]。直到近些年,传感器技术和计算机视觉技术的高速发展,使得这一领域的仪器设备成本大幅下降的同时,适应复杂环境和场景的高精度重构算法也得到了极大的发展,并在不同农业场景下的作物三维重构探索和研究中逐渐开展[4]。截止到2021年9月9日,在Web of Science上以“crop 3d reconstruction”为关键词,共检索到383篇期刊文献,其中316篇为近5年发表,由此可见,作物三维重构及其相关领域的研究热度在近几年是非常高的。
2 作物三维重构方法
2.1 作物三维重构方法分类与基本流程
图1
目前作物三维重构的相关研究主要分为三个步骤:一是确定重构对象,包括整体植株或主要器官;二是选择目标植株信息获取方法和三维重构方法;三是通过三维重构体进行相应植株模型参数的提取,进而应用到农业精准化管理领域。作物三维重构的基本流程如图2所示。
图2
2.1.1 基于规则的方法
基于规则方法的流程主要包括数据的获取、数据处理、三维重建的方法选择和表型提取。近几年开始出现使用相机或三维数字化仪获取数据,一定程度上减少了获取数据的工作量。数据的处理随着获取数据的不同而变化。基于规则方法的基本流程如图3所示。
图3
图3
基于规则方法的作物三维重构基本流程
Fig. 3
Basic process of crop 3D reconstruction based on rule method
2.1.2 基于图像的方法
基于图像的方法是指通过相机获得目标植株的二维图像,首先利用图像识别与处理方法对获得的图像进行预处理,然后利用模式识别、机器视觉等方法实现目标植株的三维重构,可分为单目视觉系统、双目视觉系统和多目视觉系统。单目视觉系统通常要求的条件比较理想化,重建效果及精度一般,因此在植物三维重建领域的应用极少[20]。目前比较常用的是双目视觉系统和多目视觉系统。双目立体视觉空间定位的几个关键技术主要包括图像采集、摄像机标定、图像预处理、边缘特征提取和立体匹配等[21]。多目视觉则是在双目视觉的基础上,通过添加多台相机来避免由于基线距离增大所造成的遮挡等问题。Nguyen等[22]描述了一种用于植物表型获取的田间三维重构系统。该系统利用同步、多视角、高分辨率彩色数字图像对作物进行真实的三维重建,成功地获取到了植物冠层几何形态的特征参数。
图4
图4
基于图像方法的作物三维重构基本流程
Fig. 4
Crop 3D reconstruction basic process based on image
图5
图5
基于图像方法的大豆三维重构示例[15]
Fig. 5
Example of soybean 3D reconstruction based on image
2.1.3 基于仪器的方法
基于仪器的方法目前主要指基于三维扫描仪和三维数字化仪进行作物的三维重构。
基于三维扫描仪的方法是指在一些取样平台上使用其扫描整株植物,则可以得到整体植株的三维位置信息。目前在作物三维重构领域应用最多的就是三维扫描仪[28-32]。例如,Lee和Ehsani[33]使用扫描技术实现了柑橘树表型参数量化。Raumonen等[13]通过扫描仪实现了树木冠层的参数获取以及三维重构。Paulus等[14]研究了利用高精度激光扫描仪与可移动关节测量臂在亚毫米尺度下直接获取非侵入性的三维数据。Omasa和Konishi[34]利用三维激光雷达成像技术来估计植物的特性,如冠层高度、冠层结构、碳储量和物种等,并通过回顾激光雷达系统的发展及从叶到冠层遥感的应用来评估植物的生长和形态反应。
基于仪器方法的作物三维重构基本流程如图6所示。
图6
基于三维扫描仪和基于三维数字化仪的方法获取数据速度比较快、对植物没有损伤并且得到的三维点云数据量比较大,高度保留了植株体的颜色信息和纹理信息,还原度比较高。但是三维扫描仪获得的点云数据量大,处理起来相对费时并且设备价格昂贵,这是该方法目前所面临的问题[12]。同时,这两种方法对环境有较高要求,尤其是激光扫描仪在扫描时不允许激光发射器的周围有金属物体,在暗室中使用测量效果比较好,即使通过该方法在田间进行重构也需要在封闭环境下进行,因此在一定程度上限制了其应用。此外,基于三维扫描仪和数字化仪获取的原始三维点云数据存在大量冗余且无关的信息,因此需要对原始点云进行处理。方志力等[36]将植株放在空旷的环境中,实现了目标点云与无效数据在空间上的无连续性,接着运用阈值分割方法分离了目标点云与背景噪声。
目前,3D信息采集仪器已经变得越来越经济高效,并通过使用先进的技术设备为更有效的农业实践提供了新的机会。
2.2 作物三维重构方法的特点分析
总结上面综述内容,对各种方法的特点进行归纳总结,结果见表1。
表1 作物三维重构方法的技术特点
Table 1
方法类别 | 方法特点 | |||||||
---|---|---|---|---|---|---|---|---|
采样速度 | 采样方式 | 重构速度 | 重构精度 | 使用复杂程度 | 设备价格 | 受环境影响程度 | ||
基于规则的方法 | 快 | 不采样或人工 | 快 | 低 | 易 | 低 | 小 | |
基于视觉图像的方法 | 快 | 视觉传感器 | 一般 | 高 | 易 | 较低 | 大 | |
基于仪器的方法 | 三维扫描仪 | 快 | 激光或深度相机 | 快 | 一般 | 易 | 高 | 小 |
三维数字化仪 | 慢 | 接触式传感器或探头 | 一般 | 高 | 复杂 | 高 | 大 |
在对大量的文献进行整理时发现:(1)基于规则的作物三维重构方法的核心是动态模型,所以三维模型的采样量比较少甚至有时必须要采样,而重构的速度一般都比较快,哪怕比较复杂的规则或模型,重构速度一般也较快,而过度依赖于算法和规则的重构模型则精度不高,同时受环境的影响也较小;(2)基于视觉图像的三维重构方法通过相机等视觉传感器进行采样,尽管所需图像较多,但采样的速度比较快,由于重构时需要去噪和纯化目标对象,所以图片的预处理时间较长,另外基于图片的三维模型生成算法要同时针对大量图片进行处理,所以重构的速度不快,此方法受环境光线和背景复杂度的影响比较大;(3)同样是基于仪器的三维重构方法,三维扫描仪和三维数字化仪的差别很大,前者一般以位置传感器或激光雷达作为主要的采样装置,采样速度较快,后者使用接触式传感器,采样速度较慢;三维扫描仪的重构速度较快,而三维数字化仪由于使用和测量过程复杂,使得整个的重构速度较慢;三维扫描仪的重构精度较三维数字化仪要低,目前,三维数字化仪的重构结果仍被认为是作物三维重构的标准。上述三类方法的优缺点见表2。
表2 各类作物三维重构方法的优缺点
Table 2
方法类别 | 代码 | 类型 | 具体描述 | |
---|---|---|---|---|
基于规则 | A1 | 优点 | 采样简单速度快、使用容易、受环境影响小、成本低 | |
B1 | 缺点 | 精度低 | ||
基于图像 | A2 | 优点 | 采样速度快、使用较容易、重构精度高、成本低 | |
B2 | 缺点 | 预处理时间长、受环境影响大、重构速度一般 | ||
基于仪器 | 1) 三维扫描仪 | A3 | 优点 | 采样速度快、使用简单、受环境影响小 |
B3 | 缺点 | 重构精度不高、重构速度一般、成本高 | ||
2) 三维数字化仪 | A4 | 优点 | 重构精度高 | |
B4 | 缺点 | 采样速度慢、重构速度一般、使用较复杂、受环境影响大、成本高 |
3 主要作物三维重构技术应用研究现状
作物三维重构技术按其应用对象不同可分为单株作物三维重构(地上单株)、田间作物群体三维重构(地上群体)和作物根系三维重构(地下根系系统)。对单株作物重构是对作物的三维形态结构做精细化构造,这样的三维点云模型的点云在百万级别。主要侧重叶面积、叶倾角、叶宽、叶长、株高、节间距等精细化的表型数据分析;田间作物群体三维模型是以田间群体为目标进行三维重构,目的在于获取田间群体冠层水平的相关表型,比如叶面积、叶面积指数、叶倾角、冠幅和冠高等;对作物根系三维重构是以获取根系相关表型和研究根系构型为主要目标的,由于在常规土壤介质中根系是肉眼不可见的,所以取样手段较常规地面上重构复杂,往往需借助CT或核磁共振。基于参考文献[37-45]总结得到作物三维重构应用的具体划分情况如图7。下面将从单株作物、田间群体作物和作物根系这三方面来对作物三维重构技术的研究现状进行综述。
图7
3.1 单株作物三维重构
3.1.1 研究现状
单株作物三维重构是无损研究单株作物形态结构和生长变化规律的重要信息技术手段,而基于三维模型的作物单株表型获取不仅为分子和表型间的关联分析提供重要的数据支持,同时也是其他应用的前提和基础。单株三维重构是作物三维重构最基本的问题,对单株三维模型的解析不仅为研究作物形态发育和植株结构提供重要信息,同时也为作物模拟生长和模拟育种提供重要的数据基础。
本节对玉米、大豆、小麦、棉花、水稻、油菜、番茄以及其他单株作物三维重构研究进展进行了归纳总结,详细阐述了不同作物相对应的三维重构方法中的硬件系统和软件系统,并分析和比较不同方法的优缺点。具体见表3。
表3 单株作物三维重构相关研究
Table 3
作物 | 采样设备和方法 | 重构方法 | 优缺点 | 参考文献 |
---|---|---|---|---|
玉米 | 单反相机 | SFM算法、SIFT算法、SVM算法 | A2、B2 | Zhu等(2020)[39] |
三维扫描仪 | Kinect | A3、B3 | 方志力等(2017)[36] | |
三维扫描仪 | LiDAR、LabVIEW程序 | A3、B3 | Thapa等(2018)[46] | |
三维扫描仪 | Geomagic Studio 2014、DoN法线差分算法 | A3、B3 | 苏伟等(2019)[47] | |
三维扫描仪 | 扫描仪、Gemomagic Spark | A3、B3 | 李抒昊等(2018)[48] | |
三维扫描仪 | 扫描仪、三角剖分法 | A3、B3 | 王勇健等(2014)[49] | |
三维扫描仪 | Alpha-Shape算法、移动立方体算法 | A3、B3 | 刘睿等(2014)[50] | |
三维扫描仪 | B样条曲线、多直线分裂算法 | A3、B3 | 肖伯祥等(2007)[28] | |
双目视觉系统 | 双三次B 样条曲线 | A2、B2 | 李辉(2016)[51] | |
双目视觉系统 | Cardinal 样条插值函数 | A2、B2 | 王传宇等(2010)[52] | |
多目立体视觉 | MVS- Pheno平台 | A2、B2 | Wu等(2020)[15] | |
三维数字化仪、激光雷达 | VC++、OpenGL库 | A4、B4 | 程锦和劳彩莲(2009)[29] | |
手持式的FastSCAN扫描仪 | 基于网格方法的自适应密度三维点云简化方法和玉米植株双边滤波算法 | A3、B3 | Ma等(2019)[45] | |
大豆 | 单反相机 | 3DSOM、MATLAB拟合 | A2、B2 | Zhu等(2020)[44] |
数码相机 | 三次样条曲线、L系统 | A2、B2 | 宋祺鹏等(2017)[53] | |
人工测量 | MATLAB拟合、L系统 | A1、B1 | 刘占凤等(2008)[16] | |
三维扫描仪 | 三次样条曲线、Delaunay三角剖分 | A3、B3 | 谢秋菊等(2011)[54] | |
人工测量 | MATLAB拟合、L系统 | A1、B1 | 郑萍等(2006)[55] | |
小麦 | 单反相机 | SIFT算法、SFM算法、MVS算法 | A2、B2 | 史维杰等(2019)[56] |
单反相机 | MVS-SFM算法 | A2、B2 | Duan等(2016)[57] | |
工业相机 | 3DSOM、GPU、OpenCV | A2、B2 | Fang等(2016)[58] | |
相机拍摄 | 边缘检测、生长曲线约束 | A2、B2 | 胡少军等(2007)[59] | |
人工测量 | 非均值有理 B 样条、OpenGL库 | A1、B1 | 李书钦(2017)[60] | |
人工测量 | 形态模型、NURBS曲面、OpenGL库 | A1、B1 | 李书钦等(2016)[61] | |
人工测量 | NURSS曲面 | A1、B1 | 李书钦等(2016)[62] | |
人工测量 | 生长模型、VC++、OpenGL库 | A1、B1 | Zhang等(2012)[63] | |
三维扫描仪 | 离散平滑D2-样条曲面拟合 | A3、B3 | Kempthorne等(2015)[64] | |
棉花 | 双目视觉系统 | SIFT 算法 | A2、B2 | 柏月等(2017)[65] |
双目视觉系统 | OpenCV、Adaboost算法、SIFT 算法 | A2、B2 | 韩大龙(2014)[66] | |
人工测量 | NURBS曲面、VC++、OpenGL 库 | A1、B1 | 杨娟等(2006)[67] | |
三维扫描仪 | LiDAR 和 RTK-GPS | A3、B3 | Sun等(2018)[31] | |
人工测量 | COTGROW模型、GroIMP平台 | A1、B1 | 陈超等[68] | |
水稻 | 单反相机 | SFM算法、CMVS算法、PMVS算法 | A2、B2 | 宋时德等(2017)[69] |
激光雷达 | Crop 3D平台 | A1、B3 | Guo等(2017)[70] | |
Light Stage平台 | 计算机视觉、移动立方体算法 | A1、B3 | 孟耀华等(2014)[71] | |
人工测量 | 形态模型、VC++、OpenGL 库 | A1、B1 | 何火娇等(2009)[72] | |
人工测量 | 生长模型、生长度日(GDD)、VC++ | A1、B1 | 徐其军等(2010)[73] | |
平板扫描仪 | 样条曲线 | A3、B3 | 汪丽萍等(2017)[74] | |
相机拍摄 | 3DSOM | A2、B2 | 张楠(2013)[75] | |
数字成像系统 | RootReader3D | A3、B3 | Clark等(2011)[76] | |
单反相机 | OpenCV、Marching Cubes方法 | A2、B2 | 吴茜(2012)[77] | |
油菜 | 三维扫描仪 | Delaunay三角网格化算法 | A3、B3 | 史蒲娟等(2017)[78] |
三维扫描仪 | 迭代最近点算法、基于可视化类库VTK | A3、B3 | 方慧等(2013)[79]、李冬等(2013)[80] | |
人工测量 | 3次Bézier曲面、L系统 | A1、B1 | 赵丽丽等(2011)[17]、欧中斌(2007)[81] | |
人工测量 | 生长度日(GDD)、VC++、OpenGL库 | A1、B1 | 岳延滨(2010)[82] | |
单目视觉系统 | MVS、SIFT、PMVS算法 | A2、B2 | 史蒲娟等(2017)[78] | |
番茄 | 相机拍摄 | hue-invariant模型 | A2、B2 | Ran等(2013)[83] |
相机拍摄 | L-系统、Kinect数字化、VC++、OpenGL库 | A2、B2 | 彭永石(2007)[18] | |
人工测量 | 悬臂梁弯曲模型、马尔科夫算法、贝塔分布 | A1、B1 | 董乔雪等(2010)[84] | |
人工测量、三维扫描仪 | 网格模型、B样条曲线 | A1、B1 | 袁晓敏等(2012)[85,86] | |
人工测量 | L系统公式集、VC++、OpenGL库、Bezier曲面 | A1、B1 | 辛龙娇等(2014)[87] | |
草莓 | PMD深度相机、彩色相机 | 深度信息步进方法、Harris算子 | A2、B2 | 刘刚等(2017)[88]、张雪等(2017)[89] |
人工测量 | 球B样条曲线 | A1、B1 | 赵丽丽等(2011)[90] | |
人工测量 | MATLAB中的interp函数、quad函数、surf函数等进行曲线、曲面的拟合 | A1、B1 | 祁力钧等(2013)[91] | |
黄瓜 | 显微照相机 | 仿射变换、VTK | A2、B2 | 陈学峰等(2009)[92] |
单反相机、三维扫描仪 | 豪斯多夫距离、SFM与MVS | A2、B2 | 胡鹏程等(2015)[93] | |
人工测量 | 3次Bézier曲面算法、L系统 | A1、B1 | 杨沛和何东健(2010)[94]、方小勇等(2006)[95] | |
数码相机 | SIFT算法、B样条曲线、Delaunay网格算法 | A2、B2 | 杨亮等(2009)[96] | |
三维数字化仪 | 参数化方程、Delaunay网格化算法 | A4、B4 | 陆声链等(2017)[97] | |
辣椒 | 三维数字化仪 | B样条曲线、NURBS曲面、T样条曲线 | A4、B4 | 乔桂新等(2012)[98] |
人工测量 | 有效积温—Logistic方程 | A1、B1 | 赵泽英等(2012)[99] | |
人工测量 | Bézier算法、Wang Tiles算法、三维Morphing | A1、B1 | 郭明伟(2010)[100] | |
葡萄 | 三维数字化仪 | DUS知识库规则 | A4、B4 | 温维亮等(2015)[101] |
生菜 | 三维扫描仪 | 器官模板技术 | A3、B3 | 温维亮等(2011)[102] |
单反相机 | 边缘检测算法、Nurbs曲面、OpenGL库 | A2、B2 | 孔繁爽等(2015)[103] | |
烟草 | 三维数字化仪 | B样条曲线、插值样条曲线 | A4、B4 | 王芸芸等(2010[104]、2013[105]) |
从表3中不难看出,从作物单株重构方法应用总体上来看,2010年前的研究基于规则的方法较多,2010年后,双目和多目视觉随着计算机技术和算法水平的提高其应用越来越普及,到2015年后,集成了采集和重构功能的三维扫描仪应用越来越多,集成化三维重构技术是简化重构过程,是使重构技术得到推广和普及的重要过程。
3.1.2 问题与挑战
目前,不同重构对象背景下作物三维重构仍存在着诸多问题与挑战。本节对目前玉米、大豆、小麦、棉花、水稻、油菜、番茄以及其他单株作物三维重构方法仍存在的问题与挑战进行了归纳总结。
(1)玉米。玉米植株的冠层结构、叶片的空间分布状况影响冠层
(2)大豆。大豆生产是群体生产,大豆的群体结构会直接影响到最终的产量。目前,大豆植株精准化管理的挑战之一是如何获得大豆生长期的精准三维形态结构,为进一步提高大豆产量奠定基础。由于大豆植株株型复杂、叶片和花朵密集等原因,目前国内外对大豆植株三维重构的研究很少,这也是现在很多研究者研究的一个难点。人们用了多种方法进行了尝试重构,但还没有方法在重构大豆植株时展现出更明显的优势。目前的研究较多使用规则的方法,利用大量测得的植物信息,建立植物的生长模型,但存在大豆重构后的形态结构与实际误差较大的问题。图8为一组单株大豆三维重构效果图。
图8
(3)小麦。小麦是世界第二大粮食作物,由于小麦形体结构复杂,存在分蘖、叶片弯曲等情况,小麦生长过程也同时受到环境条件的影响,在不同生长期的形态特征差异比较大,因此对小麦植株的三维重构以及可视化进行研究具有很大的挑战。小麦三维重构主要采用基于规则和基于图像的方法,主要原因是小麦植株矮小且结构相对简单。例如Kempthorne等[64]开发了一种新的参数化技术,它可以转换原始的人工测量数据,并且使用有限元方法将曲面表示为紧支撑形状函数的线性组合,使表面能够在新的参数空间中使用离散平滑
(a)有支撑结构的小麦植株照片 | (b)无支撑结构的小麦植株照片 | (c)小麦植株扫描 | (d)小麦植株的 改造 |
(4)棉花。中国是棉花生产大国,棉花在农业经济中占有举足轻重的地位。因此,在保证棉花质量的前提下实现棉花产量的提高是目前的攻坚问题。棉花三维重构较多使用基于规则的方法和基于图像的方法。但存在重构后的形态结构与实际的作物生长的拓扑结构有误差等方面的问题。图10为棉花植株三维重构结果图。
图10
图11
(7)番茄。番茄由于具备极高的食用价值一直比较受人们的欢迎[111]。在提升番茄种植的产量和质量方面,大部分科研人员逐渐将计算机图形学与农学相结合,进行虚拟番茄的研究。这样不仅仅能够改进现实番茄研究的试验周期,也能够在虚拟环境下模拟环境对番茄产量的影响。但是由于番茄自身的生长结构较为复杂,目前国内外的一些关于番茄三维重构的文献不是很多,缺少一定的研究基础。
(8)其他作物。在作物三维重构领域涉及到的作物还包括草莓、黄瓜、辣椒、葡萄、生菜、烟草等,由于研究较少,进行作物三维重构时,各自使用的方法都具有一定的局限性。
3.2 田间群体作物三维重构
田间作物群体三维模型的建立是实现自动化高通量田间植物群体表型获取的重要手段,是研究作物生长发育规律和作物群体结构特征及变化规律的关键技术方法之一。Moreno等[38]利用激光雷达技术重构了葡萄群体,并提出了基于重构群体的生物量估算方法,其结果与人工测量相比效果较好;Zhu等[39]通过多目视觉技术对大豆和玉米田间群体进行了全生育期跟踪重构,进而通过对重构模型的分析,获取了叶长、叶宽、株高和叶面积等基本表型,基于重构的全生育期模型,对大豆和玉米的生长规律和三维冠层中的光分布规律进行了探索,得出了比较理想的结果;Burgess等[40]基于多目视觉系统对花生和谷子的田间间作群体结构进行三维重构,并同时估算了各自的叶面积指数,进而详细探索了花生和谷子间作的光环境和光合作用状况,其结果直接指导了田间优化种植。田间作物三维重构最直接的应用就是获取植物冠层水平的相关表型,并基于此对作物的生长发育规律和群体结构进行探讨,因此田间作物三维重构是实现田间精准农业的重要技术手段之一。表4为不同田间群体作物三维重构的相关研究。
表4 作物田间群体三维重构相关研究
Table 4
作物 | 采样设备和方法 | 重构方法/工具 | 优缺点 | 参考文献 |
---|---|---|---|---|
玉米 | 三维扫描仪 | t分布函数 | A2、B3 | 温维亮等(2018)[112] |
玉米 | 三维扫描仪 | 分段曲率、 VC++、OpenGL 库 | A3、B3 | 程锦和劳彩莲(2009)[29] |
棉花 | 双目视觉系统 | SIFT 算法 | A2、B2 | 牛顺义(2016)[113] |
棉花 | 人工测量 | COTGROW 模型、GroIMP 平台 | A1、B1 | 陈超等(2016)[68] |
棉花 | 人工测量 | 系统分析法、VC++、OpenGL 库 | A1、B1 | 周娟等(2009)[114] |
棉花、谷子 | 多目视觉 | FastTracer | A2、B2 | Burgess等(2017)[40] |
水稻 | 人工测量 | RPTDS软件、VC++、OpenGL 库 | A1、B1 | 孟军等(2007)[115] |
番茄 | 人工测量、三维扫描仪 | 网格模型、B样条曲线 | A1、B1 | 袁晓敏(2012)[86] |
大豆 | Kinect2.0 | MATLAB软件、最大类间方差阈值分割法 | A2、B2 | 冯佳睿等(2019)[116] |
大豆、玉米 | 多目视觉 | Visual SFM | A2、B2 | Zhu等(2020)[39] |
草莓 | 超声波传感 | MATLAB软件 | A3、B3 | 祁力钧等(2013)[91] |
葡萄 | 激光雷达 | MATLAB软件 | A3、B3 | Moreno(2020)[38] |
葡萄 | 三维数字化仪 | VegeSTAR软件 | A4、B4 |
三维重构技术在田间群体作物上的应用状况与在单株作物上类似,在2010年之前,多采用基于规则的方法,其优点是成本低、速度快,缺点是精度低。当对精度要求较高时,双目或多目成像系统使用较多。而在近几年,采样速度更快和重构速度更快的方法(深度相机、激光雷达、三维扫描仪)被广泛使用,这些仪器使用起来更方便简单,同时精度一般也能够达到要求(尽管不如基于图像的方法),但往往仪器价格昂贵并且耗时。基于这些方法所建立的作物群体三维模型,可以通过计算机程序快速获取目标作物群体的一系列冠层表型,如株高、冠幅和叶面积指数等[118],从而加速作物田间品种选育和作物长势诊断的进程。
目前在作物群体三维重构的研究中存在的主要问题是初期重构结果的噪声较大,如何通过计算机视觉、深度学习技术和各类算法工具相融合,将目标作物群体从复杂的初期重构体中剥离出来是当前研究的难点和热点。
3.3 作物根系三维重构
作物根系的三维重构是目前作物三维重构研究中难题,本文整理了近年来作物根系三维重构的研究,详见表5。
表5 作物根系三维重构相关研究
Table 5
作物 | 采样设备和方法 | 重构方法/工具 | 优缺点 | 参考文献 |
---|---|---|---|---|
大豆 | CT、磁共振 | 体积图像算法(MAVI)软件包 | A3、B3 | Metzner等(2015)[42] |
水稻 | 三维扫描仪 | 霍夫变换、Ball-B样条 | A3、B3 | Fang等(2009)[41] |
大豆 | 光学显微镜 | Adobe After Effects软件 | A2、B2 | Livingston等(2019)[43] |
水稻 | 数字成像系统 | RootReader3D | A3、B3 | Clark等(2011)[76] |
玉米、大麦 | 磁共振 | NMRooting | A3、B3 | Van Dusschoten等(2016)[119] |
番茄 | CT | Roo Trak | A3、B3 | Mairhofer等(2013)[120] |
大麦、小麦 | CT | VG Studio MAX 2.2软件 | A2、B2 | Pfeifer等(2015)[121] |
大麦 | 磁共振成像 | WinRhizo软件 | A3、B3 | Pflugfelder等(2017)[122] |
玉米 | 单反相机 | WinRhizo、GiARoots、SmartRoot | A3、B3 | Le Marié等(2014)[123] |
水稻 | 三维体内成像技术 | GiA Roots | A3、B3 | Galkovskyi(2012)[124] |
甜菜 | 核磁共振成像 | Mevislab软件包 | A3、B3 | Metzner等(2014)[125] |
水稻 | CT | Genstat 15.1 | A2、B2 | Zappala等(2013)[126] |
番茄 | μCT | OpenVMS | A3、B3 | |
小麦 | 根系构型数字化仪 | Pro-E软件 | A4、B4 |
从表5中可以看出,透明介质中的根系重构一般使用的是三维扫描仪或多目视觉技术,而土壤介质中的根系重构是核磁或CT采集加软件算法合成的方法。土壤介质中根系重构是重构根系的最终目标,也是现在作物三维重构研究的热点之一,其难点在于数据采集,由于目前需要CT或核磁这样昂贵的大型设备才能够进行,所以研究的前期成本较高,目前随着CT和核磁等设备的普及,使用成本已大幅度下降,但高精度的样本采集费用仍旧昂贵。另外,基于核磁和CT采集样本的三维模型构建算法发展相对成熟,已出现了像WinRhizo等成熟的集成算法软件。随着科学技术的发展,采样设备和费用会进一步降低,这将极大地推进根系三维重构技术的发展,为生物学家更好地研究根系的形态、生理和生物学特性提供重要助力。
目前在作物根系三维重构研究中存在的问题有两个:一是应用算法生成三维重构模型之前的基础图片去噪目前无法实现自动化,模型重构成本高;二是采样设备价格昂贵。这两个问题是目前研究土壤介质中重构作物根系三维模型的两大瓶颈。
4 作物三维重构技术的前景展望
4.1 能否实现作物三维重构流程全程自动化将是制约这一技术普及的关键因素之一
2016年比利时根特大学的Donné等[132]设计并开发了软硬件相结合的玉米单株三维重构和表型获取系统-PhenoVision,对自动化植株三维重构流程进行了尝试,实现了植株长、宽、高和投影面积等表型的自动获取,但对更精细的叶面积、叶倾角等表型还无法度量,而且对植株更复杂的大豆等其他作物效果一般。此外,一些公司也投入了研发三维植株生成系统,如Trait4D[133]系统,实现了小型盆栽作物从重构到表型的自动化过程,已经能够提取包括株高、冠幅在内的多种表型,但同样对精细化表型(叶面积、节数和节间距等)和复杂植株(冠层覆盖度高的植株)仍然无能为力。目前,这些问题都集中在了复杂植株重构和三维植株分割的算法设计和研发中,当前一段时间内这些算法的研究都将是作物三维重构的热点问题。
4.2 作物三维模型重构将成为构成作物4D表型的基本单元
当前处于信息时代,信息的载体已经突破了原有的条目数据模式。从机器视觉技术的视角,以表型描述的载体为分类依据,对作物表型进行一次重新分类,可大体分为四类。第一类是一维表型(1D表型),一般是指描述作物某一方面的一个具体度量指标,如株高、冠高、叶面积、籽粒长和宽等,这是传统作物性状表型描述的主要手段;第二类是二维表型(2D表型),2D表型已经是综合表型,主要是用照片来记录和描述作物的属性,由于二维图片的局限性,使得相应描述并不完整,如植株的俯视照片尽管能够描述植株叶片的颜色,并记录了冠层顶端花和果实的形态与数量,但并不能描述植株下层冠层的状况;作物三维表型(3D表型)即指作物三维重构模型,是描述植株外观形态全信息的综合载体,一个植株的三维模型既承载了多个1D表型,又弥补了2D表型片面性的不足,是描述作物表型的最重要方式之一。2015年,Apelt等[134]开发了Phytotyping4D系统,首次用四维信息载体的概念来描述作物生长发育过程中的时空信息,而以时间轴串联起不同生长期的作物三维模型构成的模型序列,可称为作物的四维表型。
当前作物表型组学的绝大部分研究的目标和问题出口仍然是一维表型,但随着计算机视觉和人工智能技术的蓬勃发展,二维表型和三维表型相关的研究和工具逐渐增多,这些为四维表型研究的实施提供了重要的技术支持和数据基础,而承载着作物全生育期时空信息的四维表型会成为未来的作物表型组学研究的目标和育种家们的重要工具。
4.3 海量的作物三维模型将为作物模拟生长和模拟育种提供重要数据基础
作物生长模拟是用动态与定量的方式描述作物生长发育和产量的形成过程,同时也描述了其对环境的反应[106],传统的作物模拟生长模型一般可分为两类,一类是基于规则的作物生长可视化模型,如L系统等[135];另一类是基于模拟生长模型的数量化仿真,此类研究很多,最早可以追溯到1965年,荷兰De Wit[136]对玉米冠层的光合速率进行了研究,并使用计算机进行了仿真,开启了探索作物生理生态过程的数量分析与模拟。上述两类作物模拟生长方法的共同之处是依据规则或模型来解决问题,即解决模型驱动问题。这类方法需要有一个前提,即模型或规则是正确的或基本正确的,然而,作物的生长是在复杂的环境中和多样的遗传背景下进行的,绝大多数的模型或规则很难做到具有普适性。
大数据和人工智能技术的到来为解决问题提供了新的途径。计算机技术、传感器技术和计算视觉技术的飞速发展为在农业领域对各类作物在不同环境下能够进行三维重构提供了重要的技术保障。当作物三维模型日渐增多、重构精度不断提高的时候,数据驱动的作物模拟生长技术会呼之欲出,进而会推动大数据驱动下作物模拟育种技术的高速发展。
4.4 作物三维重构技术将成为智慧农业快速发展重要推动力之一
智慧农业是以信息为载体,通过物联网、大数据、人工智能等技术手段,与农业问题深度融合,实现农业领域的智能决策、智能控制的一种新的生产方式,是农业从数字化到网络化再到智能化的高级阶段[137]。农作物研究的核心问题是育种和耕作,为了在智慧农业观念和技术的加持下进行高效育种与合理耕作,孙凯[138]基于多目立体视觉对大豆植株进行了三维重构,并量化了多个冠层水平的表型,进而对大豆种植密度进行了优化,实现了从虚拟植株到反演出优化种植密度的全过程,为智能管理和智能决策提供重要信息;Bietresato等[139]基于激光雷达3D视觉系统对田间作物实现了生长期的全程监控,自动测量了株高、冠幅和叶面积指数等多个冠层指标,弥补了二维图像视觉技术反馈信息不全的问题,使得田间诊断更准确更可靠,为智慧决策提供了重要参考。此外,大量的基于三维重构提取的作物表型指标为该表型的分子机理研究提供了重要的高准确性和高通量的表型信息,进一步的关联分析和遗传定位将成为分子育种和智慧育种的重要支撑。
当前,作物三维重构技术已融入了作物学研究的各个方面,无论是在育种还是在耕作方面都发挥着越来越大的作用。随着现代计算机技术、三维视觉技术和人工智能算法的进一步发展,作物三维重构技术上瓶颈问题将被攻克,作物三维重构技术将为智慧育种和智能耕作提供越来越多的重要信息,将成为推动智慧农业发展的重要技术支持。