1 引 言
截至2017年，中国设施园艺的总面积达370万hm²［1］，以分布于辽宁、山东、河北等地的塑料大棚、中小拱棚为主，占设施园艺总面积的63.42%。受人口老龄化、城镇化等因素的影响，中国务农人口数呈下降趋势，逐步增加的人力成本对设施作物智能化种植和管理提出了更高要求。随着人工智能科技的迅速发展和农业信息化向智能化方向的转变，“机器代替人力”“电脑代替人脑”成为可能［2］。农业物联网相关技术、体系架构在农业中应用经过试验而趋于成熟，在数据采集、远程控制均有应用。其中，张猛等［3］基于Zigbee和Internet，设计了温室群环境远程监控系统，通过节点自组网的低丢包率保证了远程数据采集及远程实时控制的可靠性；程文锋［4］利用反馈前馈线性化解耦方法，实现了无线传感器网络嵌入式监控远程温湿度的解耦控制；李亚迪［5］综合运用传感器技术、自动检测技术和通讯技术实现了北方日光温室环境数据远程采集；尚志跃等［6］设计了基于商业云平台的植物工厂环境监测系统，能够对云平台环境数据进行远程监控。智能机器人逐渐运用到生产过程中，绳索式机器人［7］、轮式机器人［8］、履带式机器人［9］在巡检方面具有较强实用性。王建平和杨宗晔［10］设计了温室兰花移动视觉机器人，通过任务协调和控制执行两级耦合递阶结构实现兰花苗盘的检测搜寻；Roldan等［11］设计了温室环境变量采集机器人，通过传感器监测不同高度的温度、湿度、光照强度和CO2浓度，并利用SLAM技术实现自主避障，但日光温室环境下，由于垄间表面土壤凹凸不平，机器人行进过程中容易破坏植株，且易受作物茂盛生长叶片遮挡，影响检测数据获取的完整性；Bai等［12］针对大尺度农田植物表型获取研发了NU-Spidercam机器人系统，通过绳索控制搭载平台移动，通过多光谱相机、分光仪等设备实现了大田黄豆表型数据的获取，但在温室空间相对封闭的环境下，尚未应用。
为满足农业生产和科研人员对个体植株表型立体观察和生长环境的精细化远程观测需求，同时避免管护人员进入高温高湿的温室环境进行长时间作业，本研究提出了一种温室影像与环境监测采集机器人系统。系统基于日光温室现有通用框架，架设水平轨道，机器人通过转轮在滑轨上水平移动；双柱体结构提供纵向移动，形成四自由度运动平台；底部搭载高清摄像头，机身加装监测环境空气温度、空气湿度、CO2浓度的传感器；通过有线与无线网桥进行视频、图像数据及控制指令汇聚［13,14］。环境监测数据由于体量较小，采用GPRS/3G/4G/Zigbee技术进行传输端［15-17］。统一连接大数据中心服务器，结合种植作物信息、生长阶段进行无人化信息精确采集，以实现试验区块无人巡检，并将结果上传至手机app，缩短农民和科研人员在高温高湿环境下工作时间，为经营主体、农业技术人员、科研专家提供便捷高效的农事现场信息采集工具。
2 机器人系统设计
机器人系统整体设计原则有以下几个方面。
（1）经济性：最大程度利用日光温室现有的环境条件，避免农民、科研人员不必要的投入；
（2）易用性：信息获取方式简单便捷，适用于高龄群体；
（3）先进性：采用物联网、大数据、人工智能信息处理技术；
（4）合理性：避免破坏植株生长环境，影响农事操作；
（5）安全性：现场人员安全、环境安全通过软硬件机制配合保障；
（6）可扩展性：基于机器人及软件模块的业务均可进行模块化扩展与集成。
2.1 机器人系统运行轨道部署
在长30 m，宽7.2 m，高3.8 m的拱形温室内进行机器人系统运行轨道安装。为方便进行全场景观测，吊装连接件上方焊接在棚顶钢管，间距为1 m，下方连接T型链接构件，通过T型链接构件固定轨道并使其保持水平（见图1 ），轨道单元每节3 m，由9组轨道单元连接成为27 m的水平滑轨。通过链条和齿轮将机器人固定在水平滑轨上。为避免温室高温高湿的环境导致电路故障，在滑轨上方安装保护构件。
考虑到温室实际应用环境和机器人自身高度，在摄像头底部和温室内已安装用于悬挂番茄枝蔓的钢丝绳之间保留20~30 cm的安全距离，避免机器人在运动过程中将钢丝绳拉扯断。图2 展示了机器人系统的具体安装位置。
2.2 机器人系统结构
本研究设计的机器人系统主要由感知中枢、执行中枢和决策中枢三部分组成，机器人内部结构如图3 所示。
（1）感知中枢。用于获取360°全视角温室内作物影像，通过400万像素高清摄像头的变焦、调光、放大缩小、预置位设定等功能实现对作物整体长势、单植株表型等不同需求的精确观察，通过热红外成像监控监测温室内异常热源；同时根据温室内的监测参数需求在机器人内部装配空气温度、空气湿度、光照强度等传感器（性能指标见表1 ），并随机器人同步滑行，实现作物生长环境网格化动态监测。
表1 传感器性能指标Table 1 Sensor performance index |
| 参数 | 量程 | 分辨率 |
|---|---|---|
| 空气温度/℃ | -50~80 | 0.1 |
| 空气湿度/%RH | 0~100 | 0.1 |
| CO2浓度/（mg·m-³） | 0~19,642 | 1.0 |
（2）决策中枢。由海量异构数据和针对不同类型作物、生长环境以及可实现用户目标的算法（包括应用于农业的目标检测、自然语言处理等深度学习模型和算法，如：卷积神经网络（Convolutional Neural Network，CNN）、支持向量机（Support Vector Machine，SVM）、K最近邻（K-Nearest Neighbor，KNN）算法等）构成。主要功能是将温室作物表型、生长期、环境、水肥需求等多源异构数据［17］汇总分析，以机器人运动时间和观测内容为决定要素，形成决策信息和机器人运动的执行依据。
（3）执行中枢。由可横向控制运动的滑轮、纵向控制升降的双柱结构和可多角度操控方向、焦距的高清摄像头机构组成。通过执行中枢横向和纵向四自由度运动，获取行间和株间最佳观察位置，同时与视角感知中枢的紧密配合实现精确定位。该结构水平移动最大距离27 m，移动速度为1~15 m/min，垂直升降最大距离1.5 m，升降速度为0.9~3.6 m/min。
2.3 机器人系统总体设计
将机器人系统的三大中枢集成并部署在石家庄赵县农业科技协同创新平台上，通过平台利用物联网、互联网、大数据、人工智能技术面向生产人员、科研人员提供全天候全地域精细服务。平台整体架构如图4 所示，分为感知层、传输层、应用层，其中应用层包含数据解析层、存储层和业务层。
2.3.1 感知层
在感知层，机器人搭载360°高清摄像头和环境监测传感器用于温室尺度图像、生长环境参数精准动态采集。通过机器人内置操作系统，可对必要的信息进行本地预处理，便于信息集群分布式管控［18］，缩小传输体量，减少传输链路负载。
2.3.2 传输层
传输层汇集感知终端异构数据［19］。其中高清图像和视频数据量较大，为保持大型数据传输的稳定性，采用有线的方式传输数据，从轨道汇聚至温室末端，通过无线网桥将数据传输至园区大数据中心。机器人需满足毫秒级控制和长期在线，故采用相对稳定的有线传输。而环境监测传感器数据体量较小，但对数据的稳定性、延续性要求较高，因此安装远程终端单元（Remote Terminal Unit，RTU）模块通过GPRS/3G/4G移动网络进行数据传输。
2.3.3 应用层
应用层涵盖数据解析、存储、web端与移动端业务，面向用户提供智能化决策支持服务。
（1）数据解析层
（2）存储层
负责存储和管理业务数据，主要由监测数据、控制指令数据和决策依据数据3部分组成。数据存储于易用性较强、运行速度较快、安全性较高的MySQL数据库中。
（3）业务层
2.4 系统主要功能模块
根据三大中枢划分系统业务模块，包括基础信息模块、视觉感知模块、环境数据采集模块、语音转换模块、分析决策模块和运动控制模块，各模块功能具体见图6 。
2.4.1 基础信息模块
如图6 所示，该模块设置3类基础信息如下。用户信息：匹配用户操作要求、机器人运动轨迹和数据获取复合性反馈。种植作物信息：记录试验温室当前作物品种、垄距、株距和生长各阶段外观基本信息。温室基础信息：配置轨道起始点相对温室墙壁距离，机器人运动路径中障碍物距离，例如黄瓜、番茄等作物种植前布置的绳子和铁丝。
2.4.2 语音转换模块
实现语音指令发送，如上升、下降、前进、后退、放大、缩小、左转、右转、停止功能。语音识别流程如图7 所示，通过语音转换为文字，转换后的文字在手机端进行语句分词匹配，通过用户确认后发送。
2.4.3 视觉感知模块
实现视觉中枢集成，包含温室内机器人视角、温室中央和入口处三个监控设备集成，分别进行大尺度长势和小尺度叶片与茎部特征实时监测，同步集成辅助摄像功能，包括观测范围视角切换、放大与缩小、焦距调整、光线调整、回放和照片截取。
2.4.4 运动控制模块
实现机器人系统执行中枢在水平和垂直运动方向和行进速度的控制，为高清摄像头预置位的设定与调取、精确控制与温室种植作物全视角监测提供基础条件。此外，运动控制模块可结合种植作物生长习性，监测参数反馈和生产科研人员的观测需要，实现运动轨迹智能规划。
操控机制方面，为最大程度避免因传输信号不良导致的安全隐患，通过服务端和手机端远程控制设计成按压式触发指令，即按压状态下机器人运动，松开按键机器人停止，与现场机械限位（即机器人行进过程中在轨道上遇到障碍物停止运动）形成双重保护。机器人运动状态如图8 所示。
2.4.5 环境数据采集模块
用于实现温室内空气温度、空气湿度、光照强度和CO2浓度实时数据网格化监测与历史数据的保存。用户进行每日数据查询，并导出Excel格式的信息，形成制定作物品种的环境数据以存档。
2.4.6 分析决策模块
以作物种类、种植信息、历史轨迹记录和观测者需求为数据采集决策依据。其中作物种类信息包含选中种植作物的高度、叶间距、形状等特征。种植信息包括温室环境、起始位置、垄距、株距、生长阶段等。历史估计记录包括常规的观测路线、暂停点、操作记录等。观测者需求分析是决策指令触发前最后一个步骤，对机器人运动有更加具体的要求，包括整体长势、叶片病害、茎秆病斑等。服务端结合温室尺寸和需求提交参数进行空间定位，将定位信息反馈至预置位的具体位置，随即触发机器人运动指令和摄像头调整指令，影像记录通过网络上传至用户端进行确认。如果符合要求，系统记录信息，形成下一个指令基准，如果不符合要求，则返回进行模型校正重复指令下达及之后的操作。为使系统运行稳定，在校正5次失败的情况下，结束本次任务，用户可选择手动控制定位获取影像。分析决策流程见图9 。
3 系统实现
3.1 开发运行环境
开发环境：服务端以Tomcat8.5.23为容器，前端服务采用Java Servlet技术，数据库采用MySQL 5.7.20［23］。
开发工具：服务端和移动端均使用Java作为开发语言，版本为JDK1.8.0_231，软件为Eclipse Jee 2019-9和Android Studio3.6.3。其中，Android开发SDK版本为26.0.2，最低支持版本为4.0。
3.2 功能实现
3.2.1 数据采集
机器人系统采集的数据主要包括用户需求数据、影像数据、温室环境监测数据和机器人坐标数据，通过手机端无线网络与服务器端进行数据交互，实现异地实时数据上传与下载。
（1）用户需求数据：用户通过手机端发送操作需求，分别选定作物种类、温室内种植信息和观测类型需求，同时可发出语音控制指令。
（2）影像数据：包括摄像头的实时视频监控数据、预置位数据、设备状态数据和网络配置数据等。
（3）温室环境监测数据：实现以半小时为间隔的全周期网格化番茄数据集，包含温室内空气温度、空气湿度、CO2浓度和光照强度等。
3.2.2 数据处理
将机器人四自由度轨道坐标与视频监控空间参数进行融合转化，形成笛卡尔坐标系基准，匹配决策信息。
（1）基础数据转化。将作物种类、种植信息、观测需求三大类数据结合温室尺寸、设备安装位置形成笛卡尔坐标系空间坐标。如番茄采收阶段、氮肥试验区、病害观察，对应到坐标系中（X：10 m，Y：1.1 m，Z：1.2 m），其中X对应长度位置，Y对应宽度位置，Z对应高度位置。
根据空间位置分别换算为设备预置位设定数据，具体如下。
其中，Pveclim为机器人纵向预置位设定长度，m；Hbot为机器人挂载底部高度，m。
其中，PHorilim为机器人横向预置位设定长度，m；0.5 m为滑轨起始位置与温室入口墙距离。
（3）运动系统数据。运动系统数据缺省设定为横向15 m/min，纵向1 m/min，可根据实际测量要求改变速度，根据转化后的坐标系顺序，实现温室作物生长状态全程无人巡检。由于番茄、黄瓜等作物现场种植环境较复杂，特别是搭架和绑蔓会阻挡机器人巡检路线，因此，机器人根据现场垄距，轨迹配置为横向平移，暂停过程进行升降，直至纵向返回最高点，进行下一次平移。
（4）视觉感知数据。视觉感知作为机器人的功能之一，负责视频数据精确采集。本系统集成海康威视平台SDK管控功能和机器视觉算法平台部分算子［26］，包括实时视频播放、图像获取、历史视频回放、预置位设定、焦距调整、亮度调整、间距测量和目标检测等功能。
（5）环境监测数据预警提醒。针对番茄病毒病实现监测设备状态判断、结合温室内空气温度和空气湿度两个参数与番茄病毒病发病条件模型关系进行判断，通过日历的形式对现场条件进行预警。参考模型如下［29］。
P=1/[1+e(30.175-0.664T-0.183H )]
其中，e是自然常数；P表示番茄病毒病是否发生的概率；T代表温度，℃；H代表湿度， %。
4 系统应用与评价
目前系统在河北赵县和北京小汤山两个基地已投入使用（图10 ），并根据现场环境、作物种类、需求扩展逐步改进完善。
4.1 系统部署
机器人系统于2019年8月部署在石家庄市农林科学研究院赵县试验基地5号番茄日光温室，该温室主要用于番茄病害研究。通过有线、无线网桥和移动网络传输方式将现场影像数据、环境监测数据以及设备三维位置信息汇聚至服务器。服务器端和移动端app通过调用SDK获得监测与远程控制服务。同年12月，于小汤山7号日光温室部署用于黄瓜病害课题研究。
机器人缺省位置在温室西部末端，开机进行自检移动至温室入口处。速度设定为横向15 m/min，纵向1 m/min，根据番茄病害重点观测区域标记巡检途经点，设定3~5个预置位，并人工调整摄像头焦距、光圈以及观测角度，得到病斑观测最佳角度，用于图像数据预处理。数据采集针对番茄病毒病重点观测空气温度和空气湿度，传输模块数据上传频率设定为每半小时1次。
4.2 数据采集方法
试验选用番茄品种为“圣尼斯313”。根据番茄种植期不同时段进行比较，在2019年8月至12月约153 d的生长周期，采集有效番茄病害图片459张（由于高清摄像头采集像素较高，为提升深度学习模型处理效率，在服务器端压缩至229×229像素图片），完成自动巡检20次，共获得有效环境监测数据8829条（见图11 ）。
4.3 数据结果分析
4.3.1 语音数据
经测试，语音集成简单指令普通话口令控制成功率接近100%，语句中信息提取控制成功率约70%，对于石家庄部分方言指令识别度较差，约65%，主要来源于发音的歧义。后续可针对语义理解准确度和方言语音识别进行深入研究。
4.3.2 视频数据
通过高清摄像头获取高清视频与图片，形成了多视角影像资料库，能够覆盖85%植株的整体情况观察，能够满足生产和研究的视频数据获取要求。同时，完成大场景番茄长势，小场景的叶片病斑、果实情况远程实时识别的基础工作（见图12 ）。图12（a） 为番茄在不同角度的长势监测实时图像；图12（b） 为采集标准化处理后，通过app展示的连接病害识别算法业务服务器反馈的结果，根据病害相似度从高到底排序。
4.3.3 环境监测和预警数据
由于传感器内嵌于机器人中，可跟随机器人进行四自由度灵活移动，实现温室内空气温湿度、光照强度、CO2浓度数据网格化监测，对于分区对比试验数据精准测控有指导意义，节约了传感器部署成本。
根据实地经验与研究分析，番茄病毒病发生概率超过65%，需要向温室看护人员进行预警，平台通过日历对现场人员进行提醒，适当调控温室环境避免发病。
4.4 系统控制性能评测
4.4.1 评测方法
由于机器人的视频监控和环境监测部分（Y轴）是固定不变的。机器人任务执行过程中，需求与坐标系的转换可通过人为干涉进行半监督校准优化，即农户和科研人员根据关注点设定预置位，系统记录预置位数据并匹配原始需求输入。因此，系统执行可变因素主要来自于四自由度机器人移动。为进行完整周期的观测［30］，分别在发芽期、幼苗期、开花坐果期和结果期每个生长期进行3组实验，每组实验采用不同的观测点，各组内执行5次相同坐标选定与巡检任务，机器人水平和竖直方向均为匀速前进。考虑到现场轨道环境和机械故障可能性，在任务执行过程中，现场人员配合测量进行故障风险把控和系统运动精度评测。
4.4.2 评测结果
开花坐果期第二组测试由于现场光电限位发生偏移，轨道横向识别出现明显偏差，数据环境因素，不记录在有效次数内。
由表2 可见，系统整体误差在1~2 cm之间。其中第7组实验在过程中发现光电限位的偏移，并在第8组实验前完成修复，不影响现场图像观测与数据分析，表明系统设计可行。但在叶片图像获取过程中，存在因光照角度、现场叶片方向与观测方向不一致的问题，需要在后续将考虑六自由度全角度覆盖的可行性。
表 2 机器人控制性能评测Table 2 Evaluation results of robot control performance |
| 序号 | 有效次数 | 实验坐标（X，Z） | 目的坐标 （X，Z） | 平均误差/cm |
|---|---|---|---|---|
| 1 | 5 | （218.7,80.0） | （220,80） | 1.3 |
| 2 | 5 | （421.0,89.5） | （420,90） | 1.1 |
| 3 | 5 | （619.8,70.0） | （620,70） | 0.2 |
| 4 | 5 | （821.2,170.5） | （820,170） | 1.3 |
| 5 | 5 | （1020.1,149.4） | （1020,150） | 0.6 |
| 6 | 5 | （1221.5,111.2） | （1220,110） | 1.9 |
| 7 | 5 | （1428.0,89.0） | （1420,89） | 8.0 |
| 8 | 5 | （1619.0,91.9） | （1620,92） | 1.0 |
| 9 | 5 | （1822.0,102.7） | （1820,103） | 2.0 |
| 10 | 5 | （2020.9,199.2） | （2020,200） | 1.2 |
| 11 | 5 | （2221.0,128.0） | （2220,130） | 2.2 |
| 12 | 5 | （2418.0,85.0） | （2420,85） | 2.0 |
|
4.5 系统应用效果
分别在小汤山国家精准农业基地7号日光温室和石家庄市农林科学研究院赵县基地5号温室进行机器人系统示范应用。长期观测结果表明，本系统能够进行温室内作物长势、叶片病虫害、现场农事情况策略化观察，特别是在合作课题番茄病毒病害研究实施过程中，实现了分区番茄病斑数据远程精确采集预警与自主巡检，节约差旅和人员费用45%，提升了科研效率，促进了课题间异地合作。
但受限于日光温室拱形形状和机器人安装位置，处于温室边缘的作物观测视角受限，为进一步保障科研人员、生产人员信息采集的完整性，后续考虑采用蛇形、滑轮绳索六自由度的形式实现温室内视角全覆盖。
5 讨论与结论
本研究将高清视频监控摄像头、环境监测传感器和四自由度运动装备搭载平台集成为一体，配套设计了设施温室环境监测机器人系统，实现了多源数据网格化智能采集。结果表明，机器人系统具有以下特点。
（1）多源数据精准获取，通过四自由度动态监测，运动误差低于2.2 cm。实现监测半径80%的覆盖率，为生产和科研人员农业大数据分析提供更加精细地数据采集方式；环境数据实现网格化采集，精确度达到温室内每个试验区。
（2）实现多类终端远程全天候实时管控，生产农户和科研专家可以随时随地观察种植现场情况。
（3）操作简洁实用，输入语音实现自动指令自动发送，解决部分农户操作不便的问题。
（4）自动提取现场病害图片，通过系统标准化预处理，结合后台深度学习算法实现对番茄百分病的识别。
（5）实现无人巡检，机器人根据预先设定的观测区域实现周期性移动监测。一方面减少园区人力成本投入，另一方面实现夜间巡检，保证了温室现场安全。
本研究在多自由度监测基础上，通过后端平台数据赋能，完成简单的定点观测、自动巡检和预警任务，但在现场智能服务方面，还有很大的扩展空间，后续将在以下三个方面进行优化。
（2）在用户使用过程中，记录操作指令与设备三维坐标，操作数据信息和运动过程，归纳不同类型用户使用习惯，形成历史数据集，结合温室尺寸、种植作物类型、种植方案，并基于习惯进行巡检方案自更新，实现温室作物种植全生命周期精准观测。
（3）作为智控的一个重要结构单元，与温室内各类电气设备、传感器、控制终端、传输节点以及各类机器人共同形成人工智能管控体系［34］，根据作物生长环境需求进行智能作业。
