轮式谷物联合收获机视觉导航系统设计与试验

doi:10.12133/j.smartag.2020.2.4.202010-SA002

轮式谷物联合收获机视觉导航系统设计与试验

丁幼春^,¹^,², 王绪坪¹^,², 彭靖叶¹^,², 夏中州¹^,²

1.华中农业大学工学院，湖北武汉 430070

2.农业农村部长江中下游农业装备重点实验室，湖北武汉 430070

Visual Navigation System for Wheel-Type Grain Combine Harvester

DING Youchun^,¹^,², WANG Xuping¹^,², PENG Jingye¹^,², XIA Zhongzhou¹^,²

1.College of Engineering, Huazhong Agricultural University, Wuhan 430070, China

2.Key Laboratory of Agricultural Equipment in Mid-lower Yangtze River, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China

通讯作者: 丁幼春（1978－），男，教授，博士生导师，研究方向为智慧农业技术与装备研究。电话：13971514313。E-mail：kingbug163@163.com。

收稿日期: 2020-10-14 修回日期: 2020-12-08 网络出版日期: 2021-02-05

基金资助:

国家重点研发计划项目 (2017YFD0700400) (2017YFD0700405)
湖北省重点研发计划项目 (2020BAB097)

Received: 2020-10-14 Revised: 2020-12-08 Online: 2021-02-05

摘要

为提高联合收获机收获质量与效率，构建了轮式谷物联合收获机视觉导航控制系统，结合OpenCV设计了谷物收获边界直线检测算法识别水稻田间已收获区域与未收获区域边界，经预处理、二次边缘分割和直线检测等得到联合收获机视觉导航作业前视目标路径，并根据前视路径相对位置信息进行田间动态标定获得联合收获机满幅收获作业状态；提出了一种基于前视点的直线路径跟踪控制方法，通过预纠偏控制实现维持满割幅的同时防止作物漏割，以相对位置偏差值和实时转向后轮转角作为视觉导航控制器的输入，并根据纠偏策略对应输出转向轮控制电压大小。稻田试验结果表明，该导航系统实现了轮式联合收获机田间相对位置姿态的可靠采集及目标直线路径跟踪控制的稳定执行，在田间照度符合人眼正常工作的情况下，收获边界识别算法检测准确率不低于96.28%，单帧检测时间50 ms以内；以不产生漏割为前提的视觉导航平均割幅率为94.16%，随作业行数增多，割幅一致性呈提高趋势。本研究可为联合收获机自动导航满割幅作业提供技术支撑。

关键词： 视觉导航 ; 联合收获机 ; 跟踪控制 ; 图像处理 ; 割幅率 ; 前视点

Abstract

Due to the short harvest period after grain ripening, the heavy of harvest tasks, the complicated operation of the combined harvester and the high driver's labor intensity, it is difficult to maintain the consistency of high cutting rate and cutting width of combined harvester. Based on computer vision, the combined harvester navigation method is being used to realize real-time control of the cut width of the combine harvester. To improve the working quality and efficiency of the wheel grain combine harvest, visual navigation control system was built in this research, it was composed of industrial camera, rear wheel angle measurement device, electro-hydraulic steering valve set, control box and notebook computer, etc. The industrial camera was mounted on the light frame of the front left turn of the combine harvester to capture the image information of the front field view of the harvester. The rear wheel angle measurement device was installed on the steering wheel bridge of the harvester, and the change and position of the rear wheel angle were fed back in real time. The steering cylinder was directly driven bypass connection way outside the electro-hydraulic steering valve set to make the rear wheel of the harvester turning. The control box integrated data acquisition card, power supply module, power amplifier, etc., for steering wheel control and steering wheel angle information measurement. As the main controller of the system, the notebook computer run the visual navigation software for image processing and deviation correction control, realized the automatic navigation process control of the combined harvester. Combined with OpenCV, a target path detection algorithm was designed to identify the boundary of harvested and non harvested paddy fields. After preprocessing, secondary edge segmentation and line detection, the forward-looking target path of visual navigation operation of combine harvester was obtained, and field dynamic calibration was carried out according to the relative position information of forward-looking path to obtain the full range harvesting status of combine harvester. A visual navigation tracking control method based on the front viewpoints was proposed in this research, through rectifying control implemented to maintain full cutting length at the same time prevent the leakage cut of crops, with full cut deviation, the front viewpoints pixel deviation and real-time steering rear corner as visual navigation controller input. The output steering wheel voltage was controlled according to the rectifying strategy. The results of paddy field experiments showed that the navigation system could basically realize the reliable acquisition of the position and the stable implementation of the target linear path tracking control. Under the condition that the field illumination conforming to the normal operation of human eyes, the detection accuracies of the image processing algorithm were higher than 96.28%, and the detection times of a single frame were less than 50 ms. Under the conditions that the nominal cutting width of the harvester was 2.56 m, the average full cutting width rate of visual navigation was 94.16%. Compared with the boundary of the first row, the straightness accuracy of the second row was increased by 44.92%. The research could provide technical support for the combine harvester to automatically navigate the operation of full cutting width.

Keywords： visual navigation ; combine harvester ; tracking control ; image processing ; cutting length rate ; front viewpoint

PDF (3064KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

丁幼春, 王绪坪, 彭靖叶, 夏中州. 轮式谷物联合收获机视觉导航系统设计与试验[J]. 智慧农业（中英文）, 2020, 2(4): 89-102. doi:10.12133/j.smartag.2020.2.4.202010-SA002

DING Youchun, WANG Xuping, PENG Jingye, XIA Zhongzhou. Visual Navigation System for Wheel-Type Grain Combine Harvester[J]. Smart Agriculture, 2020, 2(4): 89-102. doi:10.12133/j.smartag.2020.2.4.202010-SA002

1 引言

随着现代检测技术逐渐成熟及农机智能化不断发展，各类农机自动导航系统开始广泛应用于农业耕、种、管、收环节中^［1,2］。谷物完熟后的适收期短、收获任务量大，联合收获机驾驶操作繁复、驾驶员劳动强度高，难以维持较高的割幅率和割幅的一致性。采用基于计算机视觉的联合收获机导航方法代替人眼识别已收获区域与待收获区域边界作为目标路径进行沿边收获能够实现对联合收获机实际作业割幅的实时控制^［3,4］。

近年来，国内外众多研究学者对农机定位方式与导航控制方法进行了设计与研究。Cho等^［5］通过逆透视变换获取稻田鸟瞰图，对未收割稻田边缘应用灰度化、边缘检测算法，检测准确率达97%。Kurita等^［6,7］在履带式收获机上搭载全球导航卫星系统（Global Navigation Satellite System，GNSS）及全球定位系统（Global Positioning System，GPS）罗盘获取车辆绝对位置和方向，导航作业横向和方位角误差的均方根误差分别为0.04 m和2.6°。David等^［8］开展了针对农用机器人的避障系统研究，利用视觉和惯性传感器实现了对田间障碍物的检测和绕行。Zhang等^［9］提出一种基于SUSAN角和改进顺序聚类算法的除草机器人导航方法，能在稻田复杂环境下提取导航线并进行跟踪控制。魏爽等^［10,11］开发了电动方向盘式农机自动导航软件系统，利用卫星定位和纯追踪模型实现了直线与转弯路径的导航控制。伟利国等^［12］和赵腾^［13］采用激光扫描仪获取收获边界线的相对位置信息，实现在线监测联合收获机田间作业割幅变化。曾宏伟等^［14］基于区域生长算法，提出了一种低对比度情况下的小麦收获边界线提取方法，比人工标定线夹角平均误差小于1.21°。张雄楚等^［15］提出了一种用于红枣收获机的枣树行视觉导航路径检测算法，能够自动判别枣园种类进行作业，试验在两个不同种类的枣园进行，路径检测准确率平均值分别为94%和93%。张闻宇等^［16-18］基于摩擦轮式转向驱动系统，设计了自适应模糊控制转向控制器，实现了平均横向偏差为0.039 m的油菜联合直播机自动导航。何卿等^［19］通过分析运动过程中秸秆接触受力，研制机械式触感导航装置，借助竹竿模拟了拖拉机沿秸秆行间作业行驶。上述研究中，基于卫星差分定位的农机自动导航方法由于不依赖作业环境信息或农作物生长状态，多用于耕整、播施环节；基于激光的检测方法受安装精度、测量范围及传感器震动等的影响，工作稳定性不足；基于接触式的导航装置限于行距标准不统一及秸秆类型不同，实际应用场合较为特殊；基于作物收获边界的视觉导航方法主要应用于小麦、玉米的收获边界检测^［20-22］。目前针对水稻收获边界的检测与跟踪研究较少。

本研究针对联合收获机后轮转向特点及水稻收获边界特征，构建了轮式谷物联合收获机视觉导航控制系统，结合OpenCV设计直线模型导航路径实时检测方法，并提出了基于前视点的视觉导航路径跟踪控制算法，为联合收获机自动导航作业提供重要参考依据和技术基础。

2 系统设计与方法

2.1　视觉导航系统组成

面向联合收获机田间收获实际作业环境，视觉导航软件系统要求能够根据不同天气情况、不同作业姿态结合图像处理算法及导航纠偏决策实现收获边界的识别与跟踪，保证图像处理、传感检测以及转向控制的实时性与准确性，具有导航数据实时存储及读写功能，并提供参数可调、过程可视的人机交互软件界面。

基于上述需求，本研究构建了轮式谷物联合收获机视觉导航控制系统，系统组成如图1所示。该联合收获机导航系统主要包括有工业相机、后轮转角测量装置、电液转向阀组、控制箱及笔记本电脑等。工业相机立装于联合收获机左前转向灯架之上，捕捉收获机田间前视图像信息；后轮转角测量装置安装于收获机转向轮桥上，实时反馈后轮转角变化及所在位置；电液转向阀组以外接旁路的方式直接驱动转向液压缸使收获机后轮发生转向动作；控制箱集成数据采集卡、供电模块、功率放大器等用于转向轮控制及转向轮转角信息测量；笔记本电脑作为系统的主控机运行视觉导航软件进行图像处理及纠偏控制，实现联合收获机自动导航作业过程控制。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 联合收获机导航系统组成

Fig. 1 Composition of combine harvester navigation system

2.2　目标导航路径检测方法

在联合收获机实际生产作业中，为防止压倒未割作物，造成漏割损失，通常以直线行驶收割作业为主。

本研究选用UI-5250FA-C-HQ型200万像素CMOS工业相机，搭配Computar M0814-MP2 工业镜头，实时帧率设置为20 f/s用于图像采集；选用开源计算机视觉库OpenCV 2.4.10作为本研究图像处理工具^［23-25］，可根据所提供的数据结构、图像处理算子、滤波器及C/C++函数接口实现图像矩阵及向量操作，有效缩短程序开发周期和提高软件运行效率。

收获边界检测算法针对联合收获机沿边收获作业特点，在工业相机连续捕捉模式下对田间图像进行尺寸重构和设置感兴趣区域，获取丰富细节信息的同时通过压缩图像尺寸以提高算法的实时性。为降低田间光照及伪边缘检测影响，预处理对图像灰度化并进行双边滤波，然后通过两次边缘检测分割图像，最后由累计概率霍夫变换（Progressive Probabilistic Hough Transform，PPHT）筛选得到直线模型收获边界像素位置信息，收获边界检测算法流程及效果如图2所示，具体算法步骤如下（对全局图像信息进行分析处理未设置感兴趣区域）。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 收获边界直线检测算法流程及效果

Fig. 2 Flow chart and effect of harvest boundary line detection algorithm

①预处理部分，根据人眼对红、黄、蓝三基色的敏感程度对红、绿、蓝三个分量进行加权平均，由公式（1）得到灰度图像。

G r a y (i, j) = 0.299 \times r (i, j) + 0.587 \times g (i, j)

+ 0.114 \times b (i, j)

（1）

其中， $G r a y (i, j)$ 为灰度值；r，g，b分别为田间水稻图像的红、绿、蓝分量； $(i, j)$ 为像素点位置。

利用双边滤波模糊去噪、保护收获边缘的特征，在保留收获边界信息的同时，降低水稻留茬、排草行及作物行间土表阴影部分、待收获区域内水稻长叶片等对后续图像分割与导航线检测的干扰，双边滤波器中输出（i， j）位置的像素值g如公式（2）所示，依赖于邻域内像素值f的加权组合（k，l表示邻域像素位置），权重系数w（i，j，k，l）（公式（3））取决于空间距离定义域核d与灰度距离值域核r的乘积，滤波核半径设置为3。

g (i, j) = \frac{\sum_{(k, l) ϵ S (i, j)} f (k, l) w (i, j, k, l)}{\sum_{(k, l) ϵ S (i, j)} w (i, j, k, l)}

（2）

\begin{array}{l} w (i, j, k, l) = e x p (- \frac{{(i - k)}^{2} + {(j - l)}^{2}}{2 σ_{d}^{2}} - \frac{{|f (i, j) - f (k, l)|}^{2}}{2 σ_{r}^{2}}) \end{array}

（3）

其中， $g (i, j)$ 为输出点； $f (k, l)$ 为多个输入点； $σ_{d}$ 为空间阈标准差； $σ_{r}$ 为值阈标准差； $w (i, j, k, l)$ 为高斯函数计算值，由空间临近高斯函数和像素相似度高斯函数相乘得到； $S (i, j)$ 为以 $(i, j)$ 为中心的 $(2 N + 1) \times (2 N + 1)$ 大小像素点的范围。

②图像分割部分采用基于边缘的分割方法检测灰度级或结构具有突变的地方，表明已收获区域与待收获区域的边缘信息；使用3×3模板与原始图片作卷积，分别得到横向 $G_{x}$ 和纵向 $G_{y}$ 的梯度值，如公式（4）~（9）所示，如果梯度值大于某一个阈值，则认为该点为边缘点（边界处存在一阶导数的突变即局部极大值），并分配权重做线性混合以体现垂直方向上的收获边界特征，根据经验和预试验，X方向上的梯度权重取0.8，Y方向上的梯度权重取0.2；随后采用具有平滑功能的Canny算子进行二次检测提取特征点，使用高斯平滑滤波器卷积降噪，并按照Sobel滤波器的步骤操作，再次计算梯度幅值和方向，作用于X和Y方向上的卷积阵列相同，梯度方向 $θ$ 分别取0°、45°、90°和135°，进一步排除非边缘像素，仅保留一些细线条作为候选边缘；通过设置滞后阈值对像素点进行取舍，若某一像素位置的幅值超过高阈值，则被保留为边缘像素；若某一像素位置的幅值小于低阈值，则被排除；若某一像素位置的幅值在两个阈值之间，则该像素仅在连接到一个高于高阈值的像素时被保留，根据经验和前期预试验，高低阈值比取2:1。

G_{x} = [\begin{matrix} - 1 & 0 & + 1 \\ - 2 & 0 & + 2 \\ - 1 & 0 & + 1 \end{matrix}] \times A

（4）

G_{y} = [\begin{matrix} - 1 & - 2 & - 1 \\ 0 & 0 & 0 \\ + 1 & + 2 & + 1 \end{matrix}] \times A

（5）

G = |G_{x}| \times 0.8 + |G_{y}| \times 0.2

（6）

K = \frac{1}{139} \times [\begin{matrix} 2 & 4 & 5 & 4 & 2 \\ 4 & 9 & 12 & 9 & 4 \\ 5 & 12 & 15 & 12 & 5 \\ 4 & 9 & 12 & 9 & 4 \\ 2 & 4 & 5 & 4 & 2 \end{matrix}]

（7）

G^{'} = \sqrt[]{G_{x}^{' 2} + G_{y}^{' 2}}

（8）

θ = a r c t a n (\frac{G_{x}^{'}}{G_{y}^{'}})

（9）

其中， $G_{x}$ 为水平变化卷积内核； $G_{y}$ 为垂直变化卷积内核；A为输入图像；G为近似梯度；K为5×5高斯内核； $G^{'}$ 为梯度幅值； $θ$ 为梯度方向。

③最后对所得到的边缘图像的每一个非0像素点采用基于直线模型的累计概率PPHT，将不连续的边界像素点连接起来形成导航边界线，根据所得到的矢量线段集合设定长度阈值筛选得到目标路径。具体实现方式为：在一定范围内进行霍夫变换，计算单独线段的方向和范围，随机抽取图像中的一个特征点，如果该点已经被标记为某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取完为止；对该点进行霍夫变换，并进行累加和计算；根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线的两个端点；计算直线的长度，如果大于设定阈值，则被认为是好的直线输出，将所有得到的线段矢量存放为一个集合，再从该集合中进行筛选，根据对应的起始点坐标 $P_{1} (u_{1}, v_{1}) 和 P_{2} (u_{2}, v_{2})$ 计算线段长度及斜率筛选最为合适的直线作为目标路径输出。

为验证不同天气条件下田间水稻收获边界检测算法的鲁棒性，考虑到雨天收获影响联合收获机清选脱粒质量，特分别在晴天、阴天、多云条件下驾驶联合收获机进行向阳及背阳收获，同时收获过程中人为调整联合收获机行驶作业位姿以检测不同视角下的收获边界图像，检测效果如图3所示，呈现在视野范围内的水稻收获边界均能成功检测。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 不同天气条件下水稻收获边界检测效果

Fig. 3 Detection results of rice harvest boundary under different weather conditions

在照度计测量田间光照强度不低于200 lux且田间无明显作物倒伏的情况下，对水稻收获田间前视图像进行实时采集，录制不同天气条件下的田间水稻收获作业前视视频。对视频进行抽帧处理得到水稻收获边界原始图，每秒抽帧数为20帧，每一帧进行前述收获边界直线检测，对于未检测到目标直线的抽取帧记为误检帧，检测正确率计算方法如公式（10）所示。每组试验重复三次，检测正确率如表1所示，检测正确率不低于96.28%，其中图像误检主要源于运动模糊、机身震动共同导致部分图像失真，使得所检测图像的输出直线不符合筛选阈值，进而不作为有效检测信息输出。

d_{a} = 1 - \frac{n_{e}}{t_{d} \times F_{t}} \times 100 %

（10）

其中， $n_{e}$ 为单个视频内的误检帧数，次； $t_{d}$ 为原田间视频总时间，s； $F_{t}$ 为每秒抽帧数，次； $d_{a}$ 为检测正确率，%。

表1 不同天气条件下水稻收获边界检测准确率

Table 1 Detection accuracy rates of rice harvest boundary in different weather conditions

天气类型	收获方向	检测时间/s	误检帧数/次	检测正确率/%
晴天	向阳	61	16	98.49
		65	24
		66	18
	背阳	67	33	97.80
		66	29
		65	25
阴天	向阳	50	22	97.61
		55	27
		52	26
	背阳	48	38	96.28
		46	33
		42	30
多云	向阳	61	29	97.51
		58	33
		62	28
	背阳	66	34	97.42
		63	27
		65	39

新窗口打开| 下载CSV

2.3　理论检测精度及检测误差分析

由于经图像处理算法检测到的是基于像素坐标系的位置信息，为进一步获取收获边界与联合收获机的相对位置信息，需建立像素坐标系 $(u, v)$ 、图像坐标系 $(x, y)$ 、相机坐标系 $(X_{c}, Y_{c}, Z_{c})$ 和世界坐标系 $(X_{w}, Y_{w}, Z_{w})$ 之间的关系，进而得到联合收获机视觉导航检测精度与安装位置及相机参数之间的关系。如图4所示为像素坐标系的坐标到世界坐标的齐次坐标变换形式。内部参数标定主要依据张正友标定法纠正图像畸变。

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4 相对位置信息坐标变换

Fig. 4 Coordinate transformation of relative position information

其中， $Z_{c}$ 表示物体离光学中心的距离，通过 $Z_{c}$ 可以根据视场角范围与像素分辨率获得单个像素所代表的实际尺寸； $(u_{0}, v_{0})$ 为图像原点的像素坐标， $d_{x} 、 d_{y}$ 为单个像素在x和y方向的物理尺寸；R、T为分别绕 $X_{c} 、 Y_{c} 、 Z_{c}$ 轴做旋转和平移的矩阵表示； $f_{x} 、 f_{y}$ 为焦距（重投影误差小于0.07 pixel，不考虑工业相机畸变）。

前视图像采集应避免出现割台或拨禾轮影像影响收获边界检测效果，如图5所示。建立的世界坐标系 $O_{w} (X_{w}, Y_{w}, Z_{w})$ 通过相机坐标系 $O_{c} (X_{c}, Y_{c}, Z_{c})$ 绕 $X_{c}$ 轴逆时针旋转 $(\frac{π}{2} + α) °$ ，再沿 $Z_{c}$ 轴负方向平移h m得到。工业相机光轴 $O_{c} O_{c}'$ 到世界坐标上投影直线的方向与联合收获机直线行驶方向平行。其中世界坐标系以收获机作为载体建立，图像处理所得目标路径均认为处于 $O_{w} (X_{w}, Y_{w})$ 大地平面内，安装高度及俯角可由相机支架的伸缩杆和万向球头调节；拨禾轮上极限位置C点坐标 $(C_{w x}, C_{w y})$ ，拨禾轮及割台高度由驾驶室内监视仪表控制。工业相机分辨率水平像素与垂直像素 $P_{w} \times P_{H}$ 为1600×1200，广角镜头视场角D×H×V分别为67.1°×56.3°×43.7°，考虑到图像处理的实时性要求设置图像尺寸重构压缩比 $ε = 5$ ，使图像横纵像素数分别缩小4/5，图像尺寸缩小为原像素值的1/25，由公式（11）~（16）计算得到理论检测精度δ_P为7 mm，满足视觉导航检测要求。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 联合收获机视觉导航视场

Fig. 5 Visual navigation field of combine harvester

其中，H、V分别为工业相机在相机坐标系中横向和纵向上的视场角，（°）； $A^{'} A''$ 为前视图像映射到大地上投影平面的短边； $(C_{w x}, C_{w y})$ 拨禾轮上极限位置C点坐标；O_w（X_w，Y_w，Z_w）为世界坐标系；O_c（X_c，Y_c，Z_c）为相机坐标系。

R = [\begin{matrix} 1 & 0 & 0 \\ 0 & c o s (- \frac{π}{2} - α) & - s i n (- π / 2 - α) \\ 0 & s i n (- \frac{π}{2} - - α) & c o s (- \frac{π}{2} - α) \end{matrix}]

（11）

T = {[\begin{matrix} 0 & - h & 0 \end{matrix}]}^{T}

（12）

β = t a n^{- 1} (\frac{h - C_{w y}}{C_{w x}})

（13）

L_{A' A "} = 2 \times \frac{h}{s i n β} \times t a n \frac{H}{2}

（14）

α = β - \frac{V}{2}

（15）

δ_{P} = \frac{ε L_{A' A "}}{P_{W}}

（16）

图5和公式（11）~（16）中， $L_{A^{'} {A^{'}}^{'}}$ 为前视图像映射到大地上投影平面的短边的长度，m；h为工业相机安装高度，m；α为工业相机光轴与大地平面俯角，（°）；β为相机俯视与大地平面的盲区夹角，（°）；ε为图像尺寸重构压缩比；δ_P为工业相机前视检测精度，m。

由图5可知相机与地面呈一定夹角，所获取图像上的已收获与未收获水稻区边界线在世界坐标系中并不完全与地面在同一平面，如图6所示。图中理想分界线为视觉检测过程中应该获得的处于地平面上的已收获与未收获分界线；“检测分界线1”和“检测分界线2”为从图像上真实可能检测出来的分界线，处于竖直平面。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 已收获与未收获水稻区分界线构成

Fig. 6 Composition of the boundary of harvested and unharvested paddy field

通过调整相机位置可以使得已收获与未收获区域形成的竖直平面在图像中投影成为直线，此时所检测得到的分界线就是理想分界线。在实际导航过程中，相机相对于已收获和未收获区的位置关系是变化的，难以时刻保证竖直平面在图像中投影成为直线，那么检测到的分界线可能就是“检测分界线1”或“检测分界线2”，这种不固定性会造成检测误差，可以从理论上分析误差大小。在 $(X_{w}, Y_{w}, Z_{w})$ 世界坐标系下，图6中竖直平面中的直线，如“检测分界线2”，其直线方程可以通过以下方程组（6）得出：

\{\begin{matrix} x = k y + c \\ z = k_{1} y + c_{1} \end{matrix}

（17）

其中，第一个方程表示竖直平面，第二个方程表示平行于 $X_{w}$ 的平面，两个平面的交线构成了检测分界线。由图4中世界坐标系与相机坐标系之间的关系可得：

k Y + c = (k_{c} y + C_{c}) \frac{Z_{c}}{f_{x}}

（18）

Y = - s i n ϕ y \frac{Z_{c}}{f_{y}} + c o s ϕ Z_{c}

（19）

k_{1} Y + c_{1} = - c o s ϕ y \frac{Z_{c}}{f_{y}} - s i n ϕ Z_{c} + h

（20）

其中，h为相机与地面的高度，m。

由公式（18）~（20）可知，无法求出k、c、k₁、c₁关于k_c、c_c的表达式。这就说明通过单目图像上检测得到的边界线与竖直平面中的直线没有一一对应关系，但是与大地平面内的直线有确定的关系。通过公式（20）可以看出，左边的 $Z_{1} = k_{1} Y + c_{1}$ 与水稻高度有关，如果其值为非零常数或变量时，则检测到的导航路径实际上为“检测分界线2”或“检测分界线1”，但是被当成理想分界线进行运算。此时，可以理解为把相机的安装高度降低这一常数值，即 $h = h - Z_{1}$ 。h的变化只是影响导航路径在X轴上的截距c，但不影响导航路径与Y轴夹角的正切k。当 $Z_{1}$ 为常数零时检测到的导航路径即为理想分界线，得到的导航路径参数理论上没有误差。总体可得，因实际被检测的直线在竖直平面内的不确定性，导致被检测到的航向偏差趋于偏大趋势，影响程度不大于理论值的Z₁/h倍。这为导航控制输入偏差构建提供了理论依据。

3 导航控制方法设计

3.1　导航基准线的标定

在实现收获边界即目标导航路径的实时检测后，为进一步实现联合收获机视觉导航控制，还需获取联合收获机满幅收获状态的位姿信息，该状态在不考虑田间滑移与收获机倾斜的情况下主要根据后轮转向中位^［26］和导航基准线判定。假设联合收获机沿直线行驶时检测到的目标直线路径在图像中的像素位置信息基本保持不变，采用动态标定的方式人为驾驶联合收获机沿直线情况较好的收获边界行驶，获得检测到目标路径的250帧田间图像以及收获边界检测算法筛选出的500个起始坐标点。通过最小二乘法拟合直线方程得到导航基准线，将导航基准线与图像逐行 $(v = 1, 2, 3 \dots P_{H})$ 相交点的像素坐标作为收获边界信息。由于像素边界点较多各点检测误差也存在不同，取与检测直线偏差总和最小的相交点作为前视点，为垂直像素1/3处，如图7所示。像素偏差变化范围为［-2.2, 2.3］，经动态标定可通过统计的方法获取收获机沿收获边界直线行驶时位姿信息，该像素偏差值可视为检测误差大小。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 导航基准线标定像素偏差变化

Fig. 7 Variation of pixel deviation during navigation baseline calibration

3.2　基于前视点的联合收获机二轮车模型

对于拖拉机而言，可建立基于前后轮轴距、前轮转角等的二轮车模型^［27-29］。考虑到联合收获机以作业割幅作为主要评价指标，在不考虑联合收获机作业侧偏及田地状况等情况下，为避免割台出现较大的横向摆动导致割幅变化较大，本研究建立基于满割幅偏差及前视点偏差的联合收获机二轮车运动学模型如图8所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 联合收获机二轮车运动学模型

注：A为工业相机投影到大地平面的位置，F为联合收获机割台标称割幅左极限位置，T为实际收获割幅左极限位置，P为视觉导航前视点，Ge为满割幅偏差，R为联合收获机割台前端轨迹圆半径，L为转向后轮轮轴与割台水平距离，θ为联合收获机转向后轮转角（以联合收获机后轮转向中位为准，左偏为正，右偏为负），V为联合收获机行驶速度， $ϕ$ 为联合收获机航向偏角，FP为导航基准线，S为前视距离，F’P’为FP经dt时刻后的导航基准线，P1为图像检测点1，P2为图像检测点2，u、v为图像检测点及前视点像素坐标位置，Pe为前视像素点偏差

Fig. 8 Kinematics model of two wheeled vehicle of combine harvester

以工业相机垂直投影到大地平面的坐标位置为原点，联合收获机纵向作业方向为Y轴，建立平面直角坐标系A-X_WY_W。由于联合收获机在调整好脱粒清选参数及拨禾轮转速后，为保持喂入量的稳定一般以固定前进档位及手动油门大小进行田间收获作业，行驶速度可视为恒定。联合收获机作业路线采用顺时针收割，割台实际工作幅宽为标称割幅减去割台左侧未割到待收获作物秸秆的宽度。在联合收获直线跟踪收获边界过程中，导航基准线应趋向靠近并重合于实时检测到的收获边界，若收获机实际作业路径与直线收获状态存在相对偏差，则通过后轮转向纠偏控制减小割台未收获作业宽度，即满割幅偏差。

根据后轮轮轴与割台纵向距离、转向后轮转角及收获作业速度可以得到割台轨迹圆半径及割幅变化大小，如公式（21）~（25）。在收获机纠偏过程中不仅有横向割幅的变化，还有收获机作业航向的变化，当收获机前视导航基准线位置为 $F' P''$ 时，实际割幅接近满割幅，此时可根据前视点位置进行预纠偏以防止出现作物漏割的现象。

x_{t} = x_{p} - G_{e}

（21）

t a n ϕ = \frac{y_{p 1} - y_{p 2}}{x_{p 1} - x_{p 2}} = \frac{y_{p 1} - (y_{p} - S)}{x_{p 1} - x_{t}}

（22）

\frac{d_{G_{e}}}{d_{t}} = V s i n θ

（23）

G_{e} = R (1 - c o s ϕ)

（24）

R = \frac{L}{t a n θ}

（25）

其中， $x_{t}$ 为T点横向坐标，m； $(x_{P}, y_{P})$ 为前视点P坐标位置，m； $ϕ$ 为联合收获机航向偏角，（°）； $(x_{P 1}, y_{P 1})$ 为图像检测点1在大地平面上坐标位置，m； $(x_{P 2}, y_{P 2})$ 为图像检测点2在大地平面上坐标位置，m； $G_{e}$ 为满割幅偏差，m；R为割台前端轨迹圆半径，m；L为转向后轮轮轴与割台水平距离，m；θ为转向后轮转角，（°）。

3.3　导航控制策略及系统工作流程设计

为实现视觉导航预纠偏效果，采用比例-微分（Proportional Differential，PD）控制算法，视觉导航控制策略框图如图9所示。根据动态标定得到的导航基准直线信息与联合收获机相对位置信息计算两个前视点相对位置偏差，PD控制输入偏差大小由横向偏差构建加权得到，PD控制器输出目标转角，再由角度传感器检测到的实时转角计算需要转过的角度 $θ_{e}$ ，转向执行机构根据 $θ_{e}$ 输出对应的控制电压，最终实现联合收获机沿边收获作业。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 视觉导航控制策略框图

注：ΔP_1e与ΔP_2e分别为导航基准直线信息与联合收获机相对位置信息的两个前视点相对偏差,e(t)为PD控制器输入,θ(t)为目标转角,θe为目标转角偏差

Fig. 9 Block diagram of visual navigation control strategy

首先通过人为驾驶联合收获机沿直线行驶，标定导航基准线和转向中位角，要求转向中位角标定方差小于0.4°，导航基准线标定极差小于2.5 pixel。自动导航过程中实时获取田间收获边界相对位置信息，单帧处理时间在50 ms以内。为降低联合收获机作业车身振动及俯仰微倾所导致的检测误差，以每5帧处理结果进行加权平均得到相对位置偏差；相对位置偏差以两个图像检测点与导航基准线的横向偏差加权得到纠偏决策的输入值大小。由于收获过程不应出现漏割，因此以预纠偏前视点图像检测点1为主导，根据经验和预试验，设置远点权重为0.8、近点权重为0.2，其中近点偏差值能够有效提高横向纠偏灵敏性；横向纠偏过程采用PD控制算法，根据相对位置偏差计算目标转角，并对应输出模拟电压进行横向纠偏控制。目标转角控制精度为0.3°，转向控制部分通过功率放大器V/I变换控制电液比例阀改变油液流动方向和输出流量实现转向轮动作^［30］，导航系统工作流程如图10所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 视觉导航系统工作流程图

注：δ为转向后轮中位标定方差，de为导航基准线标定极差，θe为目标转角偏差

Fig. 10 Workflow chart of visual navigation system

联合收获机视觉导航软件开发平台为Visual Studio 2015，在Windows 10操作系统下基于C/C++语言、MFC框架结合IDS GigE工业相机，以及NI数据采集卡提供的SDK编写软件程序，设计用户界面。如图11所示自动导航作业参数及目标路径检测效果，左侧图像显示区域中的绿色直线为导航基准线，红色直线为实时检测的收获边界，蓝点为前视点，白色框为感兴趣区域（Region of Interest，ROI）并显示边缘检测效果于右侧图像显示区域内。界面提供工业相机操作区模块、人机操作接口、检测参数调整栏，以及视觉导航控制系统的一键启停按钮，以多线程实现位姿状态信息获取、收获边界识别与导航路径跟踪的同步进行。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 视觉导航应用程序界面

Fig. 11 Interface of visual navigation application software

4 田间试验

为检验本研究设计的联合收获机视觉导航系统的稳定性与实际田间导航作业效果，课题组于2019年10月2日至5日在湖北省荆州市监利县五联农业机械专业合作社的试验示范基地开展了田间试验，并进行了作业质量评价，试验期间天气晴，无风。采用环刀法与土壤紧实度仪对大小为120 m×35 m（0.42 hm²）的中稻田块进行五点采样，得到耕作层0~200 mm的土壤样品，测得土壤含水率25.4%、土壤紧实度476.8 kPa。田间水稻留茬高度为15~20 cm，导航作业后地表秸秆量1606.88 kg/ hm²。由于中稻高产且田间土壤含水率高，为保证收割质量，联合收获机作业速度档位为前进一档，手动油门调至最大，作业速度控制在1.8~2.0 km/h。导航开始前手动调节工业相机对焦环及光圈，使联合收获机前视田间图像清晰呈现于软件界面中后运行视觉导航软件，待单行导航作业收获结束后，人为驾驶联合收获机回到次行收获边界初始位置以保证同向收割作业，连续自动导航作业三行后停机测量实际作业割幅。

实际割幅及平均割幅率测量计算方法：已知该型号联合收获机满割幅（标称割幅）为Y= 256 cm。在联合收获机自动作业收获完一行后，利用收获机单侧秸秆粉碎装置排草形成的轨迹行，沿轨迹行每隔2 m取采样点测量到未收获边界的垂直距离。若秸秆杂余为均匀抛洒，则可通过测量前后两次前轮行驶轨迹间距获得实际割幅，记录采样点个数为N，对应采样点处实际测量割幅大小为t $(t_{1} 、 t_{2} ∙ ∙ ∙ ∙ ∙ ∙ t_{N})$ 。按照公式（26）~（27）计算该次联合收获机自动导航作业平均割幅率 $R_{l}$ 及直线度精度 $S_{δ}$ ，直线精度越小收获边界直线度越好，收割一致性越高。

R_{l} = \frac{\sum_{i = 1}^{N} t_{i}}{N Y} \times 100 %

（26）

S_{δ} = \sqrt[]{\frac{\sum_{i}^{N} {(t_{i} - \bar{t})}^{2}}{(N - 1)}}

（27）

其中， $R_{l}$ 为平均割幅率，%；Y为联合收获机满割幅，cm；N为采样点个数，个；t为采样点处实际测量割幅，cm；S_δ为直线度精度，cm。

视觉导航作业效果如图12（a）所示，收获作业先后顺序为1→2→3；实际割幅变化如图12（b）所示。由表2可知，三组试验平均割幅为241.06 cm，平均割幅率94.16%，并且随收获次数增加直线度精度明显提高。

表2 视觉导航系统作业质量

Table 2 Operation quality for visual navigation system

试验组别	作业速度/ （km·h^-1）	平均割幅/cm	平均割幅率/%	直线度精度/cm
1	1.84	242.74	94.82	38.56
2	1.96	238.05	92.99	21.23
3	1.93	242.39	94.68	5.61
平均值	1.91	241.06	94.16	——

新窗口打开| 下载CSV

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 视觉导航系统田间收获作业效果及测量数据

Fig. 12 Field harvesting effect and metrical data of visual navigation system

图13为视觉导航田间收获作业过程中选取的一组横向偏差与转向轮转角数据，其平均偏差为5.06 cm，最大偏差为13.65 cm，方差为12.44 cm；在存在初始偏差的情况下，联合收获机能够较好地进行沿边收获状态调整与收获边界跟踪，并且在收获作业过程中较好地避免了负向误差即漏割的出现。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 视觉导航系统田间收获作业实时数据

Fig. 13 Field harvesting operation real-time data of visual navigation system

试验结果表明，联合收获机辅助导航系统在不发生漏割的前提条件下，能够实现对水稻收获边界的识别与跟踪，维持较高的割幅率，且保持较好割幅一致性。分析造成实际割幅率低于95%的原因主要为水稻生长分蘖、成熟期稻穗松散弯垂，且前行收获完后；次行水稻失去倚靠，导致实际水稻收获边界以及视觉导航系统检测路径始终存在10~15 cm的系统偏差。

5 结论与讨论

5.1　结论

本研究设计了联合收获机视觉导航水稻收获边界检测算法、沿边收获满割幅纠偏控制方法，并对视觉导航系统作业质量进行了验证与评价，为联合收获机全无人自动导航作业提供技术支撑及理论基础。

（1）构建了轮式谷物联合收获机视觉导航系统，设计了基于OpenCV的谷物收获边界直线检测算法，算法检测准确率不低于96.28%，单帧检测时间50 ms以内，经坐标变换得到收获机与收获边界相对位置信息，并以收获边界检测准确率为指标，验证了不同天气条件下检测算法具有良好的鲁棒性。

（2）提出了基于前视点的联合收获机视觉导航控制方法，经导航基准线标定结合联合收获机二轮车模型建立了转向后轮转角与满割幅偏差变化率数学关系，并设计了视觉导航系统工作流程及应用软件程序。

（3）联合收获机视觉导航田间试验结果表明，联合收获机视觉导航平均割幅占满割幅比率为94.16%，直线度精度逐行提高，能够保证较好的割幅一致性与收获效率。

5.2　讨论

本研究设计的谷物联合收获机视觉导航系统在正常田间作业工况条件下，能够长时间实现对水稻收获边界的导航跟踪作业，但田间作业复杂环境变化对导航控制系统高稳定性、鲁棒性带来了挑战，具体如下。

（1）作业田块存在大曲率收获边界或成片水稻倒伏，基于直线模型的收获边界检测算法检测准确率降低，致使导航控制器无法及时纠偏。

（2）由于试验稻田含水率较高，轮式联合收获机在田间收获作业过程中，车轮压实表土层形成下凹车辙，导致原本用于判断联合收获机相对位姿的相机视角随车身倾斜、俯仰等发生变化，影响了收获边界实时检测的准确性。

为确保导航系统的可靠性与稳定性，建议从以下两个方面进一步提升系统的广适性。

（1）检测算法设计。针对收获边界检测易受田间作业环境影响的问题，开展检测算法鲁棒性研究，设计能够适应田间多种工作情形的基于深度学习的图像处理算法，对不同工况下的目标导航收获边界均能实现稳定的检测效果。

（2）状态信息采集。针对田间联合收获机位姿信息采集稳定性问题，图像信息的获取可以选用抗震式的浮动相机支架，降低车身震动对图像采集的影响；采用惯性传感器代替角度传感器转向轮转角测量，以更为丰富的速度、加速度信息获取收获机行驶趋势与状态。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

罗锡文, 廖娟, 邹湘军, 等.

信息技术提升农业机械化水平

[J]. 农业工程学报, 2016, 32(20): 1-14.