欢迎您访问《智慧农业(中英文)》官方网站! English
专刊--农业机器人与智能装备

基于图像处理多算法融合的杂草检测方法及试验

  • 苗中华 , 1 ,
  • 余孝有 1 ,
  • 徐美红 2 ,
  • 何创新 1 ,
  • 李楠 1 ,
  • 孙腾 , 1
展开
  • 1. 上海大学 机电工程与自动化学院,上海 200444
  • 2. 上海新弘生态农业有限公司,上海 202162
孙 腾(1989-),男,博士,讲师,研究方向为机器感知理论和无人驾驶。电话:13455451093。E-mail:

苗中华(1977-),男,博士,教授,研究方向为智能装备与机器人技术研究。E-mail:

收稿日期: 2020-10-29

  修回日期: 2020-11-30

  网络出版日期: 2021-02-05

基金资助

上海市科技兴农项目(202002080009F01466)

Automatic Weed Detection Method Based on Fusion of Multiple Image Processing Algorithms

  • MIAO Zhonghua , 1 ,
  • YU Xiaoyao 1 ,
  • XU Meihong 2 ,
  • HE Chuangxin 1 ,
  • LI Nan 1 ,
  • SUN Teng , 1
Expand
  • 1. Shanghai University, Shanghai 200444, China
  • 2. Shanghai Xinhong Ecological Agriculture Co. , Ltd, Shanghai 202162, China

Received date: 2020-10-29

  Revised date: 2020-11-30

  Online published: 2021-02-05

本文亮点

自动化除草是现代精确农业科学领域的研究热点。已有的自动化除草解决方案中普遍存在鲁棒性不强、过度依赖大量样本等问题,针对上述问题,本研究提出了基于图像处理多算法融合的田间杂草检测方法,设计了一套田间杂草自动识别算法。首先通过设置颜色空间的阈值从图像中分割土壤背景。然后采用面积阈值、模板匹配和饱和度阈值三种方法对作物和杂草进行分类。最后基于投票的方式,综合权衡上述三种方法,实现对作物和杂草的精准识别与定位。以大豆田间除草为对象进行了试验研究,结果表明,使用融合多图像处理算法的投票方法进行作物和杂草识别定位,杂草识别平均错误率为1.79%,识别精度达到98.21%。相较单一的面积阈值、模板匹配和饱和度阈值方法,基于投票权重识别杂草的精度平均提升5.71%。同时,针对复杂多变的农业场景,进行了存在雨滴和阴影干扰的鲁棒性测试,实现了90%以上的作物识别结果,表明本研究方法具有较好的适应性和鲁棒性。本研究算法可为智能移动机器人除草作业等智慧农业领域应用提供技术支持。

本文引用格式

苗中华 , 余孝有 , 徐美红 , 何创新 , 李楠 , 孙腾 . 基于图像处理多算法融合的杂草检测方法及试验[J]. 智慧农业, 2020 , 2(4) : 103 -115 . DOI: 10.12133/j.smartag.2020.2.4.202010-SA006

Highlights

Automatic weeding is a hot research field of smart agriculture, which has many benefits such as achieving precise weed control, saving human cost, and avoiding damage on crops, etc. Recently, many researchers have focused on the research using the deep learning method, such as the convolutional neural network (CNN) and recurrent neural network (RNN) and have achieved decent outcomes related to the automatic weed detection. However, there are still generally problems of the projects such as weak robustness and excessive reliance on a large number of samples. To solve these problems, a recognition algorithm for automatic identification and weed removal was designed, and a soybean field weed detection and localization method based on the fusion of multiple image processing methods was proposed in this study. The images and video stream were obtained through the camera mounted on a mobile robot platform. Firstly, the soil background inside the image was segmented from the foreground (including the weeds and crops) by setting the threshold for a specific color space (hue). Then, three different methods including the area threshold method, template matching and saturation threshold method were used to classify the crops and weeds. Finally, based on a proposed innovative voting method, the three recognition methods were comprehensively weighed and fused to achieve more accurate recognition and localization results of the crops and weeds inside the image. Experimental validations were carried out using the samples obtained through the moving platform, and the experimental results showed that the average accuracy of the proposed weed detection algorithm was as high as 98.21%, while the recognition error was only 1.79%. Meanwhile, compared with each single method as the scale threshold, template matching and saturation threshold, the fused method based on the weighted voting has been able to raise the average accuracy by 5.71%. Even though the samples used in the validations were limited in covering different scenarios, the high recognition accuracy has proved the practicability of the proposed method. In addition, the robustness test that images with raindrop and shadow interference in the complex and unstructured agricultural scene was carried out, and satisfied results showed that above 90% of the plant were successfully detected, which verified the fine adaptability and robustness of the proposed method.

1 引 言

田间杂草会争夺作物的水分、养料和阳光,导致作物产量下降,带来经济损失。因此,杂草控制是农业生产环节最重要和最关键的任务之一。目前,喷洒除草剂和人工除草是常用的除草方法,但从经济和环保角度看都非最佳解决方案1,2。采用基于计算机视觉技术的自动化机械除草设备可提高除草作业效率及精度,对代替人工进行繁重的除草作业具有重要意义。近年来,精准除草已成为农业科技领域的研究热点和难点,受到了诸多研究者们的关注。
快速准确获取作物与杂草位置是实施精准除草作业的关键。目前,对于非结构化农业场景下的杂草识别,众多研究者提出了各自的解决方案。Aravind等3采用图像处理算法,直接对图像中识别出的杂草执行喷洒除草剂作业。任全会和杨保海4提出采用Canny算子和遗传算法构造田间杂草识别模型,达到了杂草识别错误率低于2.8%的识别精度。Siddiqi等5提出了先侵蚀后扩张的分割算法,该算法既能检测杂草,又能对杂草进行分类,杂草识别精度达到89%。Lottes等6将特征提取、随机森林分类和马尔可夫用于甜菜作物和杂草的识别,实现了95%的识别精度。Cicco等7使用基于深度学习的图像分割架构,准确地从植物中区分出作物和杂草,实现了94.2%的识别精度。Czymmek等8采用卷积神经网络方法,同时对作物和杂草进行定位和分类,达到了89%的识别检测精度。彭文等9采用基于深度卷积神经网络方法识别水稻田杂草,达到了95.4%的识别率。
上述研究利用不同方法,进行作物和杂草识别,均取得了较好试验效果,但仍存在鲁棒性不强10,11、过度依赖大量样本等问题12,13。针对上述问题,本研究设计了一套杂草自动识别与智能控制算法,提出了基于图像处理和投票算法的大豆田间杂草检测与定位方法:首先通过灰度图直方图阈值从图像中分割土壤背景;然后通过投票的方式,对面积阈值、模板匹配和饱和度阈值三种分类方法得到的作物和杂草分类结果进行综合评估,实现对背景分割后图像中的作物和杂草的精准识别与定位,为智能移动机器人进行除草作业提供技术支持。

2 设备与方法

2.1 移动机器人平台

本研究使用课题组自主开发的四轮独立驱动和转向移动机器人平台(图1)采集大豆作物图像,该移动平台转弯半径小,能够实现原地转向,节约移动空间,有利于野外田间作业。平台控制系统硬件分为控制器、电机控制、超声波、防碰撞、视觉传感器以及通信和伺服控制共六个模块,具备可控升降功能和远程无线操作。本研究利用手柄进行远程操作,同时采集图像数据。前期图像处理检测到的杂草质心提供给该智能移动平台,执行除草作业。
图1 移动机器人平台

Fig. 1 Mobile robot platform

2.2 杂草识别与定位算法

杂草识别与定位算法主要是指针对上述移动平台捕获的图像(1280×720像素)进行分析处理,并为末端执行器提供精准的杂草定位服务,算法流程如图2所示。
图2 技术方法流程图

Fig. 2 Flow chart of technical methods

识别算法所使用笔记本的硬件系统包括:处理器(Intel i7-10710U CPU @ 1.61 GHz, 16 GB RAM,GeForce MX250 GPU)、摄像头(型号:SY015HD,可采集60帧/s 1280×720像素的图像),以及自主研发的四轮驱动移动平台。软件系统包括:64位 Windows10和MatLab R2018b。
利用装载到移动平台上的摄像头在大豆田间采集1280×720×3(RGB三个色域值)像素的视频信息,利用MatLab软件逐帧截取图像作为杂草识别试验数据,进行图像预处理、特征检测和杂草识别三方面的操作。

2.2.1 图像预处理

进行图像预处理的目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征提取、图像分割、模式匹配和物体识别的可靠性14
本研究中将采集到的RGB图像转换到HSV(Hexcone Model)色域(图4(b)),再对HSV色域的图像进行背景分割来突出目标对象(前景),最后对分割出的目标进行识别与分类(作物和杂草)。分别在RGB色域和HSV色域下进行图像预处理,然后进行对比。整体的图像预处理流程如图3所示。接下来对每个具体步骤进行简要说明和结果分析。
图3 图像预处理流程图

Fig. 3 Flow chart of image data preprocessing

(1)基于HSV色域的图像转换。当目标与背景之间存在明显的颜色差异时,采用颜色特征进行图像分割15。由于土壤的颜色通常是褐色或棕色,而植物通常是绿色,故采用颜色特征进行图像背景分割处理。在图像处理中使用较多的是由色调、饱和度、明度值所描述的HSV色域16,与RGB模型中的三种颜色通道相比,采用HSV中的H分量能更准确的识别颜色特征。 RGB色域转换HSV色域结果如图4所示。H分量图像表明土壤背景和绿色植物在颜色特征上有着明显差异。
图4 RGB到HSV色域转换结果

Fig. 4 Color gamut transform results of RGB to HSV

(2)背景分割图像转换为HSV色域之后,对图像进行背景分割,突出包含目标物体的前景。对包含绿色植物的图像进行背景分割时多采用以能够突出源图像绿色分量的指标为选择标准,如归一化差分植被指数(Normalized Difference Vegetation Index,NDVI)和土壤调整植被指数(Soil-Adjusted Vegetation Index,SAVI)17。是否能取得良好的分割效果将直接影响特征提取的准确度,对识别效果起着决定性的作用。因此,本研究对比了超绿指标(ExG)、改进的超绿指标(Modified_ExG)和HSV色域H分量三种背景分割方法,选取最优分割结果作为后续处理输入。具体来说,突出绿植颜色域的超绿指标由公式(1)表示。
I E x G = 2 × G - R - B
其中, I E x G为灰度图像素值。突出绿植颜色域的改进超绿指标由公式(2)表示。
I m E x G = 0 ,              i f ( G < R )   a n d   ( G < B ) G - R ,      i f   G - R   <     ( G - B )   G - B ,      o t h e r s                                    
其中, I m E x G为灰度图像素值。分别采用公式(1)公式(2)H分量对图像进行灰度化,并根据灰度化直方图阈值进行土壤背景的分割,分割结果如图5所示。
图5 基于三种灰度图指标的背景分割图

Fig. 5 Background segmentation image based on three gray-scale indexes

由于图像背景分割过程将会损失原图像的部分可用信息,因此在进行背景(土壤)分割过程中,能否保留原图的主要特征非常关键。对比图5中三种灰度图指标分割方法结果,使用RGB色域时,土壤和绿色植物的图像分割结果不够明显或者分割的不够彻底;同时,RGB色域的另一个缺点是对光照条件比较敏感。观察图5(a)图5(b)可以看出一些杂草区域并未从背景中被分割出来。与之相比,HSV色域对光照强度的依赖性较小,得到较为理想的分割结果,如图5(c)所示,几乎所有的杂草区域均被分割出来。因此,进一步的图像预处理将基于H(色相)阈值的背景分割结果。
(3)形态学操作(开运算)。背景分割后图像图5(c)仍存在一些椒盐噪声,可通过形态学开运算进行滤波处理,其结果如图6(a)所示。
(4)二值化图像。形态学开运算后,得到的图像中只存在绿植和黑色背景,具有比较明显的对比度,在此基础上,使用自适应图像阈值分割方法对图像进行二值化处理18,处理结果如图6(b)所示。
(5)形态学操作(闭运算)。图像二值化后,由于所选阈值并不完全适用于所有像素点,得到的二值化图像中作物的叶片上存在孔洞、杂草叶片之间存在间隙等缺陷19,20。这些缺陷会增加计算时间,降低后续处理的准确率。利用形态学闭运算消除二值化图像当中的间隙和孔洞,从而在后续处理中获得更好的精度。图像进行形态学闭运算结果如图6(c)所示。
(6)孔洞填充。形态学闭运算处理后的二值图像(图6(c))仍存在部分孔洞的情况,利用孔洞填充的方式去除目标区域内因农业场景的复杂状况产生的干扰信息。图像孔洞填充处理后的结果如图6(d)所示。
(7)边缘检测和感兴趣区域填充。边缘检测的目的是标识数字图像中亮度变化明显的点。通过最常用的边缘检测Canny算子,得到图像的精准轮廓信息4,19,通过区域增长处理进一步得到图像的感兴趣区域(Region of Interest,ROI)。Canny边缘检测21,22与ROI区域填充结果如图6(e)图6(f)所示。至此,图像的预处理过程结束,通过预处理得到的图像将用于杂草和作物的分类和定位。
图6 背景分割图像预处理结果

Fig. 6 Preprocessing results of background segmentation image

2.2.2 基于特征的检测

与土壤和绿植之间的显著差异性相比,杂草和农作物在颜色和质地上的差异性要小许多,这使得对两者进行分类尤为困难。利用直方图23、模板匹配24、边缘检测25和快速傅里叶变换(Fast Fourier Transform,FFT)26等技术能够实现目标物体的特征提取27,而后采用单特征或多特征融合的方式确定作物和杂草的位置坐标。本节基于作物和杂草的面积、强度和饱和度三个特征,针对大豆作物进行杂草识别,从而获得更高的识别精度。
(1)面积特征检测。作物和杂草在面积大小上具有不同的数量级,往往杂草的面积比作物的面积小。本研究主要针对杂草面积小于作物面积的场景,因此,将物体的面积作为区分作物和杂草的特征之一。面积评估的流程如图7所示。
图7 作物和杂草面积评估流程图

Fig. 7 Area evaluation flow chart of crop and weed

统计预处理后,每个连通域的像素个数作为面积特征,然后设置作物和杂草的面积阈值,并根据表1所示的规则区分杂草和作物。如果一个区域的像素数量大于给定的阈值,将被归类为作物;否则,将被归类为杂草。同时,每个区域将会按照表1的规则分配标签,将杂草标记为“1”,将作物标记为“-1”。
表1 面积评估中的标签分配

Table 1 Label allocation in area assessment

类型 阈值 标签
杂草 200&& < 9000 1
作物 9000 -1
土壤 —— 0
(2)基于模板匹配特征检测。模板是需要检测的对象的样本,模板匹配是一种基于像素的目标识别方法。该方法的原理是计算模板和搜索图像区域之间的差异,对被检测图像的各个区域利用模板中像素的强度进行匹配,以寻找相似的目标。模板匹配以这样的机制进行匹配识别,当目标对象在图像中进行旋转或缩放时,该方法不能得到令人满意的结果。但在本研究中,图像中的作物往往具有相似的大小和近似中心对称的形状,因此,本研究将模板匹配作为作物检测算法之一。
模板匹配方法中常用的三种相似度度量方法是绝对差和(Sum of Absolute Difference,SAD),差分平方和(Sum-of-Squared Differences,SSD)与标准化交叉相关(Normalized Cross Correlation,NCC)。本研究选择SSD作为相似性度量,其定义如下。
S S D = i , j ( T ( i , j ) - I ( i , j ) ) 2
其中, T为模板,像素; I为像素的图像。SSD最小时,表示相似性最高。因为 T是一个 m 1 × n 1矩阵,所以 I的大小由0个元素调整为一个模板匹配的矩阵 [ m + r o u n d ( m 1 / 2 ) × ( n + r o u n d ( n 1 / 2 ) ]
在与模板匹配之前,要对图像进行归一化处理和调整,以避免由于图像的亮度差异而导致的误差和由于图像太大造成的耗时问题。
图8 完整作物图像模板匹配杂草检测结果

Fig. 8 Weed detection results of complete crop image template matching

图8(f)所示,采用整个作物图像作为模板进行匹配时,只识别出了部分杂草,识别精度不高。因此,选取作物叶片作为模板进行模板匹配测试,研究是否可以通过改变模板来提高识别精度(图9(a))。采用作物叶片作为模板时的识别结果如图9(f)所示,与作物模板相比,叶片模板在作物图像不完整时具有更好的识别结果。同时,每个区域将按照表2的规则分配标签。
表2 模板匹配标签分配

Table 2 Label assignment of template matching

类型 阈值 标签
杂草 < 0.7525 1
作物 0.7525 -1
土壤 —— 0
图9 作物叶片图像模板匹配杂草检测结果

Fig. 9 Weed detection results of crop leaf image template matching

(3)饱和阈值特征检测。本研究作物是大豆,所使用的样品中,这种作物叶片上的饱和值比杂草要高,特别是在中心如图10(b)。因此,饱和度被选为第三个特征。其中,图10(a)图5(a)为同一图。
图10 大豆作物与杂草背景分割图及其S分量图

Fig. 10 Background segmentation diagram and its S component diagram

与面积阈值法类似,将杂草标记为“1”,将作物标记为“-1”,使用设定的阈值分类标准对杂草和作物进行分类(表3)。
表3 饱和度阈值标签分配

Table 3 Label Assignment of saturation threshold

类型 阈值 标签
杂草 > 0.349 1
作物 0.349 -1
土壤 —— 0

2.3 杂草识别与定位

2.3.1 杂草检测投票算法

本研究创新性在于设计了一种基于投票的方法,通过给各类方法设置不同权重,良好地融合面积阈值、模板匹配以及饱和度阈值三类方法,以获得最优的识别结果。具体的投票方法实现过程如图11所示。从模板匹配和饱和度阈值方法的结果图像中可看出其对图像中作物的角点有较大的误分类,因此,在作物检测中,面积阈值方法获得较高加权系数,各种方法权重分配为面积阈值0.7、模板匹配0.2、饱和度阈值0.1。投票的真值表见表4
图11 杂草检测投票处理流程图

Fig. 11 Flowchart of weed detection vote processing

表4 大豆作物杂草检测投票真值表

Table 4 Truth values of weed detection voting

面积评估 模板匹配 饱和度阈值 分类结果
1 1 1 1
1 1 -1 1
1 -1 1 1
1 -1 -1 1
-1 1 1 1
-1 1 -1 0
-1 -1 1 0
-1 -1 -1 0

2.3.2 杂草定位算法

通过投票算法得到杂草检测真值结果,采用计算杂草质心的方式,对杂草位置进行定位,结果如图12所示。杂草的像素级质心坐标位置为图12(a)中红色点标注;图12(b)为绿色植物识别结果,绿色为大豆作物,红色为杂草。
原图杂草质心检测 Weed centroid detection results of original image center

(a) 杂草质心检测结果

(b) ROI杂草检测结果

3 结果与分析

本研究对智能移动平台采集的40个样本(样本为从采集视频中截取出的40帧图像)进行了测试,随机列出其中4个样本进行分析,所有杂草检测方法的准确性评估指标定义为:
A = 1 - ε = 1 - n f w + n f c N
ε c = n f w N c
ε w = n f c N w
其中, ε为错误率; n f w为将农作物误归类为杂草的数量,个; n f c为将杂草误归类为的农作物的数量,个; N为样本图像中杂草和作物的总数; ε c为作物的误分类率; N c为作物的数量,个; ε w为杂草的误分类率; N w是杂草的数量,个。

3.1 杂草识别结果

3.1.1 面积特征检测结果

利用面积阈值方法,四个样本杂草检测结果如图13所示,第一列为原始图像,第二列为面积阈值法的分类结果。可知,通过设置面积阈值的方法能够成功检测出样本1~4中大部分细小杂草。图13中杂草检测试验结果表明,基于面积阈值的方法在杂草识别中取得了良好结果(如表5所示),其平均错误率仅为7.67%,平均杂草的检测精度为92.33%。但与作物重叠的杂草和面积相对较大杂草无法正确分类。此外,还有可能将生长缓慢的作物(由于面积较小)误认为杂草。因此,单靠修改面积阈值的方式,在实际应用中难以适应,譬如杂草与作物重叠面积较大、作物与杂草形态大小相似等较为复杂的情况。
图13 样本1~4面积阈值法杂草检测结果

Fig. 13 Weed detection results of Sample 1-4 using area threshold method

表5 样本1~4面积评估检测精度

Table 5 Detection accuracy of scale evaluation in Sample 1-4

样本   n f w   n f c   N c   N w N   ε c / %   ε w / % ε  / % A / %
1 1 4 10 33 43 10.00 9.30 11.62 88.38
2 0 1 2 19 21 0.00 5.26 4.76 95.23
3 0 2 3 37 40 0.00 5.41 5.00 95.00
4 0 4 3 40 43 0.00 10.00 9.30 90.70
全部 2.50 7.49 7.67 92.33

3.1.2 模板匹配算法

使用作物叶片和杂草模板进行模板匹配对4个样本进行杂草检测试验,结果如图14所示。
图14 样本1~4模板匹配杂草检测结果

Fig. 14 Weed detection results of Sample 1-4 using template matching

基于模板匹配的方法成功地检测出了大部分杂草,在杂草识别中取得了良好结果(如表6所示),其平均错误率仅为6.58%,平均杂草的检测精度为93.43%。但与作物重叠的杂草无法正确识别,还存在诸如石头、塑料等干扰物体被误检测为杂草的情况。因此,只采用模板匹配方法在实际应用中难以适应较为复杂的情况。
表6 样本1~4模板匹配检测精度

Table 6 Detection accuracy of template matching in Sample 1-4

样本   n f w   n f c   N c   N w N   ε c  / %   ε w  / % ε  / % A/%
1 0 3 10 33 43 0 9.09 6.98 93.02
2 0 2 2 19 21 0 10.53 9.52 90.48
3 0 3 3 37 40 0 8.11 7.50 92.50
4 0 4 3 40 43 0 10.00 9.30 90.70
全部 0 9.43 6.58 93.46

3.1.3 基于饱和度阈值特征检测结果

利用饱和度阈值的方法对4个样本进行杂草检测试验,结果如图15所示。
图15 样本1~4饱和度阈值检测结果

Fig. 15 Weed detection results of Sample 1-4 using template saturation threshold

根据公式(4)~(6),采用饱和度阈值处理样本的精度结果如表7所示。可知,将作物识别为杂草的错误率高达72.50%,但是饱和度阈值能更精准地检测识别出作物的中心区域。因此,结合模板匹配和饱和度阈值两种方法可实现大部分作物的精准识别定位,减少将作物误判为杂草而被去除的风险。
表7 样本1~4饱和度阈值特征检测精度

Table 7 Detection accuracy of Sample 1-4 using saturation threshold characteristic

样本   n f w   n f c   N c   N w N   ε c   / %   ε w / % ε / % A / %
1 4 0 10 33 43 40.00 0.00 9.30 90.70
2 3 0 2 19 21 150.00 15.79 14.29 85.71
3 1 1 3 37 40 33.33 27.03 2.50 97.50
4 2 1 3 40 43 66.67 25.00 6.98 93.02
全部 72.50 19.31 8.25 91.76

3.2 投票算法杂草检测结果

根据大豆作物杂草检测投票真值表(表4),采用投票的方式对面积阈值、模板匹配和饱和度阈值三种分类方法得到的作物和杂草分类结果进行综合评估,实现对背景分割后图像中作物和杂草的精准识别与定位,该处随机列出研究数据中4个样本的投票检测结果,如图16所示,其中第一列为杂草,第二列为面积阈值法的分类结果。
图16 样本1~4杂草投票检测结果

Fig. 16 Weed voting results of Sample 1-4

根据公式(3)计算后,再采用投票权重的方法处理样本的精度,结果如表8所示。可知,基于投票权重的方法在杂草识别中平均错误率仅为1.79%,平均杂草的检测精度为98.21%。将杂草检测结果进行比较(如表9所示),相较单一的面积阈值、模板匹配和饱和度阈值方法,基于投票权重识别杂草的精度平均提升5.71%。
表8 杂草投票权重算法样本1~4的检测精度

Table 8 Detection accuracy of weed voting algorithm in Sample 1-4

样本   n f w   n f c   N c   N w N   ε c / %   ε w / % ε / % A / %
1 1 0 10 33 43 10.00 0.00 2.33 97.67
2 0 0 2 19 21 0.00 0.00 0.00 100.00
3 0 1 3 37 40 0.00 27.03 2.50 97.50
4 0 1 3 40 43 0.00 25.00 2.33 96.35
全部 2.50 13.01 1.79 98.21
表9 四种算法杂草检测结果精度对比

Table 9 Comparison of detection accuracy of four weed detection calculations

样本   ε c  / %   ε w / % ε / % A / %
面积阈值 2.50 7.49 7.670 92.330
模板匹配 0.00 9.43 6.575 93.425
饱和度阈值 72.50 19.31 8.245 91.755
本文算法 2.50 13.01 1.790 98.210

3.3 最终杂草质心检测

对投票权重算法得到的检测结果采用计算杂草质心的方式确定杂草质心的位置,检测出的杂草后经过坐标变换得到对应的世界坐标,发送给智能移动机器人进行除草作业。4个样本的杂草位置定位结果如图17所示。杂草的像素级质心坐标位置为图17中红色点标注。
图17 样本1~4杂草质心检测结果

Fig. 17 Weed centroid detection results of Sample 1-4

3.4 算法鲁棒性检测

为研究本算法在检测农业复杂场景时是否可以普及到其他作物,验证算法的普适性,利用在互联网上随机下载的雨后作物图像(图18(a))及人为采集的强光下含大量阴影的莴笋图像(图19(a)),针对雨滴和强光条件等农业复杂场景,对投票权重算法进行鲁棒性检测,结果如图18(b)图19(c)所示。
基于投票权重方法的作物和杂草雨滴情况检测 Crop and weed detection with raindrops based on voting weight

(a) 雨后作物图像

(b) 作物和杂草区域检测结果

图18(a)为雨后作物形态,叶片上存在的雨滴会对光路产生漫反射、折射等影响,最终导致所采集的待处理图像在亮度方面分布不均匀,不利于杂草识别和分类。采用本研究方法实现了雨滴的去除,如图18(b)中黄色区域所示。
此外,如图19所示,因作物体积过大,且由于强光导致的杂草被阴影遮挡问题,基于本研究的方法可识别出在阴影下的作物,由图19(b)所示,可解决部分阴影干扰问题。
图19 基于投票权重方法的阴影下作物和杂草

Fig. 19 Detection of plants under shadow based on voting weight

图19(c)所示,黄色区域为未检测出的阴影区域内的主要作物,但可实现大部分阴影的滤除和大部分主要作物的识别,其中红色区域所示为识别出的主要作物,实现了阴影环境下90%以上主要作物的识别。阴影下的总作物数量约为15个,检测出来的为11个,未检测数量为4个。
上述两项检测充分证明了本研究方法的鲁棒性。

4 结论与讨论

本研究设计了一套基于图像处理的杂草自动识别算法,并以大豆田间杂草检测为例进行了试验。通过投票的方式对面积阈值、模板匹配和饱和度阈值三种分类方法得到的作物和杂草分类结果进行综合评估,实现了对背景分割后图像中的作物和杂草的精准识别与定位。试验结果表明,使用本研究方法进行作物和杂草分类,识别精度能够达到98.21%。本研究算法在准确率较传统的面积阈值、模板匹配和饱和度阈值识别杂草方法有所提升,鲁棒性较好,可为智能移动机器人除草作业等智慧农业领域提供技术支持。
未来会将研究对象拓展到其他作物,提升自主杂草检测方法的普遍适应性。

脚注

1
尚建伟, 蒋红海, 喻刚, 等. 基于深度学习的杂草识别系统[J]. 软件导刊, 2020, 19(7): 127-130.

SHANG J, JIANG H, YU G, et al. Weed recognition system based on deep learning[J]. Software Guide, 2020, 19(7): 127-130.

2
侯雨, 曹丽英, 丁小奇, 等. 基于边缘检测和BP神经网络的大豆杂草识别研究[J]. 中国农机化学报, 2020, 41(7): 185-190.

HOU Y, CAO L, DING X, et al. Research on soybean weed identification based on edge detection and BP neural network[J]. Chinese Journal of Agricultural Mechanization, 2020, 41(7): 185-190.

3
ARAVIND R, DAMAN M, KARIYAPPA B S. Design and development of automatic weed detection and smart herbicide sprayer robot[C]// 2015 IEEE Recent Advances in Intelligent Computational Systems (RAICS). Piscataway, New York, USA: IEEE, 2015: 257-261.

4
任全会, 杨保海. 图像处理技术在田间杂草识别中应用研究[J]. 中国农机化学报, 2020, 41(6): 154-158.

REN Q, YANG B. Application of image processing technology in field weed identification[J]. Chinese Journal of Agricultural Mechanization, 2020, 41(6) :154-158.

5
SIDDIQI M H, AHMAD I, SULAIMAN S B. Weed recognition based on erosion and dilation segmentation algorithm[C]// 2009 International Conference on Education Technology and Computer. Piscataway, New York, USA: IEEE, 2009: 224-228.

6
LOTTES P, HOEFERLIN M, SANDER S, et al. An effective classification system for separating sugar beets and weeds for precision farming applications[C]// 2016 IEEE International Conference on Robotics and Automation (ICRA). Piscataway, New York, USA: IEEE, 2016: 5157-5163.

7
CICCO M D, POTENA C, GRISETTI G, et al. Automatic model based dataset generation for fast and accurate crop and weeds detection[C]// 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway, New York, USA: IEEE, 2017: 5188-5195.

8
CZYMMEK V, HARDERS L O, KNOLL F J, et al. Vision-based deep learning approach for real-time detection of weeds in organic farming[C]// 2019 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). Piscataway, New York, USA: IEEE, 2019: 1-5.

9
彭文, 兰玉彬, 岳学军, 等. 基于深度卷积神经网络的水稻田杂草识别研究[J]. 华南农业大学学报, 2020(6): 75-81.

PENG W, LAN Y, YUE X, et al. Research on weed identification in rice paddy field based on deep convolutional neural network[J]. Journal of South China Agricultural University, 2020(6): 75-81.

10
魏靖, 王玉亭, 袁会珠, 等. 基于深度学习与特征可视化方法的草地贪夜蛾及其近缘种成虫识别[J]. 智慧农业(中英文), 2020, 2(3): 75-85.

WEI J, WANG Y, YUAN H, et al. Identification and morphological analysis of adult spodoptera frugiperda and its close related species using deep learning[J]. Smart Agriculture, 2020, 2(3): 75-85.

11
王璨, 武新慧, 李志伟. 基于卷积神经网络提取多尺度分层特征识别玉米杂草[J]. 农业工程学报, 2018, 34(5): 144-151.

WANG C, WU X, LI Z. Extraction of multi-scale layered features for identification of maize weeds based on convolutional neural network[J]. Transactions of the CSAE, 2012, 34(5): 144-151.

12
UTTAR_P. An experimental set up for utilizing convolutional neural network in automated weed detection[C]// 2019 4th International Conference on Internet of Things: Smart Innovation and Usages (IoT-SIU). Ghaziabad, India: Department of CS, 2019: 1-6.

13
RIST Y, SHENDRYK I, DIAKOGIANNIS F, et al. Weed mapping using very high resolution satellite imagery and fully convolutional neural network[C]// IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama, Japan: IGARSS, 2019: 9784-9787.

14
UMAMAHESWARI S, ARJUN R, MEGANATHAN D. Weed detection in farm crops using parallel image processing[C]// 2018 Conference on Information and Communication Technology (CICT). Jabalpur, India: CIC, 2018: 1-4.

15
CFAWAKHERJI M, YOUSSEF A, BLOISI D, et al. Crop and weeds classification for precision agriculture using context-independent pixel-wise segmentation[C]// 2019 Third IEEE International Conference on Robotic Computing (IRC). Piscataway, New York, USA: IEEE, 2019: 146-152.

16
VEDULA R, NANDA A, GOCHHAYAT S S, et al. Computer vision assisted autonomous intra-row weeder[C]// 2018 International Conference on Information Technology (ICIT). Bhubaneswar, India: ICIT, 2018: 79-84.

17
BABIKER I, XIE W, CHEN G. Recognition of dandelion weed via computer vision for a weed removal robot[C]// 2019 1st International Conference on Industrial Artificial Intelligence (IAI). Shenyang, China: Industrial and Aerospace Engineering Concordia University Montreal Quebec Canada, 2019: 1-6.

18
SARVINI T, SNEHA T, GOWTHAMI G S S, et al. Performance comparison of weed detection algorithms[C]// 2019 International Conference on Communication and Signal Processing (ICCSP). Piscataway, New York, USA: IEEE, 2019: 843-847.

19
BARRERO O, PERDOMO S A. RGB and multispectral UAV image fusion for Gramineae weed detection in rice fields[J]. Precision Agriculture, 2018, 19: 809-822.

20
TEJEDA A J I, CASTRO R C. Algorithm of weed detection in crops by computational vision[C]// 2019 International Conference on Electronics, Communications and Computers (CONIELECOMP). Cholula, Mexico: CONIELECOMP, 2019: 124-128.

21
BAH M D, HAFIANE A, CANALS R. Weeds detection in UAV imagery using SLIC and the Hough transform[C]// 2017 Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA). Piscataway, New York, USA: IEEE, 2017: 1-6.

22
BAKHSHIPOUR A, JAFARI A. Evaluation of support vector machine and artificial neural networks in weed detection using shape features[J]. Computers and Electronics in Agriculture, 2018, 145: 153-160.

23
TANG J, CHEN X, MIAO R, et al. Weed detection using image processing under different illumination for site-specific areas spraying[J]. Computers and Electronics in Agriculture, 2016, 122: 103-111.

24
WANG A, ZHANG W, WEI X. A Review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and Electronics in Agriculture, 2019, 158: 226-240.

25
BAKHSHIPOUR A, JAFARI A, NASSIRI S M, et al. Weed segmentation using texture features extracted from wavelet sub-images[J]. Biosystems Engineering, 2017, 157: 1-12.

26
张燕, 李庆学, 吴华瑞. 基于核相互子空间法的番茄叶部病害快速识别模型[J]. 智慧农业(中英文), 2020, 2(3): 86-97.

ZHANG Y, LI Q, WU H. Rapid recognition model of tomato leaf diseases based on kernel mutual subspace method[J]. Smart Agriculture, 2020, 2(3): 86-97.

27
MCCOOL C S, BEATTIE J, FIRN J, et al. Efficacy of mechanical weeding tools: A study into alternative weed management strategies enabled by robotics[J]. IEEE Robotics and Automation Letters, 2018, 3(2): 1184-1190.

文章导航

/