1 引言
卷积神经网络（Convolutional Neural Networks，CNN）是近年发展兴起的一种高效识别方法，可直接处理原始图像，因而得到了广泛应用[8]：刘小刚等[9]提出了一种改进的YOLOv3识别方法，通过训练大量的草莓图像数据集，实现了草莓在复杂环境中的连续识别检测；叶发茂等[10]利用微调的卷积神经网络模型，通过提取查询图像检索特征和估计查询图像每个类别权重，提高了遥感图像的检索性能；汪传健等[11] 提出了一种基于卷积神经网络的农作物精细分类方法，将深度学习技术用于无人机遥感农作物识别，实现了农作物的精细分类；Dyrmann等[12] 设计了卷积神经网络用于鉴别幼苗种类，训练和测试了22种不同的植物幼苗，其正确率达到86.2%；Yao等[13]提出了基于卷积神经网络的高分辨率农业遥感图像分类方法，对GF-1高分辨率卫星的全色图像进行大量训练，分类正确率达到了99.66%。由此看出，卷积神经网络在作物识别分类方面具有极大的优势。
为实现玉米作物营养快速检测，采用无人机搭载多光谱相机采集玉米植株图像，结合植株营养测定仪，利用卷积神经网络对作物原始图像进行识别分类，训练出适合于彩色图像和多光谱图像的玉米植株营养状况等级识别模型，以提高检测的时效性和减轻劳动强度，并为精准灌溉施肥提供参考依据。
2 试验区作物营养状况信息采集
2.1 试验区梯度划分
由于天气变化和作物品种存在差异，目前尚没有通用的可以反映作物营养状况信息的图像库，因此需要实地采集玉米的多光谱图像和水氮含量等信息，构建玉米营养状况信息图像库。玉米营养状况信息采集时间为2018年8月4日，地点为中国农业大学通州试验站，玉米品种为“郑单958”，试验场地如图1 所示。为了构建施肥梯度，将图1 试验场地按区域划分，如图2 所示，对不同区域的玉米植株进行差异化氮肥处理，对其生长状况制作出一定梯度。
研究选取CK、N1、N2、N3、N4、N5共计6个区域作为信息采集区域，首先对这6个区域进行梯度施肥。所有底肥处理均为混掺肥750kg/hm2，折合成纯氮约为112.5kg/ hm2，追肥时试验田将施用肥料的纯氮含量分为6个梯度，所有的追肥处理使用的肥料都为尿素，施肥量如表1 所示。
表1 各区域施肥量Table 1 Fertilization amount of the divisions |
| 施肥区域 | 底肥 （kg/hm2） | V6期追肥 （kg/hm2） | 尿素（kg） |
|---|---|---|---|
| CK | 112.5 | 0 | 0 |
| N1 | 112.5 | 11 | 5.4 |
| N2 | 112.5 | 27 | 13.2 |
| N3 | 112.5 | 43 | 21.0 |
| N4 | 112.5 | 59 | 28.8 |
| N5 | 112.5 | 75 | 36.6 |
2.2 信息采集
本研究将RedEdge-M型号多光谱相机（地面采样距离：在120m处每像素为8cm）固定在大疆精灵Ⅲ无人机机身下部，GPS（Global Positioning System）模块与DLS（Downwelling Light Sensor）模块固定在机身上部，使用充电宝为相机供电，连接后的效果如图3 所示。在无风天气、飞行平稳及保持飞行高度为20m的条件下，采集喇叭口期玉米植株的多光谱图像和GPS信息。试飞结果表明，多光谱图像采集效果清晰，无畸变，可以满足作物营养状况信息采集要求。
为保证玉米植株营养状况信息与所采集的玉米多光谱图像对应，选用YLS系列植株营养测定仪（型号：YLS-D，厂家：北京盟创伟业科技有限公司），该仪器能够实时检测玉米的叶绿素相对含量、氮含量、叶片水分（叶片水厚度）以及叶片温度。
2.3 营养状况等级划分
采集完成玉米植株的多光谱图像和营养状况信息后，对玉米植株的氮素含量、水分含量等数据进行分析，以此为依据进行作物多光谱图像分类。以每个区域10棵玉米植株样本的氮素平均值和水分平均值来代表该区域的营养状况水平，各区域在V6期的追肥情况如图4 所示，各区域氮素和水分的情况如图5 所示。
由以上两图可知，追肥量N5（75kg/hm2）>N4（59kg/hm2）>N3（43kg/hm2）>N2（27kg/hm2）>N1（11kg/hm2）>CK（0kg/hm2），采集到的各区域氮素水平N5（16.19mg/g）>N4（15.19mg/g）>N1（15.09mg/g）>N2（15.01mg/g）>CK（14.76mg/g）>N3（14.67mg/g），从以上数据和图2 可以看出，试验田北侧区域的玉米植株氮素水平高于南侧区域，与追肥量增加的大方向一致。但是采集到的氮素水平信息与追肥的梯度并不完全符合，实际N2区域植株的氮素含量（15.01mg/g）略小于N1区域（15.09mg/g），数值上相差较小，N3区域测得的玉米植株氮素含量，低于其他施肥区域，查找原因后发现是受施肥的均匀程度影响。
以植株营养测定仪测定的氮素含量为主要依据，以现场对各区域玉米植株长势的观察为辅助，将CK、N1、N2、N3、N4、N5区域的玉米植株多光谱图像进行分类。由于CK与N3区域的氮素含量均在14.50mg/g至15.00mg/g之间，且长势较为接近，将这2个区域的多光谱图像划分为一个等级；N1、N2、N4区域的氮素含量在数值上较为接近，均处于15.00mg/g至15.50mg/g之间，长势也较相近，将这3个区域的多光谱图像划分为一个等级；N5区域的玉米植株在氮素含量和长势方面都明显高于其他区域的玉米植株，所以将其单独划分为1个等级。最后将所有多光谱图像共分为0、1和2共3个级别，如表2 所示，等级越高，代表玉米植株营养状况越好。
表2 植株营养测定仪检测信息Table 2 Test information from plant nutrition tester |
| 等级 | 区域 | 氮含量（mg/g） | 叶片水厚度(g/cm2) |
|---|---|---|---|
| 0 | CK | 14.76 | 1.062 |
| 0 | N3 | 14.67 | 1.091 |
| 1 | N1 | 15.09 | 1.095 |
| 1 | N2 | 15.01 | 1.141 |
| 1 | N4 | 15.19 | 1.109 |
| 2 | N5 | 16.19 | 1.001 |
3 基于卷积神经网络的多光谱图像识别
3.1 制作训练集和验证集
采集的多光谱图像分为0、1和2共3个等级，每个等级的多光谱图像总量为800幅，以0等级为例，随机选出530张0等级的五通道图像（即2650张单通道图像），再从这些图像中随机选出50张五通道图像（即250张单通道图像）作为验证集，剩余480张五通道图像（2400张单通道图像）作为训练集。1、2等级的训练集和验证集制作方法同上。最终建立玉米营养状况信息图像库如图6 所示，训练集中共有1440张五通道图像（即7200张单通道图像），验证集中共有150张五通道图像（即750张单通道图像），训练集和验证集共计1590张五通道图像（即7950张单通道图像）。
同时将多光谱图像中Blue、Green和Red 3个通道的图像合成为RGB彩色图像，进而形成一个只包含普通彩色图像的玉米营养状况图像库。
3.2 ResNet模型构建
在Input_layer中，采用公式（1） ，将图像每个像素点上的数值从[0,255]按比例缩小到了[-1,1]。
Input_layer输出的图像像素尺寸为224×224，其彩色图像输出通道数为3，五通道图像输出通道数为5。对Input_layer输出的图像数据做如下处理：对于彩色图像，224×224×3的数据分别与64个7×7×3的卷积核做步长为2的卷积操作，输出数据为112×112×64；对于五通道图像，224×224×5的数据分别与64个7×7×5的卷积核做步长为2的卷积操作，输出数据为112×112×64。至此，五通道图像的数据和彩色图像的数据在形状上已经完全一致，均为112×112×64。接下来使用步长为2，池化核为3×3的最大池化操作，将特征图的像素尺寸从112×112缩小为56×56，通道数为64。
池化层输出的数据接下来会经历4组ResNet module。第1组ResNet module输出的特征图像素尺寸为56×56，通道数为64；第2组ResNet module输出的特征图像素尺寸为28×28，通道数为128。此时第2组的第一个ResNet module会面临输入和输出维度不同的情况，输入数据x的通道数为64，经卷积后的数据F(x)的通道数为128，两者无法直接叠加，此时使用128个1×1的卷积核对输入数据x进行升维，这样x与F(x)的通道数都变成128，继而继续进行叠加；第3组ResNet module输出的特征图像素尺寸为14×14，输出通道数为256；第4组ResNet module输出的特征图像素尺寸为7×7，输出通道数为512。至此，数据经过了所有的残差模块。
然后对残差模块输出的数据进行spatial_avg操作（全局平均池化操作），即使用tf.reduce_mean()对像素尺寸为7×7的特征图像在高和宽方向都取平均值，输出的特征图像素尺寸为1×1，通道数为512。
最后使用一个全连接层使输出的形状与标签的种类对应，由于图像共有三个标签，使用形状为512×3的矩阵与上一层输出的1×512的矩阵相乘，能得到一个形状为1×3的矩阵，其具体操作如式2 所示。
其中，n=512，y 1 ，y2，y3值为图片识别结果，即0、1、2等级的概率。
4 试验结果与分析
4.1 试验软硬件环境
模型训练用计算机配置为：Intel(R) Xeon(R) CPU E5-2620 v4 @2.10GHz，256GB内存，NVIDIA Tesla K40C显卡。操作系统：Ubuntu16.04，训练软件：TensorFlow1.3.0。训练平均用时为4.5h。识别一张五通道图像平均用时为3.56s。
4.2 ResNet18模型精度分析
经过多次试验，当learning_rate（初始学习率）=0.03，batch_size（一个batch有多少图片）=6，num_epochs（所有数据共迭代次数）=4时，彩色图像训练出来的模型效果最好，训练时的learning_rate和损失loss如图8 所示，此时loss已趋于稳定，模型基本拟合。构建的ResNet18模型识别验证集的图像，正确率达到了84.7%。
当learning_rate=0.05，batch_size=4，num_epochs=4时，五通道图像训练出的模型效果最好，训练时的learning_rate和loss如图9 所示，此时loss已趋于稳定，模型基本拟合。同时ResNet18模型识别验证集的图像，正确率达到了90.5%。
整体而言，两个模型的识别正确率分别达到84.7%和90.5%，识别效果比较好，能够精准灌溉施肥作业提供施肥量参考。
4.3 ResNet18模型识别效果
试验过程中，合成后的五通道图像共有150张，0、1、2等级各包含50张。对验证集进行识别，效果如表3 所示。
表3 验证集识别结果Table 3 Validation set identification |
| 等级 | 数量 | 识别为0等级 | 识别为1等级 | 识别为2等级 | 正确率（%） |
|---|---|---|---|---|---|
| 0 | 50 | 40 | 4 | 6 | 80 |
| 1 | 50 | 3 | 47 | 0 | 94 |
| 2 | 50 | 1 | 0 | 49 | 98 |
根据表3 可知，模型对2等级图像的识别效果最好（98%），对1等级图像也具有较好的识别效果（94%），对0等级图像的识别错误略多。结合多光谱图像的实际情况，等级2的图像皆为N5区域的植株，N5区域的植株长势明显高于其他区域的图像，所以图像特征区分明显；等级0的图像包含CK区域和N3区域，CK区域的植株存在长势差别较大的情况，有个别小区域玉米植株长势较好，且0等级和1等级的氮素水平区分不大，造成了模型对0等级图像识别效果不够好。若要训练出识别效果更好的模型，只需要按区域种植出梯度更明显的玉米植株即可。
4.4 实地应用测试
为测试玉米营养状况模型的运行状况与实用性，在通州试验田上空20m以S形轨迹俯拍玉米植株作物图像进行测试。多光谱图像拍摄于追肥前，此时大部分玉米植株长势低矮，氮素含量也不高，基本都符合0等级图像的特征（图10 (a)），只有少部分区域的玉米植株长势较好（图10 (b)）。
这批图像共含有1040张单通道图像，即208张五通道图像，调用模型直接识别这些原始图像，167张图像判定为等级0，40张图像判定为1等级，1张图像判定为2等级，识别的正确率为80.3%，基本能够正确反映出该田地的情况。同时使用读取GPS信息的程序获得这些图像的经纬度信息，两种信息都会自动保存在*.txt文件中，如图11 所示。经过测试，应用训练好的模型识别多光谱图像能够输出玉米的营养状况等级和GPS 信息，可应用到实际的精准灌溉施肥作业过程中，方法操作简单，耗时较短，并且具有较高的准确性。
5 结论
本研究提出了一种基于多光谱成像技术和卷积神经网络识别玉米营养状况的方法，得到的主要结论如下：
（1）应用TensorFlow深度学习框架，搭建ResNet18卷积神经网络模型，训练出一个可以通过普通彩色图像判断玉米植株营养状况等级的识别模型，识别验证集的正确率达到了84.7%；训练出一个通过五通道多光谱图像判断玉米植株营养状况等级的识别模型，识别验证集的正确率达到了90.5%。
（2）应用训练好的ResNet18模型识别玉米的营养状况信息，无需再对多光谱图像做复杂的处理工作，只需运行应用的程序就可以对RedEdge-M多光谱相机采集的原始图像进行识别，输出图像所对应的营养状况等级、追肥指导意见以及经纬度信息。
研究结果证明基于卷积神经网络的玉米作物营养状况识别方法耗时较短、成本较低，无需对多光谱信息进行复杂的分析处理工作，能够快速有效地为水肥一体化装备提供玉米作物的营养状况信息，对实现精准农业的快速化智能化管理具有重要意义。
在后续研究中将补充其它模型，进行多模型的对比研究，同时根据色度、浓度和光强独立区分的HSI颜色空间对图像进行研究。
