欢迎您访问《智慧农业(中英文)》官方网站! English
专刊--作物信息监测技术

基于PADC-PCNN与平稳小波变换多焦距绿色植株图像融合算法

  • 李嘉豪 , 1 ,
  • 瞿宏俊 1 ,
  • 高名喆 2 ,
  • 仝德之 3 ,
  • 郭亚 , 1, 2, 3
展开
  • 1. 江南大学 物联网工程学院“轻工过程先进控制”教育部重点实验室,江苏 无锡 214122,中国
  • 2. 江南大学物后勤管理处环境中心,江苏 无锡 214122,中国
  • 3. 绿视芯科技(无锡)有限公司,江苏 无锡 214000,中国
郭 亚,博士,教授,研究方向为系统建模与控制、大数据分析、传感器与仪器。E-mail:

李嘉豪,研究方向为植物表型设备研发。Email:

收稿日期: 2023-07-31

  网络出版日期: 2023-11-10

基金资助

国家自然科学基金国际合作项目(51961125102)

国家自然科学基金面上项目(31771680)

江苏省农业科技自主创新资金项目(SCX(22)3669)

A Multi-Focal Green Plant Image Fusion Method Based on Stationary Wavelet Transform and Parameter-Adaptation Dual Channel Pulse-Coupled Neural Network

  • LI Jiahao , 1 ,
  • QU Hongjun 1 ,
  • GAO Mingzhe 2 ,
  • TONG Dezhi 3 ,
  • GUO Ya , 1, 2, 3
Expand
  • 1. Key Laboratory of Advanced Process Control in Light Industry, Ministry of Education, School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China
  • 2. Logistics Management Service Environmental Centre of Jiangnan University, Wuxi 214122, China
  • 3. Chloview Technology (Wuxi) Co. , LTD. , Wuxi 214000, China

Received date: 2023-07-31

  Online published: 2023-11-10

Supported by

International Cooperation Project of the National Natural Science Foundation of China(51961125102)

National Natural Science Foundation of China(31771680)

Independent Innovation Fund of Agricultural Science and Technology of Jiangsu Province(SCX(22)3669)

Copyright

copyright©2023 by the authors

摘要

[目的/意义] 构建绿色植株三维点云模型需大量清晰图像,受镜头景深限制,在采集大纵深植株图像时图像会部分失焦,导致出现边缘模糊、纹理细节丢失等问题,现有的处理算法难以兼顾处理质量和处理速度。本研究目的是提出一种新型算法,提高融合图像质量问题的同时兼顾处理速度。 [方法] 提出了一种基于非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)的参数自适应双通道脉冲耦合神经网络(Parameter Adaptation Dual Channel Pulse Coupled Neural Network,PADC-PCNN)与平稳小波变换(Stationary Wavelet Transform, SWT)的植株图像融合方法。首先对植株的RGB图像进行通道分离,针对含纹理细节等特征较多的G通道进行NSST分解,低频子带使用梯度能量融合规则,高频子带使用PADC-PCNN融合规则;对轮廓信息和背景信息多的R、B通道,采用速度快且具备平移不变性的平稳小波变换,用以抑制伪Gibbs效应。自建了480幅图像共8组数据,以光照环境、距离和植株颜色为变量,同时采集不同焦距图像验证算法性能。 [结果和讨论] 基于PADC-PCNN-SWT算法与常用的快速导向滤波算法(Fast Guided Filter,FGF)、随机游走算法(Random Walk,RW)、非下采样剪切波变换的脉冲耦合神经网络算法(Nonsubsampled Shearlet Transform based Pulse-Coupled Neural Network,NSST-PCNN)、平稳小波变换算法(Stationary Wavelet Transform,SWT)和非下采样剪切波变换的参数自适应双通道脉冲耦合神经网络(Nonsubsampled Shearlet Transform based Parameter-Adaptive Dual-Channel Pulse-Coupled Neural Network,NSST-PADC)等五种算法相比,在清晰度上比前四种算法分别提高了5.6%、8.1%、6.1%和17.6%,在空间频率上比前四种算法分别提高了2.9%、4.8%、7.1%和15.9%,而相较于融合效果最好的NSST-PADC算法在处理速度方面平均提升200.0%,同时调焦范围约6 mm。 [结论] 本研究提出的基于PADC-PCNN-SWT多焦距图像融合算法实现了在保障融合质量的同时,提高了融合图像的效率,为搭建绿色植株三维点云模型提供高质量数据的同时节省了时间。

本文引用格式

李嘉豪 , 瞿宏俊 , 高名喆 , 仝德之 , 郭亚 . 基于PADC-PCNN与平稳小波变换多焦距绿色植株图像融合算法[J]. 智慧农业, 2023 , 5(3) : 121 -131 . DOI: 10.12133/j.smartag.SA202308005

Abstract

[Objective] To construct the 3D point cloud model of green plants a large number of clear images are needed. Due to the limitation of the depth of field of the lens, part of the image would be out of focus when the green plant image with a large depth of field is collected, resulting in problems such as edge blurring and texture detail loss, which greatly affects the accuracy of the 3D point cloud model. However, the existing processing algorithms are difficult to take into account both processing quality and processing speed, and the actual effect is not ideal. The purpose of this research is to improve the quality of the fused image while taking into account the processing speed. [Methods] A plant image fusion method based on non-subsampled shearlet transform (NSST) based parameter-adaptive dual channel pulse-coupled neural network (PADC-PCNN) and stationary wavelet transform (SWT) was proposed. Firstly, the RGB image of the plant was separated into three color channels, and the G channel with many features such as texture details was decomposed by NSST in four decomposition layers and 16 directions, which was divided into one group of low frequency subbands and 64 groups of high frequency subbands. The low frequency subband used the gradient energy fusion rule, and the high frequency subband used the PADC-PCNN fusion rule. In addition, the weighting of the eight-neighborhood modified Laplacian operator was used as the link strength of the high-frequency fusion part, which enhanced the fusion effect of the detailed features. At the same time, for the R and B channels with more contour information and background information, a SWT with fast speed and translation invariance was used to suppress the pseudo-Gibbs effect. Through the high-precision and high-stability multi-focal length plant image acquisition system, 480 images of 8 experimental groups were collected. The 8 groups of data were divided into an indoor light group, natural light group, strong light group, distant view group, close view group, overlooking group, red group, and yellow group. Meanwhile, to study the application range of the algorithm, the focus length of the collected clear plant image was used as the reference (18 mm), and the image acquisition was adjusted four times before and after the step of 1.5 mm, forming the multi-focus experimental group. Subjective evaluation and objective evaluation were carried out for each experimental group to verify the performance of the algorithm. Subjective evaluation was analyzed through human eye observation, detail comparison, and other forms, mainly based on the human visual effect. The image fusion effect of the algorithm was evaluated using four commonly used objective indicators, including average gradient (AG), spatial frequency (SF), entropy (EN), and standard deviation (SD). [Results and Discussions] The proposed PADC-PCNN-SWT algorithm and other five algorithms of common fast guided filtering algorithm (FGF), random walk algorithm (RW), non-subsampled shearlet transform based PCNN (NSST-PCNN) algorithm, SWT algorithm and non-subsampled shearlet transform based parameter-adaptive dual-channel pulse-coupled neural network (NSST-PADC) and were compared. In the objective evaluation data except for the red group and the yellow group, each index of the PADC-PCNN-SWT algorithm was second only to the NSST-PADC algorithm, but the processing speed was 200.0% higher than that of the NSST-PADC algorithm on average. At the same time, compared with the FDF, RW, NSST-PCNN, and SWT algorithms, the PADC-PCN -SWT algorithm improved the clarity index by 5.6%, 8.1%, 6.1%, and 17.6%, respectively, and improved the spatial frequency index by 2.9%, 4.8%, 7.1%, and 15.9%, respectively. However, the difference between the two indicators of information entropy and standard deviation was less than 1%, and the influence was ignored. In the yellow group and the red group, the fusion quality of the non-green part of the algorithm based on PADC-PCNN-SWT was seriously degraded. Compared with other algorithms, the sharpness index of the algorithm based on PADC-PCNN-SWT decreased by an average of 1.1%, and the spatial frequency decreased by an average of 5.1%. However, the indicators of the green part of the fused image were basically consistent with the previous several groups of experiments, and the fusion effect was good. Therefore, the algorithm based on PADC-PCNN-SWT only had a good fusion effect on green plants. Finally, by comparing the quality of four groups of fused images with different focal length ranges, the results showed that the algorithm based on PADC-PCNN-SWT had a better contour and color restoration effect for out-of-focus images in the range of 15-21 mm, and the focusing range based on PADC-PCNN-SWT was about 6 mm. [Conclusions] The multi-focal length image fusion algorithm based on PADC-PCNN-SWT achieved better detail fusion performance and higher image fusion efficiency while ensuring fusion quality, providing high-quality data, and saving a lot of time for building 3D point cloud model of green plants.

1 引 言

绿色植株三维点云重建是虚拟现实技术在农业中的应用,通过植株三维点云研究作物形态结构和生长过程对于优选育种,长势监测和状态评估等具有重要意义1, 2。常用的三维数据重建方法有运动恢复结构与多视角立体视觉,都需要采集大量精确、不失真的植株图像数据3-5。受镜头景深限制,在采集大纵深的绿色植株图像时,易出现图像部分失焦、边缘模糊等问题,全清晰绿色植株图像难以获得,极大地影响了三维点云模型的精度6, 7。为解决这一难题,已有学者采用多焦距图像融合的方法获得相对更清晰的图像8,其主要可分为空间域融合和变换域融合9。空间域融合方法是直接在原始图像上选取像素点构造融合图像,但这样会导致多通道图像上产生伪影和色差,从而降低图像融合质量10;虽然变换域算法不存在上述问题,如小波变换能够在去除伪影噪声的同时保留图像边缘细节信息,具有良好的时频特性和平移不变性,但受限于只能提取有限方向的信息,单一小波变换算法融合效果仍不理想11。因此,在小波变换的基础上发展出了曲线波变换、轮廓波变换、剪切波变换等,这些变换很好地解决了分解方向受限问题,同时保留了其平移不变性。目前,应用最广的是非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST),该方法速度快,其融合规则通常依据图像局部特征信息进行设计,而这些局部特征信息关注的影像特征单一,无法有效兼顾影像整体结构信息的保持和细节信息的提取12。为解决该问题,有学者提出了NSST变换结合脉冲耦合神经网络的算法13,由于该算法的脉冲同步、全局耦合的特性,能很好地解决NSST无法同时兼顾结构信息和细节信息的问题,在图像融合领域占重要地位。
基于NSST域的脉冲耦合神经网络(Pulse-Coupled Neural Network,PCNN)算法融合效果好,其融合效果一般跟分解层数成正比,但分解层越多,处理时间越长,且分解的多个高频子带还需通过PCNN优化,算法冗杂。而搭建植株三维点云模型本身就需要大量的图像数据,少则上百张,多则上千张,如何在保证图像质量的同时提高融合效率,缩减建模耗时就成了亟待解决的问题,许多学者就此展开了研究。其中,龚循强等14针对低频子带采用改进Laplacian能量的融合策略,受限于低频子带个数,精度提高了6.8%但处理速度提升甚微。邸敬等15利用Lab颜色空间对RGB图像重构后进行NSST分解,并依据人眼特性自适应调节PCNN参数,增强了融合图的亮度、对比度和处理速度,但经过空间变换后受高频噪音干扰,融合质量有待提高。Ullah等16提出参数自适应PCNN和局部Laplacian滤波的图像融合算法,其收敛速度快,但源图像需要经过多次颜色空间转换,增加了处理数据的复杂度且易产生失真。刘立群等17提出了一种基于自适应双通道脉冲耦合神经网络异构图像融合模型, 在不同光场下对图像进行融合,将深度信息和可见光信息进行融合,模型识别融合率达到了100%,但受深度图像的影响,其色彩还原性较差。本研究依据绿色植物的结构特性和纹理分布对植株RGB图像的不同通道采用针对性处理研究改进算法,在保证融合质量的同时有效提高了算法处理效率。

2 材料与方法

2.1 多焦距图像融合模型构建

本研究以NSST变换和平稳小波变换相结合为基础,其中NSST变换在其低频段采用图像梯度能量的融合规则,高频段采用参数自适应双通道PCNN的融合规则,多尺度重构后得到融合图像。平稳小波变换采用能量梯度函数作为焦点度量指标,分解得到低高频子带。基于PADC-PCNN(Parameter Adaptation Dual Channel Pulse Coupled Neural Network)与平稳小波算法很好地弥补了NSST变换和平稳小波变换两种算法的缺陷,精度相较于平稳小波变换更高,处理速度比基于NSST域的PCNN算法更快。

2.1.1 NSST模型

NSST变换第一步采用非下采样金字塔(Non-Subsampled Pyramid,NSP)算法对源图像第一次分解,得到源图像的高频子带系数和低频子带系数。然后对低频子带再次分解,如此反复分解K次。第二步对每层的高频子带部分进行多层的剪切波方向局部化分解,最终得到1个低频子带和 i = 1 K 2 i个高频子带。NSST变换过程如图1所示。
图1 NSST变换示意图

Fig. 1 Schematic diagram of the NSST transformation

2.1.2 PCNN模型

PCNN的每一个神经元都由接收域、耦合调制域和脉冲发送器三部分组成,相邻的神经元可以进行叠加能量传输,正是由于神经元群集传导,使其有着同步脉冲发射的能力18,其数学表达如公式(1)~(5)所示。
F i j n = S i j n
L n i , j = C L K = - m m l = - m m Y i + K , j + l n - 1        W L K + m + 1 , l + m + 1
U i j n = e - α u U i j n - 1 + m a x U i j 1 , U i j 2
Y i j n = 1 , i f   U i j n θ i j n - 1 0 , o t h e r w i s e                      
θ i j n = e - α θ θ i j n - 1 + C θ Y i j  
其中,n代表迭代次数;ij代表(i,j)处神经元 S i j n F i j n L i j n U i j n Y i j n θ i j ( n )分别为第n次迭代中的第i行、第j列个神经元的外部输入、反馈输入、连接输入、耦合内部活动项、耦合s输出和阈值函数; α u α θ设置的时间常数; C L C θ是归一化常数; W L是3×3的加权融合算子。最终PCNN的数学模型如图2所示。
图2 参数自适应双通道PCNN模型

Fig. 2 Parameter adaptation dual channel Pulse Coupled Neural Network (PCNN) model

2.1.3 平稳小波变换模型

平稳小波变换是多尺度冗余小波变换中的一种,具有多分辨率特性和平移不变性,其相较于非下采样剪切波变换牺牲了图像细节提取能力,但在图像重建过程中能有效减少噪声干扰19, 20,可以应用于细节信息较少轮廓信息较多的图像通道融合,根据文献[21],其分解公式和能量梯度函数如公式(6)~(10)所示。
A   j m , n = k , l h   j k h   j l A   j - 1 k + m , l + n
H j m , n = k , l g   j k h   j l A   j - 1 k + m , l + n
V j m , n = k , l h   j k g   j l A   j - 1 k + m , l + n
D j m , n = k , l g   j k g   j l A   j - 1 k + m , l + n
F = x y { f x + 1 , y - f x , y 2 + f x , y + 1 - f x , y 2
其中, h j ( n ) g j ( n )代表二维平稳小波分解的低通和高通滤波器;原始图像经分解后得到 2 j尺度下的水平、垂直和对角方向的高频细节信息为 H j m , n V   j m , n D   j ( m , n ),低频分量为 A   j ( m , n ) F代表的是能量梯度函数。

2.2 改进多焦距图像融合算法

针对绿色植株在G通道中纹理细节分布较多,而R和B通道轮廓信息较多的特点,将两种算法并行处理,并在PCNN高频融合规则中加入注意力机制和多源图像双通道并行方法。注意力机制是针对高频子带中包含大量细节和结构信息进行设计,依据文献[14]选择采用八邻域修正拉普拉斯算子的加权作为PCNN高频融合的链接强度,该算子对细节和边缘信息敏感,当处理到细节纹理特征时,链接强度会随之提升,其链接强度和修正拉普拉斯算子如公式(11)~(12)所示。
β x i , j = m = - r r n = - r r W ( m + r + k ,                    n + r + k ) E M L ( i + m , j + n )
E M L i , j = 2 I i , j - I i - 1 , j - I i + 1 , j +   2 I i , j - I i , j - 1 - I i , j + 1 + 1 2 2 I i , j - I i - 1 , j - 1 - I i + 1 , j + 1 + 1 2 2 I i , j - I i - 1 , j + 1 - I i + 1 , j - 1
其中, I ( i , j )代表图像在 ( i , j )处的像素值; W 代表(2r+1)×(2r+1)的加权矩阵,参考公式(11),当r =1时, E M L ( i , j )即代表3×3的加权融合矩阵即图像在 ( i , j )处的修正拉普拉斯算子。
配合两种算法并行处理能在保证图像融合效果的同时,增强各像素点关联性,缩短运算时间,具体流程如图3所示。
图3 基于PADC-PCNN和平稳小波的融合算法

Fig. 3 Fusion algorithm based on PADC-PCNN-SWT

首先对两幅源图像含纹理细节信息较多的G通道采用NSST分解,依据文献[21]选择了融合效果最好的4解层16个方向的NSST分解结构。两幅图像一共有1组低频子带,64组高频子带,低频子带组使用图像梯度能量方法进行融合,高频子带组使用PCNN自适应调节参数进行融合,最后通过NSST重构得到G通道融合图像。而对轮廓信息和背景信息较多的R和B通道,采用速度更快且同样具备平移不变性的平稳小波变换,用以抑制伪Gibbs效应22, 23,使用多尺度系数方法得到融合矩阵,经过平稳小波逆变换还原R和B通道融合图像,三色通道重组得到最终的RGB融合图像。

2.3 多焦距图像采集系统

为了采集不同焦距下的高清绿色植株图像,设计了一套植株三维表型采集系统。该系统通过多组电机和传感器对盆栽植株进行全方位图像采集,能在保证植株静止的情况下,采集到不同距离、角度、高度和光源环境下的植株多焦距图像,相比于人工扫描采集数据,使用该系统能更稳定更精确地获得数据,有效避免因人工采集导致的植株图像偏移等问题。

2.3.1 系统设计

系统主要由HIK相机、步进电机、超声波电机、温度传感器、限位传感器和多电源电路等组成。其中相机型号是MV-CA016-10UC,160万像素,CMOS传感器型号是IMX273;镜头型号是MVL-MF2518M-5MPE变焦镜头,焦距调节范围25 mm,F数为F1.8~F16。植株放置旋转底座上,可利用步进电机控制其旋转角度和进退距离,相机固定在滑轨上以便于步进电机控制其垂直高度和相机拍摄仰俯角度。上位机通过电机反馈获得植物的位置信息,控制超声波电机旋转镜头调整焦距,再旋转底座依次采集植株全方位的多焦距图像,再进行图像融合从而得到全方位全清晰的植株图像,植物图像采集系统三维示意图和实物图如图4所示。
图4 植株三维表型采集系统实物图

Fig. 4 Three dimensional schematic and physical drawings of the plant phenotype acquisition system

2.3.2 图像采集

为了精确采集到前端和后端对焦的图像,使用查找表的方式映射植株距离和超声波电机旋转角度之间的关系。每次拍摄之前通过电机反馈数据获得位置信息,通过查找表控制超声波电机调整至对焦角度附近,拍摄两幅前后景对焦图像。
为验证在不同环境和视角下的性能,通过植株三维表型采集系统采集图像构建数据集。首先,设置了植株全景、近景和俯视3个视角,每个视角下采集完当前植株正面图像后,由底盘电机带动植株旋转36°再次采集,直至采集完植株360°图像为止,再调整视角进行下一组视角下图像采集。同时设置了自然光、室内光和人工打光3种光照环境,对于自然光下的图像采集,以光强1900~2100 lux的室外阳光提供光照,并关闭其他非室外阳光的发光源;室内光下的图像采集,以光强50~150 lux的LED灯管提供光照;对于人工打光下的光照环境设置,仅以光强400~600 lux的LED补光灯提供光照。在不同光源下采集完当前植株正面图像后,旋转底座再进行采集直至采集完10个方向图像。本研究数据集由8组常见的盆栽植物图像数据组成。对于前3组数据,为研究不同光强下多焦距绿色植株图像融合性能,采用叶片偏大,在不同光源环境下纹理细节明显的绿色植株绿萝和巢蕨。中间3组,为研究不同视角下多焦距图像融合性能和对伪Gibbs抑制效果,全景组和近景组选择叶片较细尖端较多的吊兰,俯视组则选择体积较小且纵深合适的马拉巴栗。后2组为研究非绿色植株的多焦距图像融合效果,选择包含红色花朵的一品红和包含黄色叶片的变叶木,同时选用背景为蓝色,并避免采集到设备影响色彩实验结果。前3组采集3种光照下10个方向的前后端对焦图像,中间3组采集3种视角下10个方向的前后端对焦图像,最后2组采集两株非绿色植株的前后端对焦图像,最终整个数据集包含480幅植株前后端对焦图像。

3 结果与分析

通过使用常用的平稳小波变换算法(Stationary Wavelet Transform,SWT)24,快速导向滤波算法(Fast Guided Filter,FGF)25,随机游走算法(Random Walk,RW)26,NSST-PCNN算法27,NSST-PADC算法28和PADC-PCNN-SWT算法对采集到的480幅多焦距植株图像进行融合处理,再进行主客观评价分析比较算法性能。其中非下采样剪切波变换算法设置层数都是4层分解层16个方向子带。计算环境为:MATLAB R2021a,64 位Windows 10 操作系统,8 GB 内存,i5-7300HQ 2.50GHz CPU。

3.1 主观评估

使用上文的植株表型采集系统拍摄多焦距图像,如图5所示。图5(a)是前端图像失焦,植株叶面模糊,图5(b)是后端图像失焦,植株纹理细节丢失。除此之外,两幅图像在各处均因镜头景深限制,存在不同程度的失焦问题。
图5 多焦距植株源图像

(a)前端对焦图像 (b)后端对焦图像

Fig. 5 Multifocal plant source images

通过PADC-PCNN-SWT算法将两幅图像进行融合,结果如图6所示,原本图5两处失焦部分均还原为对焦状态,其叶片轮廓清晰,叶面纹理特征明显,相比于其他非NSST融合算法,PADC-PCNN-SWT算法的融合图像基本不存在伪Gibbs现象。整体图像清晰度、色彩还原度和纹理特征留存度均较好。
图6 基于PADC-PCNN-SWT算法绿色植株融合图像

Fig. 6 Fusion images of green plant based on PADC-PCNN-SWT method

3.2 客观评估

采用常用的四个客观指标来对算法图像融合效果进行评估,其中包括清晰度(Average Gradient,AG)、空间频率(Spatial Frequency,SF)、信息熵(Entropy,EN)和标准差(Standard Deviation,SD)29
AG能敏感地反映图像对微小细节反差的表达能力,同时也能反映出图像的纹理特征多少,按照公式(13)计算。
A G = 1 M - 1 N - 1 i = 1 M - 1 i = 1 N - 1 F x 2 i , j + F y 2 i , j 2
其中,M,N为图像的长宽; F x 2 ( i , j )为该像素点在x轴上差值的平方; F y 2 ( i , j )为该像素点在y轴上差值的平方;AG值越大图像细节越多,清晰度越高,是衡量融合图像质量最重要的指标。
SF是基于图像统计特征的评价指标,表示图像在空间域中的变化率,反映的是空间域内图像的整体活跃度,按照公式(14)计算。
S F = R F 2 + C F 2
其中,RFCF分别是图像的行频率和列频率。
EN是基于图像信息量的评估参数,用于评价图像包含信息的多少,如公式(15)所示:
E N F = - i = 0 L - 1 P F i l o g 2   P F i
其中,i表示图像灰度值;L表示图像灰度值最大值; P F ( i )表示第F幅图像中灰度值为i出现的概率。
SD是度量图像中信息丰富度的指标,表示图像的灰度值分布密度,用于衡量图像细节的丰富度,如公式(16)所示。
S D = i = 1 M i = 1 N F i , j - F ¯ M N
其中,M和N是图像的长和宽; F ( i , j )代表图像第i行、第j列像素点; F ¯表示该图像像素的平均值。
NSST-PADC、FGF、NSST-PCNN、RW、SWT和PADC-PCNN-SWT算法下的部分融合图像如图7所示。考虑到融合图像数据量较大,所以采用不同组的融合图像评价指标取平均的方法替代逐个评价融合图像的方法。
图7 六种算法的多焦距融合图像

(a)FGF (b)RW (c)NSST-PCNN (d)NSST-PADC (e)SWT (f)PADC-PCNN-SWT

Fig. 7 Multifocal length fusion images obtained through the six algorithms

将NSST-PADC、FGF、NSST-PCNN、RW、SWT和PADC-PCNN-SWT算法下的叶子部分融合图像局部放大如图8所示。其中PADC-PCNN-SWT算法得到的融合图像纹理相较于FGF、NSST-PCNN、RW和SWT算法的融合图像细节更加明显,且边缘更加清晰,人眼呈现效果更好。
图8 六种算法的局部融合图

(a)FGF (b)RW (c)NSST-PCNN (d)NSST-PADC (e)SWT (f)PADC-PCNN-SWT

Fig. 8 Local fusion images from the six algorithms

同时为研究PADC-PCNN-SWT算法失焦调节的有效范围,设计了如下实验:以室内光组为例,图像较为清晰时,焦距为18 mm,步进为1.5 mm前后各调节4次,再利用PADC-PCNN-SWT算法进行图像融合,并使用四种评价指标进行评价分析,具体如表1所示,融合图像如图9所示。
表1 六种算法下融合图像的四评价指标

Table 1 Four sets of evaluation indicators for the fused images from the six algorithms

源图像 算法 AG/(GL·Px-1 SF/(LP·Px-1 EN/(bit·Px-1 SD/GL
第一组 FGF 2.78 10.25 6.52 81.57
RW 2.72 9.88 6.51 81.50
NSST-PCNN 2.87 9.95 6.59 80.87
NSST-PADC 3.25 11.43 6.63 81.60
SWT 2.52 8.52 6.50 81.08
PADC-PCNN-SWT 2.98 10.32 6.57 81.52
第二组 FGF 3.29 10.85 6.80 67.14
RW 3.21 10.62 6.80 67.00
NSST-PCNN 3.19 9.89 6.83 66.14
NSST-PADC 3.67 11.83 6.89 67.12
SWT 2.92 9.22 6.79 66.42
PADC-PCNN-SWT 3.41 11.11 6.84 66.96
第三组 FGF 3.21 10.59 6.64 53.33
RW 3.14 10.57 6.64 53.20
NSST-PCNN 3.17 10.43 6.64 52.32
NSST-PADC 3.69 12.16 6.72 53.49
SWT 2.86 9.21 6.63 52.64
PADC-PCNN-SWT 3.38 10.97 6.68 53.22
第四组 FGF 2.85 10.77 6.71 72.43
RW 2.80 9.37 6.71 72.38
NSST-PCNN 2.81 9.02 6.75 71.33
NSST-PADC 3.28 10.77 6.79 72.44
SWT 2.58 8.33 6.70 71.98
PADC-PCNN-SWT 3.05 10.06 6.74 72.43
第五组 FGF 2.93 11.62 6.57 70.36
RW 2.87 11.63 6.57 70.30
NSST-PCNN 2.97 11.76 6.62 69.86
NSST-PADC 3.35 13.21 6.66 70.47
SWT 2.66 10.45 6.56 69.94
PADC-PCNN-SWT 3.09 12.04 6.61 70.41
第六组 FGF 2.00 9.31 6.09 66.35
RW 1.94 9.07 6.08 66.29
NSST-PCNN 1.98 8.86 6.06 65.90
NSST-PADC 2.27 10.11 6.17 66.34
SWT 1.78 8.12 6.06 66.01
PADC-PCNN-SWT 2.11 9.29 6.13 66.33
第七组 FGF 4.07 14.88 7.19 76.94
RW 4.06 15.09 7.19 76.86
NSST-PCNN 3.90 13.09 7.13 75.16
NSST-PADC 4.48 16.11 7.21 77.03
SWT 3.76 12.58 7.16 74.79
PADC-PCNN-SWT 3.97 13.06 7.17 75.65
第八组 FGF 4.17 15.87 7.69 74.21
RW 4.23 15.74 7.69 74.03
NSST-PCNN 4.35 15.58 7.66 74.53
NSST-PADC 4.43 16.11 7.69 74.94
SWT 3.69 14.37 7.68 72.89
PADC-PCNN-SWT 3.98 14.63 7.69 73.12
图9 不同焦距下的融合图像

(a)焦距12~15 mm (b)焦距15~18 mm (c)焦距18~21 mm (d)焦距21~24 mm

Fig. 9 Fusion images at different focal lengths

表1可看出,AG和SF在同组内数值变化较大,主要是由于六种算法在细节部分的融合效果不同导致。由公式(12)和(13)可知,AG和SF的值与图像的像素变化率相关,即对高频部分的细节纹理较为敏感,其值越大表示该算法融合细节效果越好。由公式(14)可知,EN与图像的颜色通道的灰度值分布概率相关,用于反映融合图像色彩还原程度。EN在同组内数值基本不变,表示六种算法在图像融合的色彩还原度上相差不大,同时前6组基本稳定在6.5附近,而第七组和第八组在7.7附近,这是由于前6组颜色组成相似,而后2组与前6组颜色组成不同,导致图像的颜色通道灰度值分布不同引起EN数值上差异。由公式(15)可知,SD主要与灰度值分布密度有关,对低频部分的轮廓较为敏感,用于评价算法对图像轮廓的融合效果。SD数值在同组内基本相差不大,表示六种算法对低频部分的轮廓信息融合效果相差不大。而不同组之间相差较大,主要是由于不同植株的轮廓大小不同导致,如第一组室内光组,其植株整体轮廓较大,图像灰度值密度较散,导致其SD数值在8组中最大,而第三组强光组,其植株整体轮廓较小,图像灰度值密度较为集中,导致其SD数值在八组中最小。
经计算,PADC-PCNN-SWT算法在清晰度AG这一评价指标上平均相较于前6组的FGF、RW、NSST-PCNN和SWT分别提高了5.6%、8.1%、6.1%和17.6%,同时在空间频率SF指标上分别提高了2.9%、4.8%、7.1%和15.9%,但相较于NSST-PADC算法分别低了7.2%和7.0%,同时EN和SD指标上6种算法之间差距不到1.0%。EN和SD指标上6种算法之间差距不到1.0%。色彩组只对非绿色植株的非绿色融合部分进行指标评价,其结果如表1所示,红色组和黄色组在AG这一指标下相较于其算法下降了1.1%,在SF这一指标下下降了5.1%,对非绿色植株的融合效果下降严重,故PADC-PCNN-SWT算法仅适用于绿色植株。
表2可知,NSST-PADC算法平均耗时1500 s,而本研究算法PADC-DCNN-SWT仅需其1/3的耗时,在保证融合图像质量的同时极大地提升了处理效率。
表2 六种算法下融合图像的平均耗时

Table 2 Average time consumed for the fused images from the six algorithms

FGF RW NSST-PCNN NSST-PADC SWT PADC-PCNN-SWT
时间/s 570 160 400 1500 60 500
表3可知,EN和SD值在不同焦距下仍然差距较小,即在失焦严重的情况下,基于PADC-PCNN和平稳小波算法仍有较好的轮廓和色彩还原效果。但是AG和SF差距就很明显,只有焦距在15~21 mm的指标较好,即PADC-PCNN-SWT算法在图像较为清晰下,焦距调节适用范围在6 mm左右。
表3 不同焦距下的四个评价指标

Table 3 Four evaluation indicators at different focal lengths

焦距/mm AG/(GL·Px-1 SF/(LP·Px-1 EN/(bit·Px-1 SD/GL
12-15 2.70 9.79 6.42 80.20
15-18 3.02 11.10 6.48 81.13
18-21 2.92 11.27 6.45 81.80
21-24 2.73 10.74 6.32 80.56

4 结 论

针对现有绿色植株图像融合算法难以兼顾处理质量和处理速度的问题,本研究提出了PADC-PCNN-SWT变换的多焦距绿色植株图像融合方法。并构建了480幅图像的数据集,同常见的5融合算法进行比较。通过对比发现,PADC-PCNN-SWT算法在AG和SF两指标上表现优异,同时各算法在EN和SD值上相近,这意味着PADC-PCNN-SWT算法在拥有与其他算法相近的轮廓融合效果和色彩还原效果的同时有着更强的细节融合效果。在处理速度方面,相较于融合质量最优的NSST-PADC算法提高了200.0%,与NSST-PCNN和SWT算法相近。为研究色彩对PADC-PCNN-SWT算法影响,对一品红和变叶木2组色彩组进行分析,结果表明基于PADC-PCNN和平稳小波算法对非绿色植株的非绿色部分融合质量下降严重,对绿色部分的融合效果基本与前文一致,故PADC-PCNN-SWT算法只针对绿色植株有较好的效果。同时为研究PADC-PCNN-SWT算法的调节焦距有效范围,采集了各个焦距下的植株图像分别进行融合。结果表明,调节焦距在6 mm左右,PADC-PCNN-SWT算法仍有较好的细节融合效果。综上,本研究提出的方法能有效兼顾绿色植株图像融合的质量和速度,并在细节融合方面表现更强的性能,能为搭建植株三维点云模型提供高质量数据的同时节省大量时间。未来研究将继续丰富非绿色植株数据,并进一步改进算法模型,实现混色植株的多焦距图像融合。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
刘刚, 司永胜, 冯娟. 农林作物三维重建方法研究进展[J]. 农业机械学报, 2014, 45(6): 38-46, 19.

LIU G, SI Y S, FENG J. 3D reconstruction of agriculture and forestry crops[J]. Transactions of the Chinese society for agricultural machinery, 2014, 45(6): 38-46, 19.

2
陆健强, 兰玉彬, 毋志云, 等. 植物三维建模ICP点云配准优化[J]. 农业工程学报, 2022, 38(2): 183-191.

LU J Q, LAN Y B, WU Z Y, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese society of agricultural engineering, 2022, 38(2): 183-191.

3
李百明, 吴茜, 吴劼, 等. 基于多视角自动成像系统的作物三维点云重建策略优化[J]. 农业工程学报, 2023, 39(9): 161-171.

LI B M, WU Q, WU J, et al. Optimization of crop 3D point cloud reconstruction strategy based on the multi-view automatic imaging system[J]. Transactions of the Chinese society of agricultural engineering, 2023, 39(9): 161-171.

4
杨洪飞, 夏晖, 陈忻, 等. 图像融合在空间目标三维重建中的应用[J]. 红外与激光工程, 2018, 47(9): 374-381.

YANG H F, XIA H, CHEN X, et al. Application of image fusion in 3D reconstruction of space target[J]. Infrared and laser engineering, 2018, 47(9): 374-381.

5
LIU A N, NIE W Z, GAO Y, et al. Multi-modal clique-graph matching for view-based 3D model retrieval[J]. IEEE transactions on image processing, 2016, 25(5): 2103-2116.

6
CHO S, KIM T, JUNG D H, et al. Plant growth information measurement based on object detection and image fusion using a smart farm robot[J]. Computers and electronics in agriculture, 2023, 207: ID 107703.

7
LIU J C, CHIANG C Y, CHEN S. Image-based plant recognition by fusion of multimodal information[C]// 2016 10th International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing (IMIS). Piscataway, New Jersey, USA: IEEE, 2016: 5-11.

8
CHOUDHURY SDAS, MATURU S, SAMAL A, et al. Leveraging image analysis to compute 3D plant phenotypes based on voxel-grid plant reconstruction[J]. Frontiers in plant science, 2020, 11: ID 521431.

9
张丽霞, 曾广平, 宣兆成. 多源图像融合方法的研究综述[J]. 计算机工程与科学, 2022, 44(2): 321-334.

ZHANG L X, ZENG G P, XUAN Z C. A survey of fusion methods for multi-source image[J]. Computer engineering & science, 2022, 44(2): 321-334.

10
李娇, 杨艳春, 党建武, 等. NSST与引导滤波相结合的多聚焦图像融合算法[J]. 哈尔滨工业大学学报, 2018, 50(11): 145-152.

LI J, YANG Y C, DANG J W, et al. NSST and guided filtering for multi-focus image fusion algorithm[J]. Journal of Harbin institute of technology, 2018, 50(11): 145-152.

11
TAN W, TIWARI P, PANDEY H M, et al. Multimodal medical image fusion algorithm in the era of big data[J]. Neural computing and applications, 2020.

12
曾志勇, 刘光宇, 曹禹, 等. 结合PCNN和局部能量的NSST域声呐图像融合[J]. 西北大学学报(自然科学版), 2023, 53(2): 248-255.

ZENG Z Y, LIU G Y, CAO Y, et al. NSST domain sonar image fusion combining PCNN and local energy[J]. Journal of Northwest university (natural science edition), 2023, 53(2): 248-255.

13
TAN W, ZHANG J J, XIANG P, et al. Infrared and visible image fusion via NSST and PCNN in multiscale morphological gradient domain[C]// Optics, Photonics and Digital Technologies for Imaging Applications VI. Burlingame, California, USA: SPIE, 2020, 11353: 297-303.

14
龚循强, 侯昭阳, 吕开云, 等.结合改进Laplacian能量和参数自适应双通道ULPCNN的遥感影像融合方法[J/OL].测绘学报:1-15[2023-11-10].

GONG X Q, HOU Z Y, LYU K Y, et al. Remote sensing image fusion method combining improved Laplacian energy and parameter adaptive dual-channel unit-linking pulse coupled neural network[J/OL]. Acta geodaetica et cartographica Sinica, 2023: 1-15[2023-11-10].

15
邸敬, 尹世杰, 廉敬. 基于NSST的改进双通道PCNN多聚焦RGB图像融合[J]. 计算机应用研究, 2022, 39(1): 308-311, 315.

DI J, YIN S J, LIAN J. Improved dual-channel PCNN multi-focus RGB image fusion based on NSST[J]. Application research of computers, 2022, 39(1): 308-311, 315.

16
ULLAH H, ZHAO Y Q, ABDALLA F Y O, et al. Fast local Laplacian filtering based enhanced medical image fusion using parameter-adaptive PCNN and local features-based fuzzy weighted matrices[J]. Applied intelligence, 2022, 52(7): 7965-7984.

17
LIU L Q, ZHOU Y B, HUO J Y, et al. Heterogenous image fusion model with SR-dual-channel PCNN significance region for NSST in an apple orchard[J]. Applied intelligence, 2023, 53(18): 21325-21346.

18
HUANG W, JING Z L. Multi-focus image fusion using pulse coupled neural network[J]. Pattern recognition letters, 2007, 28(9): 1123-1132.

19
王昶, 郭东升. 基于离散平稳小波的影像恢复去噪方法[J]. 北京测绘, 2022, 36(11): 1557-1563.

WANG C, GUO D S. Image recovery denoising method based on stationary wavelet transform[J]. Beijing surveying and mapping, 2022, 36(11): 1557-1563.

20
孔玲君, 张志华, 曾茜, 等. 基于NSST和SWT的红外与可见光图像融合算法研究[J]. 包装工程, 2018, 39(19): 216-222.

KONG L J, ZHANG Z H, ZENG X, et al. Infrared and visible image fusion algorithm based on NSST and SWT[J]. Packaging engineering, 2018, 39(19): 216-222.

21
LI S T, YANG B, HU J W. Performance comparison of different multi-resolution transforms for image fusion[J]. Information fusion, 2011, 12(2): 74-84.

22
BASHIR R, JUNEJO R, QADRI N N, et al. SWT and PCA image fusion methods for multi-modal imagery[J]. Multimedia tools and applications, 2019, 78(2): 1235-1263.

23
DWIVEDY P, POTNIS A, SOOFI S, et al. Comparative study of MSVD, PCA, DCT, DTCWT, SWT and Laplacian Pyramid based image fusion[C]// 2017 International Conference on Recent Innovations in Signal processing and Embedded Systems (RISE). Piscataway, New Jersey, USA: IEEE, 2018: 269-273.

24
AYMAZ S, KÖSE C. Multi-focus image fusion using Stationary Wavelet Transform (SWT) with Principal Component Analysis (PCA)[C]// 2017 10th International Conference on Electrical and Electronics Engineering (ELECO). Piscataway, New Jersey, USA: IEEE, 2018: 1176-1180.

25
ZHOU F Q, LI X S, LI J, et al. Multifocus image fusion based on fast guided filter and focus pixels detection[J]. IEEE access, 2019, 7: 50780-50796.

26
MA J L, ZHOU Z Q, WANG B, et al. Multi-focus image fusion using boosted random walks-based algorithm with two-scale focus maps[J]. Neurocomputing, 2019, 335: 9-20.

27
JIN X, NIE R C, ZHOU D M, et al. Multifocus color image fusion based on NSST and PCNN[J]. Journal of sensors, 2016, 2016: 1-12.

28
XIANG T Z, YAN L, GAO R R. A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J]. Infrared physics & technology, 2015, 69: 53-61.

29
杨艳春, 李娇, 王阳萍. 图像融合质量评价方法研究综述[J]. 计算机科学与探索, 2018, 12(7): 1021-1035.

YANG Y C, LI J, WANG Y P. Review of image fusion quality evaluation methods[J]. Journal of frontiers of computer science and technology, 2018, 12(7): 1021-1035.

文章导航

/