发布时间：2020-02-17所属分类：科技论文浏览：1次
摘 要： 摘要由于水体对光的吸收和散射，水下光电图像具有低信噪比、低对比度等特点，导致目标难以识别，限制了水下光电成像装备的实际应用和发展。为提高目标的探测精度和识别率，提出包含一维并行卷积和子像素卷积的深度卷积神经网络，利用其从水下光电图像训练集
摘要由于水体对光的吸收和散射，水下光电图像具有低信噪比、低对比度等特点，导致目标难以识别，限制了水下光电成像装备的实际应用和发展。为提高目标的探测精度和识别率，提出包含一维并行卷积和子像素卷积的深度卷积神经网络，利用其从水下光电图像训练集中学习优化图像质量的参数，实现了去噪和对比度增强。实验结果表明，相比于经典去噪方法和对比度增强方法联合处理的结果，本文方法得到的峰值信噪比和均方根对比度分别平均提高了2.93dB和14.41，能够有效地权衡去噪、对比度增强和亮度提升等，获得适合人眼视觉感受的图像，且处理单幅图像的平均速度是经典方法的9.46倍。利用测试集对网络进行测试，其在一定范围内较好地优化了图像质量，具有一定的泛化特性。
关键词图像处理;水下光电图像;噪声;低对比度;卷积神经网络;子像素卷积
1引言
在水下复杂环境下，水下光电成像技术是利用面光源或点光源对目标进行照明，同时用成像器件对目标进行成像，获得目标图像的过程。由于水体对光的吸收和后向散射作用，使所获得图像具有低信噪比、低对比度和非均匀性照明等特点，导致人眼视觉感受较差，目标难以识别，限制了水下光电成像装备的实际应用和发展，因此提高水下光电图像质量是一个亟待解决的问题[1-3]。
目前，学者们利用图像处理技术改善水下光电图像质量取得了一定成果，针对水下光电图像低信噪比、低对比度等特点，提出的方法有三维块匹配去噪[4]、小波去噪[5]、直方图均衡化[6]和暗通道先验增强[7]等。但经典方法存在的问题包括：1)只针对一种图像降质因素进行处理，如先用去噪方法对图像去噪，所得图像对比度较低，如果再用对比度增强方法处理图像，不仅图像细节受损，而且还加重了非均匀性照明问题，而若先对图像进行对比度增强，再进行去噪，则图像的噪声不能完全去除;2)数字图像是二维或三维数字矩阵，其处理数据量多、运算量大、耗时长，采用经典图像处理方法往往无法快速获得质量较好的图像。
近年来，基于深度学习的图像增强研究得到了广泛关注。深度学习方法与经典图像处理方法最大的不同在于前者是从数据集中自动学习特征，而非采用手工设计的特征[9]，因此深度学习的参数可以达到较大规模，拥有强大的非线性表达能力。目前，深度学习去噪研究大都对人为添加噪声的大气中图像进行去噪[10-12]，仅加入高斯噪声或椒盐噪声无法真正模拟水下光电图像的噪声特性，因此常规深度学习去噪方法不能直接应用于水下光电图像的质量优化。同时，由于水下光电图像退化模型复杂，通常无法建立准确的模型进行模拟，基于深度学习的图像优化方法是依靠数据驱动的，直接从样本图像和退化图像之间学习网络参数，并不需要对噪声分布做出假设，是一种端到端的学习方式。因此，本文通过采集水下光电图像建立数据集，利用改进后的卷积神经网络对水下光电图像质量优化开展研究。
2水下光电图像优化网络设计
目前，学者们开发了各种典型的深度卷积神经网络结构，如AlexNet、ResNet、VGGNet、GoogleNet和SqueezeNet等，但大都基于图像分类和目标检测研究，并不能直接应用于复杂水体下的光电图像增强和去噪。针对水下光电图像质量优化需要去除高斯、泊松、离子等多种类型的噪声，同时需要提高对比度和保留图像细节的这些特点[13]，受Inception网络、自编码网络和子像素卷积网络启发，设计了一种包含并行卷积、一维卷积和子像素卷积的深度卷积神经网络，如图1所示，图中conv表示不同尺寸的卷积，codecstructure表示编解码结构。图 由于水下光电图像包含的噪声特性复杂，因此网络中第一层采用包含不同卷积核大小的并行卷积结构，可以提取水下光电图像中不同尺度的目标和不同类型的噪声特征;第二层卷积对并行卷积的结果进行特征提取;第三层卷积的步长设置为2，对第二层输出特征图进行编码，将特征图下采样到原尺寸的1/2，增大卷积核对输入特征图的感受野，对图像进行高级特征提取、对比度拉伸和噪声抑制;网络中的第四层为子像素卷积，对第三层输出特征图进行解码操作。子像素卷积是一种可以自主学习卷积核参数的反卷积网络结构，利用子像素卷积层对上层下采样的特征图进行放大率为2的上采样，使网络的输入和输出维度保持一致。第五层卷积对上层的输出特征图进行综合处理，进一步抑制噪声和提高对比度，并进行图像重建和细节恢复;第六层卷积对前一层输入进行线性组合，输出实际预测图像。网络中还包括非线性激活层，采用近似生物神经激活的线性整流激活函数(ReLU)，ReLU(x)=max(0，x)函数。
相关期刊推荐：《光学学报》Acta Optica Sinica(月刊)1981年创刊，是国内外公开发行的光学学术刊物，反映中国光学科技的新概念、新成果、新进展。内容主要包括量子光学、非线性光学、适应光学、纤维光学、激光与物质相互作用、激光器件、全息和信息处理、光学元件和材料等。为我国光学科技人员与国内外同行进行学术交流、开展学术讨论以跟踪学科前沿和发展我国光学事业服务。
所设计的网络输入和输出具有相同的尺寸w×h×d，其中w、h和d分别为图像的宽度、高度和维度，由于所采集的水下光电图像为灰度图像，因此其维度d=1。设F0(x)=x为输入，Fl为各卷积层的输出，Wl、bl分别为各卷积层的权重和偏置值(0
3实验与分析
3.1建立训练集
根据Piederrière等[14]和聂瑛等[15]的研究，可通过添加牛奶和墨水等来模拟真实水下噪声环境，清水中添加牛奶后的散射系数与所添加牛奶的种类和浓度相关;墨水可用来模拟海水中的吸收作用，水中墨水的含量越高，光传播的吸收损耗就越明显。因此，在水下光电图像采集实验系统中加入全脂牛奶和黑色墨水来模拟海水中图像的退化效果，通过高光谱相机测量分析模拟水体的光谱曲线，说明了模拟水体与一般水体的特性具有可比性，再分别制作训练靶板和测试靶板，采集水下环境中退化前和退化后的光电图像。
实验中，在清水中进行水下光电图像的样本采集，然后加入不同浓度墨水和牛奶的1∶1混合液体来改变水体特性。光源采用尺寸为9cm×9cm的LED白光面光源，图2是距目标1.40m处采集的测试靶板1图像，图2(a)为清水中的测试靶板1图像，图2(b)～(e)为加入混合液后分别在目标处照度分别为21.614，13.826，6.947，0.925lx条件下的测试靶板1图像。可以看出，在清水中的图像成像质量较好，基本没有噪声，随着混合液体的增加和照明条件的不同，图像质量也随之改变，且右下角区域亮度高于左上角区域，即存在一定的非均匀性照明问题。
为了克服数据不易获得的难点，采集了大量用于训练的数据集。将13.826lx条件下训练靶板退化前后的图像进行配准得到尺寸为821pixel×821pixel的训练样本对，然后对每幅图像按照像素大小为128pixel×128pixel、步长为25pixel进行裁剪，得到基本训练样本集，再采取旋转、镜像的方法扩充训练集，选取90%作为训练集、10%作为验证集。此外，改变照度采集测试靶板的图像，并加入在自然水域采集的图像共同作为测试集。最终用于训练、验证和测试的数据集结构如表1所示。
由于清水中的光电图像和加入混合液后的退化图像亮度差异较大，网络容易忽略对比度和噪声的学习，仅学习亮度的变化关系，因此需要对亮度较高的清水中图像进行亮度降低预处理，确保其亮度和退化后的噪声图像亮度基本处于同一水平。图3为其中一张训练集的处理效果。
4模型测试结果
利用3.2节设置的超参数对本文设计的网络结构进行了训练，训练的收敛曲线如图9所示。利用训练好的网络对测试集进行测试，与经典方法对图像进行去噪和对比度增强的处理结果进行对比。去噪方法选择三维块匹配(BM3D)去噪和小波去噪(WDD)，BM3D通过将图像分成块，利用图像块之间的相似性进行联合滤波;小波去噪方法因其良好的时频特性和多分辨特性，使小波去噪方法适合于多种噪声。增强方法选取暗通道先验增强(DCP)和一种结合直方图均衡化与带彩色恢复的多尺度视网膜增强的联合图像增强算法(HEMSRCR)，暗通道先验增强是一种统计意义上的算法，不需要额外的参数，有较好的增强效果;HEMSRCR是李锦等[18]提出的将直方图均衡化和MSRCR增强进行加权求和的图像增强方法。通过实验选取针对水下光电图像增强的最优权重，具有较好的亮度、对比度增强能力。在图像处理过程中，如果直接对噪声图像进行增强，会放大噪声，不易滤除，因此均采用先去噪再增强对比度的顺序对图像进行处理。
图10为典型测试图像与课题组在真实水下环境中采集的水下光电图像的处理效果，各图中右上角区域为红色方框区域的局部放大图。图10(a)～(c)为13.826lx照度下测试靶板1、2和3的测试效果，图10(d)为抚仙湖中采集的真实水下光电图像测试效果，图10(e)为6.947lx照度下靶板1的测试效果。各图从左到右依次为噪声图像、BM3D去噪+DCP增强效果、小波去噪+HEMSRCR增强效果、BM3D去噪+HEMSRCR增强效果、小波去噪+DCP增强效果和本文方法的效果。
由图10可知，BM3D去噪和暗通道先验增强后噪声较好地被去除，图像较光滑，但图像对比度较低，非均匀性照明问题加重;小波去噪和HEMSRCR增强后细颗粒噪声变成了大颗粒噪声，且噪声严重，虽然亮度有所提升，但存在非均匀性问题;BM3D去噪和HEMSRC增强后，噪声得到去除，人眼直观效果好于前两种混合方法处理结果，但右下角区域的亮度仍高于左上角区域;小波去噪和暗通道先验增强后图像噪声颗粒变大，目标细节模糊;而本文结果图像中的目标条纹与背景区分明显，能够有效去除水下光电图像的噪声，并提高其对比度和亮度，避免经典方法处理后的非均匀性照明问题，使优化后的图像更加符合人眼视觉感受，更有利于水下目标的识别与探测。
在Inteli7-7700KCPU@4.20GHz平台上比较混合经典方法和本文方法在测试集上的处理时间，将各方法处理不同测试图像的耗时取平均值，如表2所示，结合图10可以看出经典方法中，BM3D+HEMSRCR方法耗时最长，但效果较好，小波去噪+暗通道先验方法虽耗时较短，但处理效果较差。本文方法的测试时间仅需0.3617s，计算速度相对于混合经典方法提高了9.46倍。
最后对不同方法处理结果的峰值信噪比(PSNR)和均方根对比度(RMSC)进行了计算，结果如表3和4所示，利用深度卷积神经网络处理水下光电图像得到了较好的峰值信噪比和均方根对比度，说明相对于经典去噪和对比度增强方法，本文方法能够在去噪、对比度增强以及亮度提升等方面进行有效权衡，获得符合人眼视觉感受的图像，且对于不同的水下光电图像具有一定的泛化特性。
5结论
受Inception网络、自编码网络和子像素卷积网络启发，提出利用基于卷积神经网络的深度学习方法对水下光电图像进行去噪和对比度增强以优化图像质量，设计一种包含一维卷积、并行卷积和子像素卷积的深度卷积神经网络，同时建立大量水下光电图像训练集，对模型进行训练，并对经典方法和本文方法进行实验对比。结果表明：利用自建数据集训练的网络能够快速、有效地对水下光电图像进行去噪和增强，与经典的去噪和增强方法相比较，本文方法能够有效平衡去噪、增强对比度和平衡非均匀性照明问题。
由于采用的训练集为条纹靶板，因此经过训练后的模型偏向于处理类似于靶板的条纹形状目标，且处理结果基本以黑白轮廓表示，具有一定的针对性，对各种目标的适应性有待加强。下一步将优化网络参数，压缩模型参数规模，同时增加训练样本种类和数量，提高网络的稳健性和适应性。
SCISSCIAHCI
