发布时间：2021-04-19所属分类：免费文献浏览：1次
摘 要： 中国科技论文
《基于生成对抗网络的指纹图像超分辨重建方法》论文发表期刊：《中国科技论文》；发表周期：2020年11期
《基于生成对抗网络的指纹图像超分辨重建方法》论文作者信息：赵超越（1996—），女，硕士研究生，主要研究方向为图像处理、人工智能
摘 要：为了提升指纹图像的分辨率，提出一种基于生成对抗网络(generation adversarial network，GAN)的指纹图像超分辨率重建方法。首先，采用高-低分辨率图像特征对训练生成神经网络，实现从低分辨率图像到高分辨率图像的映射学习;其次，为了解决指纹图像分辨率低、细节提取不足的问题，设计了多尺度递归网络作为生成网络，通过不同尺度的卷积层来进行特征提取，使生成的指纹图像更为清晰;最终，设计了一个新的损失函数，不断优化网络，指导生成高质量的指纹图像。实验结果表明，与对比方法相比，该方法在各指标上均有显著提升，并取得了较好的重建效果。
关键词：图像处理;深度学习;指纹图像;生成对抗网络;多尺度递归网络;超分辨率重建
Abstract: To improve the resolution of fingerprint image, a method of superresolution reconstruction of fingerprint image based on generation adversarial network (GAN) is proposed. Firstly, this method applied the highrlow resolution image features to train the generated neural network to realize the mapping learning from the lowresolution image to the high-resolution image Secondly, to solve the problem of low-resolution and insufficient detail extraction of fingerprint images, a multiscale recursive net work was designed as the generating net work. The feature was extracted by convolution layers of different scales to make the fingerprint image clearer; Finally , a new loss function to optimize the net work and guide the generation of highr-quality fingerprint image was designed. The experimental results show that, compared with the comparative method, the proposed method was significantly improved in all indicators, and has achieved better reconstruction results.
Keywords: image processing; deep learning; fingerprint images ; generation adversarial network; multi-scale recursive net work; superresolution reconstruction
高分辨率指纹图像能够更好地提升指纹分类.识别和验证的准确率，但在指纹采集过程中，会受到手指清洁、破损程度及传感器噪声的影响，导致得到的指纹图像出现模糊现象，影响后续工作的进行。因此，采用超分辨率重建技术对指纹图像进行重建，可以在不增加成本的基础上提升指纹图像的质量，进而利于后续工作的进行，对开展高分辨率重建算法研究具有重要意义。
现有的超分辨率重建算法可以分为基于插值12、基于重建[3和基于学习的算法1。插值算法实时性强但鲁棒性不强，所提升的细节有限。重建算法首先建立观测模型，然后通过求解观测模型的逆问题来达到超分辨率重建的目的，但重建性能有限。基于学习的算法通过学习高低分辨率图像特征之间的映射关系，得到重建后的高分辨率图像Dong等[01]提出一种单图像超分辨率重建方法(super-resolution using conventional neural network.SRCNN)，首次在超分辨率重建领域引入深度学习的思想，但其网络简单，难以提取深层次的特征。针对SRCNN中存在的问题，Dong等]又提出了快速图像超分辨率重建方法(accelerating the superresolution convolutional neural network，FSRCNN)，该算法取得了比SRCNN更好的效果。Kim等[1提出深度递归网络(deeply-recursive convolutional network for image superresolution，DRCN)，相比SRCNN较小的局部感受野，DRCN通过使用递归网络增加局部感受野大小来获取更多的上下文信息，但其网络层太深会导致重建过程困难。近年来，生成对抗网络成为了深度学习方面的一个研究热点，L.edig等)提出了基于对抗生成网络的超分辨率方
法(super resolution using a generative adversarial network，SRGAN)，利用对抗式生成网络来进行超分辨率重建，但使用SRGAN易造成网络不稳定，生成的高分辨率图像相对原图比较模糊。
针对以上问题，结合指纹图像分辨率低、存在低至区域的特点，本文提出一种基于生成对抗网络的指纹图像超分辨率重建方法。将生成网络设计为多尺度递归网络，有效解决指纹图像细节提取不足的问题，再将Wasserstein距离作为判别器损失函数的正则项，解决网络不稳定的问题，加速网络收敛。最终有助于指纹细节信息的准确重建，重建效果显著提升。
1相关理论
生成对抗网络(generative adversarial networks，GAN)3)的思想启发自博弈论中的纳什平衡。
如图1所示，GAN模型分为生成器和判别器两部分。生成器用以学习真实数据分布并生成新的数据
样本，而判别器是对生成器生成的数据进行判断，并判断是真实数据还是生成数据。为了获得更好的效果，生成器和判别器之间不断优化，提升彼此的生成能力与判别能力。
2实验模型
为了提取更丰富的细节信息并加速网络收敛，GAN模型包括生成器和判别器两部分。
2.1生成器
生成器是GAN模型的重要组成部分，负责生成高分辨率指纹图像，其结构如图2所示。针对单一尺度下的特征细节提取不足，使用的生成器为多尺度递归网络模型，利用多尺度卷积提取细节信息，再利用递归结构减少纹理细节的丢失，最后采用亚像素卷积进行重建，得到生成的高分辨率指纹图像。
图2中，Conv为传统卷积，PReL.U为采用的激活函数，concatenation为级联，feature maps为特征图，channels为通道。
2.2 判别器
判别器是GAN模型的另一重要组成部分，其结构如图3所示。将生成的高分辨率指纹图像和真实的高分辨率指纹图像同时输入判别器中，来判别生成指纹图像和真实指纹图像的真伪。判别器模型参考PatchGANs，该判别器由池化层、卷积层、批归一化层和激活层交替构成。训练中，生成器和判别器会形成一个对抗的过程，从而生成器会生成更高质量的指纹图像。
GAN网络模型中，大多使用PReLU激活函数[10]，其函数表达式为
式中：z，为不同的通道;a，为控制负轴斜率的系数;下标i为不同通道。PReLU相比于传统的激活函数，更容易学习优化并且运算速度快，PRelU与Re-
LU函数相比较，避免了负轴信息完全丢失的现象[11，因此本文选择PReLU作为激活函数。
2.3损失函数
为了使生成器(G)和判别器(D)在训练中不断优化，依据原始的GAN模型最大似然估计，总体的损失函数设计为
式中：E[.]为分布函数的期望值;Pac)为真实样本的分布;Plw)为由噪声形成的生成样本的分布;x为真实样本;：为随机噪声;G(z)为通过生成器生成的假样本。
损失函数实际上是一个交叉熵，生成器的目的为最小化损失函数，而判别器的目的则为最大化损失函数。使判别能力尽可能最高，只要选定合适的loss，就可以使生成分布和真实分布之间的距离尽可能逼近，JS散度经常用来衡量分布之间的距离，因此损失函数实际等价于JS散度，则式(2)可以写为
但JS散度存在一个问题，当生成分布和真实分布没有重叠时，JS散度值为0，从而没有梯度。为了稳定训练进程，加快网络的收敛速度，且结合指纹图像特征复杂的特点，以采用Wasserstein距离[12-13]代替原本的JS散度，其定义如下：
式中：Pr为真实分布;Pg为生成分布;∏(Pr，Pg)为 Pr和 Pg组合的所有联合分布集合;x 为真实样本;y为生成样本。
3实验
实验环境是基于Windows 10操作系统的TensorFlow深度学习框架，硬件配置为CPU Intel(R)
Core(TM)i5-8300H CPU@2.20 GHz，8 GB内存，显卡为NVIDIA GeForce GTX 1060，使用CU-
DA 9.0+cudnn 6.1进行GPU加速，在训练过程中，采用随机梯度下降算法，设置初始学习率为0.000 1，模型的迭代次数设置为200次，每10次保存一次网络模型。
3.1 数据集
采用FVC2002和FVC2004指纹数据集来评估GAN模型。FVC2002和FVC2004指纹数据集见表1，表中FVC2002和FVC2004指纹数据集各包含了由不同传感器技术收集的4个不同的数据库
(DBI，DB2，DB3，DB4)。从FVC2002和FVC2004指纹数据集的4个数据库选取56张图片，共448张指纹图像作为数据集，各个数据库其余的指纹图像分别作为测试集，即FVC2002 DB1
FVC2002_DB2，FVC2002 DB3，FVC2002 DB4，FVC2002 DB5，FVC2002 DB6，FVC2002 DB7
FVC2002-DB8这8个各24张的测试集。
3.2 实验结果及分析
实验中主要验证指纹图像在GAN模型上的重建效果，在各个测试集上进行实验，从主观评价和客观评价2个方面，以峰值信噪比(peak signal to noise ratio，PSNR)[1])和结构相似度(structural similarity index，SSIM)15]作为图像重建评估指标，与Bicr bic，SCNN FSRCNN，DRCN、SRGAN]方法进行对比，实验在相同环境下进行。各测试集在不同方法下的PSNR和SSIM对比结果见表2.
实验结果表明，本文方法生成图像的PSNR和SSIM数值均高于其他方法，表明本文方法所重建的首纹图像质量更好，更为清晰。为此不仅进行了定量评估，同时在各测试集上进行了不同方法的定性评估。随机挑选了1张指纹图像展示其重建效果，EVC2002DBl-img101-1重建结果如图4所示。
由图4可以看出，Bicubic、SRCNN和FSRCNN重建结果整体较模糊，有明显的振铃效应;DRCN和SRGAN图像整体较前3种方法比较清晰，但局部细节依旧模糊，如图中红框部位;本文方法重建的指纹更为清晰，视觉效果更好。对比以上算法，本文方法可以恢复更多图像的细节，使得重建图像边缘更加锐利，图像的恢复质量更高。
4模型分析
通过在GAN模型中加入多尺度卷积和递归结构，并改进了损失函数，设计了基于GAN的指纹图像超分辨率重建方法。为了验证多尺度卷积、递归结构和Wasserstein距离的有效性，需进行模型分析，不同测试下指纹图像的模型分析结果见表3。
将表3中原始数据与各测试效果对比，验证了改进方法的有效性。测试1为多尺度卷积网络下的结果，可以看出图像的PSNR和SSIM数值均有所提高。测试2为采用多尺度卷积和递归结构下的结果，在采用递归结构后PSNR数值与测试1相比提高了0.08 dB，SSIM数值提高了0.000 5，这表明采用递归结构使重建后的图像细节纹理更为丰富。测试3为采用多尺度卷积、递归结构及Wasserstein距离的结果，即本文方法，使用Wasserstein距离作为判别器损失函数的正则项，使训练稳定且纹理信息不易丢失，使得PSNR和SSIM数值均有所提升，细节提取更为丰富，提升了图像的恢复质量。
5结论
本文提出的基的指纹图像超分辨率重建方法，充分利用了多尺度递归卷积提取特征来重建指纹图像纹理和细节特征，同时改进损失函数，使训练更为稳定。本文方法在多个测试集上进行验证，基于定性评估和定量评估证明了该方法的实用性，主要结论如下：
1)针对单一尺度下特征细节提取不足，利用多尺度卷积提取细节信息，解决了细节提取不足的问题。
2)采用递归结构能够更好地提取浅层网络的信息，减少了纹理细节的丢失，同时采用递归结构大大减少了参数使用量，减小了网络训练难度3)使用Wasserstein距离作为判别器损失函数的正则项，区别于传统的JS距离易造成梯度消失的问题，其能够使网络进程更加稳定，更好地提取指纹图像中的复杂特征。
[参考文献](References)
[1]HUANGZZ，CAO L.C.Bicubic interpolation and extrapolation iteration method for high resolution digital holographic reconstruction[J].Optics and Lasers in Engineering，2020，130：106090.
[2]SAI H，DONG X H.Interpolation-based plane stress anisotropic yield models[J].International Journal of Mechanical Sciences，2020，178：105612.
3]贺環，郝晓丽，吕进来，梯度插值与可变阈值改进的POCS算法[J]，中国科技论文，2017，12(14)：1655-1658.
HEJ，HAO X L.，L.U J L.POCS algorithm based on gradient interpolation and variable threshold[J].China Sciencepaper，2017，12(14)：1655-1658.(in Chinese)
[4]白蔚，杨撒博雅，刘家瑛，等，基于显著性稀疏表示的图像超分辨率算法[J]，中国科技论文，2014，9(1)：103-107.
BAI W，YANG SB Y，LIU J Y，et al.Image super resolution based on salient sparse coding[J].China Sciencepaper，2014，9(1)：103-107.(in Chinese)
[5] DONG C，LOY CC.HE K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38(2)：295-307
[6]DONG C，LOY C C，TANG X.Accelerating the superresolution convolutional neural network[C]/European Conference on Computer Vision(ECCV).Amsterdam，Neterlans：Springer，2016，3：391-407，
[7] KIM J, LEEJK, LEE K M. Deeply-recursive convolu-tional network for image super-resolution [C]//2016IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2016: 16541206.
[8] LEDIG C, THEIS L., HUSZAR F, et al. Photo-realistic single image superresolution using a generative adversarial network [C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).New York: IEEE, 2017: 17355671.
[9] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets [C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, CAN: NIPS,2014, 2: 2672-2680.
[10] ZUO, F, LIU, X F. DPGAN: PReL.U used in deep convolutional generative adversarial networks [C]//Proceedings of the 2019 International Conference on Robotics Systems and Vehicle Technology. [S 1. ]: RSVT, 2019: 56-61,
[11] JIANG A B, WANG w w. Study on optimization of ReL.U activation function [J]. Transducer and Microsystem Technologies, 2018, 37(2): 50-52.
[12] CAO Y, LIU B, LONG M, et al. Hashgan: deep learning to hash with pair conditional wasserstein gan [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018:18325949.
[13] GULRAJANI I, AHMED F, ARJOVSKY M, et al Improved training of wasserstein gans [C]//Proceedings of the 31 st International Conference on Neural Information Processing Systems. [S 1. ]: NIPS, 2017:5767-5777.
[14] TIAN L. B. An ensemble image quality assessment algorithm based on deep feature clustering [J]. Signal Processing: Image Communication, 2020, 81: 115703.
[15] YALDA S, RICHARD F, PELTER M M, et al. Electrocardiogram signal quality assessment based on struc-tural image similarity metric [J]. IEEE Transactions on Biomedical Engineering, 2018, 65(4): 745-753.
SCISSCIAHCI
