几篇arxiv上关于图像增强的论文

   看了几篇arxiv上最近关于图像增强的论文,依次如下,这里简要说一下基本思想。

EnlightenGAN: Deep Light Enhancement without Paired Supervision

   这篇论文是使用非成对图像做无监督的图像增强,实现低照域图像转换,不仅解决成对数据收集难的问题,还实现了不同场景低光照图像对应参考图像亮度不一致的问题。结构图如下所示:

   如上所示,网络整体是一个UNet的结构。对于一张图,一般希望增强其亮度暗的区域,所以这里将输入图提取亮度分量I,然后1-I并将其resize到对应的feature大小,和UNet转换中各部分的feature相乘,如上图所示。上采样使用的是resize加卷积的方式去除棋盘效应。Loss部分,包括,一个全局的GAN loss,判别器输入是生成图和目标域的整张图像,一个局部的GAN loss,输出是五个上述两者的patch,两个部分分别做全局和局部的约束,这里的GAN使用了LSGAN。此外,论文还使用了特征保留loss,即生成图和输入图内容要有一致性,这里使用的是VGG特征,同样也分为全局和局部两个部分。

LED2Net: Deep Illumination-aware Dehazing with Low-light and Detail Enhancement

   这篇论文做的是低照图去雾。论文要解决的问题是,去雾算法会导致图像变暗,所以此时还要考虑对图像增加一个增强算法。这里通过网络获得光照图的方法,进而获得大气光散射图和传输图,实现去雾,并对去雾结果使用修正的光照图做增强,整体结构如下:

   首先对带雾图进行处理,将其进行反转,首先直接输入网络反转后的图像到网络里,网络的结构图如上所示,旁边的支路可以融合多路结果。最后生成的光照图应当是局部平滑的,为了达到保边的效果,这里为光照图施加了原图通道的最小值做引导滤波,获得的光照图为L(x)。然后是估计大气光散射,这里使用了如下公式:

   其中G是全局大气光散射,使用是光照图的最大值。这里采用这个公式是为了获得局部性质的大气散射图,保留了局部特征。最后传输图用1-L(x)来表示,代入去雾公式进行估计,得到去雾图公式:

   在上述去雾的过程中,会使得图像变暗,所以这里对原来的光照图的反图像做gamma变换:$L’ = (1-L)^{\lambda}$,最终结果为$E = \frac{J(x)}{L’}$,从而使得暗区域变亮。最后还需要对细节进行增强,这里加入了如上图所示的细节网络,采用的是类似于VDSR的结构,获得输出图。训练使用的Loss是L2 loss。

Exposure Interpolation Via Fusing Conventional and Deep Learning Methods

   这篇论文的核心思想是将传统的融合方法融入到深度学习框架里,从而达到收敛速度快、减少训练数据量的效果,毕竟算是加了先验。给定输入x,一般深度学习方法通过y’=f(x)去获得近似的结果y’去逼近真实的y。这里,先用传统方法获得近似解g(x),那么网络学习的目标就变成了y-g(x),这是一个相对稀疏的解,可以使得网络学习更加容易,这是这篇论文的出发点。
   要解决的问题是两张低曝光图像去融合生成中等曝光度的图像,具体传统融合算法不表,整体流程图如下所示:

   具体网络里,这里使用了LRL模块,包括线性残差模块和倒向残差模块。使用的Loss是L2 loss,其他具体不表。

Trinity of Pixel Enhancement: a Joint Solution for Demosaicking, Denoising and Super-Resolution

   联合去马赛克、去噪和超分辨,感觉主要是提供了一个新的数据集,人工合成GT。核心思想是如何执行这三者的顺序,如果先去马赛克,再超分辨,去马赛克的产生的artifact会被放大。这里采取的策略是先进行去噪和SR,最后去马赛克,采用一个端到端的网络,依次进行操作,结构图如下所示:

   第一步是执行去噪和SR联合进行,这里使用ESRGAN网络,输入是五个通道图(四通道的raw和一通道的噪声图),输出是四通道图,去马赛克部分输入是四通道图输出是三通道RGB图。使用L2 loss,分别施加在两个部分做约束,其他不表。

0%