ECCV 2020,从全局和局部实现图像画质增强。论文的出发点是,先进行全局层面上的画质增强,然后在像素细节层面上进行画质增强。在全局上进行画质增强显然比在像素空间上进行增强要容易进行训练,基于这一点,可以进行针对性的训练,即Two-stage方式的训练,实现coarse to fine模式的训练。整体Pipeline如下所示:
首先是全局增强GEN,这里是对各个通道分通道操作的。最后对于每个通道,产生的是一个256维的向量,因为是三个通道,所以网络输出是768维的向量,对每个通道是以相乘的形式进行操作,因为通道是256位是离散的,所以这里这种操作实际上是降低了网络的自由度,对最后提升结果是有帮助的。GEN的优点是可以无视尺寸,节省内存。
对于局部增强LEN,就是一个学习类似于残差图的map,对于每一个像素,其输出值都是不一样的。该网络可以克服GEN去噪、去模糊不行的问题。GEN的输出加上LEN的输出就可以达到
在具体的训练上,对于成对图片的训练,这里就是直接施加L1 loss和VGG loss进行训练。对于非成对的图片,将GEN设定为生成器,判别器和生成器结构一样除了最后一层网络,基于的GAN是WGAN-GP,整体的pipeline如下所示:
整体是有两个GAN组成,分别是进行Enhance和Degaradation,除了Adversral loss还有Identity loss,作为一致性的约束,训练时是使用GEN用来训练GAN,因为GEN的确定度比较高,然后使用LEN进行第二部训练。实验效果看上去还是比较好的,具体参考论文实现。