两篇使用美学质量评价做增强的论文

   两篇论文都来自ICMR,感觉这个会的论文还可以,两篇论文分别如下,这里粗略说一下它们的思想。

Progressive Image Enhancement under Aesthetic Guidance

   这篇论文的思想是利用一个NIMA美学质量评价器做引导,学习自己到自己的映射,从而引导图像逐步增强,过程中给定每一步需要采取什么方式,如增强对比度等。这么做的好处是不使用成对的数据集,可以即插即用,同时也能给出具体的增强步骤,这个想法是很容易想到的,有点像ZRRS。结构图如下:

   可以看出来loss就是美学质量评价器的分数,通过一系列状态变量进行调整。总之思路简单work,还是不错的工作。

Naturalness Preserved Image Aesthetic Enhancement with Perceptual Encoder Constraint

   这篇论文网络在UNet里加入了残差空洞卷积去获得不同的感受野,story讲了一堆,然并卵。主要的insight还是引入了一个encoder约束的loss,目的是为了解决训练数据和测试数据分布不一致的情况,避免过增强。结构图如下所示:

   Loss包括L2 loss,基于VGG的loss,基于美学质量评价器的loss,和encoder约束的loss。这里重点说一下最后这个loss。论文分析过去增强方法在test数据上过增强的原因是encoder对训练集过拟合,出发点是encoder可以衡量两个图像在feature上的距离,如果将增强后的图像和参考图像送进encoder,它们的feature应该减小。encoder此时鲁棒因为它处于监督学习之下。这里我的理解是为了使得它们在encoder下具有相似的域,这样增强后的图像和target如果有相似的域,那么如果输入图片有略增强的图片,就可以避免过增强,从而提高网络的鲁棒性,这个思路值得借鉴。

0%