阅读论文《Natural and Realistic Single Image Super-Resolution with Explicit Natural Manifold Discrimination》

   这是2019 CVPR的一篇论文,做的是超分辨的感知增强,这里简要谈谈我的理解。
   目前做SR的方法无论是使用MSE还是使用GAN的方法,都会产生不自然的图像效果。这里借鉴了SR的领域先验知识,设计一个判别器判定图像的自然程度,以此为监督对图像做SR,这是这篇论文的基本思路。
   论文认为LR和HR在频率域上的关系如下所示,如果对LR做SR的结果可能会出现图下面两行两行的情形:

   根据上图这里将图像HR space分成如下图的三类,如下图所示:

   然后论文论证了模糊和带噪的SR图片下采样后都会等价于LR图片,具体可以参考论文。这里论文构建了两类这样的图片,然后设计了一个判别器进行分类学习,具体设置见论文,判别器如下所示,论文称为NMD(这是骂人的话吧…):

   然后是论文的SR网络,使用了残差dense block,网络结构如下所示:

   最后是Loss,这里包括输出图像和目标图的L1 loss,以及基于NMD的loss(即希望其越大越好),还有一个对抗loss,这个loss用来衡量给定图平均值比生成SR图像平均值更接近于HR图像的概率。

0%