今年刚出来的一篇SR的论文，感觉idea有点意思，使用inpainting的方法用在SR里。核心思想是，将SR转换成inpainting问题，即SR是LR做stride的上采样后，中间空白部分使用inpainting的方法补上。操作步骤是先生成edge图，再使用edge map引导生成SR的图像。这个操作和inpainting的操作是非常像的，整体流程图如下所示:
简而言之，就是首先弄到输入LR的灰度图和Canny算子获得的边缘图，上采样后输入，然后输出的是edge map。该部分使用两个loss，分别是基于GAN的hinge loss和在判别器上的feature loss。这里使用后者是因为后者的feature是基于边缘信息得到的，而VGG的feature则不是。
对于第二个stage,将上一步获得的边缘图和stride上采样的LR结合在一起作为输入。这里stride上采样的LR中间都是0，从而第二步实际是一个inpainting的问题。输出的是目标SR图像。loss包括L1 loss，GAN的hinge loss，VGG loss和VGG特征上的style loss。两个stage的训练是分别训练的。
虽然idea比较新，但是最后结果的PSNR drop还是比较多的，SSIM则是有了改善，毕竟是基于边缘的，SSIM有改善也比较正常。