阅读论文"Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Single Image Super-Resolution"

   2019 ICCV做SR的一篇oral,针对SR里PD trade-off做出的改进,工作的根本是融合了P/D网络里分别有用的部分进行融合,所以达到了PD上的SOTA,网络融合在今年的low level任务里还是比较火的,后面一两年可能会逐渐迁移到去噪、去雨等等任务里。
   论文的出发点是获得更好的PD trade模型,首先根据以往的SR方法,观察到生成SR的低频部分作用在和GT的客观指标PSNR相近,而高频部分对应于和GT的主观相近。该部分结果如下所示:

   作者还做了验证性实验验证里这一点。这样,论文的方案就是将图像进行频率域分解,将P高的图片和PSNR高的图片各自分解成高低频部分,并对各部分分别处理,其中对于PSNR高的图片,获得其低频部分(对应于PSNR高的区域),进行进一步增强(下图的LSE网络),对于高频部分,则是使用style transfer的思路,将P高的图片高频迁移到PSNR高的图片的高频(下图的WDST网络),该部分包括style loss和VGG loss,L1 norm loss。最后通过一个IWST将各个部分组合起来,获得输出图像(好奇不加整体的一致性约束,直接组合好嘛。。。)

实验结果就不贴了,可以看看论文,论文分析问题的思路还是非常值得借鉴的。

0%