阅读论文《Zero-Shot Image Super-Resolution with Depth Guided Internal Degradation Learning》

   ECCV 2020,使用深度信息引导自监督超分辨率。基本的出发点是,图像降质信息与距离远近是有关系的,即近距离的一般更清晰,可以作为HR,远距离的图片更糊,可以作为LR。这样,就可以获得LR HR对,虽然是不对齐的。然后就可以借助GAN对后续SR进行学习,这里使用一个降质学习网络DSN和超分网络SRN利用cycle进行学习。整体示意图如下所示:

在选择图像内的patch用来训练时,这里也在对比度上设定一个阈值,大于该阈值的区域才可以被保留。同时将深度较深的区域作为LR(Patch更小),而深度较浅的区域作为HR(Patch更大)。对于降质网络和超分辨率网络,两个如下所示:

在具体训练时,使用双边cycle训练的形式,如第一个图所示,对于每一组SR和DS网络,都使用基于像素和基于GAN的loss,同时通过GAN loss联系两个cycle。具体不赘述,看图就懂了。和ZSSR相比,该论文工作不依赖预先定义好的模型,和KernelGAN相比,该工作在SR和DS上都是同时进行的。部分结果对比如下图所示:

0%