阅读论文“Closed loop Matters:Dual Regression Networks for Single Image Super-Resolution”

   2020 CVPR一篇SR的工作,方法和cycleGAN有点像,同时学习将LR映射到HR和HR映射到LR这两个过程,不过这里是同时引入了成对的合成数据和没有GT的真实LR数据实现,可以看做是一种半监督学习方式(和去年那个semi-supervise rain removal有点像),论文主要的gain也是来自这个部分。另外通过学习SR图像映射回原来的LR图像,约束LR生成SR图像的过程,限制求解空间,一定程度上提升了泛化性。整体过程如下所示:

从LR生成SR和从SR退化成LR的算法流程如下:

其中P是LR映射到SR的过程,D是SR映射到LR的过程,$1_{S_p}$表示当输入图片不是仿真数据pair(也就是只有真实图片),此项为0。通过对P和D进行迭代训练,达到优化的效果,P和D的网络如下所示:

其中黑线是P的过程,红线是D的过程,部分实验如下所示:

可以看出相对其他方法其主要增益来自于更多的训练数据,论文大幅度介绍的dual其实相对影响不大。虽然不是第一个用半监督做low level vision的,不过训练方法上还是有可以借鉴的地方,其他详情参考论文。

0%