这是2019 CVPR一篇做超分辨的论文,这里简要介绍一下它的思想。
论文的核心思想是引入一个共享权重的反馈模块,这个模块是recurrent的,同时引入课程学习的方法使得其可以用于处理不同的任务,回传原理如下图所示:
直接前向传递模块的弊端是前面的层无法直接利用后面层的信息。而这篇论文提出的SRFBN是一个RNN和一个FB模块组成,FB的原理是coarse的SR图像可以帮助LR图像去获得更好的SR图像。FB的输出是RNN的一个隐藏状态,同时对每次迭代施加loss促使隐藏状态学习到HR图像的特征。所以通过这个方式,使得高级信息可以回传给低级信息,帮助低级信息更好的refine。所以论文的三个conrtribution:1.回传机制。2.FB模块,帮助更好的高级信息表达。3.课程学习,适用于各种任务。网络结构图如下所示:
Network structure
网络结构是先通过一个LRFB去提取低级特征,然后通过FB模块和上一个迭代里FB输出的特征结合,最后FB的输出通过重建模块输出残差和输入的上采样相加,得到本轮迭代的最后输出,过程如下:
Feedback block
这一步没啥好说的,基本是借鉴了DBPN的思路,结构图如下,将HR下采样得到LR,然后再上采样得到HR,将所有的HR concat,LR concat,输入是上一个FB输出和当前低级特征的concat,输出是最后LR特征concat的通道变换。
过程如下所示:
Curriculum learning strategy
这里使用L1 loss,对于多任务,每次迭代输出比对的SR图像根据任务不同而不同,对于简单的bicubic,它们是一样的,对于其他多任务,SR图像一开始是部分降质的,其后变成原始真值。W决定每个阶段的权重。
实验结果见论文。