Rainbow大佬投的期刊论文，除了之前的工作，进一步对更优的perceptual进行了扩展，即基于MSE优化结果的基础上，增加分支在perceptual角度进行finetune，论文简洁明了，整体结构图如下所示:
其中CFEM用来提取特征，SRM用来恢复结构信息的SR效果，PRM用得到SR的感知效果，CRM用来在保真度上进行SR重构，CRM的结果用来辅助SRM和PRM进行重建，CRM和CFEM两者合计称为RFN，该部分结构如下所示:
其中RRFB的结构如下所示，使用的是res in res的这种连接方式，加上一个可变系数$\alpha$有利于减少深度:
最后是训练，首先通过RFN获得具有高PSNR的SR结果，然后固定前面的参数，只训练SRM，因为前面的参数很多且SRM的结果在CRM的基础上得到，所以这里训练很快，该部分使用的loss是SSIM loss和L1 loss。最后是PRM同样也是在获得的SRM基础上得到，固定前面的层，只训练PRM，loss是VGG loss和GAN loss。这样的优点是前面的结果已经得到比较好的结构化信息，这样训练可以在最后的PRM获得更好的结构化信息，避免单纯使用GAN等loss损失太多的结构化信息。该论文代码已开源。