阅读论文《unfolding the alternating optimization for blind super resolution》

   2020 nips,做盲超分辨。针对之前方法存在的问题,即只从LR里估核,然后借助估出的核去进行超分辨率,这样会导致估出的核误差会在超分辨被累计,且估核的过程并没有利用SR的结果,从而导致估核的结果是不准确的。这里,论文使用Estimator借助LR和SR去估核,而Restorer则使用估核的结果去进行SR。两者之间的过程是迭代进行的,整体流程图如下所示:

一般迭代核的公式如下所示:

可以看出估核的过程是依赖于SR和LR的。因此如上图所示,论文首先对核进行初始化,然后进行pca并送入到SR网络里,只在最后使用L1 loss对核和SR结果进行约束,这里设定的迭代次数是4。估核和SR网络具体实现如下图所示:

可以看出,估核网络使用LR和SR作为输入,其中SR作为条件输入,即不同迭代时输入不同的SR。同理,SR网络使用LR和核作为输入,其中核作为条件输入。由于SR大小和LR大小不一样,这里使用卷积进行降采样。条件特征和基本特征融合的方式是concat操作。
   论文的结果还是比较惊艳的,本人已使用其pretrain的代码作为自己科研里的baseline,效果非常棒,贴一个论文的结果图,具体详细情况见论文。

0%