阅读论文“Deep Unfolding Network for Image Super Resolution”

   2020 CVPR,感觉非常棒的一个工作,虽然没完全看懂,基本是接着CVPR 2019的SRMD继续做的,这里简要写一下。主要思路还是基于半二次分裂的方法,分别解决数据子问题和先验子问题,和之前工作直接输入噪声和模糊核构成的向量不同,这里较为显视的去在网络里构造和平衡两个子问题。论文的方法利用了传统基于模型的方法灵活的优点即可以有效处理不同噪声、不同模糊和不同倍数的采样,同时利用了深度学习的优点,将明确的降质和先验信息添加到深度学习里。一般基于MAP求解SR问题的公式如下所示:

其中第一项是数据项,第二项是先验项。通过半二次分裂法进行求解,可以转换为下面公式:

其中x是要恢复的HR图像,也是求解目标,z是辅助变量。z的求解一般通过FFT迭代求解出。下面介绍USRNet,如下图所示:

其中D模块用来对应解数据项,目的是为了获得更加清晰的HR图,对应于公式5,其输入包括不同的尺度s和模糊核k,以及平衡5里两项平衡的参数$\alpha$,该模块求解表示如下:

   由于该模块是通过FFT实现的,所以是无参的,同时通过和先验项的结合,提升了泛化性。该项对应公式6,求解如下所示:

   其中$\beta_k$表示噪声水平,P通过一个网络实现,网络细节这里不表。最后通过一个模块产生两个参数$\alpha_k$和$\beta_k$,这两个参数与s与$\sigma$有关,产生如下所示:

其中H是若干FC层组成。这里迭代次数设定为8,同时训练使用L1 loss进行end to end 的训练,部分结果如下所示:

0%