阅读论文《Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks》

   这是CVPR2018的一篇论文,主要介绍的是去除单图去动态blur,这里只简要写一下自己的理解。
   目前去模糊的方法主要存在如下的问题,首先CNN的权重是空间不变的,这样就不能对具有很强动态性的各种blur进行消除。其次就是即使模糊区域很小,也需要较大的感受野,造成计算资源浪费。因此,这里提出使用RNN进行deconv的操作,而RNN的权重是通过CNN学习得到的,这样就可以针对不同的模糊deblur。
   论文首先证明了,RNN可模拟一个IIR过程用于去噪,这里具体证明看论文。然后说明,在RNN之间加入CNN,不同方向的信息可以融合,从而考虑到2D信息的作用,并且可以利用RNN获得非常大的感受野,如下图所示(虽然我也不知道为什么会这样)。RNN的动态核和传统去模糊也比较像,针对不同的模糊使用不同的核去恢复。

   网络结构如下图所示,包括特征提取,RNN权重生成部分,RNN deconv和图像重建这几个部分。首先用两个CNN层提取特征,然后下采样减少计算量。每一个RNN有四个方向,每个RNN后面加上一个CNN融合四个方向的信息。使用一个14层的CNN去生成RNN的权重,该CNN最后使用tanh函数使得权重限制在0到1之间,最后使用双线性插值对特征进行上采样。

实验结果略。

0%