阅读论文《Learning Recursive Filters for Low-Level Vision via a Hybrid Neural Network》

   这是2016年ECCV的一个工作,使用RNN用在Low level问题上,这里简要说一下我的理解。
   论文的主要思路是通过CNN去学习RNN的权重,RNN可以用来模拟图像滤波操作,RNN可以等价于一个一阶滤波器,权重矩阵等价于系数,高阶滤波器可以用若干个RNN去模拟,但是标准的RNN权重是非变化的,不能根据不同图像的结构化信息做调整。所以引入CNN去学习RNN的权重。使用CNN引导RNN进行图像平滑的示例如下所示:

   论文之后介绍了循环滤波,可以参见论文。总之就是说明IIR滤波器可以分解成一系列的一阶滤波器。值得一提的是,这里1D的RNN将图像从左到右从上到下总共产生四个隐藏的激活函数图,将这四个图进行整合通过选择每个方向的最大响应,目的是为了抵制来自其他方向的噪音。网络结构如下所示:

   如上图所示,因为RNN有四个方向的map,所以CNN产生的权重图也分成四个部分对应于四个方向。RNN在图像的特征层面上做操作,然后操作之后将其转换为原来的3通道图像。其他部分详见论文。

0%