2019 cvpr的做图像去噪的工作,使用分数阶微分方程的理论优化,感觉使用类似理论优化网络的论文今年有不少了,论文理论部分没看懂,简要说一下其结构。
神经网络之所以在去噪上work是因为可以近似模拟微分方程。因为分数阶微分方程具有更长的记忆,可以更好的结合之前的中高频信息,所以可以采用这种策略对去噪网络进行优化,其不仅是前向优化,也可以进行后向优化。 一般DCNN里使用的是残差连接,其使用的是整数微分方程,其显然是没有分数阶微分方程有效的。此外论文还使用了多scale的策略增强整个去噪系统。两种scale之间的差别如下所示:
论文的核心操作如下:
这里$u_{t+1}^{l_l}$表示第t层的第$l_l$个scale的输出,网络结构如下所示:
可以看出不同层级的上下采样方式是pooling和unpooling。论文还分析了其和MemNet之间的关系,认为MemNet是使用长记忆连接的一种特例,但是并不solid。分析其和Unet之间的关系,认为UNet是在每个scale上只进行单步的优化,而论文提出的网络是更通用的结构(感觉和HRNet很像),其他理论部分见论文。