阅读论文《Depth-attentional Features for Single-image Rain Removal》

   CVPR 2019一篇做图像去雨的论文,关键点在于发现去雨任务和深度信息是有关系的,所以可以使用深度信息进行图像去雨,这里简要做一下了解。
   这里去雨模型使用下面这个公式:

   I(x)是没有雨的背景图,R(x)是雨层,A(x)是雾层,A0是大气光散射,其中R(x)和A(x)都和距离d(x)有关系,这就是可以借助距离进行去雨(包括R和A)的原因,详细推导参考论文,论文的网络结构图如下所示:

   简而言之,就是上面的分支用来预测深度图,然后通过attention机制生成带有深度引导信息的attention权重,下面的分支本来是用来预测残差的,然后因为残差也就是雨雾和深度有关系,所以这里使用上面生成的权重进行引导,生成权重的网络模块见论文图。注意这里下面残差的结果分成n组,和上面的权重n组相对应,然后和各自对应的权重相乘,并做组卷积,这样做是为了使每组特征对应特定的雨。最后将组卷积的结果进行1x1通道变换,生成残差图。
   总之这篇论文给我的感觉就是引入深度信息,用深度图对残差做refine,公式其实没啥卵用。。。。

0%