阅读论文“Deep Learning for Seeing Through Window With Raindrops”

   2019 ICCV,图像去雨块。基本思路是先获得雨块的区域,然后对该区域施加attention,对该区域进行去除。这里使用了两种attention,分别是shape attention和channel attention。其中前者用来引导去雨块,后者则和一般的channel attention一样,对不同雨块的特征进行区分施加约束。这里为了实现shape attention,首先产生雨块的edge map B1,B2,产生过程参考论文。并将edge map也加入到网络中参与训练,整体结构图如下所示:

各个模块的示意图如下面所示,分别是Residual Block,其中包含JPCA模块,该模块分别产生physical attention map和channel attention map,并分别进行相乘,从而将两种attention结合在一起。其中PA产生的是physical attention,目的是为了对雨块形状进行约束。而CA则是channel attention,这里为了获得average 和max之间的关系,两者通过共享的FC层。最终的loss使用的是L1 loss。
   具体实验时,在patch上做实验,具体效果见论文。

0%