阅读论文《Gated Fusion Network for Joint Image Deblurring and Super-Resolution》

   这是2018 BMVC的一篇论文,做的是联合实现图像去模糊和超分辨,简要理解如下。
   低分辨的模糊会被SR给放大,所以这个问题是需要被解决的。如果将去模糊和超分辨的网络做结合,会存在子问题error的积累,而且没有发掘这两者的联系。所以这里的思路是,将图像分别送入去模糊和SR模块,并通过一个gate去动态的融合deblur过来的特征和SR过来的特征,结构图如下所示:

   对于deblur模块,这里使用了一个encoder模块和decoder模块得到deblur的feature$\phi{deblur}$。然后后面有两个卷积层去获得输出的deblur图像。对于SR特征模块,这里就使用一堆ResBlock模块提取$\phi{SRF}$。对于Gate模块,上述的deblur特征和SR特征可以相互补偿,使用Gate模块动态将两者结合,这里Gate模块是两个卷积层,表示如下:

   最后的重建模块是一堆resblock和两个pixel shuffle模块级联在一起。对于Loss,这里的目标是使得输出的高分辨去模糊图和低分辨图的去模糊图和各自的GT尽可能接近,表示如下:

   其他部分详见论文。

0%