最近看的两篇去模糊的论文

Down-Scaling with Learned Kernels in Multi-Scale Deep Neural Networks for Non-Uniform Single Image Deblurring(1903.10157)

   核心思想是以往使用bicubic下采样将图像送入网络,这样会损失许多高频信息。或者使用深度网络逐步编码到全局特征混入太多的全局信息。而这里使用CNN对输入图像进行下采样,且保持下采样之后的图像channel数保持不变,避免混入太多全局信息。同时训练也是分阶段训练利用了有限的硬件条件(好穷…)。整体结构如下所示:

   如图可以看出,在Scale1是先四倍下采样,而Scale2是两倍下采样,基本backbone和RCAN一样,这样可以节省计算量。Loss上,这里包括L1 loss和SSIM loss,在每个尺度上都进行施加。训练时,先训练下路分支,再训练上路分支。

Edge-Aware Deep Image Deblurring(1907.02282)

   基本思路是视觉对边缘锐利部分更敏感,且有利于提升客观指标,所以先学习edge map辅助deblur,基本思路如下所示:

学习边缘图的网络如下所示,在训练时,将每个hidden layer输出的特征转换成edge map,再concat在一起得到最终输出,对每个层输出的map和最终的map都进行监督。测试时只输出第一层的edge map,论文实验发现这样的效果更好,且可以减少计算量。

去模糊的网络没什么好说的,先卷积下采样,最后残差相加,如下图所示:

最后是loss,对于edge网络,这里使用GAN loss和分类的CBCE loss(edge的GT是通过canny算子得到的,所以只有0-1之分)。对于去模糊网络,这里包括MSE loss,VGG loss和Edge loss,具体见下图,很容易看懂:

0%