阅读论文“Domain Adaptation for Image Dehazing”

   CVPR 2020,使用半监督方式做去雾,motivation是将仿真输入和真实输入做相互转换,并对转换的仿真输入和真实输入分别做去雾处理,其中有监督部分使用MSE loss,无监督部分使用deblur的先验loss,整体pipeline如下所示:

中间部分是一个cycleGAN的形式,实现仿真和真实雾图片的相互转换,为了使仿真到真实转换更加准确,这里还加入了depth信息做引导,因为雾的形成与深度信息是密切相关的。depth引导部分使用的是SFT模块,如下所示:

对于dehaze网络,这里使用的是一个encoder-decoder结构,对于仿真真实转换网络,这里使用的是一个全卷积网络,对于中间的转换模块,这里的loss包括在图片和特征层面的GAN loss,基于cycleGAN的一致性loss和内容映射loss。对于去雾网络,有监督部分使用的是L2 loss,无监督部分使用的是边缘正则loss和暗通道先验loss,最后将两个部分的无监督分支做一个一致性loss,保证去雾效果的一致性。这里有监督和无监督的去雾网络共享权重。
   训练时,这里先训练转换模块,然后训练去雾模块,最后两部分联合在一起进行finetune,论文通过一系列实验说明自己方法的有效性(很奇怪这里没有加入cycleGAN+其他方法的对比实验)。

0%