阅读论文《Semi-supervised Transfer Learning for Image Rain Removal》

   2019图像去雨的一篇论文,工作略水,这里随便谈谈。
   论文要解决的问题是,现有去雨数据集都是合成得到的,没有针对真实场景做图像去雨。真实场景去雨找不到对应的没有雨的图片,所以需要使用半监督的方法(在我看来这个问题用domain transfer直接解决了,都是为了恰饭啊)。
   论文的整体结构图如下所示:

   如上图所示,这里网络使用的是DerainNet。上面分支进行的监督学习,输入合成的带雨图像输出图和GT做L2 loss。同时这里注意到雨的分布是有多种模型造成的,所以使用高斯混合模型GMM去模拟雨块的分布。对于下面的无监督分支,这里输入的是真实的带雨图片,输出图片使用TV loss去约束,去除残留的雨块的部分,残差也就是雨块使用GMM做约束,使用其极大似然做loss。最后还对合成的残差雨块和真实的残差雨块的GMM做KL loss,使得两部分的domian尽可能接近。上下两个分支共享一个网络相同的权重。
   这里使用EM算法进行迭代优化,其中E步计算混合模型的后验,而M步获得混合分布和网络的参数更新。

0%