阅读论文《Image Blind Denoising With Generative Adversarial Network Based Noise Modeling》

   这也是2018CVPR一篇做denoise的论文。这篇论文的侧重点是盲去噪,即事先不知道噪声的概率模型,实现对图像中的噪声消除。这篇论文通过GAN对噪声分布进行建模,获得建立的模型生成噪声样本,与干净的图像构成训练数据集,训练网络实现盲去噪。
   目前的去噪方法都是基于已有的信息,但是这些方法很难达到SOTA。首先,这些方法都是基于人类先验知识的,所以很难获得图像的所有特征。其次,这些输入的信息大多数只使用了图像内部的信息,没有使用任何外部的信息,所以还有很大的提升空间。同时,基于CNN的方法也因为没有办法获得图像里噪声的信息,而使得去噪变得困难。因此,论文的要点是,通过GAN去从带噪图片里获得噪声分布信息,然后将获得的噪声patch添加到干净的图片上获得训练数据对,使用去噪的方法进行去噪。文章整体框架如下所示;

Noise Modeling

   首先假设需要处理的图像都含有同一类型的未知的均值为0的噪声。然后,进行噪声建模。为了减少原始背景的影响,这里设置了一组噪声块,即V,这样,噪声分布成为GAN学习的主要目标,这可能使GAN模型更加准确。由于噪声是0均值的,所以这里的噪声分布可以通过减去块均值实现,块的定义为图像上内部差异非常小的区域。这里对噪声块具体的定义给出了一些数学公式,这里具体不表。
   然后是利用GAN进行噪声建模,这里使用的GAN是WGAN-GP。具体不表,利用GAN生成噪声的示意图如下所示:

Denoising with Deep CNN

   这里利用刚才GAN生成的噪声分布数据集,然后将干净的图片进行分块,将生成的噪声块随机的添加到干净的图像块上,从而获得训练的数据对。数据集是在去噪网络训练的过程中生成的,在每次迭代中,分块的干净图片和噪声块都在发生变化。然后构成一个新的配对数据集。结构如下所示:

网络结构类似于Dncnn,CNN被视为预测残留图像的残差单元,即输入噪声图像和潜在干净图像之间的差异。

0%