CVPR 2020，使用迁移学习的方法将仿真噪声数据集训练的去噪模型迁移到真实噪声数据集的去噪模型上，从而提升去噪模型的泛化能力。论文主要解决了两个问题，一个是在仿真数据集上训练的噪声模型泛化能力差的问题，另一个是真实数据集pair对少，使用迁移学习实现仿真数据集训练的模型在真实数据集上的泛化。论文提出的一个基本的问题如下图所示:
简单的来说，第一个图的意思是，在合成数据集上训练的模型，不加正则比加入正则的模型容易过拟合到合成数据集上。第二个图的意思是，在合成数据集上，加不加正则，最后都很难泛化到真实数据集上。第三个图的意思是，使用迁移学习加上正则，可以使得合成数据集上训练的模型泛化到真实数据集上。也就是说，这里论述了真实噪声和合成噪声存在的domain gap的问题。论文提出的去噪网络如下所示:
主要包括一个去噪网络和一个噪声估计器。这里对噪声估计器做了改进，采用了上下采样的形式，这样会有利于增加感受野，生成的噪声估计图为原分辨的噪声估计图$\sigma_1$和上采样的噪声估计图$\sigma_4$加权得到。获得的噪声估计图送入去噪网络里面，这里融合时使用的是AIN模块，这个模块在风格迁移里面有用过，也是一个常见的特征融合模块，如下图所示:
该模块的主要作用有两个，一个是使得去噪网络不过拟合到合成数据集，另一个是使得合成数据训练的去噪模型迁移到真实噪声上。具体过程如下:
下面是将合成噪声去噪模型迁移到真实噪声去噪模型上。目标是要使得合成噪声去噪模型学到更为广泛的特征表示，真实噪声去噪模型学到不能从合成数据里获得的特性。这里使用AIN去将真实噪声模型迁移到仿真的去噪网络上。具体来说，就是保持合成数据去噪模型的大部分层不变，仅在真实噪声模型上训练AIN和最后一层网络。这个流程如下所示:
训练时，这里将重建L1 loss和噪声估计网络$L_{ms-asymm}$loss训练合成数据集去噪模型，使用L1 loss训练真实数据集去噪模型。部分实验结果如下所示，这里发现论文合成数据集去噪模型在DND数据集上可以比真实数据集训练的网络PSNR还要高，充分反映了论文方法的泛化能力。在SIDD数据集上，表现则不佳，但是采用迁移学习后，依然可以达到很好的效果，这可能是因为这个数据集和仿真差异太大。
