阅读论文"Kernel Modeling Super-Resolution on Real Low-Resolution Images"

   ICCV 2019的论文,真实场景超分辨通过估计核来实现。一句话概括,就是将LR图像的核分解为一个Bicubic核和一个降质核,通过有限观测到的降质核生成更多的降质核,用于生成训练pair对,从而提高模型鲁棒性,思路还是很有意思的(和增强里使用多曝光gamma校正增强网络鲁棒性的思路一样),适用于更加真实场景的超分辨。整体结构如下所示:

可以看出论文把问题分解成两步,分别是核估计和超分辨两个部分。重点是核估计这个部分。这里所做的处理是先将LR图像上采样到HR的大小,然后再对降质核做估计。这里核估计采取的方式是通过提取块p,使用dark channel prior进,同时对p进行约束,防止某些过于平滑的区域无法估计出核。然后就是基于这些估计出的核生成更多的核,该部分使用GAN进行。GAN输入的是一个长度100的高斯分布,使用一个估计的降质核可以生成许多和其相似的降质核。最后一步测试时是将估计的核和bicubic上采样的LR图作用,通过网络进行学习。

实验部分,这里使用DPED数据集生成核估计,然后利用DIV2K数据集生成训练的pair对,低质量图像由HR图像和降质核卷积生成,如上图所示,进行网络训练。其他实验见论文。

0%