阅读论文"Joint High Dynamic Range Imaging and Super-Resolution from a Single Image"

   一篇将SR和HDR结合在一起做的论文,将图像分成高频和低频两个部分分别处理。其中高频部分用反射图来表示,低频部分用光照图来表示。由于SR和HDR都更加关注恢复图像的高频细节,这里也更加关注图像的反射图部分。整体框图如下所示:

如上图所示,这里的操作只是对Y通道进行,CbCr通道仅仅是做了bicubic的上采样。这里Y通道要先分解成光照图和反射图部分,其中光照图I是原始的Y通过一个高斯滤波器操作得到,而反射图则是Y/I的log后的结果。直接施加高斯滤波会产生artifacts,这里使用WLS滤波器去减少这种artifacts的效应同时实现保边效果,具体见论文。
   具体而言,这里对于低频的光照图使用bicubic直接进行上采样,因为其是平滑的,作者的论文实验也说明使用CNN并不会更好,所以bicubic上采样后,又直接通过gamma变换进行增强。对于反射图部分,这里使用两个UNet叠在一起的作为超分辨的网络。如下图所示:

由于反射图的范围远远超过了【-1,1】这个区间,这里使用tanh函数进行处理再送入网络,输出后再进行反变换。最后,Y通道的输出图是反射图和光照图相乘,再和CbCr通道进行组合,转回RGB图。
   对于损失函数,这里使用了L1 loss和Relative GAN loss进行组合,不赘述。

0%