阅读论文"Deep Recursive HDRI:Inverse Tone Mapping using Generative Adversarial Networks"

   2018 ECCV,主要目标是通过分别合成不同曝光度图像,合成网络可以share weight,通过GAN辅助最终融合成HDR。

原来方法的问题

1.LDR恢复到HDR的过程需要大量细节恢复,之前的方法不够realistic
2.生成一系列的曝光图像需要不同的网络,造成大量的开销

论文提出的点

1.使用GAN,可以更好的捕获输入图像的全局和局部信息,从而更好的生成结构信息
2.相对生成不同曝光图像需要不同网络的方法,提出的方法只需要上下曝光调整网络分别进行循环,就可以生成不同曝光图像
3.生成不同曝光图像的数目不是固定的,而是可调的

论文的方法

1.提出上下曝光网络,分别用来生成高低曝光图像,其中每个网络可以生成一系列更高、更低曝光的图像,通过网络循环得到,如下图所示:

2.使用条件GAN进行训练,生成器网络除了上一个曝光度图像,还有随机噪声z,如下图所示:

3.对于损失函数,这里使用了LSGAN和L1损失,测试时过程如下所示:

结果与思考

论文在结果里分别对不同曝光也算了PSNR。通过单个曝光网络可以迭代生成不同曝光图像,充分发掘了不同曝光图像之间的内在关联性,对于许多融合类任务,都有借鉴意义。

0%