阅读论文《Deep Reverse Tone Mapping》

   这是2017年 Sigraph Asia的一篇论文,论文的核心idea还是将不同曝光度的LDR图像综合在一起,并且合并它们重建HDR图像。借助3D卷积的方式,提出的方法可以有效保持颜色饱和度并不产生噪声。单纯学习一个LDR图像到HDR图像的转换是一件困难的事情,所以这里使用一系列的不同曝光图像去学习得到高质量图像。整体流程pipeline如下:

   第一步是获得不同曝光的LDR图像,这里通过不同曝光的HDR图像,学习不同的相机响应参数得到,从而最终确定图像的动态范围。通过网络去学习得到曝光度调整网络。在合并时,输入一张LDR图像,网络输出若干张不同曝光度的图像。这里需要对输出的不同曝光度的图像做筛选,设置为一个阈值,相邻两个曝光图像像素值的绝对差即不大于这个阈值,使得避免将太亮或太暗的几张曝光图像合并,产生不好的效果。
   具体对于曝光度调整网络,这里对于调高曝度、低曝度的网络分别进行训练。网络的整体是一个encoder decoder结构,如下所示:

   对于encode部分,这里使用2D卷积先将一张图像编码到隐式空间,然后使用3D卷积解码到N张不同的图像,N张图像有不同程度的曝光度,通过学习上述的HDR不同曝光图像实现。具体而言,这里encoder使用2D卷积,中间加了BN层。decode部分使用3D卷积,该部分前三层在曝光维度和空间维度上都做上采样,也就是增加batch维度的数目,其他层仅仅在空间维度上做上采样。同时在encode和decode之间加入跳层连接,从而使得decode利用局部信息加速收敛。encode的2D网络和decode的3D网络在结构上是不同的,不方便直接连接。所以这里对输入图像和encode部分进行扩维复制,然后和对应的decode部分相加。
   在训练时,这里使用L1 loss进行训练,就是将输入的一张LDR图像输出多张图像和多曝光度的HDR图像做loss。其他部分见论文。

0%