阅读论文《Attention-guided Network for Ghost-free High Dynamic Range Imaging》

   这是2019 cvpr一篇做HDR转换的一篇论文,这里做一下简要理解。
   获得HDR图像方法之一的途径是将多个不同曝光的LDR图像进行融合,获得HDR图像。但是目前的方法无法解决大运动情况下的合成图像出现伪影的情况,并且也无法处理大区域饱和度的问题。所以这篇论文的主要思路是,使用attention模块引导不同图像的融合,使得大运动和饱和度高的区域被排除,同时使用DRDB模块做融合,整体结构图如下所示:

   AHDRNet包括两个子网络,分别是attention网络和融合网络。网络的输入图是三张不同曝光的图像,以及和它们gamma校正后的HDR图像concat在一起作为输入,这样做的目的是LDR图像确定噪声和饱和区域分布,HDR图像确定对齐区域。

Attention网络

   attention网络是为了确定参考图像(中间那一张)和非参考图像非对齐区域,通过对它们的比对得到。注意,attention map用来引导非参考图像的非对齐区域,其会通过强调对齐区域特征的方式减少非对齐区域特征的影响。最后三路的特征合并在一起,attention模块如下所示:

融合网络

   这一块没啥好说的了,使用DRDB模块获得特征然后将特征做concat,然后是残差学习和浅层特征融合,最后显示HDR图像还要通过tone mapping的方式去实现。DRDB模块如下所示:

Loss

   网络的loss通过将目标图和预测图tone mapping过后的计算它们的L1 loss,如下:

其他部分见论文。

0%