阅读论文《Single Image HDR Reconstruction Using a CNN with Masked Features and Perceptual Loss》

   2020 sigraph,对不同曝光区域分别做处理,达到性能提升。

之前方法的问题

1.对较好曝光度的区域和过饱和区域使用相同的卷积,没有区分度,导致恢复的图像产生伪影。
2.使用简单pixel wise的 loss,导致无法有效恢复细节。

提出方法的亮点

1.使用特征mask,减少过饱和区域对于结果的影响,从而减少生成伪影
2.联系到过饱和和inpainting任务很像,先在inpainting任务上进行预训练,有利于发掘图像内在关联性。然后在HDR网络上进行finetune
3.使用基于VGG的感知loss,生成视觉质量好的效果。

方法

1.首先介绍了生成Mask M的方法,用来衡量曝光好坏,1表示曝光度较好,0表示较差
2.特征Mask与输入图像的特征进行交互,如下图所示,对于每层特征,其和对应的Mask相乘,而Mask则被对应作用在图像特征的卷积层进行卷积(当然这里作用在Mask时进行了归一化),理由是图像特征卷积的权重反应了Valid程度的大小(这个亮点需要注意)。

3.损失函数包括HDR重建函数,其加入Mask进行引导,使得计算重点在饱和区域上;以及感知损失,包括VGG损失和style损失,这里不赘述。
4.由于HDR数据集数据量不足够,以及饱和区域主要在高亮处,恢复该处的过程和inpainting有点像,所以使用inpainting数据进行预训练,这里Mask也是和Inpainting一样使用二值Mask。
5.因为饱和区域也要有一些纹理(没有纹理的地方没法弄),所以需要进行Patch筛选,筛选出有一定纹理的区域用于训练。这里筛选patch和最终使用的LDR2HDR网络如下所示:

实验与效果

在仿真数据与真实数据上做,效果图略

思考

充分发掘不同任务的关联性,同时有效利用不同区域属性的不同,是这篇论文可以中的原因

0%