阅读论文“Neuromorphic Camera Guided High Dynamic Range Imaging”

   借助神经形态相机成像的高动态性来弥补传统相机的不足,和之前那个用红外弥补RGB的论文如出一辙。然而神经相机成像的大小更小,且缺少颜色信息,所以利用其高动态的特性和一般相机图像做结合,可以帮助生成更高质量的HDR图像,一般的pipeline如下所示:

这里先把LDR图像进行反线性变换,然后从RGB转到YUV以便和神经相机获得的图像X进行融合,这里X要进行上采样,融合采用的方式是Y通道和X加权融合,然后和UV图像concat在一起,最后转成RGB图像。由于动态范围的不同,这里融合的结果和UV不一样,导致生成的结果颜色不自然,因此需要进行颜色补偿等后处理,然而即使如此也无法产生较好的visual效果。因此论文提出使用网络去实现这一过程,如下所示:

如上图,可以看出decoder部分X引导Y处理网络进行上采样和处理,最后使用attention机制生成mask,从而帮助恢复一些原始Y里曝光不好的区域。最后处理后的Y和UV合并,并且转换到RGB,由于颜色需要矫正,这里添加一个encoder-decoder结构进行后处理,在loss上,这里使用tone mapping之后的L1 loss和VGG loss。
   由于缺乏真实场景数据,论文使用真实的HDR生成仿真的LDR,进而生成X。总的来看这篇论文和之前A+B模式的论文没有本质的区别,数据集上也没有提供真实的数据集,提供的图像融合模式可以借鉴一下。

0%