2020 MM,做非均匀光照条件增强。即首先借助Retinex去获得欠曝和过曝两个区域,然后两个过曝欠曝处理的结果和输入图经过融合网络进行融合,最后融合之后的结果通过恢复网络,进行噪声去除。此外,作者还提出一种新的合成仿真数据的方式,pipeline如下所示:
简而言之,就是根据图像直方图的分布先进行聚类,对于同一类别的图像使用相同的模型进行处理。如上图所示,这里对图像进行正向和反向处理,从而生成若干组过曝与欠曝的图像,并进行融合,最终得到恢复较好质量的图像。由于是对一类图像进行相似的处理,因此该生成方法非常快。在增强图像时,这里借鉴了多曝光融合的思想,由于一般的Retinex只能处理欠曝,对于过曝这里进行取反操作即可。对于网络部分,如下所示:
对于光照网络,这里输入是三个通道的最大值,因为可以用来去衡量图像的亮度。该网络是在小分辨率下处理,因为光照图一般是低频且平滑的,然后双边上采样回去,因此这里可以达到快速的效果。然后是融合网络,这里通过光照网络得到图像的过曝与欠曝区域,通过融合网络得到过曝正常和欠曝的权重,并最后进行加权相加,从而得到融合的结果。最后通过恢复网络,可以压制噪声和消除artifacts。
在训练时,这里先训练光照网络和融合网络,然后训练恢复网络。首先对于前面两个网络的loss,这里包括Huber loss,可以有效避免颜色过于平均化。以及SSIM loss和VGG loss,还有对光照图约束的TV loss。对于恢复网络,这里将光照图TV loss换成了图像的TV loss,其他都一样,具体可以看论文。
论文的整体思想还是一个coarse to fine的思想,在方法上创新不多,但是提出生成数据的方法值得借鉴。具体结果可以看论文。