阅读论文"Learning an Adaptive Model for Extreme Low-light Raw Image Processing"

   论文要解决的问题是,原有的低光照增强方法只能将低光图像增强为正常光照图像,但是无法将其他光照的图像也进行增强。论文设计的方法将图像增强分解为光照估计模块和曝光调整模块。此外,还提出了一个具有不同曝光度的数据集。整体架构如下所示:

可以看出,这里的BPN用来通过图像内容和Exif格式去获得图像曝光度信息。这里构建CID数据集的方式如下,可以看出,这里是通过将图像进行多重曝光,作为不同输入去和GT比较的。

首先,论文里引入了image enhance vector的概念,即IEV,其参数包括控制ISO的参数,白平衡权重系数,以及曝光时间参数(低光照和引导光照)。IEV作为BPN的输入,得到曝光参数t1,再和t1一起,作为ESN的输入。这里先对ESN进行训练,只是输入的曝光条件t1是真值tg,而不是BPN的输出结果,对ESN的训练与BPN无关。对ESN的训练使用了MAE loss和SSIM loss。
   对于BPN的训练,这里将ESN的参数固定,从而通过训练最后的输出,来使得BPN估计出来的结果是precise的。由于对于一个图像而言,其区域的绝对亮暗无法反映曝光度,这里可以通过AOI去反映曝光度的大小。所以,对BPN的约束是,其预测出的曝光度,通过ESN后,输出的图像和输入的图像具有AOI,之所以不使用tg用来引导BPN的训练,是因为tg本身就具有高方差,其训练的过程就是不稳定的。对BP训练的loss如下所示:

本篇论文最大的亮点就是在于对于曝光度估计的这个地方,利用AOI很好的克服了由于tg不准带来的训练不稳定问题。这种思路需要值得借鉴。

0%