阅读论文“Self supervised Image Enhancement Network:Training with Low Light Images Only”

   最近挂在arxiv的一篇论文,号称是第一个用自监督的图像增强工作(然而并不是….);核心贡献是设计了一组loss,使得可以使用网络自监督的进行增强。整体pipeline如下所示:

论文设计loss的一个出发点是,低光照图像最大通道直方图均衡化的直方图分布应该和增强后图像最大通道直方图分布相一致,这里使用最大通道的原因是因为最大通道反映图像增强本身的特性。首先还是先引出Retinex理论: $S = R \cdot I$,其中S是低光照图像,R是增强图像,I是光照图,整体loss如下:

其中第一个loss要求增强的图像符合Retinex性质,表示为:

第二个loss即是增强后的图像最大通道和低光照图像最大通道直方图均衡化的结果相同,同时增强图像不用过于锐化,F表示直方图均衡,表示为:

第三个loss对光照图做约束,对于光照图,其应当是结构性平滑的,即其平滑性受增强图R的约束:

三个loss结合在一起进行训练,对于网络,最后输出的是四个通道,其中三个用来重构R,一个用来重构I,具体结构见论文。
在实验上,论文使用LOL数据集进行训练,在训练集上进行训练,在测试集测试,只是这里没有GT。当然论文也做了单图的训练单图测试,效果不是很好,详见论文。

0%