阅读论文《Raw-Guided Enhancing Reprocess of Low-Light Image via Deep Exposure Adjustment》

   2020 ACCV的一篇论文,感觉有点参考价值。将增强问题作为曝光度调整问题,通过RAW图作为中间媒介,在线性空间下实现调整,在测试的时候,无需Raw图。

之前方法的问题

1.正常图像由于非线性变换的歧义性,可能对应多个低光图像(类似于SR里HR和LR的关系)
2.在RAW图里,亮暗程度是线性相关的,但是RAW图的表示是很难获得的。

论文提出的点

1.将增强问题定义成曝光度调整问题,通过RAW图作为中间媒介,可以在线性空间下通过线性变换实现光照增强,通过网络处理噪声等降质,显然这样在线性空间下处理难度更低
2.在训练时使用RAW图引导亮度调整,在测试时无需RAW图,为此需要一个将RGB转到线性空间下的unprocess网络。

论文的方法

由于RAW图里有曝光度的信息,因此可以用来做label和曝光比率,整体框架如下所示:

1.(a)里black box代表ISP的全过程,下面分支表示传统方法里具体的每个过程,RGNET-I,II,III如下所示:

2.RGNET-I用于将RGB空间转到线性空间下,同时乘上系数用于增强亮度
3.RGNET-II用于去噪,在线性空间下进行去噪显然是要简单一些。
4.RGNET-III用于将线性空间转换到非线性,与正常的RGB图像做损失即可。
5.训练时,送进去的低光照的rgb图,GT是正常光照的rgb图,低光RAW和正常RAW图作为中间监督信号,测试的时候不需要RAW。

结果与思考

看上去效果还可以,见论文
思考:整体思路和CameraNet比较像,RAW图作为中间监督信号解耦增强的不同过程,降低了任务复杂度,应用这种方法降低任务复杂度还是有意义的。

0%