挂在arxiv的一篇论文,将ISP过程使用网络进行学习。核心出发点是将ISP的过程根据任务相似度分成前后两个部分,即图像恢复和图像增强,在两个部分之间加入监督信号即恢复好的图像,从而引导ISP的学习。一般的ISP如下所示:
ISP过程里不同的操作过程有不同的特性,直接简单end to end的学会非常困难。所以论文通过将不同操作步骤进行操作前后的直方图比较(详见论文)将这些步骤分成两部分,即图像恢复和图像增强两个部分。其中前者主要集中是进行线性操作,后者主要是进行非线性操作,整体pipeline和实现的网络如下所示:
图像恢复和图像增强各自实现的ISP操作如上所示,两个部分分别通过两个U-Net网络完成,其中增强部分使用基于残差连接的block,以及dialation conv和adaptive BN组成。训练时,先对两个部分分别使用L1 loss进行训练,然后联合在一起进行finetune。
论文使用了HDR+,SID以及FiveK这三个数据集。这里看一下它们GT的获得,其中HDR+输入是raw图像,恢复的GT通过不同曝光度的HDR+图片合成得到去噪的结果,然后通过DCRaw解出,然后通过tone mapping等算法获得最终的增强GT。
SID数据集输入是短曝光的raw,GT是长曝光的raw,这里先将长曝光通过DCRaw解出恢复的GT,然后通过autoPS获得最终增强的GT。对于FiveK,输入的raw通过DCRaw解出的结果获得恢复的GT,expertC为增强的GT。该部分流程如下所示: