阅读论文《DeepISP:Towards Learning an End-to-End Image Processing Pipeline》

   这是2018年 TIP的一篇论文,做的是图像处理的pipeline,从输入的低照raw图像经过一系列处理转换成可见的明亮图像。所以这篇论文的要点是,首先,其提出一个可以在做低照图像增强的同时,实现去噪和去马赛克。其次可以做用来处理raw图像的pipeline。论文认为不同的任务在同一个pipeline下同时处理可以表现的更好。网络结构图如下所示:

   论文的网络主要分成两个部分,分成上面黄色框的low-level特征提取部分和下面绿色框里的high level特征提取部分,分别进行局部和全局的学习。对于第一阶段,网络的输入是一个预处理之后的RGB图像,之后在每层,64个特征里有三个通道对应于RGB通道,通过残差的方式进行级联学习。另外61个通道通过前向传播的方式进行传递,最后是将两者的结果在每个block后进行相加。对于第二阶段,这里使用上面过来的61个通道产生转换函数W,施加到从上面过来的对应的图像I上。从而产生全局的调整。这里下采样使用stride=2,然后全局平均池化,接FC。W是一个3x10的一个矩阵,产生非线性的全局变换。和上面的局部调整相结合,从而产生全局-局部的图像变化。
   对于Loss,这里使用MS-SSIM loss,以及基于LAB的loss,并且将Loss进行结合。前者可以局部校正效应,L1 loss可以产生全局效应,其中MS-SSIM只用于L通道。其他部分见论文。

0%