阅读论文“Zero-Shot Restoration of Back-lit Images Using Deep Internal Learning”

   2019 ACM MM,论文做的是背光图像增强,基本出发点是通过网络自监督调整背光图像响应曲线的参数,使得最终的图像具有较好的视觉感官指标。因为整个过程没有使用训练的pair对,只是对一张图像进行自适应的增强,所以是zero-shot的,背光响应曲线的示意图如下所示:

其中$\phi_s$用来将低曝光区域调整成正常曝光水平,$\phi_h$用来将过曝光区域调整成正常曝光。输入图像和输出图像像素表示关系为:

其中f是一个数学表达式,这里不写了。所以通过网络生成这两个参数$\phi_h,\phi_s$(网络最后是FC层),调整这两个参数,就可以生成最后的结果$I_l^c$。框图如下所示:

这里loss分为两个loss,一个是基于像素自身的$E_i$,其表示为:

这个loss设计的比较巧妙,使得输出像素在0.5左右都是loss最小的。同时当输入像素较小时,输出像素也更倾向于较小,反之亦然,这样就保证了输入的亮暗在输出区域也是对应的亮暗。

另一个loss是$E_{ij}$,目的是保持相邻区域的像素相对亮暗是一致的,表示为:

最终处理是在Y通道上做的处理,另外两个分量根据Y通道的放缩程度做对应的放缩,这里就不赘述了。总的来看这篇论文是从全局角度做的图像增强,在处理噪声和局部细节上应该还有可以改进的空间。

0%