阅读论文《LOW-LIGHT IMAGE ENHANCEMENT USING CNN AND BRIGHT CHANNEL PRIOR》

  这是2017年ICIP的一篇论文,使用一个联合架构对图像进行增强。首先,是一个去噪网络;然后使用可以自动根据通道亮度优先设置转换函数的增强网络;此外,还设定了一个额外的估测周围环境亮度的过滤器。
  过去的方法包括基于retinex理论的方法,这个方法假定去除光照影响可以增强低照图像,但是这种方法是对RGB图像进行处理的,容易造成颜色失真;基于直方图均衡化的处理,主要用来增加图像的对比度,但是其对较暗区域处理效果比较差,造成颜色失真;最近还有基于去雾算法的增强算法,以及黑暗通道优先的方法,当然这些方法缺少一些成熟的理论,处理出的图像也过于夸张。论文提出基于大气散射的光照模型去增强低照图像。
  网络的处理流程分为两步,第一步是去噪,第二步是对去噪后的图像做亮度增强,网络框架如下所示:

  一般的去噪算法是通过估测图像中高斯白噪声的方差去噪,而这里则是通过DCNN进行去噪。在网络里这里通过将图像分成一个个Patch方便处理,通过将残差图加上原有的噪声图作为输出,和无噪声图像进行比较进行训练。这和VDSR的思路很像,最后的实验结果在暗光下效果较好,如下图所示:

  低照图像增强模型是基于大气散射模型的,表达式如下所示:

其中$E(d,\lambda)$是相机获取的图像,$E0(\lambda)$是没有衰减的原始物体图像,$\beta(\lambda)$是散射系数,d是物体和观测之间的距离,$E{\infty}(\lambda)$是无穷远处的散射值。
  这里令$d’=d+d_e$,那么上式变为了:

其中$E_0(\lambda)e^{-\beta(\lambda)d_e}$相当于场景光线图像,$d_e$用来模拟光线衰减的过程,我们的目标是从$E(d,\lambda)$中恢复$E_0(\lambda)$。令:

这样只要得到t(x)和E(x)就行了,由于暗光条件下的特殊性,t(x)和E(x)不能通过一般方法直接得到。
  接下来是用亮度通道优先的方法处理图像,即将图像通道的值归一化到0到1之间,对于自然图像,其三个通道肯定会有一个通道接近于1,如果区域存在阴影,则该区域的亮度优先通道会变成0。如下所示:

  在一定的区域内,一般假定传输t(x)和环境光照E(x)是不变的,对左右两式都做亮度通道优先处理,得:

对上式进行变换就可以得到t(x),实际中不能对图像进行完全变亮增强,这会使图像看起来不真实,因此表达式可以表示为:

w被设置成0.8。环境光的估测根据图像不同区域决定,这里使用一个局部滤波器去估测环境光,如下所示:

  这个滤波核相比于均值或者中值滤波,其对纹理区域的处理更好,在滤波和归一化之后,就可以得到E(x)了。E(x)可以稍弱的自适应的增强图像,这里令E’(x)=E(x)/2,这样环境光的值更小,更有利于增强暗图像。
  最后论文从主观和客观两个角度和目前的算法进行了比较,主观图如下所示,论文认为自己的图对比度高,保存更多的纹理:

  客观指标如下,论文的LOE(反映光线保存好坏)和SNM(反映图像的自然程度都更好),如下表所示:

0%