阅读论文《A fusion-based enhancing method for weakly illuminated images》

   这是2016年Siganal Processing上一篇做低光照图像增强的一篇论文,谈一下我的理解。
   论文的核心思想是,首先根据形态学将图像分解成光照图和反射图,估计出的光照图可以反映出图像的光照特性和自然特性。然后对于光照图,这里使用光照改善方法和对比度改善方法,并对结果进行融合。最后改善的光照图和反射图结合获得增强的图像。出发点是,通过实现一个快速有效的方法结合多种成熟的图像处理方法,实现图像的光照图增强。整体结构图如下所示:

   图像的主观和客观效果都和光照图有很大的关系,所以首要的任务就是要有效的估计出光照图。其次是要对光照图进行一个调整,实现全局和局部调整的平衡。所以实现增强的三个关键点是,全局光照改善,局部对比度调整和自然度保持。增强的步骤分成了以下四步:
1.光照估计
   这部分认为,三个通道有相同的光照程度,而颜色分量保持在反射图里。所以这里借鉴dark channel prior的理论,首先从一张图像三个通道的最大值获得图像的亮度,表示为:

   光照图本身是局部平滑的,所以对于上述结果还需要进行滤波操作,这里使用形态学闭操作来实现。同时将值限定在0到1之间,表示如下:

   再然后使用引导滤波对上式结果进行操作,这里不表。
2.输入分离
   这里将输入光照图变为I1,也就是原始的光照图,其包含图像原始的结构信息。第二个输入I2用来调整全局光照去确定图像的暗区域,如下所示:

上述式子可以确保结果在0到1之间,因为不同图像的光照程度不一样,所以$\lambda$的值也是动态调整的,如下所示:

   可以看出来越暗的图,$\lambda$的值越大,从而做更大的增强。第三个输入,I3,使用CLAHE算法做局部直方图增强,可以用来直接估计光照图I,说白了就是I2可以用来做全局增强,I3可以用来做局部增强。
3.权重定义
   这里的权重是像素级别的权重,通过对较好曝光度的图像进行分析,这里图像的均值是0.5,方差偏离是0.25,所以这里亮度权重设置表示为:

k表示是上面提到的第k个输入,$W_B$的值越大,代表像素曝光度越好,越小则反映过曝或者欠曝。第二个权重,则是用来做对比度权重增强,结合了色度信息,表示如下:

这里H和S分别是输入图像的色度和饱和度。$\alpha$和$\phi$分别用来表示颜色对抗度和颜色的角度。所以最后的$W_k$表示为两者的结合,如下所示:

然后对$W_k$进行归一化,上述计算过程的可视化如下所示:

4.多尺度融合
   所以融合的结果如下所示:

但是这样的结果会产生artifact,这里将输入I放在拉普拉斯金字塔获取图像的特征,对W使用高斯金字塔去平滑,在特征层面上做操作比亮度层面上做操作更加有效,表示如下:

然后是对其进行上采样,得到最终修正的光照图,如下所示:

最后和反射图相乘,得到增强的图像,表示为:

0%