阅读论文《Kindling the Darkness:A Practical Low-light Image Enhancer》

这是5月刚刚挂在arxiv的一篇论文，做的低光照图像增强。我感觉做的还是有点东西在里面的，这里简要说一下我的理解。
论文的核心思想是提出一个使用的低光照图像增强器，提出三个增强的挑战：1.如何有效的从单张图像中估计出光照图成分；2.如何在变亮图像的同时去除噪声和颜色失调；3.如何在没有明确定义GT的情况下进行模型训练。基于此，论文的方法有如下要点：1.提出的网络将图像分成两个部分，即反射部分和光照部分。2.网络没有使用GT，只是使用一对不同光照程度的图像。3.设计的模型可以提供灵活映射的模型，可根据使用者进行调节；3.图像提出一个模块可以有效去除放大的噪声等。
论文的网络分成如下三个部分:Layer Decomposition,这里和retinex理论一样，不再赘述，当然这里还做了一个设定，就是不同场景下的反射部分应该结构相同，但是实际上低照情况下的反射图比明亮的要更糟，这里启发可以使用明亮图像的反射图作为GT去引导低照图像的反射图进行增强，当然这里没有真正的GT，明亮图像只是曝光度高的输入图；2.Illumination Guided Reflectance Restoration：这个部分的目标是为了恢复被污染的部分，通过光照图引导的方式进行，因为retinex公式和光照图有关。3.Arbitrary Illumination Manipulation：这里提出一个灵活映射机制，这个映射从图像数据中获得，当然也接受使用者对这个映射进行手动调整。论文的网络结构图如下所示：

Layer Decomposition Net

这里输入是一对不同曝光度的图像[$Ih $,$ I_l $]，这里目标是首先让获得的反射分量[$ R_l $,$ R_h $]尽可能接近，其次，光照图[$ L_l $,$ L_h $]也应该是区域平滑和相互一致的。所以这里有Loss$ L{rs}^{LD}:=||Rl-R_h||_2^2 $,$ L{is}^{LD} = ||\frac{\triangledown Ll}{max(|\triangledown I_l|,\epsilon)}||_1+||\frac{\triangledown L_h}{max(|\triangledown I_h|,\epsilon)}||_1 $，这一项对于平滑区域的惩罚比较大，$ L{mc}^{LD} = ||M \cdot exp(-c \cdot M)|| $,其中$ M=|\triangledown Ll|+|\triangledown L_h| $表示相互间有强关联的边缘应当被保留弱的被放弃，这三项对应于前面提到的三个目标。最后产生的输出应当还可以再产生输入即$ L{res}^{LD} = ||I_l - R_l \cdot L_l||_1+||I_h - R_h \cdot I_h||_1$。最后将这几部分Loss组合起来，作为这部分的总的Loss。

Reflectance Restoration Net

低光照图像的反射图有更多的降质成分，所以这里使用高光照图反射图作为GT；同时反射图的分布和光照图也有关系，所以这里将光照图的信息也嵌入到该网络里。网络的Loss为:

L^{R R} = | |^R - R_{h} | |_{2}^{2} - S S I M (^R, R_{h}) + | | ▽^R - ▽ R_{h} | |_{2}^{2}

$L^{RR} = ||\hat{R}-R_h||_2^2-SSIM(\hat{R},R_h)+||\triangledown \hat{R} - \triangledown R_h||_2^2$

其中最后一项使得细节信息等保持一致。

Illumination Adjustment Net

最后需要一种机制可以灵活的将一个光照条件转换成另一种光照条件。这里通过调整 $\alpha$ 和 $\gamma$ 两个参数来实现。其中 $\alpha$ 是 $L_t/L_s$ 的均值。从而可以将源图像 $L_s$ 转换成目标图像 $L_t$ 。其中该参数还可以被手动调节，其实这里 $\alpha$ 被扩展成了一个该网络输入的特征图，Loss为:

L^{L A} = | |^L - L_{t} | |_{2}^{2} + | | | ▽^L | - | ▽ L_{t} | | |_{2}^{2}

$L^{LA} = ||\hat{L}-L_t||_2^2+|||\triangledown \hat{L}|-|\triangledown L_t|||^2_2$

这里 $L_t$ 可以是 $L_s$ 或者 $L_h$ 。 $\gamma$ 表示为 $\gamma = \frac{||log(\hat{L})||_1}{||log(L_s)||_1}$ 。通过S和H选择可以进行亮度提升或者下降。例如对于亮度提升，这里的效果是，可以在低光照区域增加少量光照，同时在明亮区域增加更多的光照。其余部分见论文。