阅读论文《Low-Light Image Enhancement via a Deep Hybrid Network》

   2019 TIP的一篇论文,将网络分别用来学习全局的内容特征和边缘细节特征。有点类似于之前分别学习高低频的思想。其中内容部分用来增亮场景,是一个编解码结构,而细节部分使用一个RNN,用来预测结构化信息。为了增强鲁棒性,在训练中还向图片里添加高斯噪声,从而使得模型有去噪效果。整体结构如下:

   内容分支里,除了卷积,这里还使用了空洞卷积去扩大感受野,上采样使用的是反卷积。这里重点要说明的是下面的边缘学习网络。
   边缘学习网络的基本架构是一个RNN结构,一般的RNN不能直接用在低照图像上,因为低照图像和正常图像整体能量是不一样的,这里对RNN的改进和结构如下:

输入信息是低照图像和其边缘图像,在RNN里,其使用权重图g和p以及多尺度的特征x,去迭代生成隐藏状态,也就是边缘特征。对于每一个方向,输入图像被看做是一个1D序列,总共其考虑了四个方向。为了获得多尺度的信息,送到RNN的图片先通过下采样CNN分别变为原来的1/2,1/4和1/8,然后扩大到和原始图一样大并concat在一起。RNN从四个方向扫描生成四个结果图,对每个位置从中选出响应最大的。权重图是通过CNN学习得到的。
   损失函数方面,这里包括MSE loss,基于VGG的loss和基于GAN的loss。

0%