阅读论文“Degrade is Upgrade:Learning Degradation for Low-light Image Enhancement”

   刚挂在arxiv上的论文,主要思想是先模拟低光图像降质过程,再对去除降质因素的结果进行refine,同时降质过程可以帮助生成更多仿真图片,从而进行数据增广。

之前方法的问题

1.对于数据量需求太大,对训练方法和结构要求太高,从而忽略了降质本身的过程
2.简单的减去降质因素(例如MIRNet)和调整光照图(例如RetinexNet和DeepUPE)都不能很好的对降质过程描述

论文提出的点

1.通过DeG网络,学习输入低光照图像的降质过程,同时学习降质过程可以apply到其他高质量图像上,从而实现数据增广。
2.通过ReG网络,可以进行refine
3.整体框架是一个两阶段的方法,借助GAN进行训练,将DeG和ReG进行联合训练。

论文的方法

论文方法结构图如下所示:

1.对于DeG网络,这里对真实低光图像和仿真低光图像使用判别器做约束,对于它们的输出也就是降质也是使用判别器去做约束,以及施加KL散度作为loss。可以看出,这里没有GT去做约束,仅仅依靠仿真与真实进行训练,以得到分布一致性
2.对于ReG网络,输入是前面去掉降质成分后的结果,损失函数使用Charboniess和SSIM loss。
3.对于数据增广,这里是将图像从正常图像转换到低光域,借助GAN进行仿真生成结果和真实低光图进行约束
4.网络骨架采用多分辨率融合网络,如下所示:

结果和思考

结果看上去非常不错,增益可能来源于数据增广更多一些,毕竟用了额外的增广数据,感觉利用真实图像去约束产生更多的仿真数据,增加数据多样性,这点可以借鉴到许多工作里。

0%