阅读论文 From Fidelity to Perceptual Quality:A Semi-Supervised Approach for Low-Light Image Enhancement

   2020 cvpr,motivation是,使用监督的方法恢复和学习到图像的band表示,然后借助band表示去进行无监督训练获得较高感知质量的图像。换言之,就是借助监督学习去获得有利于重建高质量图像的特征,通过这个特征作为中间变量,辅助无监督的训练,因为直接进行无监督的训练,很难获得具有较高质量的图像(一些具体的细节和噪声处理的不到位)。整体结构如下图所示:

   从上图也可以看出不同的band构建是基于尺度构建的,较小的band在特征层面上引导较大的band进行恢复,同时整个学习过程也是递进式的,即除了第一个层级,后面层级的band恢复不仅依赖当前的band,还依赖于之前层级里相同level的band,这样除了第一层外后面每层对应得到band特征的地方实际上学习的是残差(这样可以减少学习难度)。每个层级(除了第一层)的输入是原始输入和上一层级最大band在一起的输入。最后通过GT在不同层级的采样作为label,引导不同尺度band的恢复,loss如下:

   在band恢复后就可以用不配对的高质量图像进行无监督训练了,将不同大小的band expand的到相同大小,然后除了原来最小的那个band以外分别做残差,作为w map生成网络的输入,然后w map和这部分输入相乘,得到恢复的图像,该部分输入如下所示:

   总而言之,还是通过监督学习去噪和恢复细节,再使用无监督学习进行调整,使用band作为中间媒介进行引导。但是论文没有进行参数量和速度上的对比,这点有点令人confuse。

0%