阅读论文“Flexible Example-based Image Enhancement with Task Adaptive Global Feature Self-Guided Network”

   论文出发点是要解决多任务的图像画质增强问题,并说明借助多任务获得的共享特征可以达到更好的效果。首先论文使用了特定的网络结构SGN,可以达到较快的速度,其次是提出可以用于不同特性增强的增强方法,具体来说,是使用IN和AdaIN,通过将条件输入转换到隐层空间。整体结构如下图所示:

SGN的结构之前曾用在去噪任务里。这里做了一点调整,首先是融入了全局特征调整模块,如上图最上面的部分所示。其次是嵌入了IN层,可以作为对全局特征的一种形式的调整。为了实现灵活的自适应增强,这里将控制不同任务的隐式输入z送入全连接层,然后通过三个全连接层,得到w,w则被送入AdaIN层,用来调控输入。
   为了使得网络在无监督情况下也能实现自适应增强,这里使用了如下所示的半监督训练方式:

可以看出,这里使用了类似于cycleGAN式的结构,包括WGP-GAN loss,cycleLoss。这两个loss,比较常见,特别的这里有一个Illumination invariant identity loss,这里基于图像增强主要是亮度上的调整,因此对输入和输出图像减均值后再计算MSE loss,从而保证内容上的一致性。此外,对于1对多的映射,这里使用一个分类器C从输出图像中产生隐层特征表示z’,与z计算loss。最终对这些loss进行组合,作为最后的loss。
   论文最大的亮点是提出控制输入来实现多任务增强,在方法上创新不多,但是许多思想可以值得借鉴。

0%