阅读论文《multi-dimension modulation for image restoration with dynamic controllable residual learning》

   2020 ECCV,针对多种降质问题实现多个降质维度上的连续控制。出发点是通过加入一个可控系数去控制残差量大小,可控系数通过另外一个网络得到。这个问题的难点主要是:
1.多种降质混合时,一种降质的改变可能会影响另一个降质情况;
2.调节可控参数时,如何确保0点是不包含任何降质的
3.不同降质对于不同loss影响的非均衡性

论文使用的pipeline如下所示:

具体实现是,输入一个图像,同时输入其想要降质的程度,其为一个和降质维度相同大小的vector。然后通过系数产生网络产生相应的系数$\alpha$,从而控制残差大小程度,达到多种降质混合控制的目的。这样,当系数$\alpha$为0时,就可以实现0点不包括任何降质。同时每个局部的block都进行这样的控制,在全局上也进行这样的控制。最后,在进行样本采样的时候,这里使用beta采样,具体见论文,可以平衡不同降质对loss的影响。
   在训练时,输入降质程度vector和对应的降质图片进行训练。测试时,通过用户进行相应的手动调节。具体实验细节可以看论文。

0%