阅读论文《Decouple Learning for Parameterized Image Operators》

   2018 ECCV的一篇论文,通过给定不同的算子实现单网络处理不同的任务。个人感觉meta-SR应该借鉴了这篇论文的思路,感觉有点意思的。
   论文要解决的问题是,一般的网络一次只能为一种操作参数学习。所以这里提出了一种双路学习策略,针对不同的操作参数动态的调整网络权重。两个网络分别是base网络和权重网络。具体而言,这里是通过给定一个参数设定$\gamma_k$,使用一个网络h获得权重$W_k = h(\gamma_k)$。训练时,网络权重可以根据不同参数的设定进行动态的调整,从而使base网络产生不同的输出结果。说白了就是提供不同的先验信息。整体结构如下:

   这里$\gamma$是指一个问题所给定的参数,可以是一个数或者是一个多个值向量。尽管不同的$\gamma$值会导致不同的权重,但是对于一个特定的操作来说,其不同参数$\gamma$下设定的权重W之间是相互关联的。所以这里试图获得一个共同的权重空间,其对于不同的参数设定$\gamma$可以获得不同的权重,即

   在训练时,两个网络一起训练,在测试时,通过给定不同的$\gamma$,权重可以自适应的调节,从而实现连续参数控制。网络的输入除了图像,还有边缘图。Loss使用L2 loss。
   网络结构上没什么好说的,第三层进行stride=2的下采样,还使用了空洞卷积。这里权重网络使用了一系列的全连接层,权重获得表示为:

A和B的维度要和权重以及$\gamma$对应上。论文的实验在image filter、图像恢复等多种任务上进行,此外还探究多种操作的影响。

0%