阅读论文《Deeply Aggregated Alternating Minimization for Image Restoration》

这是2017 CVPR一篇做图像恢复的一篇论文，其实没怎么看懂。论文使用CNN去模拟AM算法。图像恢复任务通常可以看做是一个能量最小化加上一个明确的正则损失项。AM是迭代最小化，这里能量函数被分解为一系列的简单问题去优化。这篇论文的特别之处在于其不仅仅学习卷积恢复的结果，还学习AM算法的正则项，并且使用AM算法里汇总的方式，从而达到好的恢复效果。
图像恢复任务通常表示为如下形式:

a r g m i n_{u} \frac{λ}{2} | | u - f | |^{2} + Φ (D u)

$arg min_{u} \frac{\lambda}{2}||u-f||^2+\Phi(Du)$

其中u是输出的图像，f是观察到的图像，例如是双线性上采样的结果，Du表示的是图像在x和y方向上的导数， $\Phi$ 是正则函数。这里使用AM算法去解决这个问题，令v = Du，则使用AM算法解决上式可以表示成下式：

m i n_{u, v} \frac{λ}{2} | | u - f | |^{2} + Φ (v) + \frac{β}{2} | | D u - v | |^{2}

$min_{u,v} \frac{\lambda}{2}||u-f||^2 + \Phi(v) + \frac{\beta}{2} ||Du - v||^2$

其中 $\beta$ 是惩罚参数，AM算法由如下重复的步骤组成:

v^{k + 1} = a r g m i n_{v} Φ (v) + \frac{β^{k}}{2} | | D u^{k} - v | |^{2}

$v^{k+1} = arg min_{v} \Phi(v) + \frac{\beta^k}{2}||Du^k - v||^2$

u^{k + 1} = a r g m i n \frac{λ}{2} | | u - f | |^{2} + \frac{β^{k}}{2} | | D u - v^{k + 1} | |^{2}

$u^{k+1} = arg min \frac{\lambda}{2}||u-f||^2+ \frac{\beta^k}{2}||Du - v^{k+1}||^2$

β^{k + 1} = α β^{k}

$\beta^{k+1} = \alpha \beta^{k}$

从上面可以看出选择好 $\beta$ 和 $\Phi$ 是非常重要的，这里可以通过网络去进行学习。上述式子通过网络学习流程如下:

(v^{k + 1}, γ^{k + 1}) = D_{C N N} (u^{k}, w_{u}^{k})

$(v^{k+1},\gamma^{k+1}) = D_{CNN}(u^k,w_u^k)$

u^{k + 1} = a r g m i n_{u} | | Γ^{k + 1} (u - f) | |^{2} + | | D u - v^{k + 1} | |^{2}

$u^{k+1} = arg min_{u} ||\Gamma^{k+1}(u-f)||^2 + ||Du - v^{k+1}||^2$

这里学习参数 $\gamma$ 是平衡系数，也是学习得到的，上式可以通过下式来解:

L u^{k + 1} = Γ^{k + 1} f + D^{T} v^{k + 1}

$Lu^{k+1} = \Gamma^{k+1} f + D^T v^{k+1}$

上式可以保持图像的空间一致性，这里使用PCG算法对上式进行求解，网络结构图如下所示:

如上图所示，这里DeepAM是迭代了K次。当 $\beta$ 值很小时，v也是减小的，从而对较大的梯度区域进行惩罚，所以 $\beta$ 较大可以增加高频区域。这里v不需要一定是正值，所以不使用relu，而 $\gamma$ 是正值，所以需要使用relu激活函数。最终论文使用的loss是L1 loss，其他部分见论文。