这是2016 ECCV做深度图SR的论文，现在来看这篇文章的网络其实比较简单。论文的出发点是利用彩色图像对低分辨的深度图像做引导上采样，在不同的阶段混入彩色图像的feature,从而解决深度图上采样的二义性。网络结构图如下所示：
这里思路是将depth图像分解成高频和低频两个部分，其中低频部分对于改善深度图超分辨的效果不大，所以输入网络的只有深度图的高频部分，同样引导深度图的彩色图像也是使用其高频部分。最后的训练的最小化目标是减小MSE。
深度图通过反卷积进行上采样，然后和下采样后的彩色图融合（这里是concat在一起），并且通过两个连续的卷积层进行特征融合，以补齐两者不匹配的地方。彩色图下采样是通过maxpooling进行的。
其他内容详见论文。