这是2019年 pattern recognition的一篇论文，做的是同时SR颜色图像和RGB图像。论文的网络主要分成五个部分，颜色特征提取子网络，深度特征提取子网络，特征融合网络，颜色图像重建网络和深度图像重建网络。整体网络流程如下所示：
首先通过两个子网络分别提取颜色图像和深度图像的特征，然后concat在一起送到融合网络里面进行特征融合。最后颜色图像通过颜色特征、深度特征和融合特征concat一起送到颜色图像重建网络，而深度图像通过深度特征和融合特征重建，这里深度图像只被深度特征和深度彩色的互信息影响。论文使用cGAN去区分生成的彩色图像和目标彩色图像，对于深度图像没有做同样的操作，因为深度图的差异很难被直接观察出来。cGAN的结构如下所示:
损失函数上，除了基于GAN的损失，还有TV loss保持边缘平滑，L1 loss使得生成图和真值尽可能接近，以及gradient loss去保持边缘，这些loss都是施加在深度图和彩色图上的。详情见论文。