阅读论文《Scale_wise Convolution for Image Restoration》

   2020 AAAI,论文提出low level任务对于输入图像的尺度变换比较敏感,而随机尺度数据增广,多尺度测试等措施虽然在 high level任务里有用,但是在low level里却并没有很好的效果。所以论文提出了Scale-wise卷积,如下图所示:

如图所示,可以看出,这个卷积首先是构建了一个特征金字塔,将不同输入尺度的特征通过相同的卷积,在某一个结果尺度进行相应的上采样或者下采样,再进行相加,在不同的结果尺度上重复多次,所以结果尺度也是多尺度的。这种卷积运算旨在以紧凑的方式从多个尺度的特征中提取信息,并且能够比单纯的多尺度或单尺度网络更好地捕获尺度不变性。这个过程表示如下所示:

论文对上下采样方式还进行了对比,包括卷积与反卷积,双线性上下采样等。最终采取的网络结构如下图所示:

最后还做了一些实验,证明其可以达到更好的效果。但是我个人认为在这些操作里,不断的不同尺度上下采样并且卷积可能是一个非常消耗计算量的过程,如果从time save的角度来说,应该是比不过U-Net的。

0%