阅读论文《Deep Back-Projection Networks For Super-Resolution》

简介

   这是2018CVPR一篇做超分辨的论文,主要思想是通过迭代上下采样获得误差从而实现SR。论文主要提出了四个contribution,如下所示:
1.误差回传机制:这里是使用了迭代的错误反馈机制,通过计算上采样和下采样单元的投影误差来获得更好的效果。
2.相互连接的上下采样:由于LR图像到HR图像的映射是不成功的,所以这里交替对图像做上下采样,如下图所示,从而获得低分辨率图像和高分辨率图像之间的关系。
3.深度级联:这里是将不同特征层的HR特征做concat,放在网络的最后。
4.dense连接:这个没什么好说的,就是在每个上下采样阶段进行特征的复用,从而提升网络的精度。

   论文将目前SR的网络分为了四类:
1.事先进行上采样,然后塞到网络里,这种方法可能会引入新的噪声。
2.只在网络的最后进行一次上采样,这种方法可以有效提升空间分辨率,但是网络的速度一般比较慢。
3.通过多个上采样模块逐步进行上采样,但是其受限于LR图像的特征。
4.该论文提出的通过迭代的上下采样计算不同深度的重构损失,在保留HR特征的同时生成更深的特征。

论文模型

1.迭代投影单元

   上下的迭代投影单元,这个很好理解,例如对于上投影单元,就是将LR图像先进行上采样得到HR,再进行下采样,将输出和输入的LR计算得到残差,再对残差进行上采样,得到结果与前面的HR进行叠加得到输出结果。这个想法个人觉得就是将VDSR给小型化了一下,残差做一个scale与HR进行叠加。上下采样单元结构如下所示:

在迭代投影单元中,其卷积核的大小非常大例如是8x8的,这是因为迭代投影单元能够重复利用限制了卷积核大导致的速度缺陷,从而在小的网络上也有比较好的效果。

2.稠密投影单元

   这里提出的D-DBPN模块借鉴使用了稠密连接,其中每个单元的输入都是之前所有单元输出的迭代,大小是LR,为了保证单元输入和输出通道数一致,这里使用了一个1*1的卷积降低通道数。

3.网络结构

   综上,网络结构图如下所示,其可以分成如下三个模块:
1.原始特征提取:这个没什么好说的,就是一个3x3加上一个1x1的卷积。
2.误差回传模块:是上面迭代投影模块的叠加。
3.重建模块:HR特征concat过后通过一个3x3的卷积。

实验结果

   总之就是效果很好啦,这里不再赘述。

0%