阅读论文《Multi-scale Residual Network for Image Super-Resolution》

   这是2018 ECCV的一篇做超分辨的论文,整体感觉没有太多亮点,这里做一下简要的介绍。
   目前的超分辨网络变得越来越大、深且需要非常多的trick,这很显然是非常不合理的。存在的问题主要包括:1.难以复现,很多trick都被隐藏了;2.没有充分利用各层的特征;3.只能固定的超分辨一定的分辨率。这篇文章提出了如下的几个contribution:
1.利用MSRB模块获得不同尺度的特征并进行组合。
2.利用HFFS模块将不同层级的特征组合起来。
3.可以再不改变网络结构的情况下放大不同的scale。

Proposed Method

   网络的训练只在Y通道上进行训练,loss使用L1 loss,网络分成特征提取模块和重建模块,前者由MSRB和HFFS模块组合而成,网络的整体结构如下所示:

Multi-scale Residual Block (MSRB)

   该模块如下所示,包括两个部分:不同尺度特征融合和残差学习,特征融合是通过旁路的方式互相share,利用不同的卷积核获得不同尺度的特征。

Hierarchical Feature Fusion Structure (HFFS)

   这个模块就更简单了,将前面的各个模块的特征送到后面concat在一起,为了从融合特征提取有用信息和减少计算量,再使用1x1的卷积核进行特征降维。

Image Reconstruction

   一般的网络在重建不同scale的HR图像时需要使用不同的结构,而这里则通过pixel shuffle的方式可以在基本不改变结构的情况下放大不同的scale,如下所示,此时只需要改变通道数即可:

Experiments

   结果仅仅比EDSR差了一点,但是参数量只有其七分之一,MSRB模块也可以产生更加丰富的特征细节,如下图所示,稳定性也比较好。

0%