PIRM2018 移动端挑战赛总结

   本人今年暑假实习参加了PIRM2018举办的移动端图像处理比赛,并在比赛的track B中获得第一名(Track A为移动端超分辨任务,Track B为移动端图像增强任务),本人所在队伍代号。当然在这个过程中自己还有很多不足,这里本人参考了官方给的report(https://arxiv.org/pdf/1810.01641.pdf), 对部分队伍的方案进行了总结,如下所示:

TEAM ALEX

   这个队伍提出的方案是一个残差网络模块(针对track A),其由20个残差块组成,很显然如果不对图片进行降采样的话会消耗大量的计算资源,这里网络将图像降采样到正常图像大小的四分之一,最后上采样时使用subpixel进行上采样,网络结构如下图所示。有意思的是这里的下采样使用的是desubpixel,也就是将图像从空间大小维度转换到channel维度上,这样还不损失信息,这个思想值得借鉴。

KAIST-VICLAB

   对于track-A,这里也是进行了4倍下采样,然后通过8个卷积层,最后通过subpixel进行上采样,这里还结合了error feedback ,Xunit等方法加速网络训练,这些部分本人还不是很了解。此外,其还对输入图像使用高斯模糊对降采样的部分进行degrade,对目标的高分辨图像做增强(看图例中的意思好像是在track B中使用的)。
   对于track-B,这里没有使用stride=2的卷积做下采样,而是每层获得的feature map变为四个更小的feature map,并且将它们分不到batch维度上,称为space-to-batch,最后其还引入了RGAN进行训练,这部分本人还不是很懂。(下图左图为track A,右图为track B)。

CARN CVL

   这个队伍提交的网络就叫CARN,这个网络是作为一个解决回归问题的网络。通过回归模块将特征从低维转换到高维,这里每个回归模块都结合了一个anchor point,因此可以通过anchor和特征之间的关系,模拟不同的输出和输入图像的回归。这里堆积了很多个这样的回归模块,其实现通过卷积层来实现。feature layer的数目为2,且每一层使用stride=2的卷积做下采样,最后通过subpixel shuffle做上采样。(下图中左图为网络结构,右图为回归模块)。

EsS

   这个网络比较简单,就是将DPED的网络前两层使用stride=2进行下采样,然后中间加了一个skip连接,结构如下图所示:

IV SR+

   这里提出的网络包括特征提取、FCB模块和两个反卷积层,这个FCB模块参考了CliuqueNet和MobileNet,前者我没听说过。这里的FCB包括一个输入的卷积层和四个在深度和像素维度上都双向密集连接的卷积层。网络如下图所示:

BOE-SBG

   对于Track A,这里使用了denseblock,并且将denseblock、卷积等操作放在不同的level上去改善效果。对于Track B,其使用Mux和Demux模块反复进行上采样和下采样,主要通过subpixel实现。如下图所示(Track A在上面,Track B在下面,右边是denseblock的结构)

Rainbow

   其track A的网络如下图左图所示,还是使用stride=2进行下采样。对track B如下图右边所示,这里提出了一个大的的Teacher网络和小的student网络,通过前者指导后者进行学习。具体而言就是计算两者之间的feature map的loss来实现。不得不说这个想法很有意思。

0%