这是2018年ECCV的一篇论文,做Image smooting的,这里简要谈一下我的理解。
该任务的目的是保持显著的结构性信息同时除掉不突出的纹理特征。这里主要思路是将网络分成结构信息提取和细节信息提取两个部分,从而达到目的。该任务的难点是如何确定纹理区域:首先纹理是重复的一个模式,在物体上也是非均匀分布的,并且可能会存在扭曲,导致其很难界定。其次在一些图像上纹理也有大的梯度和颜色对比度差异,其很容易和结构信息混淆。所以过去的方法可能会在除掉纹理信息的同时,导致结构信息的损失。这篇论文的思路是,纹理感知应当反应纹理区域和纹理梯度,所以提出一个纹理转换网络去从自然图像里转化纹理信息,其考虑低级特征如边缘信息和其他统计信息如重复度、空间差异性等。最后通过结构信息和纹理信息引导生成最终结果,结构如下所示:
SPN用来产生结构化信息,TPN用来确定纹理信息,两者进行结合,具体网络图如下:
TPN部分采用多尺度结构,先不断进行下采样,然后分别卷积,最后再上采样到原来的维度上concat在一起,最后转换成一个一通道的输出,这里输出层使用的是sigmoid函数。该部分网络的Loss是输出结果和GT的MSE。
TSFN部分将结构和纹理信息以及输入concat在一起,构成五通道的map,送到网络,网络总共四层。使用均方误差作为Loss.
其他部分如数据生成和实验见论文。