2020 CVPR oral,师兄的论文。论文的出发点是从统计学的角度出发,发现了在VGG这种分类网络的特征上,不同数据集的clean的图像具有更相似的特征表示,而不同数据集相同降质图像具有更相似的特征表示。而降质的特征表示和clean的特征表示具有明显的GAP。因此论文提出了一个特征转换模块FDM将低质量特征转换到高质量特征。因此,该特性使得可以在少量的数据上进行训练,这些数据不需要分类的label,并且作为一个可嵌入模块用在其他数据集的降质图像上,从而可以改善分类性能。
从上图可以看出,只是做图像增强虽然可以提升视觉指标,但是在VGG特征上的表现形式和降质图像还是比较近似的。因此,图像增强后的图像在分类上准确性很显然也不会高。这里进一步分析了不同数据集之间clean图像和降质图像在VGG特征上的差异性,如下图所示:
可以看出,不同数据集的clean图像更容易聚类在一起,降质的图像更容易聚类在一起。因此,在A数据集上在VGG上将降质特征转换到clean特征的模块直接应用在B数据集上,可以有助于分类效果。特征转换模块如下所示:
其中SPL是提取分类网络的浅层特征,DPL则是深层特征。所以,这里只需要训练FDM,使得特征从降质的图像转换到干净的图像就可以了。
论文思路很直接,实验也不是很复杂,也比较有inpiration,值得一看。