2021 cvpr,针对低光照条件下的目标检测,主要思路是对低光照图像从pixel-level层面和检测特征层面都拉到和目标图像一样的域上。
之前方法的问题
1.对于低光场景的人脸需要做标注
2.一般的低光增强方法仅仅针对视觉效果进行改进
3.一般的迁移方法domain gap不会非常大
论文提出的点
1.同时考虑底层和高层的adaptation
2.对于底层特征,这里将低光图像和正常光照图像往中间拉,使得它们能够更加接近
3.对于高层特征,使用多任务自监督学习使得特征层面上能够互相逼近,借助对比学习实现
论文的方法
整体框图如下所示:
1.对于low level部分,这里分解成光照、噪声和颜色三个部分做迁移,这里将低光图像L进行亮度变换,提升亮度变为E(L),通过Zero-DCE里的S curve曲线实现。对正常光照图像H先进行blur,然后进行噪声合成添加噪声以及颜色转换达到D(H),其中噪声通过blur的E(L)转换到E(L)得到,以pix2pix实现。这样E(L)和D(H)就非常像了。
2.对于high level部分,这里要将E(L),H和D(H)拉近,这里首先将3x3 patch映射到整个图上并设置相应的标签做分类,并对E(L)和H使用相同的分类器,这样就可以将E(L)映射到H特征空间上。这种方法叫jigsaw puzzling(我也不懂)。然后将H和D(H)变近,这里使用对比学习的方法,即对于H让正样本为D(H)的patch,负样本为H自己的patch,这样就拉近了H和D(H)之间的距离。对E(L)也使用同样的操作。