这是2018年 MM workshop的一篇论文,使用双目数据做dehaze,基本思路是,通过双目相机左右两张图获得深度图,通过深度图引导进行图像dehaze。图像dehaze的建模一般和传输t还有大气光散射A有关,随着距离增加,颗粒增多导致haze越严重,建模公式为:
论文提出的网络包括三个部分,一个encoder用来学习特征,两个decoder分别用来估计深度和dehaze,估计深度的结果会传递给dehaze的decoder。两个decoder共享同一个encoder,整体结构和encoder的结构如下所示:
对于估计深度图的部分,这里的约束是左右图像的一致性,即通过视差图去warp左图像,使得其和右图像保持一致性。如下图所示,该部分的decoder最后四层依次学到四个尺度的视差图,并传递给下一层以及用来计算一致性的Loss,所以测试的时候只需要一张图输入。
dehaze的decoder和正常的没有区别。因为是共享encoder,所以encoder的特征也间接将dehaze和预测深度结合了起来,从而使得深度信息帮助dehaze。这里的Loss包括:
深度图估计损失,即通过深度图重建的右图像和真实的右图像的差别:
其次,深度图应当尽可能平滑:
最后,输出的dehaze的图要和GT在结构和颜色上尽可能的像:
其他部分详见论文。