阅读论文"U2Fusion:A Unified Unsupervised Image Fusion Network"

   2020 PAMI,使用一个模型可以应用到各种图像融合任务。

原来方法的问题

1.对于各种图像融合任务来说,一个通用的融合模型是不存在的,因为缺少一个通用的参考图像或者GT
2.不同类型的图像融合任务具有相似点,应当可以使用通用模型解决这些问题

论文提出的点

1.将不同融合任务使用相同的模型去解决,这些任务之间可以互相促进,提升泛化性
2.通过衡量融合图像和原始图像的相似性,使得原始图像更多的内容能被保持,该策略同时可以应对没有参考图像的情况

论文的方法

论文整体方法图如下所示:

1.论文构建方法的核心问题是衡量原始图像相对融合结果的重要性,从而使得方法可以无监督运行
2.特征提取网络使用VGG 16网络,这里将浅层特征和深层特征进行了结合
3.为了衡量信息的相似性,这里使用梯度图进行表示,其更为轻便且利于存储。计算两个梯度图有之间的softmax,生成权重w1,w2作为融合的权重
4.损失函数方面,为了约束w1,w2,这里使用SSIM和MSE将输出结果和输入的两个图像利用权重w1,w2作为约束,表示为:
Lssim(θ; D) = E[w1 · (1 − S If ;I1) + w2 · (1 − S If ;I2)]
Lmse(θ; D) = E[w1 · MSEIf ;I1 + w2 · MSEIf ;I2]:

  1. 为了使得其可以适用于不同任务,这里使用continue learning进行泛化表示,即对每个任务来说,保留一部分对该任务较为重要的参数,如下图所示:

6.对于多个图像融合,可以将两两融合的机制串起来即可,如下图所示:

结果与思考

思考:将具有相似特性的多个任务结合起来,发掘其中共性并进行相应的学习,可以作为探索问题的一个角度

0%