2019 ICCV的论文,没怎么看懂,随便写写放在这,有大佬看懂的带带我orz…..
论文的出发点是对不同区域不同程度的雾采用不同程度的监督,最后将得到的结果融合在一起。具体而言,就是对于较少的雾可以通过少量的stage完成,而严重的雾要通过更多的stage处理。最后结合各个阶段得到结果的优点,对最终结果进行整合,获得较好的结果。整合各个阶段时,low level层次关注各个阶段的内容特征,high level则从全局角度关注各个阶段之间的关联性。整体框架结构如下图所示:
可以看出其由A net,t net,restoration layer和I-net组成,各部分简介如上图。t-net每一步生成的t map不仅用于输出,还用来辅助下一步去雾。而A-net则被构建成一个分类网络,通过分类的方法实现对A map的估计。得到的和A通过下面公式获得去雾的结果J:
I-net的结构如下图所示,目的是产生结合不同J结果生成最终结果的权重。
该网络分成两个部分,分别是Content-based 权重预测$w_c^s$和Contextual 权重预测$w_l^s$。通过$w_l^s$使用引导滤波和CRF产生最终融合J的权重$w_s$,权重产生的过程太过复杂,这里不表。
Loss如下,包括产生t map的loss:
A map的loss:
首先对这两个网络分别做训练,然后加上Lc loss:
对$L = L_t +L_s+L_c$联合训练,得到最终结果。整体感觉这个工作做的非常复杂,实际work的应该还是mutiple fusion的结果,构建不同的模型进行self ensemble。不过论文不公布code的话,复现应该非常困难。