阅读论文《Multi-Temporal Recurrent Neural Networks For Progressive Non-Uniform Single Image Deblurring With Incremental Temporal Training》

   2020 ECCV的一篇论文(名字太长了),基本思想是通过引入中间blur,实现对blur coarse to fine的恢复,中间blur通过时间平均的不同长度得到。

之前方法的问题

之前方法和论文方法对比如下图所示:

1.One tage方案,过于直接和naive
2.b的stacking方案,不同级别输入不相同,会导致参数量的增加
3.c的多scale方案,在较小的scale上会造成细节损失

论文提出的点

1.在相同的scale上进行deblur,只是在原始迭代层面上进行小规模的deblur,而在后面进行更大规模的deblur,不同规模的blur通过控制帧平均数来得到,不同迭代层面的网络共享参数
2.使用RNN方案实现特征循环利用

论文的方法

论文提出方法的框架如下所示:

1.对每次迭代,分别和对应级别的blur结果做loss,随着迭代次数的增加,对应级别的blur越来越接近于clean图像,这种策略和课程学习的策略非常像
2.每次迭代时,输入是将上一次迭代输出结果和原始输入concat在一起输入
3.将前一层级迭代的decoder feature concat到下一级别的encoder上,这有利于包含一些blur的pattern信息

结果与思考

看上去效果还可以,见论文
思考:论文和以往的deblur角度不同,从另一个角度去思考了如何利用中间信息实现progressive的去模糊,思考问题方式值得借鉴。对于其他问题,在实现coarse to fine思路的时候,也可以参考类似思路

0%