阅读论文《Burst Denoising via Temporally Shifted Wavelet Transforms》

   2020 ECCV的一篇论文,通过小波域处理实现去噪,同时利用特征shift增加少数计算就可以达到多帧去噪效果。

之前方法的问题

处理多帧去噪需要大量的计算,且对不同帧处理的灵活性较差。

论文提出的点

1.将输入图像进行小波分解,更加有利于保留高频局部细节
2.通过channel wise的特征shift方式,将其扩展到其他帧上,从而有利于节省计算量,并且可以扩展到任意长度的帧数上

论文的方法

论文处理单帧和多帧的方案的整体框架分别如下所示:

1.对单个图像,网络使用小波变换进行小波pooling和unpooling操作,从而利用小波变换对信号保留的完备性,有戏减少信号损失,同时避免噪声的放大,并有利于保留高频特征。
2.使用时序特征转移用于多帧去噪,这里具体的操作是将每帧的八分之一通道进行迁移,这样使得多帧计算量和单帧几乎一样多,而不是像一般多帧计算时一次性送入多帧图像导致出现的计算boom的情况。
3.损失函数基于L1损失和边缘梯度损失。

结果与思考

看上去效果还可以,见论文
思考:论文的亮点是引入了时序特征转移(TSM)模块,来源于视频理解,事实上,许多视频领域的trick与方法都可以和多帧图像处理结合在一起,在这个角度思考和寻找方法是一个不错的选择。

0%