阅读论文《Basis Prediction Networks for Effective Burst Denoising with Large Kernels》

   2020 CVPR去噪论文,对KPN进行简化提高效率与性能。

原来工作的问题

1.原有的用于去噪的KPN方法产生的kernel参数维数太高,导致计算量非常大
2.原有的KPN产生的kernel比较小,限制其在更大区域内发挥作用

论文提出的点

1.由于自然图像具有内在自相关性,因此生成的kernel之间也具有自相关性结构
2.生成的核在空间上应当是在低维层面上可得到的

论文的方法

1.使用基本组成KPN(BPN网络),产生的kernel将是全局的而不是对每个像素都是特定的kernel,因此可以有效降低参数量。例如这里假定的全局kernel是B维的,对于kernel作用在输入图的结果再进行加权,每个像素使用一个加权值v。这样,还需要生成一个per pixel权重图,因此论文使用的方法只需要生成WHB+K^2TB的参数,而原来的KPN方法需要生成WHK^2T参数,可见可以大大减少参数量,方法整体框架如下图所示:

2.为了使得生成的全局kernel与像素位置无关,在encoder和生成kernel的decoder进行连接中,使用全局池化操作。
3.为了确保kernel的权重和为1,这里对生成的kernel加入softmax约束进行归一化
4.除了对参考帧,对其他帧也使用loss进行约束
5.加入傅里叶操作,这里没看了

实验与效果

K设成了15,B设成了90,效果略

思考

论文的出发点是自然图像的内在自相关性,利用这种自相关性可以有效减少参数量,对于其他low level任务也有借鉴意义。

0%