阅读论文"Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements"

   CVPR 2019,做非对齐情况下的图像反光去除。去反光的问题主要有两个,分别是恢复过程中存储歧义性(就是哪些需要被去除,哪些不需要),以及缺少真实情况下完全对齐的图片。论文使用的方法整体结构如下所示:

在网络基本的setting上,这里去掉了BN,以及将通道数从64提到了256通道,以及特征提取时使用VGG网络,因为VGG网络可以提取一些语义层面上的特征,可以帮助后续的去反射部分。此外,为了更加充分利用全局信息,这里还使用了channel attention和多尺度卷积。在对齐的仿真数据上,这里使用了Pixel loss,Feature loss和Adv loss。
   对于非对齐的情况下,这里论文发现高阶的语义特征对于非对齐情况下不敏感,但是可以有效帮助语义恢复,因此,这里使用VGG高层语义loss和Adv loss。在非对齐数据上训练时,这里在对齐情况下训练好的网络上进行finetune。
   实验里,这里对于非对齐的情况还进行了仿真,即对像素进行一些偏移,然后进行训练,从而可以得到定量化的结果。总而言之,论文对于非对齐部分处理还是比较粗糙的,网络上也有许多可以改进的点。

0%