一些特征融合方法简笔

   简单总结一些特征融合的方法,方便以后使用

U-Net,U-Net++,HRNet

  

ExFuse: Enhancing Feature Fusion for Semantic Segmentation

   语义特征和底层特征相结合,提升表现力,下图为一个通用模块解释,以及实际的方法和高级特征融合模块:

此外,论文还通过对编码器进行监督等方式进行提升,详细可以参考 https://zhuanlan.zhihu.com/p/40216927 的分析。

Libra R-CNN: Towards Balanced Learning for Object Detection

   解决目标检测不平衡问题,这里特征融合用来解决特征不平衡的问题:

这里refine使用的是non local,此外论文里的unblance loss设计的也很有意思,详细可以参考 https://www.cnblogs.com/fourmi/p/10756556.html

CentralNet: a Multilayer Approach for Multimodal Fusion

   做多模态分类的,思路很简单,如下:

RefineNet和PSPNet

   不说了,参考分割的论文

AlignSeg: Feature-Aligned Segmentation Networks

   解决高低层特征不对齐问题(这个问题第一次看见),详情参考: https://zhuanlan.zhihu.com/p/110667995

EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network

   重点关注一下特征融合模块,论文详解参考: http://jiaqianlee.com/2020/01/25/LOW/

Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

   语义分割图引导超分辨,实际上是特征转换,详情参考:https://blog.csdn.net/gwplovekimi/article/details/84697158

LAF-Net: Locally Adaptive Fusion Networks for Stereo Confidence Estimation

   对不同特征不同重要程度进行编码,然后进行融合,如下图所示:

Dynamic Context Correspondence Network for Semantic Alignment

   和上面出发点一样,对特征进行加权融合,如下所示:

Progressive Fusion Video Super-Resolution Network via Exploiting Non-LocalSpatio-Temporal Correlations

   空间时间信息融合,可以看做是一个类型的伪3D卷积

Controllable Video Captioning with POS Sequence GuidanceBased on Gated Fusion Network

   RGB和D图像融合,如下图所示:

Deep Surface Normal Estimation with Hierarchical RGB-D Fusion

   也是RGB和D图像融合,如下图所示,是一个coarse to fine的过程:

简单记录一下,有非常新的融合方式再更…

0%