通过通道交换的深度多模态融合
计算机视觉与模式识别
2020-12-08 v2 机器学习
摘要
利用多源数据进行分类或回归的深度多模态融合已在各类应用上展现出相对于单模态的明显优势。然而，当前方法（包括基于聚合与基于对齐的融合）仍不足以平衡模态间融合与模态内处理之间的权衡，造成性能提升的瓶颈。为此，本文提出通道交换网络（CEN），一种在不同模态子网络间动态交换通道的无参数多模态融合框架。具体而言，通道交换过程由个体通道重要性自引导，该重要性通过训练期间 Batch-Normalization（BN）缩放因子的大小来度量。此种交换过程的有效性亦由跨模态共享卷积滤波器但保持独立 BN 层所保证，其作为附加益处，使我们的多模态架构几乎与单模态网络一样紧凑。基于 RGB-D 数据的语义分割与通过多域输入的图像翻译的大量实验验证了我们的 CEN 相对于当前最优方法的有效性。详细的消融研究亦已开展，可证明地确认了我们提出的各组件优势。我们的代码见 https://github.com/yikaiw/CEN。
引用
@article{arxiv.2011.05005,
title = {Deep Multimodal Fusion by Channel Exchanging},
author = {Yikai Wang and Wenbing Huang and Fuchun Sun and Tingyang Xu and Yu Rong and Junzhou Huang},
journal= {arXiv preprint arXiv:2011.05005},
year = {2020}
}
备注
NeurIPS 2020. Code and models: https://github.com/yikaiw/CEN