DRDF：用双路由器动态框架确定不同多模态信息的重要性
计算机视觉与模式识别
2021-07-22 v1
摘要
在多模态任务中，我们发现文本与图像模态信息的重要性因不同输入样本而异，基于此动机，我们提出了一种高性能且高通用性的双路由器动态框架（DRDF），由双路由器、MWF-Layer、专家与专家融合单元组成。双路由器中的文本路由器与图像路由器分别接收文本模态信息与图像模态信息，并利用 MWF-Layer 确定模态信息的重要性。基于确定结果，MWF-Layer 生成用于专家融合的融合权重。专家是匹配当前任务的模型骨干。DRDF 具有高性能与高通用性，我们已在多模态数据集 Hateful memes、单模态数据集 CIFAR10、CIFAR100 与 TinyImagenet 上对 Visual BERT 等 12 个骨干进行了测试。我们的 DRDF 优于所有基线。我们还通过消融实验详细验证了 DRDF 的各组件，并比较与讨论了 DRDF 设计的原因与思路。
引用
@article{arxiv.2107.09909,
title = {DRDF: Determining the Importance of Different Multimodal Information with Dual-Router Dynamic Framework},
author = {Haiwen Hong and Xuan Jin and Yin Zhang and Yunqing Hu and Jingfeng Zhang and Yuan He and Hui Xue},
journal= {arXiv preprint arXiv:2107.09909},
year = {2021}
}