渐进融合用于多模态集成
机器学习
2022-11-22 v2 多媒体
摘要
近年来，集成来自不同来源的多模态信息已被证明可提升机器学习模型性能，因而受到越来越多的关注。此类模型常使用深度模态专用网络获取单模态特征，再将其组合得到“晚期融合”表示。然而，这些设计面临各自单模态流水线中信息丢失的风险。另一方面，早期组合特征的“早期融合”方法则受困于特征异质性与高样本复杂度问题。本工作中，我们提出一种称为渐进融合的迭代表示精炼方法，缓解了晚期融合表示的上述问题。这一模型无关技术引入反向连接，使晚期阶段融合表示可供早期层使用，在保留晚期融合设计优势的同时，提升了这些阶段表示的表达能力。我们在情感倾向检测、多媒体分析及时间序列融合等任务上以不同模型测试渐进融合，展示了其通用性。我们表明该方法持续带来性能提升，例如在多模态时间序列预测中MSE降低5%、鲁棒性提升40%。
引用
@article{arxiv.2209.00302,
title = {Progressive Fusion for Multimodal Integration},
author = {Shiv Shankar and Laure Thompson and Madalina Fiterau},
journal= {arXiv preprint arXiv:2209.00302},
year = {2022}
}