基于模态的分解用于多模态融合
机器学习
2023-04-18 v3 机器学习
摘要
我们提出一种新方法，基于模态的冗余削减融合（MRRF），用于理解和调节多模态推理任务中每种模态的相对贡献。这是通过获得一个 阶张量以考虑 个模态与神经网络模型输出层之间的高阶关系来实现的。应用一种基于模态的张量分解方法，该方法为不同模态采用不同因子，从而去除某一模态中可由其他模态针对模型输出进行补偿的信息。这有助于理解各模态中信息的相对效用。此外，它带来参数更少、更简单的模型，因此可作为正则化器避免过拟合。我们将该方法应用于情感分析、人格特质识别和情绪识别这三个不同的多模态数据集。我们能够识别这些任务中不同模态的关系与相对重要性，并在所有三个任务上相比最先进水平（SOTA）在若干评价指标上取得 1% 至 4% 的提升。
引用
@article{arxiv.1811.12624,
title = {Modality-based Factorization for Multimodal Fusion},
author = {Elham J. Barezi and Peyman Momeni and Pascale Fung},
journal= {arXiv preprint arXiv:1811.12624},
year = {2023}
}