基于$\beta$-泛化前门准则的干预式不平衡多模态表示学习
机器学习
2025-04-18 v2 统计方法学
摘要
多模态方法在整体上优于单模态方法。然而，不同模态对任务依赖预测的不平衡贡献不断降低典型多模态方法的判别性能。根据对任务依赖预测的贡献，模态可以被识别为主导模态和辅助模态。基准方法提出了一个易处理的解决方案：在训练期间增强贡献较小的辅助模态。然而，我们的实证探索挑战了这种行为背后的基本思想，我们进一步得出结论，基准方法存在某些缺陷：理论可解释性不足和判别性知识的探索能力有限。为此，我们从因果角度重新审视多模态表示学习，并构建了结构因果模型。遵循实证探索，我们决定在考虑辅助模态的同时，捕获主导模态的判别性知识与预测标签之间的真实因果关系。因此，我们引入了-泛化前门准则。此外，我们提出了一种新颖的网络，用于充分探索多模态判别性知识。提供了严格的理论分析和各种实证评估，以支持我们提出的方法背后内在机制的有效性。
引用
@article{arxiv.2406.11490,
title = {Interventional Imbalanced Multi-Modal Representation Learning via $\beta$-Generalization Front-Door Criterion},
author = {Yi Li and Fei Song and Changwen Zheng and Jiangmeng Li and Fuchun Sun and Hui Xiong},
journal= {arXiv preprint arXiv:2406.11490},
year = {2025}
}