基于总相关性最大化的多模态分类
计算机视觉与模式识别
2026-03-11 v2
摘要
多模态学习整合来自不同传感器的数据，以有效地利用来自不同模态的信息。然而，最近的研究表明，联合学习容易过度拟合某些模态而忽略其他模态，导致性能低于单模态学习。尽管之前的努力试图在模态贡献方面实现平衡或组合联合和单模态学习，从而通过积极结果缓解较弱模态的降级，但很少从信息论视角考察联合学习与单模态学习之间的关系。在本文中，我们从信息论角度分析了模态竞争，提出一种通过最大化多模态特征与标签之间的总相关性来进行多模态分类的方法。通过最大化该目标，我们的方法在捕捉模态间相互作用方面通过特征对齐来缓解模态竞争。基于 MINE，我们引入总相关性神经估计 (TCNE) 来推导总相关性的下界。随后，我们提出 TCMax，一个无需调节超参数的损失函数，通过变分界优化来最大化总相关性。广泛的实验表明，TCMax 在各种联合和单模态学习方法中均表现出色。我们的代码已公开于 https://github.com/hubaak/TCMax。
引用
@article{arxiv.2602.13015,
title = {Multimodal Classification via Total Correlation Maximization},
author = {Feng Yu and Xiangyu Wu and Yang Yang and Jianfeng Lu},
journal= {arXiv preprint arXiv:2602.13015},
year = {2026}
}
备注
Accepted for publication at ICLR 2026; 19 pages; 2 figures