从梯度不确定性重新思考多模态学习
机器学习
2026-02-09 v3
摘要
多模态学习（MML）整合来自不同模态的信息以提高预测精度。尽管现有的优化策略通过缓解梯度方向冲突取得了显著进展，我们仍从基于梯度的视角重新审视 MML 以探索进一步的改进。在经验上，我们观察到一个有趣的现象：在冲突和非冲突设置中均可能持续存在性能波动。基于此，我们认为：除梯度方向外，梯度的内在可靠性是优化中的决定性因素，需要对梯度不确定性进行显式建模。受此洞见启发，我们提出了面向 MML 的贝叶斯导向梯度校准（BOGC-MML）。我们的方法将梯度显式建模为概率分布以捕捉不确定性，并在主观逻辑与证据理论框架内将其精度解释为证据。随后，通过使用约简的 Dempster 组合规则聚合这些信号，BOGC-MML 根据梯度的可靠性自适应地对其加权，以生成校准后的更新。大量实验证明了所提方法的有效性与优势。
引用
@article{arxiv.2505.23071,
title = {Rethinking Multi-Modal Learning from Gradient Uncertainty},
author = {Peizheng Guo and Jingyao Wang and Wenwen Qiang and Jiahuan Zhou and Changwen Zheng and Gang Hua},
journal= {arXiv preprint arXiv:2505.23071},
year = {2026}
}