通过梯度调制与投影实现多模态域泛化的平衡
机器学习
2026-03-17 v1 计算机视觉与模式识别
摘要
多模态域泛化（MMDG）利用多种模态的互补优势以增强模型在未见域上的泛化能力。多模态学习的核心挑战之一是优化不平衡，即各模态在训练期间收敛速度不同。这种不平衡导致梯度贡献不均，部分模态主导学习过程，而其他模态则滞后。现有平衡策略通常基于源域上各模态的分类性能来调节其梯度贡献，以缓解此问题。然而，仅依赖源域准确率忽略了 MMDG 的一个关键洞察：在源域表现优异的模态可能在未见域上泛化性差，限制了跨域收益。为克服这一局限，我们提出梯度调制投影（GMP），一种统一的平衡策略，以语义和域置信度为基础调制各模态的梯度。此外，GMP 通过跟踪各任务的相对强度，动态调整梯度投影，从而减轻模态特定编码器中分类与域不变学习之间的冲突。大量实验表明，GMP 实现了最先进的性能，并能灵活集成到各种 MMDG 方法中，显著提升跨多个基准的泛化能力。
引用
@article{arxiv.2603.14175,
title = {Balancing Multimodal Domain Generalization via Gradient Modulation and Projection},
author = {Hongzhao Li and Guohao Shen and Shupan Li and Mingliang Xu and Muhammad Haris Khan},
journal= {arXiv preprint arXiv:2603.14175},
year = {2026}
}
备注
AAAI 2026 Oral Accepted