多模态域泛化的模态平衡协作蒸馏
计算机视觉与模式识别
2026-01-29 v3 机器学习
摘要
权平均 (WA) 已成为通过促进损失景观向平坦区域收敛来增强泛化能力的强大技术，这与更强的 out-of-distribution 性能相关。然而，直接将 WA 应用于多模态域泛化 (MMDG) 面临挑战：不同模态的优化速度差异导致 WA 在早期阶段过度拟合速度更快的模态，压制速度较慢但互补的模态的贡献，从而阻碍有效的模态融合，使损失景观倾向于更尖锐的、较不通用 minima。为此，我们提出 MBCD，一个统一的协作蒸馏框架，保留 WA 带来的平坦化优势，同时克服其在多模态情境中的局限。MBCD 通过学生模型中的自适应模态 dropout 来抑制早期阶段对主导模态的偏见。随后，梯度一致性约束将单模态分支与融合表示之间的学习信号对齐，鼓励协调且平滑的优化。最后，基于 WA 的教师进行跨模态蒸馏，将融合知识传递给每个单模态分支，从而加强跨模态相互作用，引导收敛向更平坦的解。广泛的 MMDG benchmark 实验表明，MBCD consistently 优于现有方法，在 diverse 未见域上实现卓越的准确率和鲁棒性。
关键词
引用
@article{arxiv.2511.20258,
title = {Modality-Balanced Collaborative Distillation for Multi-Modal Domain Generalization},
author = {Xiaohan Wang and Zhangtao Cheng and Ting Zhong and Leiting Chen and Fan Zhou},
journal= {arXiv preprint arXiv:2511.20258},
year = {2026}
}