通过受限一致性实现多样性：多模态融合的几何正则化
计算机视觉与模式识别
2026-05-26 v3 机器学习
摘要
多模态融合常被视为优化平衡问题，通过调整训练信号防止某一模态主导其他模态。然而，平衡优化并不完全决定中间表示的几何。受监督的多模态模型可能仍学习低多样性的模态特定嵌入，或允许配对跨模态观察过度分离，削弱单模态鲁棒性和多模态融合。我们引入\regName，一种轻量级即插即用几何正则化框架，用于多模态表征学习。与强制严格跨模态对齐不同，\regName遵循受限一致性原则：保持模态特定多样性，同时软性约束仅限于超过可接受一致性带的配对跨模态漂移。操作上，\regName结合缓解谱浓度的离散项与控制过度配对漂移的一致性带锚定项，无需架构修改或推理时开销。实验在音频-视频、图像-文本和射频基准上表明\regName consistently提高多模态性能，常强化单模态表征。这些结果表明，显式调节表征几何是优化平衡有效的补充手段，并为几何感知正则化在多样化架构和领域中改进多模态学习提供证据。
引用
@article{arxiv.2601.21670,
title = {Diverse via bounded Agreement: Geometric Regularization for Multimodal Fusion},
author = {Zixuan Xia and Hao Wang and Pengcheng Weng and Yanyu Qian and Yangxin Xu and William Dan and Fei Wang},
journal= {arXiv preprint arXiv:2601.21670},
year = {2026}
}