面向平衡多模态信息提炼的自适应冗余调控
机器学习
2025-11-19 v1 人工智能
摘要
多模态学习旨在通过利用来自多个源的数据来提升性能。在联合多模态训练过程中，由于模态偏差，优势模态往往主导反向传播，导致优化不平衡。现有方法仍面临两个问题：首先，主导模态的长期主导地位削弱了训练后期表示与输出的耦合，导致冗余信息的积累。其次，先前的方法通常直接且统一地调整优势模态的梯度，忽略了模态间的语义和方向性。为解决这些局限性，我们受信息瓶颈原理启发，提出了面向平衡多模态信息提炼的自适应冗余调控（RedReg）。具体来说，我们构建了一个冗余阶段监测器，它使用有效增益增长率和冗余的联合标准，仅在冗余度高时触发干预。此外，我们设计了一个协同信息门控机制，基于跨模态语义来估计当前主导模态的贡献。当任务主要依赖单一模态时，抑制项会自动禁用，以保留模态特定信息。最后，我们将主导模态的梯度投影到联合多模态梯度子空间的正交补上，并根据冗余度抑制梯度。实验表明，我们的方法在大多数场景下均优于当前主流方法。消融实验验证了我们方法的有效性。代码可在 https://github.com/xia-zhe/RedReg.git 获取。
引用
@article{arxiv.2511.13755,
title = {Adaptive Redundancy Regulation for Balanced Multimodal Information Refinement},
author = {Zhe Yang and Wenrui Li and Hongtao Chen and Penghong Wang and Ruiqin Xiong and Xiaopeng Fan},
journal= {arXiv preprint arXiv:2511.13755},
year = {2025}
}