AIM：基于库仑定律的自适应星内调制用于多模态学习平衡
计算机视觉与模式识别
2025-11-04 v3
摘要
多模态学习显著提升了机器学习性能，但仍面临诸多挑战和限制。不平衡的多模态学习是近期研究中广泛关注的一个问题，通常通过调制每种模态的学习来缓解。然而，我们发现这些方法通常会阻碍主导模态的学习，以促进较弱的模态，这会影响整体的多模态性能。我们分析了此问题的根源，并突出了一个常被忽视的问题：网络内部的优化偏差。为此，我们提出了自适应星内调制（AIM）以提高平衡的模态学习。AIM 在调制过程中考虑到网络内部参数和深度之间的优化状态差异，实现了在不阻碍主导模态或弱势模态的情况下的平衡多模态学习。具体而言，AIM 将主导模态的未优化参数解耦到辅助模块中，并鼓励这些性能下降的模块与较弱的模态进行联合训练。该方法有效地防止了较弱模态的抑制，同时实现了对未优化参数的针对性优化，以提高主导模态的性能。此外，AIM 评估了网络各深度处的模态不平衡水平，并自适应地调整各深度处的调制强度。实验结果表明，AIM 在多个基准测试上优于最先进的不平衡模态学习方法，并在不同 backbone、融合策略和优化器之间表现出强大的通用性。
引用
@article{arxiv.2508.19769,
title = {AIM: Adaptive Intra-Network Modulation for Balanced Multimodal Learning},
author = {Shu Shen and C. L. Philip Chen and Tong Zhang},
journal= {arXiv preprint arXiv:2508.19769},
year = {2025}
}
备注
13pages,7 figures