塑造初始状态可防止多模态融合中的模态竞争：基于快速部分信息分解的两阶段调度框架
机器学习
2025-09-26 v1
摘要
多模态融合在联合训练期间常常因模态竞争而受到影响，即一种模态主导学习过程，导致其他模态优化不足。大多数现有方法在联合训练阶段忽视了模型初始状态的关键影响。本研究引入两个阶段的训练框架，通过单模态训练塑造初始状态。首先，我们提出有效竞争强度（Effective Competitive Strength, ECS）的概念，用于量化某一模态的竞争强度。我们的理论分析进一步揭示，通过单模态训练正确塑造初始 ECS 可实现可证明的 tighter error bound。然而，ECS 在深度神经网络中计算不可行。为弥合这一差距，我们开发了一个框架，其中包括两个核心组件：细粒度可计算诊断指标和异步训练控制器。对于该指标，我们首先证明了互信息（Mutual Information, MI）是 ECS 的原则性近似值。鉴于 MI 由每个模态的边缘分布引起，从而将每个模态独立处理，我们进一步提出 FastPID——一个计算高效且可微分的部分信息分解求解器，用于将联合分布的信息分解为细粒度度量：模态特有性、冗余性和协同性。根据这些度量，我们的异步控制器通过监控唯一性动态平衡模态，并通过跟踪协同性峰值来定位开始联合训练的理想初始状态。在多样化基准上的实验表明，我们的方法实现了最先进的性能。我们的工作表明，塑造预融合模型的初始状态是一种强大的策略，能够在竞争发生前就将其可靠地缓解，实现多模态融合的协同效应。
引用
@article{arxiv.2509.20840,
title = {Shaping Initial State Prevents Modality Competition in Multi-modal Fusion: A Two-stage Scheduling Framework via Fast Partial Information Decomposition},
author = {Jiaqi Tang and Yinsong Xu and Yang Liu and Qingchao Chen},
journal= {arXiv preprint arXiv:2509.20840},
year = {2025}
}