多模态模型中模态竞争的二阶多级方差校正
计算机视觉与模式识别
2026-05-18 v1 人工智能
摘要
自回归式下一词训练为图像生成和文本理解提供了统一的表述，但也导致强烈的模态竞争，使优化不稳定并限制大批量扩展。在本文中，我们指出一阶优化器如AdamW易受跨模态梯度异质性影响，而二阶预条件化（特别是SOAP）为多模态对齐提供了更稳定的基础。基于此洞见，我们提出一种基于多级方差校正（ML-FOP-SOAP）的二阶优化框架。我们的Fisher正交投影抑制方差引起的模态冲突，减少了视觉生成与文本理解之间的权衡。在大批量梯度累积条件下，我们引入层次化折叠策略以低微步骤开销捕获细粒度方差。在Janus和Emu3数据集上的实验显示，两种模态均实现一致提升，并在batch size为8192时实现稳定训练。与AdamW相比，我们的方法在样本效率上提升最高可达，加快墙钟时间训练速度最高可达，为扩缩多模态基础模型提供了稳健的优化器。
引用
@article{arxiv.2605.16165,
title = {Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models},
author = {Yishun Lu and Wes Armour},
journal= {arXiv preprint arXiv:2605.16165},
year = {2026}
}