BigMac：突破多模态 LLM 训练中计算与内存的 Pareto 前沿
机器学习
2026-05-26 v1
摘要
训练多模态大型语言模型（MLLM）面临模型与数据异构性挑战。现有系统通过重新设计训练管线来应对这些挑战，但仍受计算效率与内存效率之间 Pareto 前沿的制约，只能在两者之间进行权衡。我们提出 BigMac，一种新的多模态 LLM 训练管线。BigMac 的核心思想是优雅地将编码器和生成器计算嵌入原始 LLM 管线中，形成一种依赖安全的嵌套管线结构。通过这种设计，BigMac 将编码器和生成器的激活内存复杂度降至 O(1)，而保持 LLM 的激活内存复杂度不变。同时，它实现了在内存无限制的理想设置下的相同计算效率。结果，BigMac 打破了计算效率与内存使用之间的 Pareto 前沿，实现了 MLLM 训练中计算和内存的同时优化。我们在多个 MLLM 和训练工作负载上对 BigMac 进行评估。实验结果表明，BigMac 相对于基线系统实现了 1.08×-1.9× 的训练加速，同时在 batch size 增加时保持稳定的内存使用。
引用
@article{arxiv.2605.25451,
title = {BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training},
author = {Zili Zhang and Chengxu Yang and Shenglong Zhang and Chenyu Wang and Yufan Zhang and Tuo Dai and Zhouyang Li and Yuhong Ge and Chao Jin and Xin Jin and Yuliang Liu},
journal= {arXiv preprint arXiv:2605.25451},
year = {2026}
}