TBAC-UniImage：基于梯子侧扩散调优的统一理解与生成模型
计算机视觉与模式识别
2025-08-15 v2
摘要
本文介绍TBAC-UniImage，一种新的统一模型，用于多模态理解与生成。我们通过将预训练扩散模型（作为生成梯子）与多模态大语言模型（MLLM）深度集成来实现这一目标。已有的基于扩散的统一模型面临两个主要局限性。一种方法仅使用MLLM最终隐藏状态作为生成条件，这会创建浅层连接，因为生成器与MLLM中间层中丰富的层次表示相隔离。另一种方法是从头开始预训练统一的生成架构，计算成本高昂，对许多研究者来说是不可行的。为克服这些问题，本工作探索了一种新范式。我们不依赖单一输出，而是使用MLLM多个不同层的表示作为扩散模型的生成条件。该方法将预训练生成器视为梯子，接收MLLM理解过程各个深度的指导。因此，TBAC-UniImage实现了理解与生成的 much 更深入和更精细的统一。
引用
@article{arxiv.2508.08098,
title = {TBAC-UniImage: Unified Understanding and Generation by Ladder-Side Diffusion Tuning},
author = {Junzhe Xu and Yuyang Yin and Xi Chen},
journal= {arXiv preprint arXiv:2508.08098},
year = {2025}
}