JanusFlow：协调自回归与整流流以实现统一的多模态理解与生成
计算机视觉与模式识别
2025-03-25 v2 人工智能
计算与语言
摘要
我们提出了 JanusFlow，这是一个在单一模型中统一图像理解与生成的强大框架。JanusFlow 引入了一种极简架构，将自回归语言模型与整流流（一种生成建模中的前沿方法）相结合。我们的关键发现表明，整流流可以直接在大型语言模型框架内进行训练，从而无需复杂的架构修改。为了进一步提升我们统一模型的性能，我们采用了两个关键策略：(i) 解耦理解与生成编码器，以及 (ii) 在统一训练过程中对齐它们的表示。大量实验表明，JanusFlow 在各自领域取得了与专用模型相当或更优的性能，同时在标准基准测试中显著优于现有的统一方法。这项工作代表了朝着更高效、更通用的视觉-语言模型迈出的一步。
引用
@article{arxiv.2411.07975,
title = {JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation},
author = {Yiyang Ma and Xingchao Liu and Xiaokang Chen and Wen Liu and Chengyue Wu and Zhiyu Wu and Zizheng Pan and Zhenda Xie and Haowei Zhang and Xingkai yu and Liang Zhao and Yisong Wang and Jiaying Liu and Chong Ruan},
journal= {arXiv preprint arXiv:2411.07975},
year = {2025}
}
备注
Accepted by CVPR 2025