Nexus-Gen：基于预填充自回归的统一图像理解、生成与编辑框架
计算机视觉与模式识别
2025-07-16 v3 人工智能
摘要
统一多模态生成模型旨在整合图像理解与生成能力，尤其在充分利用交错文本-图像数据方面具有显著优势。然而，现有统一模型在图像合成质量、自回归误差累积以及图像编辑能力方面存在局限。本文提出了 Nexus-Gen，一种新型架构，统一图像理解、生成与编辑任务于共享图像嵌入空间中。该共享空间作为自回归模型与扩散模型之间的桥梁，无缝集成了二者在跨模态建模中的互补优势。为缓解自回归嵌入预测中严重的误差累积，本文提出了一种新颖的预填充自回归策略，通过预填充可学习嵌入来对齐训练-推理动态。该方法在由我们构建的包含 2630 万样本的大型数据集上进行多阶段、多任务训练后，在涵盖图像理解、生成与编辑任务的评估基准上实现了最先进的性能。所有模型、数据集和源代码均已在 https://github.com/modelscope/Nexus-Gen 发布，以推动该领域的进一步发展。
引用
@article{arxiv.2504.21356,
title = {Nexus-Gen: Unified Image Understanding, Generation, and Editing via Prefilled Autoregression in Shared Embedding Space},
author = {Hong Zhang and Zhongjie Duan and Xingjun Wang and Yuze Zhao and Weiyi Lu and Zhipeng Di and Yixuan Xu and Yingda Chen and Yu Zhang},
journal= {arXiv preprint arXiv:2504.21356},
year = {2025}
}