XVerse：通过 DiT 调制实现多主体身份与语义属性的一致控制
计算机视觉与模式识别
2025-06-27 v1
摘要
在文本到图像生成中，实现对多个主体的身份细粒度控制以及语义属性（姿态、风格、光照）常常会削弱扩散变换器（DiT）的可编辑性和一致性。许多方法会引入损伤或 suffer from 属性 entangled。为克服这些挑战，我们提出了一种新的多主体受控生成模型XVerse。通过将参考图像转换为用于 token-specific 文本流调制的偏移量，XVerse允许对特定主体进行精确且独立的控制，而不会干扰图像潜在表示或特征。因此，XVerse实现了高保真、可编辑的多主体图像合成，能够对单个主体特征和语义属性实现稳健的控制。这一突破性进展显著提升了个性化和复杂场景生成的能力。
引用
@article{arxiv.2506.21416,
title = {XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation},
author = {Bowen Chen and Mengyi Zhao and Haomiao Sun and Li Chen and Xu Wang and Kang Du and Xinglong Wu},
journal= {arXiv preprint arXiv:2506.21416},
year = {2025}
}
备注
Project Page: https://bytedance.github.io/XVerse Github Link: https://github.com/bytedance/XVerse