InstantCharacter：基于可扩展扩散 Transformer 框架的任意角色个性化
计算机视觉与模式识别
2025-04-18 v1
摘要
当前基于学习的主体定制方法主要依赖 U-Net 架构，其泛化能力有限且图像质量受损。同时，基于优化的方法需要针对特定主体进行微调，这不可避免地降低了文本可控性。为了应对这些挑战，我们提出了 InstantCharacter，这是一个构建于基础扩散 Transformer 之上的可扩展角色定制框架。InstantCharacter 展现出三个基本优势：首先，它实现了跨多样角色外观、姿态和风格的开放域个性化，同时保持高保真结果。其次，该框架引入了一个带有堆叠 Transformer 编码器的可扩展适配器，能有效处理开放域角色特征，并无缝与现代扩散 Transformer 的潜空间进行交互。第三，为了有效训练该框架，我们构建了一个包含千万级样本的大规模角色数据集。该数据集被系统地组织为配对（多视角角色）和非配对（文本-图像组合）子集。这种双数据结构通过不同的学习路径，实现了对身份一致性和文本可编辑性的同时优化。定性实验表明，InstantCharacter 在生成高保真、文本可控且角色一致的图像方面具有先进能力，为角色驱动的图像生成树立了新的基准。我们的源代码可在 https://github.com/Tencent/InstantCharacter 获取。
引用
@article{arxiv.2504.12395,
title = {InstantCharacter: Personalize Any Characters with a Scalable Diffusion Transformer Framework},
author = {Jiale Tao and Yanbing Zhang and Qixun Wang and Yiji Cheng and Haofan Wang and Xu Bai and Zhengguang Zhou and Ruihuang Li and Linqing Wang and Chunyu Wang and Qin Lin and Qinglin Lu},
journal= {arXiv preprint arXiv:2504.12395},
year = {2025}
}
备注
Tech Report. Code is available at https://github.com/Tencent/InstantCharacter