StableGarment：基于 Stable Diffusion 的服装导向生成
计算机视觉与模式识别
2024-03-19 v1
摘要
本文介绍了 StableGarment，一个统一的框架，用于解决服装导向（GC）生成任务，包括 GC 文本到图像、可控 GC 文本到图像、风格化 GC 文本到图像以及稳健的虚拟试穿。主要挑战在于在保持服装精细纹理的同时维持预训练 Stable Diffusion 的灵活性。我们的解决方案是开发了一个服装编码器，是一个带有可训练复制的去噪 UNet，配备了可加性自注意力（ASA）层。这些 ASA 层专门用于传递详细的服装纹理，也促进了风格化基础模型的集成，以创建风格化图像。此外，引入专门的试穿 ControlNet 使 StableGarment 能够精确执行虚拟试穿任务。我们还构建了一个新型数据引擎，生成高质量的合成数据以保持模型遵循提示的能力。广泛的实验表明，我们的方法在现有虚拟试穿方法中实现了最先进（SOTA）结果，并在各种服装导向图像生成任务中表现出高灵活性和广泛的潜在应用。
引用
@article{arxiv.2403.10783,
title = {StableGarment: Garment-Centric Generation via Stable Diffusion},
author = {Rui Wang and Hailong Guo and Jiaming Liu and Huaxia Li and Haibo Zhao and Xu Tang and Yao Hu and Hao Tang and Peipei Li},
journal= {arXiv preprint arXiv:2403.10783},
year = {2024}
}