多服装定制化模型生成
计算机视觉与模式识别
2024-08-12 v1
摘要
本文提出了多服装定制化模型生成，这是一个基于潜在扩散模型（LDM）的统一框架，旨在解决自由组合多件服装合成图像的未探索任务。该方法侧重于根据不同的文本提示生成穿着各种目标服装的定制化模型。主要挑战在于在保持穿着模型自然外观的同时保留每件服装的复杂纹理，确保不同服装的信息不会相互干扰。为应对这些挑战，我们首先开发了一种服装编码器，它是具有共享权重的可训练UNet副本，能够并行提取服装的详细特征。其次，我们的框架通过解耦的多服装特征融合支持多件服装的条件生成，允许多个服装特征注入主干网络，显著缓解了服装信息之间的冲突。此外，所提出的服装编码器是一个即插即用模块，可以与其他扩展模块（如IP-Adapter和ControlNet）结合使用，增强了生成模型的多样性和可控性。大量实验证明了本方法相对于现有替代方案的优势，为多件服装组合图像生成任务开辟了新途径。
引用
@article{arxiv.2408.05206,
title = {Multi-Garment Customized Model Generation},
author = {Yichen Liu and Penghui Du and Yi Liu Quanwei Zhang},
journal= {arXiv preprint arXiv:2408.05206},
year = {2024}
}