AnyDressing：基于潜扩散模型的可定制多服装虚拟试衣

近期，基于扩散模型、由文本和图像提示驱动的以服装为中心的图像生成取得了令人瞩目的进展。然而，现有方法缺乏对多种服装组合的支持，并且难以在保持对文本提示忠实度的同时保留服装细节，限制了其在多样化场景中的性能。本文聚焦于一项新任务，即多服装虚拟试衣，并提出了一种新颖的AnyDressing方法，用于根据任意服装组合和任意个性化文本提示来定制角色。AnyDressing包含两个主要网络，分别称为GarmentsNet和DressingNet，它们分别致力于提取详细的服装特征和生成定制图像。具体来说，我们在GarmentsNet中提出了一个高效且可扩展的模块，称为服装特定特征提取器，用于并行地单独编码服装纹理。这种设计在保证网络效率的同时防止了服装混淆。同时，我们在DressingNet中设计了一种自适应穿衣注意力机制和一种新颖的实例级服装定位学习策略，以准确地将多服装特征注入其对应区域。这种方法有效地将多服装纹理线索整合到生成图像中，并进一步增强了文本-图像的一致性。此外，我们引入了一种服装增强纹理学习策略，以改善服装的细粒度纹理细节。得益于我们精心的设计，AnyDressing可以作为一个即插即用的模块，轻松集成到任何扩散模型的社区控制扩展中，从而提升合成图像的多样性和可控性。大量实验表明，AnyDressing取得了最先进的结果。