基于块路由空间自适应 GAN 的可扩展无配对虚拟试穿

基于图像的虚拟试穿因巨大的现实潜力，成为以人为中心的图像生成中最具前景的应用之一。然而，由于大多数试穿方法将商城服饰拟合到目标人物上，它们需要费力且受限的配对训练数据集构建过程，严重限制了可扩展性。尽管近期少数工作尝试将服饰直接从一人转移到另一人，缓解了配对数据收集需求，但其性能受限于缺乏配对（监督）信息。特别是，服饰的风格与空间信息解耦成为挑战，现有方法或通过辅助数据、或通过繁复的在线优化流程来解决，因而仍制约其可扩展性。为实现一个可扩展的、能以无监督方式在源与目标人物间转移任意服饰的虚拟试穿系统，我们提出一种保持纹理的端到端网络——块路由空间自适应 GAN（PASTA-GAN），以支持真实场景下的无配对虚拟试穿。具体而言，为解耦每件服饰的风格与空间信息，PASTA-GAN 包含创新的块路由解耦模块以成功保留服饰纹理与形状特征。在源人物关键点引导下，块路由解耦模块先将服饰解耦为归一化块，从而消除服饰固有的空间信息，再将归一化块重建为符合目标人物姿态的形变服饰。给定形变服饰，PASTA-GAN 进一步引入新颖的空间自适应残差块，引导生成器合成更逼真的服饰细节。