PASTA-GAN++：一种用于高分辨率无配对虚拟试穿的多功能框架
计算机视觉与模式识别
2022-07-28 v1
摘要
基于图像的虚拟试穿因巨大的现实潜力，是以人为中心图像生成中最具前景的应用之一。本工作中，我们向前迈进一步探索多功能虚拟试穿方案，我们认为其应具备三个主要特性，即支持无监督训练、任意服装类别以及可控服装编辑。为此，我们提出一种保特征端到端网络，即块路由空间自适应 GAN++（PASTA-GAN++），以实现高分辨率无配对虚拟试穿的多功能系统。具体而言，我们的 PASTA-GAN++ 由创新的块路由解耦模块组成，将完整服装解耦为归一化块，能够在保留服装风格信息的同时消除服装空间信息，从而缓解无监督训练中的过拟合问题。此外，PASTA-GAN++ 引入了基于块的服装表示与块引导的解析合成块，使其能处理任意服装类别并支持局部服装编辑。最后，为获得具真实纹理细节的试穿结果，PASTA-GAN++ 融入新颖的空间自适应残差模块，将粗变形服装特征注入生成器。在我们新收集的 UnPaired 虚拟试穿（UPT）数据集上的大量实验证明了 PASTA-GAN++ 相对于现有 SOTA 的优越性及其可控服装编辑能力。
引用
@article{arxiv.2207.13475,
title = {PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on},
author = {Zhenyu Xie and Zaiyu Huang and Fuwei Zhao and Haoye Dong and Michael Kampffmeyer and Xin Dong and Feida Zhu and Xiaodan Liang},
journal= {arXiv preprint arXiv:2207.13475},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2111.10544