填补织物：面向图像虚拟试穿的身体感知自监督修复
计算机视觉与模式识别
2022-12-29 v2
摘要
以往的虚拟试穿方法通常侧重于将服装与人物对齐，限制了其利用人物复杂姿态、体型和肤色以及服装整体结构的能力，而这些对于照片级真实虚拟试穿至关重要。为应对这一潜在弱点，我们提出了填补织物（FIFA）模型，一种基于自监督条件生成对抗网络（GAN）的框架，由 Fabricator 与包含 Segmenter、Warper 和 Fuser 的统一虚拟试穿流水线组成。Fabricator 旨在以掩码服装为输入时重建服装图像，并通过填补织物学习服装的整体结构。随后，通过将习得表征从 Fabricator 迁移至 Warper 来训练虚拟试穿流水线，以扭曲并细化目标服装。我们还提出使用多尺度结构约束，在将目标服装扭曲以更好贴合人物姿态与体型时，于多尺度上强化全局上下文。大量实验表明，我们的 FIFA 模型在标准的 VITON 服装虚拟试穿数据集上取得了最先进（SOTA）结果，并证明能有效处理复杂姿态以及保留服装的纹理与刺绣。
引用
@article{arxiv.2210.00918,
title = {Fill in Fabrics: Body-Aware Self-Supervised Inpainting for Image-Based Virtual Try-On},
author = {H. Zunair and Y. Gobeil and S. Mercier and A. Ben Hamza},
journal= {arXiv preprint arXiv:2210.00918},
year = {2022}
}