单阶段多姿态虚拟试穿
计算机视觉与模式识别
2022-11-22 v1
摘要
多姿态虚拟试穿（MPVTON）旨在将目标服装贴合到处于目标姿态的人体上。与保持姿态不变仅贴合服装的传统虚拟试穿（VTON）相比，MPVTON提供了更好的试穿体验，但由于服装与姿态编辑的双重目标也更具挑战性。现有MPVTON方法采用由三个独立模块组成的流水线，包括目标语义布局预测模块、粗试穿图像生成器和精化试穿图像生成器。这些模型分别训练，导致次优的模型训练和不尽人意的结果。本文中，我们提出了一种新颖的单阶段MPVTON模型。我们模型的关键在于一个并行流估计模块，该模块以目标姿态为条件预测人体与服装图像的流场。随后利用预测的流对人与服装图像的外观特征图进行扭曲，以构建风格图。该图随后用于调制目标姿态的特征图以生成目标试穿图像。借助并行流估计设计，我们的模型可在单阶段端到端训练，且计算更高效，在现有MPVTON基准上取得了新的SOTA性能。我们进一步引入多任务训练，并证明我们的模型也可应用于传统VTON和姿态迁移任务，且在两项任务上均取得与SOTA专用模型相当的性能。
引用
@article{arxiv.2211.10715,
title = {Single Stage Multi-Pose Virtual Try-On},
author = {Sen He and Yi-Zhe Song and Tao Xiang},
journal= {arXiv preprint arXiv:2211.10715},
year = {2022}
}