通过观看舞蹈视频实现野外虚拟换装
计算机视觉与模式识别
2022-03-30 v1
摘要
尽管在服装迁移这一最具应用价值的人像生成方向之一上已取得显著进展，现有工作忽视了野外图像，导致严重的衣人错位以及精细纹理细节的明显退化。因此，本文关注真实场景中的虚拟试穿，并在真实性和自然性上带来本质提升，尤其针对宽松服装（如裙子、礼服）、困难姿态（如交叉手臂、弯腿）和杂乱背景。具体而言，我们发现像素流擅长处理宽松服装，而顶点流更适用于困难姿态，结合两者优势我们提出了一种名为wFlow的新型生成网络，能够有效将服装迁移推向野外场景。此外，以往方法需要配对图像进行训练。相反，我们通过在一个新构建的名为Dance50k的大规模视频数据集上进行自监督跨帧训练和在线循环优化，降低了繁琐性。所提出的Dance50k通过涵盖舞蹈姿态下种类广泛的服装，可推动真实世界虚拟换装。大量实验表明，我们的wFlow在无需昂贵配对数据集的情况下，为野外图像生成逼真服装迁移结果具有优越性。
引用
@article{arxiv.2203.15320,
title = {Dressing in the Wild by Watching Dance Videos},
author = {Xin Dong and Fuwei Zhao and Zhenyu Xie and Xijin Zhang and Daniel K. Du and Min Zheng and Xiang Long and Xiaodan Liang and Jianchao Yang},
journal= {arXiv preprint arXiv:2203.15320},
year = {2022}
}
备注
Accepted at CVPR2022, Project: https://awesome-wflow.github.io