MV-TON：基于记忆的视频虚拟试穿网络
计算机视觉与模式识别
2021-08-18 v1
摘要
随着生成对抗网络（GAN）的发展，基于图像的虚拟试穿方法取得了很大进展。然而，现实应用中重要的基于视频的虚拟试穿任务却鲜有探索。大多数现有基于视频的虚拟试穿方法通常需要服装模板，且只能生成模糊的低分辨率结果。为应对这些挑战，我们提出一种基于记忆的视频虚拟试穿网络（MV-TON），它无需任何服装模板即可将所需服装无缝迁移到目标人物上，并生成高分辨率的逼真视频。具体而言，MV-TON 由两个模块组成：1）试穿模块，通过姿态对齐和像素的区域替换将所需服装从模特图像迁移到帧图像；2）记忆精化模块，学习将已生成的帧嵌入潜空间作为后续帧生成的外部记忆。实验结果表明了我们的方法在视频虚拟试穿任务中的有效性及其优于其他现有方法的性能。
引用
@article{arxiv.2108.07502,
title = {MV-TON: Memory-based Video Virtual Try-on network},
author = {Xiaojing Zhong and Zhonghua Wu and Taizhe Tan and Guosheng Lin and Qingyao Wu},
journal= {arXiv preprint arXiv:2108.07502},
year = {2021}
}