不要遮蔽你无需遮蔽的:一种无解析器的虚拟试穿
计算机视觉与模式识别
2020-07-30 v2 机器学习
图像与视频处理
摘要
2D 虚拟试穿任务近来引起了研究界的极大兴趣,既因其在线购物中的直接潜在应用,也因其固有且未被解决的科挑战。该任务要求将一张商城服装图像贴合到人物图像上,这极具挑战性,因为它涉及服装扭曲、图像合成与生成。将虚拟试穿视为监督任务面临一个困难:可用数据集由成对图片(服装,穿着该服装的人物)组成。因此,当人物身上的服装改变时,我们无法获得真值。最先进的模型通过使用人体解析器和姿态估计器遮蔽人物上的服装信息来解决此问题。然后,图像合成模块被训练以从被遮蔽的人物图像和服装图像重建人物图像。此过程有几个缺陷:首先,人体解析器容易出错;其次,它是一项昂贵的预处理步骤,在推理时也必须应用;最后,它使任务比实际更难,因为掩码覆盖了本应保留的信息,如手或配饰。在本文中,我们提出一种新颖的师生范式,其中教师以标准方式(重建)训练,然后引导学生聚焦于初始任务(更换服装)。学生额外从对抗损失中学习,这推动其遵循真实图像的分布。因此,学生利用了教师被遮蔽的信息。未经对抗损失训练的学生不会利用该信息。此外,在推理时摆脱人体解析器和姿态估计器可实现实时虚拟试穿。
引用
@article{arxiv.2007.02721,
title = {Do Not Mask What You Do Not Need to Mask: a Parser-Free Virtual Try-On},
author = {Thibaut Issenhuth and Jérémie Mary and Clément Calauzènes},
journal= {arXiv preprint arXiv:2007.02721},
year = {2020}
}
备注
Accepted at ECCV 2020. arXiv admin note: text overlap with arXiv:1906.01347