面向虚拟试穿的特征图几何形变端到端学习
计算机视觉与模式识别
2019-06-12 v2
摘要
二维虚拟试穿任务近来引起了研究界的广泛关注，既因其在线购物中的直接潜在应用，也因其固有且尚未解决的科学挑战。该任务需要将一张店内服装图像贴合到人物图像上。这极具挑战性，因为它要求将服装扭曲到目标人物身上同时保持其图案与特征，并以逼真的方式将物品与人物合成。当前最先进的模型由于像素级合成步骤或几何变换而产生带有可见伪影的图像。在本文中，我们提出 WUTON：一种用于虚拟试穿系统的扭曲 U-net（Warping U-net for a Virtual Try-On system）。它是一个连体 U-net 生成器，其跳跃连接由卷积几何匹配器进行几何变换。整个架构以端到端方式训练，采用包含对抗损失的多任务损失。这使得我们的网络能够生成并利用服装的真实空间变换来合成高视觉质量图像。所提出的架构可端到端训练，并使我们朝着保留细节且照片级逼真的二维虚拟试穿系统迈进。我们的方法在视觉结果以及学习感知图像相似度（Learned Perceptual Image Similarity, LPIPS）指标上均优于当前最先进水平。
引用
@article{arxiv.1906.01347,
title = {End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On},
author = {Thibaut Issenhuth and Jérémie Mary and Clément Calauzènes},
journal= {arXiv preprint arXiv:1906.01347},
year = {2019}
}