迈向抗挤压的虚拟试穿：基于顺序形变的方法
计算机视觉与模式识别
2023-12-27 v1
摘要
在本文中，我们首先研究了近期高分辨率虚拟试穿方法中观察到的一种视觉质量退化问题。经验发现，衣物纹理在袖子处存在挤压倾向，如图 1(a) 上行所示。该问题的一个主要原因是两种流行损失函数之间的梯度冲突：总变分（Total Variation, TV）损失和对抗损失。具体而言，TV 损失旨在断开 warped 衣物掩码中袖子与躯干之间的边界，而对抗损失旨在将它们结合。这种相反的目标将未对齐的梯度反馈给级联的外观流估计，导致不良的挤压伪影。为减少这一问题，我们提出了顺序形变（Sequential Deformation, SD-VITON）方法，将外观流预测层解耦为 TV 目标主导（TVOB）层和任务共存（TACO）层。具体而言，我们通过 TVOB 层将衣物粗略拟合到人体上，然后通过 TACO 层继续细化。此外，图 1(a) 的下行显示了腰部周围另一种类型的挤压伪影。为解决此问题，我们进一步提出先将衣物变形为塞出式衬衫风格，然后从变形后的衣物中部分擦除纹理，而不损害外观流的平滑性。实验结果表明，我们的 SD-VITON 成功解决了这两种类型的伪影，并优于基线方法。源代码将在 https://github.com/SHShim0513/SD-VITON 提供。
引用
@article{arxiv.2312.15861,
title = {Towards Squeezing-Averse Virtual Try-On via Sequential Deformation},
author = {Sang-Heon Shim and Jiwoo Chung and Jae-Pil Heo},
journal= {arXiv preprint arXiv:2312.15861},
year = {2023}
}
备注
Accepted to AAAI 2024