GC-VTON：通过保持邻域完整性的全局一致且遮挡感知局部流预测实现虚拟试穿
计算机视觉与模式识别
2023-11-10 v1
摘要
基于流的服装形变是基于图像的虚拟试穿网络的重要组成部分。然而，优化单一流预测网络以同时实现全局边界对齐与局部纹理保持，会导致次优的流场。此外，稠密流本身不适合处理诸如身体部位或其他服装遮挡服装等复杂情况。强制流处理上述问题会导致纹理挤压、拉伸等多种畸变。在本工作中，我们通过 GlobalNet 与 LocalNet 模块解耦全局边界对齐与局部纹理保持任务，提出一种新方法。随后在两部分之间采用一致性损失，使局部流与全局边界对齐相协调。此外，我们通过预测身体部位可见性掩码显式处理遮挡，该掩码用于遮蔽形变后服装中的遮挡区域。掩蔽可防止 LocalNet 预测为补偿遮挡而扭曲纹理的流。我们还引入一种新颖的正则化损失（NIPR），其定义了识别形变后服装中纹理完整性受损（挤压或拉伸）区域的准则。NIPR 随后对这些区域中的流进行惩罚，以确保规则且连贯的形变，保持局部邻域的纹理。在广泛使用的虚拟试穿数据集上的评估表明，与当前 SOTA 方法相比，我们的网络具有强劲性能。
引用
@article{arxiv.2311.04932,
title = {GC-VTON: Predicting Globally Consistent and Occlusion Aware Local Flows with Neighborhood Integrity Preservation for Virtual Try-on},
author = {Hamza Rawal and Muhammad Junaid Ahmad and Farooq Zaman},
journal= {arXiv preprint arXiv:2311.04932},
year = {2023}
}
备注
accepted at WACV 2024