HF-VTON：基于一致几何与语义对齐的高保真虚拟试穿
计算机视觉与模式识别
2025-10-30 v3
摘要
虚拟试穿技术在时尚和零售行业变得越来越重要，它能够生成无缝适应目标人体模型的高保真服装图像。尽管现有方法已取得显著进展，但在保持不同姿态下的一致性方面仍面临重大挑战。具体而言，几何畸变导致空间一致性缺失，不同姿态下服装结构与纹理的不匹配导致语义不一致，而细粒度细节的丢失或畸变则降低了视觉保真度。为应对这些挑战，我们提出了 HF-VTON，一种确保在多种姿态下实现高保真虚拟试穿性能的新颖框架。HF-VTON 包含三个关键模块：(1) 外观保持扭曲对齐模块（APWAM），将服装对齐到人体姿态，解决几何变形并确保空间一致性；(2) 语义表示与理解模块（SRCM），捕获细粒度服装属性和多姿态数据以增强语义表示，保持结构、纹理和图案的一致性；(3) 多模态先验引导外观生成模块（MPAGM），整合多模态特征和来自预训练模型的先验知识以优化外观生成，确保语义和几何的一致性。此外，为克服现有基准中的数据限制，我们引入了 SAMP-VTONS 数据集，其具有多姿态对和丰富的文本标注，以实现更全面的评估。实验结果表明，HF-VTON 在 VITON-HD 和 SAMP-VTONS 上均优于 SOTA 方法，在视觉保真度、语义一致性和细节保留方面表现卓越。
引用
@article{arxiv.2505.19638,
title = {HF-VTON: High-Fidelity Virtual Try-On via Consistent Geometric and Semantic Alignment},
author = {Ming Meng and Qi Dong and Jiajie Li and Zhe Zhu and Xingyu Wang and Zhaoxin Fan and Wei Zhao and Wenjun Wu},
journal= {arXiv preprint arXiv:2505.19638},
year = {2025}
}
备注
After the publication of the paper, we discovered some significant errors/omissions that need to be corrected and improved