VTON 360: 任意视角的高保真虚拟试穿
计算机视觉与模式识别
2025-04-14 v2
摘要
虚拟试穿(VTON)是电子商务和服装设计领域的一项变革性技术，能够实现服装在人体上的真实数字化可视化。在本工作中，我们提出VTON 360，一种新颖的三维VTON方法，旨在解决实现支持任意视角渲染的高保真VTON这一开放挑战。具体而言，我们利用三维模型与其渲染的多视角二维图像之间的等价性，将三维VTON重新表述为二维VTON的扩展，以确保多视角之间的一致性。为此，我们将二维VTON模型扩展为包含多视角服装和与服装无关的人体图像作为输入，并提出若干增强技术，包括：i) 利用来自SMPL-X三维人体模型的法线图推导出的伪三维姿态表示；ii) 建模不同视角之间特征相关性的多视角空间注意力机制；以及iii) 融合相机信息来增强二维VTON中所用服装CLIP特征的多视角CLIP嵌入。在大规模真实数据集和电商平台服装图像上的广泛实验证明了本方法的有效性。项目页面：https://scnuhealthy.github.io/VTON360。
引用
@article{arxiv.2503.12165,
title = {VTON 360: High-Fidelity Virtual Try-On from Any Viewing Direction},
author = {Zijian He and Yuwei Ning and Yipeng Qin and Guangrun Wang and Sibei Yang and Liang Lin and Guanbin Li},
journal= {arXiv preprint arXiv:2503.12165},
year = {2025}
}
备注
Accepted to CVPR 2025