Dress-Me-Up：一个用于自监督 3D 服装重定向的数据集与方法
计算机视觉与模式识别
2024-01-09 v1
摘要
我们提出一种新颖的自监督框架，用于将非参数化 3D 服装重定向到任意形状和姿态的 3D 人体化身，实现 3D 虚拟试穿（VTON）。现有的自监督 3D 重定向方法仅支持参数化和标准服装，这些服装只能穿着在参数化人体（如 SMPL）上。为支持非参数化服装和人体，我们提出一种新方法，引入基于 Isomap 嵌入的服装与人体之间的对应匹配，以获得两个网格间的粗略对齐。我们在自监督设置下对粗略对齐进行神经优化。此外，我们利用拉普拉斯细节集成方法来保留输入服装的固有细节。为评估我们的 3D 非参数化服装重定向框架，我们提出了一个包含 255 件真实世界服装的数据集，这些服装具有真实的噪声和拓扑变形。该数据集包含 44 件独特服装，由 15 位不同受试者在 5 种不同姿态下穿着，使用多视角 RGBD 采集装置捕获。我们在非参数化服装和人体化身上展示了优于现有最先进方法的重定向质量，成为所提出的非参数化 3D 服装重定向数据集上的首个基线。
引用
@article{arxiv.2401.03108,
title = {Dress-Me-Up: A Dataset & Method for Self-Supervised 3D Garment Retargeting},
author = {Shanthika Naik and Kunwar Singh and Astitva Srivastava and Dhawal Sirikonda and Amit Raj and Varun Jampani and Avinash Sharma},
journal= {arXiv preprint arXiv:2401.03108},
year = {2024}
}