WildAvatar：从网络学习野外 3D 虚拟人
计算机视觉与模式识别
2025-03-13 v4
摘要
现有的虚拟人创建研究通常局限于实验室数据集，这不仅扩展成本高昂，而且对真实世界的表示不足。另一方面，网络上充斥着现成的真实世界人类视频，但这些视频质量参差不齐，需要准确的标注才能用于虚拟人创建。为此，我们提出了一种带有过滤协议的自动标注流水线，用于从网络中筛选这些人物视频。我们的流水线在 EMDB 基准上超越了 SOTA 方法，且过滤协议提升了网络视频上的验证指标。随后，我们整理了 WildAvatar，这是一个从 YouTube 提取的网络级野外人类虚拟人创建数据集，包含 个不同的人类主体和场景。WildAvatar 的丰富程度比以往用于 3D 人类虚拟人创建的数据集至少高出 ，且更贴近真实世界。为了探索其潜力，我们在 WildAvatar 上展示了虚拟人创建方法的质量与泛化能力。我们将公开发布代码、数据源链接和标注，以推动 3D 人类虚拟人创建及其他相关领域在真实世界应用中的发展。
引用
@article{arxiv.2407.02165,
title = {WildAvatar: Learning In-the-wild 3D Avatars from the Web},
author = {Zihao Huang and Shoukang Hu and Guangcong Wang and Tianqi Liu and Yuhang Zang and Zhiguo Cao and Wei Li and Ziwei Liu},
journal= {arXiv preprint arXiv:2407.02165},
year = {2025}
}
备注
CVPR2025, Project page: https://wildavatar.github.io/