Vid2Avatar-Pro：基于通用先验从野外视频中创建逼真可动画人形avatar
计算机视觉与模式识别
2025-03-04 v1
摘要
我们提出了 Vid2Avatar-Pro，一种从单目野外视频中创建照片逼真且可动画化 3D 人类 avatar 的方法。要从单目视频中构建支持多姿态动画的高质量 avatar 具有挑战性，因为姿态多样性和视角观察在本质上受限。缺乏姿态变化通常导致对新姿态的泛化性能差，avatar 也容易过拟合于有限的输入视角，导致其他视角出现瑕疵和失真。在本工作中，我们通过利用从大规模多视角衣着人类动作捕捉数据中学习到的通用先验模型（UPM）来克服这些限制。我们基于具有表达力的 3D 高斯构建表示，其标准前后图在不同身份之间共享。一旦 UPM 学习到准确再现大规模多视角人类图像后，我们通过逆渲染对野外视频进行微调，以获得可忠实动画化至新人体动作并从新视角渲染的个人化照片逼真人类 avatar。实验表明，我们的方法基于学习到的通用先验在单目 avatar 重建方面达到了新的状态hof-the-art，显著优于仅依赖启发式正则化或最小衣着身体（如 SMPL）形状先验的现有方法。
关键词
引用
@article{arxiv.2503.01610,
title = {Vid2Avatar-Pro: Authentic Avatar from Videos in the Wild via Universal Prior},
author = {Chen Guo and Junxuan Li and Yash Kant and Yaser Sheikh and Shunsuke Saito and Chen Cao},
journal= {arXiv preprint arXiv:2503.01610},
year = {2025}
}
备注
Project page: https://moygcc.github.io/vid2avatar-pro/