基于多视角采集的大规模高质量 3D 高斯头部重建
计算机视觉与模式识别
2026-05-11 v2 机器学习
摘要
我们提出了 HeadsUp，一种从大规模多相机设置中重建高质量 3D 高斯头部的可扩展前馈方法。该方法采用高效的编码器-解码器架构，将输入视角压缩为紧凑的潜在表示。随后，该潜在表示被解码为一组锚定于中性头部模板的 UV 参数化 3D 高斯。这种 UV 表示将 3D 高斯的数量与输入图像的数量和分辨率解耦，从而能够使用大量高分辨率输入视角进行训练。我们在包含超过 10,000 个对象的内部数据集上训练并评估了我们的模型，该数据集的规模比现有的多视角人类头部数据集大一个数量级。HeadsUp 实现了 SOTA 的重建质量，并且无需测试时优化即可泛化到新的身份。我们广泛分析了模型在身份、视角和模型容量方面的缩放行为，揭示了质量与计算权衡的实用见解。最后，我们通过展示两个下游应用突出了潜在空间的优势：生成新的 3D 身份以及使用表情混合变形对 3D 头部进行动画处理。
引用
@article{arxiv.2605.04035,
title = {Large-Scale High-Quality 3D Gaussian Head Reconstruction from Multi-View Captures},
author = {Evangelos Ntavelis and Sean Wu and Mohamad Shahbazi and Fabio Maninchedda and Dmitry Kostiaev and Artem Sevastopolsky and Vittorio Megaro and Trevor Phillips and Alejandro Blumentals and Shridhar Ravikumar and Mehak Gupta and Reinhard Knothe and Jeronimo Bayer and Matthias Vestner and Simon Schaefer and Thomas Etterlin and Christian Zimmermann and Mathias Deschler and Peter Kaufmann and Stefan Brugger and Sebastian Martin and Brian Amberg and Tom Runia},
journal= {arXiv preprint arXiv:2605.04035},
year = {2026}
}
备注
Project page: https://apple.github.io/ml-headsup/