SHeaP：通过 2D Gaussians 学习的自监督头部几何预测器
计算机视觉与模式识别
2025-10-20 v2 人工智能
机器学习
摘要
从单目图像和视频中实时且准确地进行人头 3D 重建是众多视觉应用的基础。由于大规模获取 3D 真值数据十分困难，以往的方法试图以自监督的方式从丰富的 2D 视频中学习。这通常涉及使用可微网格渲染，该方法虽然有效但存在局限性。为了改进这一点，我们提出了 SHeaP（通过 2D Gaussians 学习的自监督头部几何预测器）。给定一张源图像，我们预测一个 3DMM 网格和一组绑定到该网格的 Gaussians。然后我们重新驱动这个绑定的头部虚拟形象以匹配目标帧，并将光度损失反向传播到 3DMM 和 Gaussian 预测网络。我们发现使用 Gaussians 进行渲染显著提高了这种自监督方法的有效性。仅在 2D 数据上训练，我们的方法在针对中性脸的 NoW 基准和针对非中性表情的新基准上的几何评估中超越了现有的自监督方法。我们的方法还生成了极具表现力的网格，在情感分类上优于 SOTA 方法。
引用
@article{arxiv.2504.12292,
title = {SHeaP: Self-Supervised Head Geometry Predictor Learned via 2D Gaussians},
author = {Liam Schoneveld and Zhe Chen and Davide Davoli and Jiapeng Tang and Saimon Terazawa and Ko Nishino and Matthias Nießner},
journal= {arXiv preprint arXiv:2504.12292},
year = {2025}
}
备注
For video demonstrations and additional materials please see https://nlml.github.io/sheap/