HINT：从有限视角学习完整人类神经表示
计算机视觉与模式识别
2024-05-31 v1
摘要
没有动画人物头像的任何增强应用都是不可行的。与此同时，从真实世界的单摄像机手持或机器人传感器 setup 中生成人类复制品具有挑战性，因为视角的可获得性有限。以前的工作表明，虚拟头像是可行的，但需要针对目标主体的360度视角。为解决这一问题，我们提出HINT，一种能够从有限观察角度学习详细且完整人类模型的NeRF-based算法。我们通过引入对称性先验、正则化约束以及来自大型人类数据集的训练线索来实现这一点。特别是，我们引入一种仰面对称先验用于人类的外观，直接使用显式3D身体建模对人类模型的密度函数进行监督，并利用作为额外监督来辅助不可见角度的共学习的人类数字化网络。结果，我们的方法即使仅从少数观察角度即可重建完整的人类，比以前的方法提高了15%以上的PSNR性能。
引用
@article{arxiv.2405.19712,
title = {HINT: Learning Complete Human Neural Representations from Limited Viewpoints},
author = {Alessandro Sanvito and Andrea Ramazzina and Stefanie Walz and Mario Bijelic and Felix Heide},
journal= {arXiv preprint arXiv:2405.19712},
year = {2024}
}