用于可重摆视角合成的免模板关节化神经点云
计算机视觉与模式识别
2024-02-12 v2 图形学
摘要
动态神经辐射场(NeRFs)在合成随时间演化的 3D 场景新视角时取得了卓越的视觉质量。然而,普遍依赖后向形变场使得对所捕获物体姿态的重新驱动具有挑战性。此外,最先进的动态模型常受限于低视觉保真度、长重建时间或对狭窄应用领域的特异性。本文提出一种利用基于点的表示与线性混合蒙皮(LBS)的新方法,从甚至稀疏的多视角视频中联合学习动态 NeRF 及关联的骨骼模型。我们的前向扭曲方法在合成新视角与姿态时达到了最先进的视觉保真度,同时与现有工作相比显著减少了所需的学习时间。我们在来自常见数据集的多种关节化物体上展示了我们表示的通用性,并在无需物体特定骨骼模板的情况下获得了可重摆的 3D 重建。代码将发布于 https://github.com/lukasuz/Articulated-Point-NeRF。
引用
@article{arxiv.2305.19065,
title = {Template-free Articulated Neural Point Clouds for Reposable View Synthesis},
author = {Lukas Uzolas and Elmar Eisemann and Petr Kellnhofer},
journal= {arXiv preprint arXiv:2305.19065},
year = {2024}
}