4DPV: 从视频中通过粗到精非刚性辐射场重建4D宠物
计算机视觉与模式识别
2024-11-18 v1
摘要
我们提出了一种粗到精的神经变形模型，用于在野外环境下从多个RGB序列同时恢复相机位姿和未知物体的4D重建。为此，我们的方法不依赖任何预建立的3D模板、3D训练数据以及受控光照条件，并能以自监督的方式解决该问题。我们的模型利用了规范空间和图像变体空间，其中同时考虑了粗略和精细组件。我们引入了一种具有时空一致性的神经局部二次模型来编码精细细节，并将其与规范嵌入相结合，以建立跨序列的对应关系。我们在具有复杂真实世界变形的挑战性场景上彻底验证了该方法，提供了定量和定性评估、消融研究以及与竞争方法的比较。我们的项目可在 https://github.com/smontode24/4DPV 获取。
引用
@article{arxiv.2411.10275,
title = {4DPV: 4D Pet from Videos by Coarse-to-Fine Non-Rigid Radiance Fields},
author = {Sergio M. de Paco and Antonio Agudo},
journal= {arXiv preprint arXiv:2411.10275},
year = {2024}
}
备注
17th Asian Conference on Computer Vision (ACCV 2024)