三维常见宠物：真实可变形类别的动态新视角合成
计算机视觉与模式识别
2022-11-09 v1
摘要
从稀疏视角获得物体的真实感重建本质上是模糊的，只能通过学习的合适重建先验来实现。早期关于稀疏刚性物体重建的工作成功地从诸如 CO3D 的大型数据集中学习了此类先验。在本文中，我们将此方法扩展到动态物体。我们使用猫和狗作为代表性示例，并引入三维常见宠物（CoP3D），这是一个众包视频集合，展示了约 4,200 只不同的宠物。CoP3D 是首批用于“野外”非刚性三维重建基准测试的大规模数据集之一。我们还提出了 Tracker-NeRF，一种从我们的数据集中学习四维重建的方法。在测试时，给定未见物体的少量视频帧，Tracker-NeRF 预测其三维点的轨迹并生成新视角，对视角和时间进行插值。在 CoP3D 上的结果显示，其非刚性新视角合成性能显著优于现有基线。
引用
@article{arxiv.2211.03889,
title = {Common Pets in 3D: Dynamic New-View Synthesis of Real-Life Deformable Categories},
author = {Samarth Sinha and Roman Shapovalov and Jeremy Reizenstein and Ignacio Rocco and Natalia Neverova and Andrea Vedaldi and David Novotny},
journal= {arXiv preprint arXiv:2211.03889},
year = {2022}
}