Betsu-Betsu:两个交互物体的多视图可分离 3D 重建
计算机视觉与模式识别
2025-02-20 v1
摘要
从多视图 RGB 图像中对多个物体进行可分离的 3D 重建——为两个物体生成两个不同且具有清晰边界的 3D 形状——仍然是一个研究较少的问题。由于物体交互边界处严重的相互遮挡和歧义,该问题具有挑战性。本文研究了这一设置,并引入了一种新的神经隐式方法,该方法能够重建正在进行密切交互的两个物体的几何形状和外观,同时在 3D 中将两者分离,避免表面相互穿透,并实现观察场景的新视图合成。该框架是端到端可训练的,并使用一种新的 alpha 混合正则化进行监督,确保即使在极端遮挡下两个几何体也能良好分离。我们的重建方法是无标记的,可应用于刚体和铰接物体。我们引入了一个由人与物体密切交互组成的新数据集,并在两个人类进行武术运动的场景上进行了评估。实验证实了我们框架的有效性,并且与适用于我们设置的几种现有方法相比,在使用 3D 和新视图合成指标方面取得了实质性改进。
引用
@article{arxiv.2502.13968,
title = {Betsu-Betsu: Multi-View Separable 3D Reconstruction of Two Interacting Objects},
author = {Suhas Gopal and Rishabh Dabral and Vladislav Golyanik and Christian Theobalt},
journal= {arXiv preprint arXiv:2502.13968},
year = {2025}
}
备注
17 pages, 20 figures and 6 tables; International Conference on 3D Vision (3DV) 2025; Project page: https://vcai.mpi-inf.mpg.de/projects/separable-recon/