面向未见环境的稀疏多视角手物重建

近期手物重建的工作主要集中于单视角和密集多视角设置。一方面，单视角方法可以利用学习到的形状先验泛化到未见物体，但由于遮挡容易产生不准确的结果。另一方面，密集多视角方法非常准确，但若不进一步收集数据则难以适应未见物体。相比之下，稀疏多视角方法可以利用额外视角解决遮挡问题，同时与密集多视角方法相比保持较低的计算成本。在本文中，我们考虑了稀疏多视角设置下对未见物体的手物重建问题。给定同时捕获的手和物体的多张 RGB 图像，我们的模型 SVHO 将各视角的预测组合成一个统一的重建结果，而无需跨视角优化。我们在合成手物数据集上训练模型，并直接在包含未见物体的真实世界录制手物数据集上进行评估。我们表明，尽管从 RGB 重建未见手和物体具有挑战性，但额外视角有助于提高重建质量。