单视角网格重建是否已准备好用于机器人学？

本文评估了单视角网格重建模型在实现用于机器人操作的实时数字孪生创建方面的潜力，即通过物理模拟器进行实时规划和动力学预测。近期单视角三维重建的进展为实现自动的实境到仿真流水线提供了一个有前景的途径：通过重建场景物体为独立的、完整的和物理上合理的网格，将对场景的单次观测直接映射到仿真实例中。然而，它们在即时性、物理保真度和仿真就绪性方面对物理仿真和机器人应用的适用性仍未被充分探索。我们为三维重建建立了机器人学特定的基准标准，包括处理典型输入、无碰撞且稳定的几何结构、遮挡鲁棒性以及满足计算约束。我们的基于真实机器人数据集的经验评估表明，尽管在计算机视觉基准测试上取得了成功，但现有方法未能满足机器人学特定需求。我们定量地考察了单视角重建在实际机器人实现中的局限性，与先前聚焦多视角方法的工作形成对比。我们的发现揭示了计算机视觉进展与机器人学需求之间的关键差距，为该交叉领域的未来研究提供了指导。