下一感知选择：基于 FisherRF 的视觉与触觉引导 3D 高斯溅射

我们提出了一个用于机器人操作臂的主动式下一种感知选择框架，基于 3D 高斯溅射 (3DGS)。3DGS 作为机器人领域的一种新兴的显式 3D 场景表示方法，具有既能实现高度写实，又能保持几何精确的能力。然而，在实际场景中，由于效率要求，视角数量有限，随机选择的视角对于 3DGS 变得不切实际，因为这些视角往往重叠且冗余。我们通过提出一个端到端的在线训练和主动视角选择管道，来增强 3DGS 在少视角机器人场景中的性能。我们首先通过采用分段感知模型 2 (SAM2) 引入的新颖语义深度对齐方法，结合皮尔逊深度与曲面法向损失，以提升真实场景的颜色和深度重建质量。随后，我们将 FisherRF——一种用于 3DGS 的下一种视角选择方法——扩展至基于深度不确定性的视角与触觉姿态选择。我们在实际机器人系统上进行在线视角选择，实时进行 3DGS 训练。我们说明了针对少视角 GS 场景的改进措施，并将基于深度的 FisherRF 扩展到这些场景中，在挑战性的机器人场景上实现了定性和定量改进。欲了解更多信息，请访问我们的项目页面 https://arm.stanford.edu/next-best-sense。