Cluttered场景中基于对象感知的3D高斯溅射的对象感知下一最佳视角

在存在不可避免遮挡和观察不完整的拥挤场景中，选择有信息的视角对于构建可靠的表征至关重要。在此背景下，3D 高斯溅射 (3DGS) 具有独特优势，能够显式指导后续视角的选择，并通过新观察来细化表征。然而，现有方法仅依赖几何线索，忽略操作相关语义，且倾向于在探索与开发放大之间进行权衡。为克服这些限制，我们引入一种基于实例感知的下一最佳视角 (NBV) 策略，通过利用对象特征来优先考虑未探索的区域。具体而言，我们的方法将实例级信息蒸馏为 one-hot 对象向量，用于计算以置信度加权的信息增益，从而指导识别与错误或不确定高斯相关的区域。此外，我们的方法可以轻松适应对象中心化的 NBV，即聚焦于特定对象的视角选择，从而提高对对象位置的重建鲁棒性。实验表明，与基线方法相比，我们的 NBV 策略在合成数据集上将深度误差降低最高可达77.14%，在真实世界 GraspNet 数据集上降低34.10%。此外，与针对整个场景进行 NBV 相比，对特定对象进行 NBV 可进一步降低该对象深度误差25.60%。我们进一步通过实际机器人操作任务验证了该方法的有效性。