基于物体重排规划的受限杂乱环境语言引导主动感知

语言引导的主动感知是一项机器人子任务，其中配备机载传感器的机器人遵循给定的语言指令，通过物体操作与环境高效交互以最大化感知信息。此类任务出现在各种实际机器人应用中，例如家庭服务、搜救和环境监测。尽管应用广泛，现有工作并未考虑语言指令，且主要集中于表面感知，即在不重排环境的情况下从外部感知环境以进行密集感知。因此，在本文中，我们引入了首个语言引导的主动感知方法，允许用户通过物体操作观察环境的特定部分。我们的方法将环境与语言指令进行空间关联，确定用于感知的最佳相机视点，然后迭代地选择并重新安置最佳阻挡视线的物体，以提供对感兴趣区域的密集感知。我们在仿真中针对不同的基线算法评估了我们的方法，并在具有多个未知物体的现实世界受限类橱柜环境中进行了演示。我们的结果表明，所提方法在不同指标上均表现出更好的性能，并成功泛化到现实世界的复杂场景中。