虽不可见，仍存于心：基于视频跟踪记忆模型对未观测物体的推理与规划

机器人需要记忆先前观测到但当前被遮挡的物体，以在真实环境中可靠工作。我们研究了将面向对象记忆编码到多物体操作推理与规划框架中的问题。我们提出了DOOM和LOOM，它们利用transformer关系动力学对给定部分视角点云以及物体发现与跟踪引擎的轨迹历史进行编码。我们的方法能够执行多项具有挑战性的任务，包括对被遮挡物体进行推理、处理新物体出现以及物体重新出现。在大量仿真和真实世界实验中，我们发现我们的方法在不同物体数量及不同干扰动作数量下均表现良好。此外，我们展示了我们的方法优于隐式记忆基线。