基于记忆增强师生学习的提示响应式物体检索

构建能够响应输入提示的模型代表了机器学习领域的一次变革性转变。这种范式在机器人问题（例如杂乱环境中的目标操作）中具有巨大潜力。在这项工作中，我们提出了一种新颖的方法，将可提示的基础模型与强化学习（Reinforcement Learning, RL）相结合，使机器人能够以提示响应的方式执行灵巧操作任务。现有方法难以将高层指令与精细的灵巧控制联系起来。我们通过一个记忆增强的师生学习框架来弥补这一差距。我们使用 Segment-Anything 2 (SAM 2) 模型作为感知骨干，从用户提示中推断出感兴趣的物体。虽然检测结果可能不完美，但它们的时间序列为记忆增强模型进行隐式状态估计提供了丰富的信息。我们的方法成功学习了提示响应策略，并在从杂乱场景中抓取物体的任务中得到了验证。视频和代码可在 https://memory-student-teacher.github.io 获取。