Affordance RAG：基于可获取感知记忆的层次化多模态检索用于移动操作
机器人学
2025-12-23 v1 计算与语言
计算机视觉与模式识别
摘要
本研究针对开放词汇移动操作问题进行了研究，即机器人需根据自然语言指令将一范围广泛的物体运送到接收器中。该任务具有挑战性，因为它涉及理解视觉语义及操作获取性。为解决这些挑战，我们提出了 Affordance RAG（affordance-aware 记忆），一种零样本层次化多模态检索框架，通过预探索图像构建可获取感知记忆。该模型基于区域和视觉语义检索候选目标，并通过获取得分对其进行重新排序，使机器人能够识别在真实环境中可能可执行的操作选项。我们的方法在大型室内环境中针对移动操作指令的检索性能超越了现有方法。 Furthermore，在真实环境实验中，机器人基于自由形式指令在室内环境中执行移动操作，所提出的方法实现了85%的任务成功率，显著优于现有方法在检索性能和整体任务成功率方面的表现。
引用
@article{arxiv.2512.18987,
title = {Affordance RAG: Hierarchical Multimodal Retrieval with Affordance-Aware Embodied Memory for Mobile Manipulation},
author = {Ryosuke Korekata and Quanting Xie and Yonatan Bisk and Komei Sugiura},
journal= {arXiv preprint arXiv:2512.18987},
year = {2025}
}
备注
Accepted to IEEE RA-L, with presentation at ICRA 2026