零样本交互式感知
机器人学
2026-02-23 v1 人工智能
摘要
交互式感知(IP)使机器人能够通过与物体进行物理交互并改变环境状态来提取隐含信息并执行操作计划——这对于解决复杂、部分可观测场景中的遮挡和歧义问题至关重要。我们提出了零样本交互式感知(ZS-IP)，一种新框架，将多策略操作（推送和抓取）与内存驱动的视觉语言模型(VLM)耦合，以指导机器人交互并解决语义查询。ZS-IP 集成了三个关键组件：(1)增强观察(EO)模块，通过加入常规关键点和我们提出的推送线(pushlines)来增强 VLM 的视觉感知——推送线是专为推送动作设计的新型 2D 视觉增强，(2)内存驱动的动作模块通过上下文查找强化语义推理，(3)机器人控制器根据 VLM 输出执行推送、拉取或抓取操作。与针对抓取和放置优化的网格化增强不同，pushlines 捕获接触丰富动作的 affordances，显著提高了推送性能。我们在 7 自由度的 Franka Panda 机械臂上进行评估，测试场景具有各种遮挡和任务复杂性。我们的实验表明,ZS-IP 在推送任务中优于被动感知技术和基于视点的感知技术，如基于 Mark 的视觉提示(MOKA)，同时保持非目标元素的完整性。
引用
@article{arxiv.2602.18374,
title = {Zero-shot Interactive Perception},
author = {Venkatesh Sripada and Frank Guerin and Amir Ghalamzan},
journal= {arXiv preprint arXiv:2602.18374},
year = {2026}
}
备注
Original manuscript submitted on April 24, 2025. Timestamped and publicly available on OpenReview: https://openreview.net/forum?id=7MhpFcr5Nx